처음 쓰는 학술지 논문 작성법 | 제6장 연구 방법의 작성 | 3. 혼합 연구와 문헌 기반 연구 방법의 서술

3. 혼합 연구와 문헌 기반 연구 방법의 서술

혼합 연구와 문헌 기반 연구에서는 자료를 확보하고 연결하여 설명을 구성한 과정을 보고한다. 혼합 연구는 양적·질적 접근의 수행과 통합 절차를 함께 제시한다. 문헌 기반 연구는 선정과 평가, 비교와 종합의 기준을 밝힌다. 자료의 작성 목적과 수집 조건이 다르면 연결하여 설명할 범위도 달라진다. 각 자료의 역할과 분석 단위, 비교 기준을 명확하게 해야 한다. 계획 변경과 확보하지 못한 자료도 필요한 범위에서 설명한다. 서로 다른 결과를 어떻게 다루었는지도 포함한다. 독자가 최종 결론의 근거와 제약을 판단할 수 있도록 작성한다.

1) 혼합 연구의 설계와 자료 통합 절차

(1) 자료 수집의 순서·비중과 참여자의 연결

혼합 연구의 방법은 두 접근을 사용한 이유부터 설명한다. 조사 결과를 구체적인 경험으로 설명했는지, 면담 경험을 바탕으로 측정도구를 만들었는지 밝힌다. 비슷한 시점의 자료로 같은 문제를 비교했을 수도 있다. 설계 명칭은 실제 연결 방식에 맞아야 한다. 설명적 순차 설계는 양적 결과를 후속 질적 탐구로 설명하도록 연결하는 방식이다. 설문 뒤에 면담을 했다는 순서만으로 이 명칭을 사용하기에는 충분하지 않다. 앞선 결과가 후속 참여자 선정과 질문에 어떻게 반영되었는지 제시해야 한다. 목적과 순서, 자료 연결을 함께 설명하면 설계의 특징이 드러난다(Creswell et al., 2011).

실제 일정과 연구 내용의 연결을 구분하여 보고한다. 자료 수집 기간이 겹쳤다면 어느 결과를 언제 참고했는지 밝힌다. 면담이 설문 결과와 무관하게 구성되었다면 그대로 설명한다. 결과에 따라 질문을 추가했다면 해당 영역과 이유를 제시한다. 예약 만족도가 낮아 예약 변경과 안내 경험을 물었다면 두 내용의 연결을 설명한다. 면담 내용을 문항으로 발전시켰다면 경험의 의미를 질문과 응답 범주로 바꾼 과정을 밝힌다. 두 단계 사이에 서비스 운영이 달라졌는지도 확인한다. 계획이 바뀌었다면 자료 연결에 어떤 영향을 주었는지 설명한다.

두 접근의 비중은 참여자 수보다 연구 질문과 해석에서 맡은 역할로 설명한다. 조사 대상이 많다고 양적 접근이 자동으로 중심이 되는 것은 아니다. 중심 접근은 핵심 질문에 어떤 답을 제공했는지 밝힌다. 보완 접근은 어떤 부족한 설명을 더했는지 제시한다. 두 접근의 중요도가 비슷하다면 최종 판단에 각각 어떻게 반영했는지 설명한다. 원고의 분량과 자료의 역할도 같은 의미는 아니다. 계획한 자료를 충분히 확보하지 못했다면 실제 수행 내용과 제약을 보고한다. 설계의 명칭과 실제 역할이 서로 맞도록 작성한다.

참여자 연결은 누구의 자료를 어떤 수준에서 연결했는지 설명한다. 같은 사람의 설문과 면담이라면 연결 절차와 동의 범위를 밝힌다. 설문 응답자 일부를 면담 대상으로 선정했다면 기준과 후속 연락 절차를 제시한다. 점수 구간을 사용했다면 경계와 그 이유를 설명한다. 두 참여자 집단이 다르면 같은 사람의 응답과 경험처럼 해석하지 않는다. 집단 단위로 비교할 때에는 시기와 대상 범위, 이용 조건의 차이를 밝힌다. 개인 자료와 기관 자료를 연결했다면 각각 어느 수준의 설명에 활용했는지 구분한다. 자료 연결에 사용한 정보와 보호 절차도 필요한 범위에서 제시한다.

[표 6-9]혼합 연구의 순서·역할·참여자 연결 서술

(2) 양적·질적 자료의 연결과 결과 비교

통합 절차에서는 무엇을 연결하여 어떤 이해를 얻었는지 설명한다. 두 자료를 각각 수집·분석했다는 설명만으로는 충분하지 않다. 조사 결과로 면담 사례를 골랐다면 선정 기준을 밝힌다. 경험을 문항으로 바꾸었다면 반영 과정을 제시한다. 결과를 주제별로 비교했다면 공통 항목과 해석 절차를 설명한다. 한 연구에서 여러 방식으로 자료를 연결할 수 있다. 예약 부담에 관한 응답을 후속 참여자 선정과 면담 질문, 최종 해석에 함께 활용할 수도 있다. 단계별 통합이 어떤 역할을 했는지 구분하여 제시한다(Fetters et al., 2013).

비교 전에는 개념과 기간, 대상이 서로 맞는지 확인한다. 전반적인 만족도와 특정일의 불편은 다른 정보를 보여줄 수 있다. 서비스에 만족하면서도 예약은 어렵게 경험할 수 있기 때문이다. 두 자료가 다루는 기간이 다르면 비교 범위를 제한한다. 참여자가 다르면 개별 설문 응답의 이유를 면담으로 설명했다고 표현하지 않는다. 직접 비교하기 어려운 내용은 별도로 제시한다. 인용문을 활용한다면 어떤 수치를 설명하거나 보완하는지 밝힌다. 일부 경험을 전체 조사 결과의 유일한 원인으로 확대해서는 안 된다.

통합표는 구성 기준과 해석 절차를 방법에서 설명한다. 이용 단계별 수치와 경험을 나란히 배치할 수 있다. 공통된 내용과 서로 보완하는 내용, 차이가 남는 부분을 정리한다. 두 결과를 함께 놓는 것과 연결하여 의미를 해석하는 것은 구분해야 한다. 방법에는 비교 항목과 검토 과정을 쓴다. 실제 결과와 통합하여 얻은 이해는 결과와 논의에 배치한다. 공동 검토를 했다면 담당 역할과 의견 차이의 조정 방법을 설명한다. 추가 분석과 확인을 했다면 이유와 반영 내용도 밝힌다.

결과가 다르면 개념과 질문, 대상과 시점의 차이부터 검토한다. 설문 문항에 없던 경험이 면담에서 드러났을 수도 있다. 전체 경향과 다른 사례가 중요한 조건을 보여줄 수도 있다. 원하는 결과만 선택하지 않고 각 자료의 근거를 대조한다. 설명하기 어렵다면 해결되지 않은 차이로 남긴다. 두 결과가 일치하더라도 같은 질문의 한계나 비슷한 참여자 구성의 영향을 함께 받았는지 확인한다. 통합이 항상 하나의 일치된 결론을 만드는 과정은 아니다. 차이를 통해 새롭게 알게 된 내용과 남은 질문도 보고한다.

[표 6-10]혼합 연구의 자료 연결과 통합 절차

2) 문헌 기반 연구의 자료 선정과 분석 절차

(1) 문헌 검색과 선정 기준·분석 범위의 제시

문헌 기반 연구의 방법에서는 검토 목적과 유형을 먼저 밝힌다. 체계적 문헌고찰은 명확한 연구 질문에 따라 관련 연구를 검색·선정·평가하고 종합한다. 범위 문헌고찰은 관련 연구의 분포와 주요 개념, 다룬 영역과 연구가 부족한 부분을 파악하는 데 활용할 수 있다. 개념·이론 검토는 개념의 의미와 기본 가정, 이론이 제시한 설명과 그 관계에 초점을 둔다. 선택한 검토 유형이 연구 질문에 적합한 이유를 설명한다. 데이터베이스를 검색했다는 사실만으로 체계적 문헌고찰이라고 부르지는 않는다. 보고 지침을 활용할 때에도 해당 연구 유형에 맞는지 확인한다. 연구 유형의 명칭은 실제 수행한 절차와 일치해야 한다.

검색 방법에서는 활용한 자료 출처와 검색일, 검색 대상 문헌의 발표 기간을 구분한다. 데이터베이스와 검색 서비스, 기관 웹사이트의 명칭을 밝힌다. 인쇄자료를 직접 살펴보았다면 자료명과 검토 범위도 설명한다. 문헌 발표 기간을 제한했다면 시작과 종료 시점, 제한 이유를 제시한다. 언어와 자료 유형을 제한한 이유도 밝힌다. 검색 서비스별로 실제 입력한 검색어와 연산자, 검색 항목을 기록한다. 검색 규칙이 다르면 각 서비스에서 사용한 검색식을 따로 제시하고, 상세한 내용은 보충자료에 둘 수 있다. 참고문헌 확인과 후속 인용 검색, 관련 기관의 자료 확인도 별도 경로로 설명한다. 이러한 기록은 어떤 문헌을 어떤 과정으로 찾았는지 확인하는 근거가 된다(Rethlefsen et al., 2021).

문헌 선정 기준은 포함·제외 여부를 실제로 판단할 수 있도록 구체적으로 작성한다. 연구 대상과 핵심 개념, 상황과 자료 유형 등을 명확하게 제시한다. 병원 이용 지원을 검토했다면 일반 교통 지원까지 포함했는지, 병원 이동과 진료 동행에 한정했는지 설명할 수 있다. 제목·초록 검토 단계와 원문 검토 단계의 절차도 구분한다. 검토자가 여러 명이라면 담당 범위와 독립 검토 여부, 의견이 다를 때 조정한 방법을 밝힌다. 혼자 검토했다면 실제 수행 방식과 그에 따른 제약을 설명한다. 자동화 도구를 활용했다면 도구가 한 작업과 연구자가 직접 확인한 범위를 구분한다. 선정 기준을 변경했다면 이유와 앞서 검토한 문헌을 다시 확인한 범위를 제시한다.

문헌 수를 집계할 때에는 검색 결과의 기록, 논문·보고서 등의 개별 문헌, 개별 연구를 구분한다. 같은 논문이 여러 검색 경로에서 중복으로 발견될 수 있다. 하나의 연구 결과가 논문과 보고서로 각각 발표될 수도 있다. 이 경우 문헌 간 관계를 확인하여 같은 연구를 독립된 연구처럼 중복 계산하지 않는다. 반대로 한 문헌에 여러 연구가 포함되었다면 무엇을 하나의 분석 단위로 삼았는지 밝힌다. 원문을 확보하지 못한 경우와 원문 검토 후 기준에 따라 제외한 경우도 구분한다. 단계별 건수와 제외 사유가 서로 맞으며 중복 집계가 없는지 확인한다. 선정 과정은 최종 근거가 어떻게 형성되었는지 보여주어야 한다(Page et al., 2021).

[표 6-11]문헌 검색·선정 절차와 분석 범위의 점검

(2) 문헌 정보의 정리·평가와 비교·종합

정보 추출은 연구 질문에 필요한 내용을 일정한 항목에 따라 정리하는 과정이다. 실증연구에서는 대상과 설계, 측정과 결과 등을 기록할 수 있다. 개념 연구에서는 정의와 구성 요소, 적용 범위와 비슷한 개념을 정리할 수 있다. 정책 문서에서는 대상과 지원 내용, 조건과 책임 주체를 살펴볼 수 있다. 일부 문헌에 정리표를 시험 적용했다면 발견한 문제와 수정 내용을 설명한다. 항목을 바꾸었다면 앞서 검토한 문헌에도 같은 기준을 적용했는지 밝힌다. 원문에 직접 제시된 정보와 연구자가 해석한 내용은 구분한다. 원문 위치와 당시 상황을 남겨 비교와 인용을 다시 확인할 수 있게 한다.

문헌 평가는 연구 질문과 자료의 성격에 맞추어 수행한다. 효과를 종합하는 연구에서는 결과가 치우칠 가능성과 설계의 적절성을 검토할 수 있다. 질적 연구를 종합할 때에는 질문과 수집, 분석과 해석의 연결을 살펴볼 수 있다. 개념 논문에서는 설명의 논리와 근거, 적용 범위를 검토할 수 있다. 평가도구를 사용했다면 출처와 적용 대상, 판단 기준을 제시한다. 서로 다른 자료에 같은 기준을 무리하게 적용하지 않는다. 임의의 총점만으로 여러 제약을 단순화해서도 안 된다. 평가 결과가 문헌 선정과 해석, 추가 분석에 어떻게 반영되었는지 설명한다.

비교·종합에서는 개별 문헌의 내용이 전체 설명으로 이어진 과정을 보여준다. 주제별로 묶었다면 기준과 분류 근거를 제시한다. 개념을 비교했다면 같은 의미와 다른 의미를 구분한 이유를 밝힌다. 내용분석에서는 문장과 정의, 결과 등 무엇을 분석 단위로 삼았는지 설명한다. 기존 기준에 맞지 않는 자료를 어떻게 처리했는지도 보고한다. 자료를 읽으며 범주를 구성했다면 원문과 코드, 범주의 연결을 제시한다. 공동 작업에서는 정보 추출과 분류, 해석의 담당 역할을 구분한다. 실제 기준을 만들고 적용·수정한 과정이 드러나야 한다(Elo & Kyngäs, 2008).

양적 결과를 종합할 때에는 대상과 측정, 비교 조건과 시점이 얼마나 비슷한지 확인한다. 메타분석에서는 사용한 효과크기와 변환 방법, 결과를 합친 통계모형을 설명한다. 연구 결과가 서로 다른 정도인 이질성을 어떻게 평가했는지도 제시한다. 같은 연구에서 여러 효과크기를 얻었다면 그 값들이 서로 관련되어 있다는 점을 어떻게 처리했는지 밝힌다. 메타분석을 하지 않았다면 실제 적용한 종합 절차를 설명한다. ‘서술적으로 종합하였다’는 표현만으로 끝내지 않는다. 결과의 방향과 크기, 불확실성과 설계 조건을 어떤 방식으로 비교했는지 제시한다. 통계적으로 유의한 결과의 수만으로 효과의 존재를 판단해서는 안 된다.

결과 차이를 설명할 때에는 직접 확인한 조건과 연구자의 추론을 나누어 제시한다. 예약 절차와 운행 조건, 건강 상태가 문헌에 어떻게 나타났는지 밝힌다. 보고되지 않은 조건은 확인하지 못한 정보로 남긴다. 어떤 조건이 언급되지 않았다는 이유로 실제로 없었다고 해석하지 않는다. 실재론적 종합에서는 초기 설명을 자료 근거와 대조하고 수정한 과정을 제시한다. 지원 활동과 그것이 결과로 이어지는 작동 기제, 실제 결과를 구분한다. 설명에 맞지 않는 사례도 검토한다(Wong et al., 2013). 어떤 방식으로 종합하든 결론은 포함한 자료와 평가 결과, 비교 절차가 뒷받침해야 한다.

[표 6-12]문헌 정보의 정리·평가·종합 절차와 관리 자료