처음 쓰는 학술지 논문 작성법 | 제4장 연구 설계와 연구윤리 | 1. 연구 질문에 따른 연구 접근의 선택

1. 연구 질문에 따른 연구 접근의 선택

연구 설계는 연구 질문에 답하는 데 필요한 자료와 수집·분석 절차를 정하는 계획이다. 같은 주제라도 무엇을 알아보려는지에 따라 적합한 방법은 달라진다. 독거노인의 병원 이용 횟수를 비교하려면 같은 기준으로 측정한 수치가 필요하다. 이용 과정의 어려움을 이해하려면 구체적인 경험과 상황을 살펴볼 자료가 필요하다. 연구자는 어떤 답을 얻으려는지 확인하고 그에 필요한 근거를 검토한다. 익숙한 프로그램과 분석기법도 고려할 사항이지만, 그것만으로 연구 방법을 결정해서는 안 된다. 자료를 확보할 수 있는지와 시간, 자신의 준비 정도를 함께 살피면서 질문에 적합한 방법을 선택한다. 연구 설계가 적절한지는 질문과 자료, 분석과 해석이 일관되게 연결되는지에 따라 판단한다.

1) 양적 연구와 질적 연구의 설계

(1) 차이·관계·변화의 분석과 인과적 판단의 조건

양적 연구에서는 무엇을 분석 단위로 삼고 어떤 대상과 시점을 비교할지 정한다. 독거노인과 가족 동거 노인의 병원 이용 횟수를 비교한다면 두 집단을 구분할 기준이 필요하다. 또래 지지와 학교 적응의 관계를 살펴본다면 같은 참여자에게서 두 개념을 측정해야 한다. 한 학기 동안의 변화를 탐구한다면 시점별 자료를 어떻게 확보하고 연결할지 계획한다. 집단 간 비교와 같은 사람의 변화는 필요한 자료가 다르다. 시점마다 다른 사람을 조사하면 조사 대상 집단의 변화를 살펴볼 수 있지만, 개인의 변화를 직접 확인하기는 어렵다. 비교하려는 내용과 실제로 수집할 자료가 서로 맞는지 확인해야 한다. 그래야 분석 결과를 연구 질문에 대한 답으로 설명할 수 있다.

집단 간 차이를 해석하려면 각 집단에 어떤 사람이 포함되었는지 검토해야 한다. 운동 프로그램 참여자는 비참여자보다 처음부터 건강에 관심이 많을 수 있다. 이동에 어려움이 적거나 다른 운동도 함께 하는 사람일 수 있다. 참여자의 건강 상태가 더 좋더라도 그 차이를 프로그램의 효과로만 설명하기는 어렵다. 연령과 참여 전 건강 상태, 생활 여건 등이 결과에 함께 관련될 수 있기 때문이다. 또래 지지와 학교 적응에서도 관계의 방향은 별도로 검토해야 한다. 지지를 받아 적응이 나아졌을 수 있지만, 학교에 잘 적응한 학생이 지지를 더 많이 경험했을 수도 있다. 관찰한 차이와 관련성은 결과로 제시하고, 그 원인은 추가 근거에 따라 판단한다.

인과적 효과를 판단하려면 프로그램이나 지원을 받은 경우와 받지 않은 경우를 어떻게 비교할지 설계해야 한다. 같은 사람이 같은 시점에 두 조건을 모두 경험할 수는 없으므로 적절한 비교 대상이 필요하다. 무작위 배정은 참여자를 우연에 따라 프로그램 참여 집단과 비교집단 등에 나누는 방식이다. 이는 참여 전 특성이 어느 한 집단에 체계적으로 치우칠 가능성을 줄이는 데 도움이 된다. 다만 무작위 배정은 모집단에서 조사 대상을 뽑는 무작위 표집과는 다르다. 배정 이후 연구에서 빠진 사람과 실제 참여 정도, 측정 방식의 차이도 검토해야 한다. 무작위 배정이 어려운 연구에서는 비교집단과 참여 전 상태, 여러 시점의 자료 등을 활용하되 판단에 필요한 가정을 밝혀야 한다. 분석에 여러 변수를 포함하더라도 다른 가능한 설명이 모두 제거되는 것은 아니다.

변화를 살펴볼 때에는 측정과 조사 조건을 서로 비교할 수 있는지 확인한다. 학기 초와 말의 평균이 다르다면 같은 학생의 자료인지 먼저 살핀다. 참여자가 달라졌다면 평균 차이에 대상 구성의 변화가 반영되었을 수 있다. 같은 사람을 조사했더라도 문항의 의미나 조사 조건이 달라지면 비교가 어려워질 수 있다. 프로그램 전후의 변화에는 자연적인 발달과 다른 활동, 생활환경의 변화도 관련될 수 있다. 따라서 비교집단이 없는 전후 차이를 곧바로 프로그램의 효과로 해석해서는 안 된다. 조사 시점과 측정 방법, 연구에서 빠진 사람을 처리할 방법을 미리 계획한다. 계획이 달라졌다면 변경 내용과 이유를 기록한다.

[표 4-1]양적 연구 질문과 자료·설계의 연결

주:원인과 결과를 적절하게 판단했는지와 그 결과를 다른 집단에 적용할 수 있는지는 구분하여 검토한다.

(2) 경험·의미·과정의 탐구와 질적 접근의 선택

질적 연구에서는 어떤 경험을 누구의 관점에서 이해할지 정한다. 독거노인의 도움 요청을 탐구한다면 부탁할 사람이 있는지만 확인해서는 충분하지 않을 수 있다. 도움을 받을 사람이 있어도 상대방의 부담을 걱정하여 연락하지 못하는 경험이 있을 수 있다. 관계의 특성과 당시 상황, 참여자가 그 경험을 어떻게 이해하는지 함께 살펴야 한다. 면담은 참여자가 설명하는 경험을 파악하는 데 활용한다. 관찰은 행동과 상호작용이 이루어지는 장면을 직접 살펴보는 데 활용한다. 문서와 기록은 공식 절차나 사건이 발생한 시점 등을 확인하는 근거가 될 수 있다. 설계할 때에는 각 자료의 역할과 비교·해석 방법을 정한다.

질적 접근은 현상의 특성과 연구 목적에 맞추어 선택한다. 경험이 당사자에게 갖는 의미를 깊이 탐구한다면 현상학적 접근을 검토할 수 있다. 행동과 상호작용이 이루어지는 과정을 이론적으로 설명하려면 근거이론 접근을 고려할 수 있다. 특정 기관이나 사업처럼 범위가 정해진 사례를 주변 조건과 함께 살펴보려면 사례연구를 검토한다. 집단의 일상과 문화에 관심이 있다면 문화기술지적 접근을 살펴볼 수 있다. 각 접근 안에도 서로 다른 관점과 수행 방식이 있다. 면담을 하고 자료에 코드를 붙였다는 사실만으로 특정 접근의 명칭을 사용할 수는 없다. 질문과 자료 수집, 분석과 설명이 선택한 접근의 원칙에 맞는지 확인해야 한다.

주제분석은 자료에서 반복되거나 서로 연결되는 의미를 찾아 주제로 구성하고 해석하는 방법이다. 독거노인의 병원 이용에서 부탁의 부담이나 이동의 불안 등을 살펴보는 데 활용할 수 있다. 다만 비슷한 표현을 묶는 것만으로 분석이 완성되지는 않는다. 발언이 나온 상황과 사례 사이의 관계를 살펴 주제의 의미를 설명해야 한다. 자주 나타난 내용과 연구 질문에 중요한 내용도 구분한다. 드물게 나타난 사례가 기존 해석에서 놓친 조건을 보여줄 수 있기 때문이다. 코드와 주제는 연구자의 관점과 선택한 분석 방식에 맞추어 구성한다. 주제분석을 사용할 때에는 어떤 관점에서 자료를 읽고 해석했는지 밝혀야 한다(Braun & Clarke, 2006).

질적 연구에서는 연구자의 위치와 참여자와의 관계도 검토한다. 복지관 담당자는 기관의 운영 상황을 잘 알지만, 이용자가 불편한 경험을 말하기 어렵게 만들 수도 있다. 연구자는 자신의 역할과 예상이 참여자 모집과 질문, 해석에 어떤 영향을 줄지 돌아보아야 한다. 필요하다면 모집 담당자와 면담자를 구분하는 방법을 검토한다. 분석에서는 예상과 다른 자료를 어떻게 살펴볼지도 계획한다. 해석을 점검하는 절차도 선택한 연구 접근에 맞아야 한다. 모든 질적 연구에 같은 검토 절차를 일률적으로 적용하는 것은 적절하지 않다. 연구자의 역할과 조사 상황, 자료 수집과 분석의 연결을 독자가 이해할 수 있도록 설명해야 한다(Levitt et al., 2018).

[표 4-2]질적 탐구의 초점과 접근·분석 방법의 선택 기준

주:연구 접근과 분석 방법은 같은 수준의 구분이 아니다. 주제분석은 연구 관점과 목적에 맞추어 활용하는 분석 방법이다.

2) 혼합 연구와 문헌·문서 기반 연구의 설계

(1) 양적·질적 자료의 연결과 통합 설계

혼합 연구의 설계는 양적 접근과 질적 접근을 함께 사용해야 할 이유를 구체화하는 데서 시작한다. 만족도 조사로 점수의 차이를 확인했지만 그 이유를 알기 어려울 수 있다. 이 경우 면담에서 예약과 대기, 이동과 진료의 경험을 살펴볼 수 있다. 반대로 면담에서 발견한 경험을 설문 문항으로 발전시킬 수도 있다. 각 자료가 무엇을 보여주고, 두 자료를 함께 검토하면 무엇을 더 알 수 있는지 정한다. 서로 관련 없는 결과를 나란히 제시하는 것만으로는 통합의 의미가 드러나지 않는다. 두 접근의 결합이 핵심 질문에 필요한지도 판단한다. 한 접근으로 충분히 답할 수 있다면 추가 방법에 필요한 시간과 부담을 고려하여 설계를 정한다.

자료 수집 순서와 각 접근의 비중은 통합 목적에 맞추어 정한다. 설문조사 이후 면담을 진행한다면 점수의 차이와 예외를 자세히 살펴볼 사례를 선정할 수 있다. 면담 이후 설문조사를 진행한다면 경험을 측정할 문항과 응답 방식을 개발할 수 있다. 비슷한 시기에 수집한다면 공통 개념과 비교 기준을 마련한다. 대상과 시기가 다르면 결과를 연결할 수 있는 근거가 있는지 확인해야 한다. 어느 한 접근을 중심으로 두고 다른 접근으로 일부 질문을 보완할 수도 있다. 비중이 작더라도 보완 자료의 수집·분석 절차는 설명해야 한다. 자료 수집 순서와 비중을 정한 이유는 각 접근의 역할과 얻으려는 이해를 중심으로 제시한다(Creswell et al., 2011).

통합 계획에는 어느 단계에서 어떤 방법으로 자료를 연결할지 포함한다. 설문 결과를 바탕으로 면담 참여자를 정하면 참여자 선정 단계에서 연결이 이루어진다. 면담 내용을 문항 개발에 활용하면 자료 수집 도구를 만드는 단계에서 연결된다. 분석 이후에는 같은 주제에 관한 수치와 경험을 비교하여 해석할 수 있다. 통합표에는 두 결과가 일치하는 부분과 서로 보완하는 부분, 차이가 남는 부분을 함께 정리한다. 두 결과가 다르다고 한쪽을 곧바로 오류로 보아서는 안 된다. 측정 방식과 대상, 수집 시점과 상황의 차이를 검토해야 한다. 통합은 설계부터 해석까지 여러 단계에서 이루어질 수 있으므로 실제 연결 방법을 구체적으로 계획한다(Fetters et al., 2013).

수행 계획에서는 두 종류의 분석과 통합에 필요한 시간과 비용을 각각 계산한다. 모집과 자료 수집뿐 아니라 전사와 정리, 분석과 결과 연결에도 시간이 든다. 연구팀의 준비 정도와 필요한 자문도 확인한다. 첫 논문에서는 질문을 좁히고 자료별 역할을 분명히 정하는 것이 도움이 된다. 연결 방법이 불분명한 상태에서 설문과 면담을 모두 추가하면 연구의 초점이 흐려질 수 있다. 결합하여 얻을 정보와 수행 부담을 함께 비교한다. 혼합 연구는 두 접근을 통해 연구 질문에 더 충실한 답을 제공할 수 있는지에 따라 선택한다(심준섭, 2019).

[표 4-3]혼합 연구의 자료별 역할과 통합 계획

주:통합 질문과 자료의 역할은 연구 목적과 확보할 수 있는 정보에 맞추어 구체화한다.

(2) 문헌·문서의 선정과 분석·종합 계획

문헌·문서 기반 연구에서는 질문에 필요한 자료의 유형과 범위를 정한다. 학술연구의 결과를 종합하거나 개념과 이론을 비교할 수 있다. 정책과 기관 문서로 공식적인 지원 대상과 절차의 변화를 살펴볼 수도 있다. 논문과 사업보고서, 지침과 회의록은 작성 목적과 담고 있는 정보가 다르다. 운영 지침은 공식적인 지원 범위를 파악하는 근거가 된다. 그러나 실제 이용 경험이나 현장에서 실행된 정도까지 모두 알려주지는 않는다. 필요한 설명에 따라 평가자료와 현장 기록 등 다른 자료도 검토한다. 자료의 선정과 분석, 종합을 통해 질문에 어떤 답을 제공할지 계획해야 한다.

포함·제외 기준은 실제 문헌을 판단할 수 있을 만큼 구체적으로 정한다. 대상과 주제, 기간과 지역, 언어와 자료 유형 등을 검토한다. 이동 지원 연구에서 일반 교통정책을 어느 범위까지 포함할지도 정할 수 있다. 지침과 평가보고서를 함께 활용한다면 자료별 역할을 구분한다. 시기를 제한한다면 제도의 도입과 개정 등 연구 목적과 관련된 이유를 제시한다. 결과가 예상과 같은지에 따라 선정 기준을 달리 적용해서는 안 된다. 체계적 문헌고찰에서는 검색과 선정 과정, 제외 사유를 해당 절차에 맞추어 보고한다. 연구의 명칭은 실제 수행한 방법과 일치해야 한다(Page et al., 2021).

분석 계획에서는 무엇을 한 단위로 읽고 비교할지 정한다. 사업 문서라면 대상과 신청 조건, 지원 범위와 담당 주체 등을 비교 항목으로 삼을 수 있다. 개념 연구라면 정의와 구성 요소, 비슷한 개념과의 관계를 살펴볼 수 있다. 문장과 문단, 조항 가운데 어떤 단위를 분류할지도 정한다. 기존 개념을 출발점으로 삼을지, 자료를 읽으면서 분류 기준을 발전시킬지 검토한다. 두 방식을 함께 활용한다면 각각의 역할을 설명한다. 분석 항목을 수정한 이유와 수정한 기준을 적용할 범위도 기록한다. 내용분석에서는 자료 준비와 분류·정리, 결과 제시가 연구 목적에 맞게 연결되어야 한다(Elo & Kyngäs, 2008).

문서에 기록된 내용과 현장에서 실제로 이루어진 활동은 구분하여 해석한다. 지침에 예약 지원이 없더라도 담당자가 비공식적으로 도움을 제공했을 수 있다. 홍보자료의 만족 사례가 사업 전체의 효과를 나타내는 것도 아니다. 자료의 작성 주체와 목적, 예상 독자와 작성 시점을 확인해야 한다. 개정 문서는 적용일과 변경 내용을 대조한다. 활용할 판본은 연구의 기준 시점과 질문에 맞추어 정한다. 원본과 개정본을 구분하고 확보한 날짜와 적용 범위를 기록한다. 문서로 확인한 사실과 현장 자료가 추가로 필요한 주장을 나누어야 한다.

종합 방식은 유형과 규모, 개념과 지원 과정 등 얻으려는 답에 맞추어 정한다. 지원사업의 구성을 정리한다면 대상과 지원 내용에 따라 유형을 나눌 수 있다. 결과가 달라지는 이유에 관심이 있다면 주변 조건과 지원이 작용하는 과정에 관한 근거가 필요하다. 실재론적 종합은 어떤 조건에서 누구에게 어떤 과정을 통해 결과가 나타나는지 설명하려는 접근이다. 이를 선택한다면 사업별 성과를 나열하는 데 그치지 않고 제안한 설명을 문헌의 근거와 대조해야 한다(Wong et al., 2013). 자료에 없는 실행 과정이나 효과를 추정만으로 확정해서는 안 된다. 비교와 종합의 절차가 연구 질문에 어떻게 답하는지 설명한다.

[표 4-4]문헌·문서 기반 연구의 설계와 점검 기준