처음 쓰는 학술지 논문 작성법 | 제3장 선행연구의 검색과 비판적 검토 | 2. 선행연구의 내용과 방법에 대한 비판적 검토

2. 선행연구의 내용과 방법에 대한 비판적 검토

비판적 검토는 연구 질문과 자료, 분석과 해석이 적절하게 연결되는지 살펴보는 읽기이다. 같은 주제를 다루어도 목적과 개념의 정의가 다르면 결과의 의미가 달라진다. 비슷한 결과라도 연구 대상과 조사 시기, 분석 조건은 다를 수 있다. 이러한 차이를 확인해야 자신의 주장에 적합한 근거를 선택할 수 있다. 검토할 때에는 연구가 충실하게 설명한 내용과 판단하기 어려운 부분을 함께 정리한다. 장점과 한계는 해당 연구의 목적과 방법을 기준으로 평가한다. 필요한 설명이 원고에 없는 경우와 실제 절차가 부적절하게 수행된 경우도 구분해야 한다. 비판적 검토는 기존 연구의 성과를 어떤 범위에서 활용할 수 있는지 판단하는 과정이다.

1) 연구 목적·개념과 방법의 검토

(1) 연구 질문과 핵심 개념의 파악

논문을 읽을 때에는 무엇을 밝히거나 이해하려 했는지 먼저 확인한다. 제목은 주제를 보여주지만 실제 분석 범위를 모두 나타내지는 못한다. 넓은 사회문제를 소개한 뒤 특정 관계에 초점을 맞춘 연구도 있다. 목적과 질문, 가설이 제시된 부분을 찾아 실제로 다룬 내용을 정리한다. 질문이 분명하게 적혀 있지 않다면 서론의 설명과 실제 분석을 연결하여 파악한다. 다만 자신이 추론한 질문은 저자가 직접 제시한 질문과 구분하여 기록한다. 자신이 궁금한 문제와 해당 논문에서 다룬 문제를 혼동해서는 안 된다. 실제 연구 질문을 파악해야 방법과 결과를 평가할 기준을 정할 수 있다.

연구 목적에서는 어떤 성격의 답을 얻으려 했는지 살핀다. 병원 이용 횟수를 파악하는 연구와 이용의 어려움을 이해하는 연구는 필요한 자료가 다르다. 전자는 이용 수준과 분포를 보여주는 자료가 중요하다. 후자는 구체적인 상황과 경험을 설명할 자료가 필요하다. 프로그램 참여 전후의 변화를 관찰하는 연구와 그 프로그램이 변화의 원인인지 평가하는 연구도 구분한다. 목적의 표현과 실제 설계로 판단할 수 있는 내용을 대조해야 한다. 현황을 파악한 연구를 원인을 밝혔는지만으로 평가하는 것은 적절하지 않다. 그 연구가 답하려 한 질문에 필요한 근거를 마련했는지 중심으로 읽는다.

핵심 개념은 논문에서 정의한 의미와 실제 자료에서 다룬 내용을 함께 확인한다. ‘사회적 지지’에는 정서적 격려와 정보 제공, 일상생활의 도움이 포함될 수 있다. ‘참여’도 신청과 출석, 활동에 몰입하는 정도로 다르게 다루어진다. 익숙한 단어라도 어떤 내용을 포함하고 제외했는지 살핀다. 양적 연구에서는 개념적 정의와 조작적 정의를 구분한다. 개념적 정의는 개념의 의미를 설명하고, 조작적 정의는 그 개념을 실제로 어떤 문항이나 지표로 측정했는지 나타낸다. 넓게 정의한 개념의 일부만 측정했다면 결과도 측정한 범위 안에서 해석해야 한다. 개념의 이름이 같다는 이유만으로 다른 연구의 결과를 같은 의미로 비교해서는 안 된다.

양적 연구에서는 측정도구의 명칭과 함께 실제 문항과 응답 방식, 점수 계산 방법을 확인한다. 문항을 줄이거나 번역·수정했다면 변경 내용과 근거를 검토한다. 전체 점수와 하위 영역의 점수 중 무엇을 분석했는지도 살핀다. 이러한 정보는 결과의 의미와 연구 간 비교 가능성을 판단하는 근거가 된다(Appelbaum et al., 2018). 질적 연구에서는 개념이 자료 수집과 해석에서 어떤 역할을 했는지 확인한다. 기존 이론을 출발점으로 삼았는지, 자료를 살펴보며 범주를 구성했는지 검토한다. 기존 개념과 자료에서 새롭게 발견한 내용을 함께 활용한 경우도 있다. 참여자의 표현과 연구자가 붙인 개념이 어떻게 연결되는지 살펴야 한다.

[표 3-5]연구 질문과 핵심 개념의 검토 기준

(2) 자료와 분석 절차의 적절성 검토

자료와 분석은 연구 질문에 필요한 정보를 제공하는지 중심으로 검토한다. 먼저 질문에 답하려면 무엇을 알아야 하는지 정리한다. 실제 자료에 그 정보가 포함되어 있는지 확인한다. 자료의 출처와 선정 기준, 수집 시기와 상황도 함께 살핀다. 분석 단위가 개인과 가구, 기관과 지역 중 무엇인지 파악한다. 분석 단위는 자료를 묶어 비교하거나 설명하는 기준이 되는 대상이다. 기관별 이용 건수만으로 개별 이용자의 만족도를 설명할 수는 없다. 분석 방법의 이름이나 복잡성에 앞서 질문과 자료, 분석이 적절하게 연결되는지 확인해야 한다.

양적 연구에서는 연구에서 설명하려는 모집단과 실제 표본의 관계를 확인한다. 모집단은 연구에서 설명하려는 전체 대상이고, 표본은 그 가운데 실제로 조사한 대상이다. 어떤 경로로 모집하고 누구를 최종 분석에 포함했는지 살핀다. 복지관 이용자를 대상으로 한 조사에는 비이용자의 경험이 포함되지 않을 수 있다. 온라인 조사에서는 온라인에 접근하고 응답할 수 있는 사람의 특성이 반영될 수 있다. 응답자 수가 많아도 모집 과정에서 생긴 편중이 저절로 해소되지는 않는다. 표본 규모를 정한 근거가 연구 질문과 분석 목적에 맞는지도 검토한다. 자료의 규모와 함께 누구의 정보가 포함되고 빠졌는지 확인해야 한다.

측정과 자료 처리에서는 결과에 영향을 줄 수 있는 결정을 살핀다. 측정도구가 대상자의 연령과 언어, 조사 상황에 적합한지 확인한다. 번역하거나 수정했다면 그 과정과 근거를 읽는다. 결측치와 극단값, 분석에서 제외한 사례를 어떻게 처리했는지도 검토한다. 결측치는 응답하지 않았거나 기록되지 않아 필요한 값이 빠진 상태를 뜻한다. 일부 문항에 응답하지 않은 사람을 모두 제외하면 최종 분석 대상의 구성도 바뀔 수 있다. 설명이 부족하다면 무엇을 판단하기 어려운지 구체적으로 기록한다. 원고에 설명이 없다는 이유만으로 해당 절차를 수행하지 않았다고 단정해서는 안 된다.

질적 연구에서는 참여자와 자료가 탐구하려는 경험을 충분히 보여주는지 살핀다. 참여자를 선정한 이유와 모집 경로, 관련 경험의 범위를 확인한다. 면담과 관찰이 이루어진 상황, 연구자와 참여자의 관계도 자료의 의미에 영향을 줄 수 있다. 분석에서는 자료를 읽고 의미를 구분하여 범주와 설명을 구성한 과정을 검토한다. 분석법의 명칭과 실제 수행 내용을 함께 확인한다. 질적 내용분석도 자료의 준비와 분류·정리, 결과 제시가 어떻게 연결되는지 살펴야 한다(Elo & Kyngäs, 2008). 혼합 연구에서는 두 접근을 연결한 목적과 대상 선정·자료 수집·분석 과정이 서로 맞는지 확인한다. 문헌 기반 연구에서는 질문에 맞게 문헌을 선정하고 비교·종합했는지 평가한다.

연구 접근에 따라 필요한 평가 기준은 다르다. 질적 연구를 양적 연구의 표본 대표성만으로 판단하거나 이론 연구에 실험의 요건을 요구해서는 안 된다. 그렇더라도 선택한 접근에 필요한 근거와 절차는 확인해야 한다. 연구 방법의 목적과 기본 원칙에 맞게 실제 절차가 수행되었는지 살핀다. 검토 기록에는 원문에서 확인한 내용과 추가 설명이 필요한 부분을 나누어 적는다. 결과에 영향을 줄 수 있는 제약은 무엇이며 어떤 영향을 줄 수 있는지도 기록한다. 결론의 타당성에 영향을 주는 문제와 설명을 보완하면 되는 문제를 구분한다. 판단에 필요한 정보가 부족하다면 그 상태를 그대로 남긴다.

[표 3-6]자료와 분석 절차의 적절성 검토 기준

2) 연구 결과와 해석의 검토

(1) 주요 결과와 자료 근거의 확인

결과를 읽을 때에는 질문별로 무엇이 확인되었는지 정리한다. 초록과 결론에서 강조한 내용을 본문의 결과와 표·그림에서 대조한다. 각 주장이 어떤 자료와 분석에 근거하는지 확인한다. 질문이 여러 개라면 각 질문에 해당하는 결과가 제시되었는지 살핀다. 중요한 예외나 예상과 다른 결과를 어떻게 다루었는지도 확인한다. 같은 분석 결과를 본문과 표에서 반복하여 제시한 것은 서로 독립된 근거가 아니다. 기록할 때에는 자료에서 확인한 결과와 저자의 설명을 구분한다. 이렇게 정리하면 자신의 원고에 활용할 근거를 정확하게 선택하기 쉽다.

양적 결과에서는 방향과 크기, 추정의 불확실성을 함께 읽는다. 통계적으로 유의하더라도 실제 차이는 작을 수 있다. 유의하지 않은 결과도 차이가 없어서가 아니라 추정이 불확실하여 판단하기 어려운 상태일 수 있다. 집단별 값과 추정값, 신뢰구간을 확인하면 결과의 의미를 구체적으로 이해할 수 있다. 평균 차이를 읽을 때에는 같은 집단 안에서 값이 얼마나 다른지와 측정도구의 점수 범위도 고려한다. 효과크기를 비교한다면 지표와 계산 조건이 같은지 살핀다. 수치가 갖는 의미는 연구 대상과 상황, 활용 목적을 함께 고려하여 판단해야 한다. 효과크기를 적절하게 선택하고 보고하는 일은 개별 결과와 연구 간 차이를 이해하는 데 중요하다(Lakens, 2013).

여러 분석이 있다면 분석 조건에 따라 결과가 어떻게 달라지는지 확인한다. 병원 이용과 거주 형태의 관계가 건강 상태를 함께 고려한 뒤 달라질 수 있다. 단순히 두 집단을 비교한 결과와 다른 변수를 함께 고려한 결과를 구분하여 읽어야 한다. 전체 대상과 하위 집단의 결과가 다르다면 비교 대상과 표본 규모도 확인한다. 일부 수치만 선택하여 인용하면 원래 연구의 의미가 달라질 수 있다. 사전에 계획한 분석과 추가 탐색을 구분하여 제시했는지도 살핀다. 추가 분석의 목적과 수행 경위를 확인하고 그 성격에 맞게 결과를 이해한다. 수치는 어떤 대상과 분석 조건에서 얻었는지 함께 기록한다.

질적 결과에서는 주제와 해석을 뒷받침하는 자료를 확인한다. 도움 요청의 어려움을 제시했다면 참여자의 발언과 당시 상황을 함께 읽는다. 요청할 사람이 없었던 경우와 상대방의 부담을 걱정하여 요청하지 않은 경우는 구분할 필요가 있다. 연구자가 이러한 차이를 어떻게 비교하고 설명했는지 살핀다. 인용문은 해석의 근거이므로 본문의 주장과 구체적으로 연결되어야 한다. 하나의 인용문이 인상적이라는 이유로 모든 참여자의 경험을 대표한다고 보아서는 안 된다. 공통된 경험과 다른 경험, 제시한 해석에 맞지 않는 사례를 어떻게 다루었는지 확인한다. 경험을 언급한 사람의 수가 제시되어 있더라도 그 수만으로 경험의 중요성을 판단하지 않는다.

문헌 기반 연구에서는 포함한 문헌과 종합 결론이 어떻게 연결되는지 살핀다. 어떤 결과를 함께 묶고 어떤 차이를 구분했는지 확인한다. 설계와 대상이 다른 문헌을 종합했다면 그 차이를 어떻게 고려했는지 읽는다. 특정 설명에 맞지 않는 결과도 검토했는지 살핀다. 혼합 연구에서는 양적 결과와 질적 결과가 일치하는지뿐 아니라 무엇이 다른지도 확인한다. 차이가 있다면 연구자가 그 이유를 어떤 근거로 검토했는지 읽는다. 자료의 종류가 많다는 사실만으로 설명이 충분해지는 것은 아니다. 각 자료를 연결한 이유와 함께 해석한 결과가 제시되어야 한다.

[표 3-7]연구 결과의 서술과 자료 근거의 대조

(2) 해석의 근거와 적용 범위·한계의 검토

해석을 읽을 때에는 결과의 의미와 발생 이유를 어떤 근거로 설명했는지 살핀다. 병원 이용이 적었다는 결과에는 건강 상태와 진료의 필요성, 이동 여건 등 여러 설명이 가능하다. 연구자가 제시한 설명을 현재 자료가 직접 뒷받침하는지 확인한다. 선행연구를 바탕으로 제안한 가능성이라면 직접 확인한 결과와 구분되어야 한다. 다른 설명을 검토했는지, 판단하기 어려운 부분을 밝혔는지도 읽는다. 모든 가능성을 해결하지 못했더라도 근거에 맞는 해석은 제시할 수 있다. 다만 가능한 설명을 확인된 사실처럼 표현하면 자료의 범위를 넘게 된다. 자신의 원고에서는 결과만 인용할지, 저자의 해석도 소개할지 구분하여 결정한다.

인과적 해석에서는 연구 설계가 어떤 근거를 제공하는지 확인해야 한다. 또래 지지와 학교 적응이 함께 높더라도 어느 쪽이 먼저 달라졌는지는 별도의 문제이다. 학교에 잘 적응한 학생이 또래의 지지를 더 많이 경험했을 수 있다. 다른 생활 조건이 두 변수에 함께 관련되었을 가능성도 있다. 시간적 순서와 비교 조건, 다른 설명을 검토할 근거를 살핀다. 통계모형에 방향을 표시하거나 관련 변수를 함께 분석했다는 사실만으로 인과관계가 확인되는 것은 아니다. 저자가 강한 표현을 사용했더라도 자신의 인용은 설계가 뒷받침하는 범위에 맞춘다. 확인된 관련성과 원인에 관한 해석을 구분하는 것이 중요하다.

적용 범위에서는 어떤 대상과 상황까지 설명할 수 있는지 검토한다. 특정 기관 이용자의 결과를 비이용자에게 적용하려면 두 집단의 차이를 살펴야 한다. 양적 연구에서는 모집 방식과 표본 구성, 측정 방식과 조사 환경 등이 판단 근거가 된다. 질적 연구에서는 참여자의 특성과 경험이 나타난 상황이 충분히 설명되었는지 확인한다. 이러한 정보가 있어야 다른 상황을 이해하는 데 참고할 수 있는지 판단하기 쉽다. 농촌의 병원 이동 경험은 교통 환경이 다른 지역과 구분하여 이해해야 하지만, 도움 요청의 부담과 같은 후속 연구 문제를 제시할 수 있다. 전체 집단의 비율을 추정하는 일과 다른 상황을 이해할 관점을 얻는 일은 구분해야 한다. 연구 접근의 목적과 특성에 맞추어 활용 가능성을 판단한다(임도빈, 2009).

한계는 결과와 해석에 미치는 구체적인 영향을 중심으로 읽는다. 한 지역의 연구라면 어떤 지역 조건 때문에 다른 곳에 적용하기 어려운지 확인한다. 특정 사건이 발생한 시기에 조사했다면 당시 환경이 결과와 어떤 관련이 있을지 살핀다. 저자가 제시한 한계와 자신이 검토하며 발견한 제약은 구분하여 기록한다. 필요한 정보가 없다면 적절성을 판단하기 어렵다는 상태로 남긴다. 설명이 부족한 경우와 실제 수행에 오류가 있는 경우를 혼동하지 않는다. 연구 보고 기준은 이러한 판단에 필요한 정보를 제시하도록 돕는다(O’Brien et al., 2014). 한계를 고려했을 때 어떤 주장을 활용할 수 있는지 판단하는 것이 중요하다.

문헌마다 활용할 내용과 활용하기 어려운 내용을 함께 정리한다. 소수 참여자의 면담은 구체적인 어려움을 이해하는 데 중요한 자료가 될 수 있다. 그러나 전체 집단에서 같은 경험을 한 사람의 비율을 추정하는 근거로 사용하기는 어렵다. 기관의 이용 통계는 규모를 보여주지만 만족도나 경험의 의미를 알려면 다른 자료가 필요하다. 한계가 있다는 이유로 문헌의 모든 성과를 제외해서는 안 된다. 장점이 있다는 이유로 모든 주장을 그대로 받아들여서도 안 된다. 활용할 주장과 근거 위치, 관련 제약을 연결하여 기록한다. 추가 확인이 필요한 내용도 함께 표시하여 집필할 때 다시 검토한다.

[표 3-8]연구 해석의 근거와 적용 범위·한계 검토