1. 연구 결과의 해석과 선행연구와의 비교
논의는 연구 결과의 의미를 설명하고 기존 지식과의 관계를 밝히는 부분이다. 연구 질문에 대한 핵심 답을 제시한 뒤 그 결과를 어떻게 이해할 수 있는지 검토한다. 수치와 질적 주제는 해석에 필요한 범위에서 활용한다. 선행연구와 비교할 때에는 개념과 대상, 자료와 방법의 공통점과 차이를 함께 살핀다. 비슷한 결과라면 기존 설명의 어느 부분을 뒷받침하는지 밝힌다. 다른 결과라면 실제로 확인한 차이와 그 이유에 관한 해석을 구분한다. 예상하지 못한 발견과 불확실한 추정도 연구 질문에 중요한 정보로 다룬다. 논의에서는 확인한 내용과 제안하는 설명, 현재 근거로 판단하기 어려운 부분이 구별되어야 한다.
1) 핵심 결과의 의미와 해석 범위
(1) 연구 질문에 대한 답과 핵심 발견의 해석
논의는 연구 질문에 대한 핵심 답에서 시작한다. 모든 결과를 같은 분량으로 반복하기보다 연구 목적에 직접 관련된 발견을 먼저 제시한다. 양적 연구는 차이와 관계의 방향, 크기와 불확실성을 요약한다. 질적 연구는 경험과 과정에서 드러난 중심 의미를 정리한다. 혼합 연구는 두 자료를 연결하여 얻은 이해를 밝힌다. 문헌 기반 연구는 비교와 종합을 통해 확인한 쟁점과 설명을 제시한다. 독자가 핵심 답을 파악한 뒤 관련 근거와 비교 내용을 따라갈 수 있도록 구성한다. 주요 발견을 먼저 밝히면 이후 논의에서 무엇을 설명하려는지 분명해진다(Docherty & Smith, 1999).
해석에서는 결과를 통해 현상을 어떻게 더 이해하게 되었는지 설명한다. 거주 형태를 고려한 분석에서도 도움의 확보와 병원 이용이 관련되었다고 가정해 보자. 이 결과에서는 거주 형태와 실제 지원 조건을 구분하여 살펴볼 필요성을 논의할 수 있다. 다만 가족과 살아도 도움을 받기 어렵다는 구체적인 상황까지 조사한 것은 아닐 수 있다. 그러한 설명은 자료에서 직접 확인했는지에 따라 표현을 달리해야 한다. 면담에서 도와줄 사람이 있어도 부탁을 미룬 경험이 나타났다면 실제 요청 가능성의 차이를 논의할 수 있다. 각 해석이 어떤 수치와 사례에 근거하는지 연결한다. 결과는 이러한 연결을 이해하는 데 필요한 만큼만 다시 제시한다.
해석은 연구 질문과 분석 단위에 맞추어야 한다. 개인의 경험은 생활 조건과 관계 속에서 설명한다. 기관 운영에 관한 결과를 담당자 개인의 성향만으로 설명해서는 안 된다. 변화 과정을 다루었다면 무엇을 계기로 달라졌고 어떤 조건에서 지속되었는지 검토한다. 한 시점에서 나타난 연령집단의 차이를 개인이 나이 들면서 겪는 변화로 바꾸어 해석하지 않는다. 정책 문서의 결과는 공식적인 목표와 규정에 관한 내용으로 설명한다. 실제 실행과 효과를 판단하려면 그에 맞는 별도의 자료가 필요하다. 자료가 보여주는 내용을 유지해야 해석의 범위도 명확해진다.
예상하지 못한 결과도 연구 질문에 어떤 정보를 제공하는지 검토한다. 가설이 지지되지 않았다면 추정이 불확실한지, 예상과 다른 방향이 분명하게 나타났는지 구분한다. 질적 연구에서 다른 경험이 나타났다면 처음의 설명이 적용되는 조건을 다시 살펴볼 수 있다. 문헌 간 결과의 불일치도 기존 설명을 검토하는 근거가 된다. 이유를 설명할 때에는 확인한 조건과 가능한 설명을 나누어 제시한다. 근거가 부족하면 판단하기 어렵다는 점과 추가로 필요한 정보를 밝힌다. 예상과 다르다는 이유로 중요한 발견을 제외하지 않는다. 발견의 비중은 연구 질문에 답하는 데 얼마나 중요한지를 기준으로 정한다.
[표 8-1]핵심 결과와 해석의 연결
|
결과 유형 |
확인한 내용 |
논의할 의미 |
해석할 때 주의할 사항 |
|
양적 관계 |
도움 확보와 외래진료 이용이 관련됨 |
거주 형태와 실제 지원 조건을 구분할 필요 |
지원이 이용을 증가시켰다고 단정하지 않음 |
|
질적 경험 |
도와줄 사람이 있어도 요청을 미룬 사례가 나타남 |
지원자의 존재와 실제 요청 가능성의 차이 |
일부 사례를 전체 집단의 경험으로 확대하지 않음 |
|
혼합 결과 |
전반적 만족과 예약 불편이 함께 나타남 |
전체 평가와 단계별 경험이 제공하는 정보의 차이 |
곧바로 모순으로 판단하지 않음 |
|
문헌 종합 |
지원의 범위가 문헌마다 다름 |
정의와 지원 내용을 구분하여 비교할 필요 |
차이가 있다는 이유만으로 개념이 잘못되었다고 판단하지 않음 |
|
불확실한 추정 |
신뢰구간이 넓게 나타남 |
관계의 크기를 판단하는 데 제한이 있음 |
관계가 없다는 결론으로 바꾸지 않음 |
(2) 자료와 연구 설계에 따른 해석 범위
해석의 범위와 표현의 확신은 자료와 연구 설계가 제공하는 근거에 맞추어 정한다. 한 시점의 조사에서는 지원 관계의 형성과 병원 이용 중 무엇이 먼저 이루어졌는지 구분하기 어려울 수 있다. 지원을 받아 병원을 이용했을 수도 있지만, 병원 이용 과정에서 지원 관계가 생겼을 수도 있다. 건강 상태와 지역 환경이 두 내용에 함께 관련되었을 가능성도 있다. 현재 자료로 이러한 설명을 어느 정도 구분할 수 있는지 검토한다. 효과를 추정한 연구에서도 집단 구성과 배정 방식, 실제 지원 내용과 참여자의 이탈을 살펴야 한다. 특정 분석기법을 사용했다는 사실만으로 인과적 효과가 확인되었다고 주장할 수는 없다. 결과에 대한 확신은 실제 근거와 분석에 필요한 가정을 고려하여 판단한다(Appelbaum et al., 2018).
추정의 불확실성은 결과를 해석할 때 함께 설명해야 하는 정보이다. 관계의 방향이 같더라도 신뢰구간이 넓으면 그 크기를 분명하게 판단하기 어렵다. 통계적으로 유의하다는 사실이 정밀한 추정이나 현장에서 중요한 차이를 보장하지는 않는다. 유의하지 않은 결과도 신뢰구간을 살펴 어떤 크기의 차이나 관계를 배제하기 어려운지 확인한다. 효과크기는 측정 단위와 비교 조건, 해당 분야에서 갖는 의미를 고려하여 해석한다. 비율의 변화는 상대적인 증감률과 절대적인 %포인트 차이를 구분한다. 하나의 지표만으로 의미를 정하기보다 다른 지표가 제공하는 정보도 함께 검토한다. 논의에서도 결과에 제시한 크기와 불확실성을 유지해야 한다.
질적 연구의 해석은 경험이 나타난 상황과 참여자의 관계에 근거한다. 여러 참여자에게 공통된 경험이 나타났더라도 전체 집단에서 그 경험이 발생하는 비율을 추정한 것은 아니다. 독자가 다른 상황에서도 참고할 수 있는지 판단하도록 관련 조건을 구체적으로 설명한다. 농촌 노인의 병원 이동 경험에서는 교통 여건과 의료기관의 위치, 주변의 도움이 중요할 수 있다. 다른 지역에서도 같다고 단정하기보다 공통점과 차이를 비교할 정보를 제공한다. 어떤 자료에서 어떤 판단을 이끌어 냈는지 보여줄 때 해석의 설득력이 높아진다. 혼합 연구에서도 면담이 통계적 관계의 원인을 모두 확인해 주는 것은 아니다. 각 자료의 설명 범위와 두 자료를 연결하여 얻은 이해를 구분해야 한다(Levitt et al., 2018).
문헌 종합의 결과는 포함한 자료의 범위와 질을 고려하여 해석한다. 검색·수집 경로와 검토한 언어·기간에 따라 중요한 연구가 빠졌을 수 있다. 포함한 연구가 특정 대상과 설계에 집중되어 있다면 다른 상황에 적용할 수 있는 설명은 제한된다. 문헌에 보고되지 않았다는 이유로 해당 경험이나 활동이 실제로 없었다고 판단해서는 안 된다. 같은 자료를 활용한 여러 논문도 서로 독립된 연구에서 얻은 근거와 구분한다. 공식 문서는 규정과 목표를 보여주지만 실제 운영과 효과를 판단하려면 그에 맞는 자료가 필요하다. 각 제한이 어떤 결과와 주장에 영향을 주는지 설명한다. 이를 바탕으로 현재 근거가 뒷받침하는 판단과 추가 확인이 필요한 내용을 나눈다.
[표 8-2]자료와 연구 설계에 따른 해석 범위
|
자료·설계 |
주로 설명할 수 있는 내용 |
추가 근거가 필요한 판단 |
|
한 시점의 설문 |
분포·차이·관련성 |
시간적 순서와 인과관계의 방향 |
|
같은 사람의 반복 조사 |
관찰 기간에 나타난 변화 |
다른 요인의 영향과 구분한 프로그램 효과 |
|
특정 현장의 면담 |
경험의 의미·상황·과정 |
전체 집단에서 같은 경험을 한 사람의 비율 |
|
참여자가 다른 혼합 자료 |
집단 수준에서 연결한 이해 |
같은 개인의 수치와 경험을 직접 연결한 설명 |
|
공식 문서 |
목표·규정·지원 내용 |
실제 실행과 효과 |
|
범위를 한정한 문헌 종합 |
포함한 근거의 공통점·차이·조건 |
검토 범위 밖의 상황까지 포함하는 결론 |
2) 선행연구와의 비교 및 대안적 설명
(1) 유사한 결과의 의미와 적용 조건
결과가 비슷하다고 서술하려면 무엇이 비슷한지 밝혀야 한다. 방향과 크기, 경험의 의미와 발생 조건을 구분하여 비교한다. 결론의 표현이 같아도 개념과 측정 내용은 다를 수 있다. 이동 지원과 정서적 격려를 같은 ‘지원’이라는 이유만으로 비교해서는 안 된다. 대상과 지역, 시기와 방법도 확인한다. 두 결과가 모두 통계적으로 유의하다는 이유로 크기가 같다고 판단하지 않는다. 질적 주제는 이름과 함께 실제 경험을 대조한다. 각 연구가 실제로 다룬 내용과 조건에 근거하여 비교해야 한다.
비슷한 결과가 갖는 의미는 연구 조건에 따라 달라진다. 비슷한 조건에서 같은 경향이 나타나면 기존 결과를 다시 뒷받침하는 근거가 될 수 있다. 다른 조건에서도 유사한 결과가 나타나면 설명의 적용 범위를 검토할 정보를 제공한다. 도시와 농촌에서 도움 요청을 망설인 경험이 나타났다면 공통된 관계 조건을 살펴볼 수 있다. 그러나 두 지역의 결과만으로 모든 환경을 설명할 수 있다고 판단하지 않는다. 같은 측정도구와 모집 경로를 사용했다면 한계도 공유할 수 있다. 기존 결과의 재확인과 새로운 조건에서 얻은 이해를 구분한다. 비교는 현재 발견이 기존 지식에 무엇을 더하는지 설명하는 데 활용한다(Docherty & Smith, 1999).
양적 결과를 비교할 때에는 지표와 분석 조건을 확인한다. 상관계수와 다른 변수를 고려한 회귀계수는 같은 정보를 나타내지 않는다. 포함한 변수와 표본의 분포가 다르면 계수도 달라질 수 있다. 표준화 지표도 계산 기준과 연구 설계를 대조한다. 신뢰구간이 겹친다고 두 효과가 같다는 사실이 입증되는 것은 아니다. 한쪽만 유의하다고 효과의 차이가 직접 확인되는 것도 아니다. 직접 비교할 근거가 부족하다면 ‘관계의 방향이 비슷하다’처럼 확인할 수 있는 수준으로 표현한다. 크기를 비교할 때의 제한도 함께 밝힌다.
질적 결과는 공통된 경험과 그 경험이 나타난 조건의 차이를 함께 다룬다. 같은 요청의 망설임도 일정 문제와 관계의 부담에서 다르게 나타날 수 있다. 두 연구의 상황과 의미를 구분하여 설명한다. 혼합 연구에서는 통합한 설명이 기존 지식의 어느 부분을 보완하는지 살핀다. 문헌 연구의 유형 분류도 이름보다 실제 구분 기준을 비교한다. 현재 해석과 직접 연결되는 문헌을 선택한다. 비슷한 연구를 많이 나열하는 데 그치지 않는다. 각 연구와 현재 발견의 관계를 명료하게 설명해야 한다.
[표 8-3]선행연구와 유사한 결과의 서술 기준
|
비교 내용 |
부족하거나 과도한 표현 |
구체화한 표현 |
|
방향 |
선행연구와 일치하였다 |
도움 확보와 이용의 관련성이 기존 결과와 같은 방향으로 나타났다 |
|
다른 환경 |
모든 지역에 적용된다 |
다른 교통 조건에서도 비슷한 경험이 나타나 적용 조건을 검토할 근거를 제공하였다 |
|
질적 주제 |
같은 주제가 나타나 타당성이 입증되었다 |
요청의 망설임은 비슷했으나 요청 대상과 부담을 느낀 상황은 달랐다 |
|
크기 |
둘 다 유의하므로 효과가 같다 |
방향은 비슷하지만 측정과 모형의 차이로 크기를 직접 비교하기는 어렵다 |
|
재확인 |
기존 연구가 완전히 검증되었다 |
비슷한 조건에서 기존 결과를 뒷받침하는 발견이 나타났으나 공유하는 한계도 고려해야 한다 |
(2) 다른 결과와 대안적 설명의 검토
결과가 다르다면 차이의 내용부터 분명히 한다. 방향과 크기가 다른지, 유의성 판단만 다른지 구분한다. 한 연구는 유의하고 다른 연구는 유의하지 않았다는 사실만으로 효과의 차이가 확인되는 것은 아니다. 추정값과 신뢰구간, 직접 비교에 필요한 정보를 확인한다. 질적 연구에서는 경험 자체가 다른지와 표현·분류가 다른지를 구분한다. 보고되지 않은 경험과 실제로 없었던 경험도 다르다. 비교할 차이가 분명해진 뒤 관련 조건을 검토한다. 현재 연구의 특수성이나 선행연구의 오류를 근거 없이 이유로 제시해서는 안 된다.
개념과 측정의 차이는 결과를 이해하는 단서가 될 수 있다. 차량 제공과 진료 동행은 지원 내용이 다를 수 있다. 이용 여부와 만족도도 서로 다른 측면을 평가한다. 문항과 기준 기간, 점수 계산 방법을 비교한다. 차이가 있다면 어떤 결과를 직접 비교하기 어려운지 설명한다. 측정이 다르다는 사실과 그것이 결과 차이의 원인이라는 판단은 구분한다. 현재 분석에서 직접 확인한 내용인지, 문헌 비교로 제안한 가능성인지 밝힌다. 필요하면 여러 설명을 구분하는 데 필요한 추가 자료를 제시한다.
대상과 운영 환경도 다른 결과를 이해하는 단서가 된다. 이동 능력과 승하차 보조의 유무는 이용 경험에 관련될 수 있다. 예약과 진료 시간을 조정할 수 있는지도 중요할 수 있다. 실제로 확인한 지역과 사업의 조건부터 검토한다. 조사하지 않은 조건은 가능한 설명으로 제시한다. 여러 이유를 나열하기보다 결과와 직접 연결되는 근거를 선택한다. 환경과 지원 과정, 결과를 연결하는 설명에도 뒷받침할 자료가 필요하다. 독자가 설명의 근거를 확인할 수 있도록 작성해야 한다.
대안적 설명에는 현재 연구의 제약도 포함한다. 대상 선정과 자료 누락, 측정오차와 모형 설정이 결과에 영향을 주었을 수 있다. 연구자가 선호하는 이론적 설명과 함께 이러한 가능성도 검토한다. 추가 분석을 했다면 달라진 결과와 여전히 남은 가능성을 구분한다. 질적 연구에서는 참여자와의 관계와 특정 경험에 집중된 자료가 해석에 미친 영향을 살핀다. 여러 설명을 구분할 근거가 부족하면 하나의 원인으로 확정하지 않는다. 다른 결과를 억지로 기존 설명에 맞추지 않는다. 확인한 차이와 남은 불확실성을 분명하게 하는 것이 중요하다.
[표 8-4]선행연구와 다른 결과의 검토 기준
|
영역 |
확인할 내용 |
핵심 질문 |
주의 사항 |
|
결과 |
방향·크기·신뢰구간·유의확률 |
실제로 무엇이 다른가? |
유의성의 차이와 효과의 차이를 구분함 |
|
측정 |
정의·문항·기간·점수 |
같은 현상을 다루었는가? |
측정 차이와 원인에 관한 추론을 구분함 |
|
대상·환경 |
건강·관계·지역·운영 조건 |
어떤 조건이 관련될 수 있는가? |
확인한 사실과 가능한 설명을 구분함 |
|
설계·분석 |
시점·비교집단·변수·처리 기준 |
비교 조건이 어떻게 다른가? |
분석 차이를 곧바로 원인으로 확정하지 않음 |
|
연구의 제약 |
편향·누락·오차·자료 부족 |
다른 설명이 가능한가? |
선호하는 해석만 선택하지 않음 |
|
추가 검토 |
재분석·사례 비교·원문 대조 |
무엇을 확인했고 무엇이 남았는가? |
해결되지 않은 문제도 제시함 |
