처음 쓰는 학술지 논문 작성법 | 제4장 연구 설계와 연구윤리 | 2. 자료 수집과 분석의 계획

2. 자료 수집과 분석의 계획

자료 수집과 분석 계획은 필요한 근거를 확보하고 해석할 절차를 구체화하는 작업이다. 연구 접근을 정한 뒤에는 누구에게서 어떤 자료를 얻을지 결정한다. 같은 설문도 조사 대상과 모집 경로에 따라 결과를 설명할 범위가 달라진다. 면담과 문서 분석에서도 포함한 경험과 기록의 특성이 해석에 영향을 준다. 자료를 구할 수 있는지와 질문에 적합한지를 함께 검토해야 한다. 필요한 자료를 확보하기 어렵다면 방법이나 질문을 조정한다. 분석도 수집할 자료의 종류와 구성에 맞추어 계획한다. 대상 선정과 자료 확보, 측정과 분석을 연결하면 실제 수행 가능성과 해석의 적절성을 함께 점검할 수 있다.

1) 연구 대상의 선정과 자료 확보

(1) 대상 선정·표집과 자료 규모의 설정

연구 대상을 선정할 때에는 누구의 어떤 특성과 경험을 설명할지 정한다. 독거노인의 병원 이용을 연구한다면 연령과 거주 형태, 병원 이용 경험의 기준을 구체화해야 한다. 실제 이용자만 포함할지, 필요한 진료를 받지 못한 사람도 포함할지에 따라 확인할 내용이 달라진다. 이용 과정의 경험을 살펴보려면 실제 이용자의 자료가 중요하다. 반면 병원 이용을 어렵게 하는 조건을 탐구한다면 진료를 받지 못한 사람의 경험도 필요할 수 있다. 이러한 연구 목적에 맞추어 대상자의 포함·제외 기준을 정한다. 건강 상태와 이동 여건, 주변의 지원 등 결과에 영향을 미칠 수 있는 조건도 검토한다. 선정 기준과 그 이유가 분명해야 자료 수집과 결과 해석을 일관되게 수행할 수 있다.

자료를 제공하는 대상과 분석 단위는 구분해야 한다. 학생이 설문에 응답하더라도 학교의 지원체계를 설명하려면 학교 운영에 관한 자료가 추가로 필요할 수 있다. 한 사람을 세 차례 조사했다면 한 명에게서 세 시점의 자료를 수집한 것이다. 이를 서로 다른 세 사람의 자료로 계산해서는 안 된다. 한 기관에서 수집한 여러 문서도 각각 독립된 기관 사례가 되는 것은 아니다. 따라서 참여자 수와 측정 횟수, 기관 수와 문서 수를 구분하여 기록한다. 같은 사람이나 기관에서 수집한 자료는 서로 관련될 수 있으므로 분석에서도 이러한 특성을 고려해야 한다. 분석 단위를 분명히 하면 자료 규모와 결과의 설명 범위를 잘못 판단하는 일을 줄일 수 있다.

표집은 연구에 필요한 자료를 수집하기 위해 사람이나 사례를 선정하는 과정이다. 모집단의 특성을 추정하려면 표본을 선정하는 절차와 포함할 대상의 범위를 검토해야 한다. 확률표집은 모집단의 각 대상이 표본으로 선정될 확률을 알 수 있도록 추출하는 방식이다. 이를 위해 적절한 대상 명단이나 표집 틀과 추출 절차가 필요하다. 편의표집은 접근하기 쉬운 기관이나 모임 등을 활용하지만 특정 조건의 사람이 더 많이 포함될 수 있다. 자발적 참여 방식에서도 연구 주제에 관심이 큰 사람이 적극적으로 응답할 가능성이 있다. 표본의 크기가 충분하더라도 선정 과정에서 발생하는 편중은 별도로 검토해야 한다. 계획한 표집 방법과 실제 모집 경로를 기록하고 결과 해석에 반영한다.

양적 연구의 표본 규모는 추정과 가설검정의 목적에 맞추어 정한다. 평균과 비율을 추정한다면 어느 정도의 정밀도가 필요한지 검토한다. 가설검정을 계획했다면 예상하는 효과크기와 유의수준, 검정력 및 분석방법 등을 고려해야 한다. 검정력은 실제로 차이나 관계가 존재할 때 통계적 검정이 이를 발견할 가능성을 의미한다. 필요한 표본 수를 산정할 때에는 GPower와 같은 검정력 분석 프로그램을 활용할 수 있다. GPower는 평균 비교와 회귀분석 등 지원되는 분석방법에 따라 효과크기와 유의수준, 목표 검정력 등을 설정하여 필요한 표본 수를 계산하는 도구이다(Faul et al., 2007). 다만 계산된 표본 수를 충족하더라도 연구대상의 대표성이나 표집 방법의 타당성이 보장되는 것은 아니다. 결측과 중도 이탈을 고려하여 처음 모집할 인원과 최종 분석에 필요한 인원을 구분하고, 표본 크기를 정한 근거와 연구 수행의 제약을 함께 설명해야 한다(Lakens, 2022).

질적 연구에서는 참여자 수와 함께 경험의 범위와 자료의 깊이를 살펴야 한다. 특정 경험을 깊이 탐구하는 연구와 여러 환경을 비교하는 연구는 필요한 사례 구성이 다를 수 있다. 목적표집은 연구 질문에 필요한 경험과 특성을 가진 사람이나 사례를 선정하는 방식이다. 연구자는 참여자가 공통으로 갖추어야 할 조건과 비교할 차이를 정한다. 수집한 자료로 경험과 상황을 충분히 설명하기 어렵다면 추가 면담이나 사례 확보를 검토할 수 있다. 다만 모든 질적 연구에 동일한 참여자 수나 ‘포화’라는 하나의 종료 기준을 적용할 필요는 없다. 포화는 추가 자료에서 새로운 정보나 설명이 더 나타나는지 검토할 때 사용하는 개념이지만, 적용 방식은 연구 접근에 따라 달라진다. 자료의 충분성은 연구 목적과 자료의 깊이, 참여자 경험의 다양성 및 실제 설명할 수 있는 범위를 고려하여 판단한다.

[표 4-5]연구 대상·표집·자료 규모의 계획과 점검 기준

(2) 직접 수집 자료와 기존 자료의 적합성·활용 조건

직접 수집 자료는 현재의 연구 질문에 답하기 위해 새롭게 확보하는 자료이다. 자료 수집의 관점에서는 이를 1차 자료라고 부른다. 설문조사와 면담, 관찰 등을 통해 연구에 필요한 정보를 수집할 수 있다. 수집할 내용과 도구, 조사 시점을 연구 목적에 맞추어 정할 수 있다는 장점이 있다. 온라인 설문조사에는 Google Forms와 Microsoft Forms를 활용할 수 있으며, Qualtrics는 응답에 따른 질문 분기 등 복잡한 설문 구성에 유용하다. REDCap은 연구자료의 전자수집과 관리에, KoboToolbox는 모바일 기기를 이용한 현장 조사와 오프라인 자료수집에 활용할 수 있다. 다만 질문의 표현과 조사자의 행동, 참여자 모집 경로에 따라 응답이 달라질 수 있다. 따라서 자료수집 도구를 선택할 때에는 필요한 기능과 이용 편의성, 개인정보 보호 및 참여자의 부담을 함께 고려해야 한다.

기존 자료는 다른 목적이나 시점에 수집·작성된 자료를 현재 연구에 활용하는 것이다. 재사용의 관점에서는 이를 2차 자료라고 부른다. 기존 조사자료와 통계, 행정기록, 기관 문서 등이 포함된다. 다만 역사·문헌 연구에서는 당시의 원문서를 1차 자료라고 부르기도 하므로 용어가 사용된 맥락을 확인해야 한다. 기존 자료는 과거의 상황과 장기간의 변화를 살펴보는 데 유용하다. 새롭게 자료를 수집하는 시간과 비용을 줄일 수 있지만, 활용할 수 있는 정보가 이미 정해져 있다는 제약이 있다. 따라서 원래의 수집 목적과 대상, 조사 방법을 현재 연구 질문과 대조해야 한다. 예를 들어 의료서비스 이용 횟수가 기록되어 있더라도 그 자료만으로 병원까지 이동하는 과정의 어려움을 파악할 수 있는 것은 아니다.

기존 조사자료를 활용할 때에는 자료 설명서와 설문지, 변수 목록을 함께 검토한다. 변수명뿐 아니라 누구에게 어떤 조건에서 질문했는지 확인해야 한다. 일부 응답자에게만 제시한 문항은 전체 응답자에게 제시한 문항과 구분한다. ‘해당 없음’과 ‘무응답’, 실제 측정값인 ‘0’도 서로 다르게 처리해야 한다. 여러 연도의 자료를 비교한다면 문항과 응답 범주, 조사 대상과 수집 방식이 변경되었는지 살펴본다. 같은 사람을 반복 조사한 자료와 조사 시점마다 서로 다른 사람을 조사한 자료도 구분한다. 복합표본조사 자료에서는 표본설계를 고려해야 하므로 가중치와 층화·집락 정보를 분석에 어떻게 반영할지 검토한다. 자료의 판본과 확보 날짜, 주요 처리 기준을 기록하면 분석 과정과 근거를 확인하는 데 도움이 된다.

자료에 접근할 수 있다는 사실과 연구에 사용할 권한이 있다는 것은 구분해야 한다. 공개자료라도 재배포와 다른 자료와의 결합, 분석 결과의 외부 반출에 제한이 있을 수 있다. 기관에서 제공받은 자료에는 이용 목적과 접근 권한, 보관 기간 등의 조건이 적용될 수 있다. 직접 수집한 자료도 연구 참여자의 동의와 필요한 승인 범위를 확인해야 한다. 개인정보가 포함되어 있는지, 다른 자료와 결합하면 개인을 알아볼 수 있는지도 검토한다. 온라인 자료수집 프로그램을 사용하는 경우에는 응답자료의 저장 위치와 접근 권한, 외부 서비스로 전송되는 정보도 확인할 필요가 있다. 자료 제공기관의 허락이 필요한 연구윤리 심의나 승인을 자동으로 대신하는 것은 아니다. 자료 확보 계획에는 수집과 이용뿐 아니라 안전한 보관과 공유, 폐기에 관한 책임도 포함해야 한다.

[표 4-6]직접 수집 자료와 기존 자료의 적합성·활용 조건 비교

2) 측정과 분석 절차의 계획

(1) 개념의 구체화와 자료 수집 도구의 검토

연구 개념은 자료에서 확인할 수 있는 문항과 행동, 경험으로 구체화해야 한다. 예를 들어 사회적 지지를 정서적 격려로 볼지, 실제 생활에 필요한 도움까지 포함할지 정해야 한다. 개념의 범위에 따라 필요한 자료와 측정 결과의 의미도 달라진다. 조작적 정의는 추상적인 개념을 어떤 지표와 절차로 확인할지 구체적으로 설명한 것이다. 병원 접근성을 연구한다면 거리와 비용, 예약의 어려움과 정보 접근성 등을 검토할 수 있다. 다만 하나의 지표가 넓은 개념 전체를 나타내는지는 별도로 판단해야 한다. 측정하기 편리하다는 이유로 연구에 필요한 내용을 제외해서는 안 된다. 개념의 정의와 측정 방법, 결과를 해석할 범위를 함께 검토하는 것이 중요하다.

양적 연구에서는 이미 개발된 측정척도를 연구 목적에 맞게 활용할 수 있다. 예를 들어 우울 증상에는 PHQ-9, 지각된 사회적 지지에는 다차원적 지각된 사회적 지지 척도(MSPSS), 직무 소진에는 Maslach 소진 척도(MBI) 등이 사용된다(Kroenke et al., 2001; Maslach et al., 1996; Zimet et al., 1988). 일반적 자기효능감에는 일반적 자기효능감 척도(GSE), 서비스 질에는 SERVQUAL 등을 활용할 수 있다(Parasuraman et al., 1988; Schwarzer & Jerusalem, 1995). 다만 척도마다 측정하는 내용과 적용 대상이 다르므로 이름이나 사용 빈도만으로 선택해서는 안 된다. 예를 들어 지각된 사회적 지지와 실제 제공받은 도움은 구분해야 하며, 일반적 자기효능감과 특정 업무의 수행 자신감도 같은 개념이 아니다. 연구자는 자신의 연구 질문과 측정 목적에 적합한 척도를 선택해야 한다.

기존 측정도구를 사용할 때에는 개발 목적과 적용 대상, 문항 구성과 응답 범주, 점수 계산 방법을 확인한다. 신뢰도는 정해진 조건에서 측정 점수가 얼마나 일관되게 나타나는지와 관련된 정보이다. 타당도는 점수를 의도한 의미로 해석하고 활용할 근거가 충분한지를 나타낸다. 신뢰도가 높더라도 연구에 필요한 개념을 적절하게 측정했다고 단정할 수는 없다. 성인용 도구를 청소년에게 적용하거나 문항을 번역·수정할 때에는 의미와 비교 가능성이 달라질 수 있으므로 주의해야 한다. 문항의 삭제와 응답 범주의 변경도 점수 해석에 영향을 준다. 예비조사를 통해 문항 이해와 응답 시간 등을 검토할 수 있지만, 예비조사만으로 타당도가 충분히 확보되는 것은 아니다. 도구의 출처와 사용 조건, 측정 근거를 함께 확인해야 한다(Appelbaum et al., 2018).

질적 연구에서는 반구조화 면담 질문지, 포커스그룹 면담 지침, 관찰 기록지, 현장노트 등을 자료수집 도구로 활용한다. 반구조화 면담은 핵심 질문을 준비하되 참여자의 답변에 따라 후속 질문을 추가하는 방식이다. 예를 들어 독거노인의 병원 이용 경험을 연구한다면 ‘최근 병원을 이용한 과정을 설명해 주십시오’처럼 경험의 흐름을 물을 수 있다. 포커스그룹 면담에서는 참여자들이 공통된 경험과 서로 다른 의견을 이야기할 수 있도록 질문과 진행 순서를 구성한다. 관찰 기록지에는 행동과 상호작용, 주변 환경을 기록하고, 현장노트에는 당시 상황과 연구자의 해석을 구분하여 남긴다. 참여자 일기와 문서 분석 기록표도 연구 목적에 따라 활용할 수 있다. 이러한 도구는 연구 질문과 선택한 질적 연구 접근에 맞게 구성하고 특정한 답변을 유도하지 않는지 검토해야 한다. 실제 사용한 도구와 자료수집 절차는 독자가 확인할 수 있도록 설명한다(Tong et al., 2007).

[표 4-7]연구 개념·탐구 내용과 자료 수집 도구의 연결

주:양적 측정척도는 연구 대상과 점수 해석의 적절성을, 질적 자료수집 도구는 질문의 중립성과 경험을 충분히 기록할 수 있는지를 중심으로 검토한다.

(2) 분석 방법과 해석 범위·대응 방안의 검토

분석 방법은 연구 질문과 자료의 특성에 맞추어 선택한다. 평균과 비율, 범주로 구분된 결과를 분석하는 방법은 서로 다를 수 있다. 한 시점에 수집한 자료와 같은 사람에게 반복해서 수집한 자료도 구분해야 한다. 같은 기관에 속한 참여자들이 공유하는 조건도 고려한다. 질적 연구에서는 경험의 의미와 공통된 특징, 변화 과정 가운데 무엇을 설명할지 정한다. 문헌 기반 연구에서는 문헌의 비교와 분류, 종합의 목적에 맞는 분석 방법을 선택한다. 연구 질문마다 필요한 자료와 분석 방법, 얻을 수 있는 결과를 연결하여 검토한다. 분석기법을 먼저 정하고 질문을 거기에 맞추기보다 연구 질문에 적절한 분석 방법을 선택하는 것이 중요하다.

분석 프로그램도 연구 방법과 자료의 특성에 따라 선택한다. 양적 연구에서는 SPSS, jamovi, R, Stata 등을 활용하여 기술통계와 평균 비교, 상관분석, 회귀분석 등을 수행할 수 있다. 질적 연구에서는 NVivo, ATLAS.ti, MAXQDA 등을 활용하여 면담과 관찰 기록, 문서자료를 체계적으로 분류하고 분석할 수 있다. 질적 분석 프로그램은 자료의 의미 있는 부분에 코드를 부여하고 주제와 범주를 구성하며, 사례 간 공통점과 차이점을 비교하는 데 도움을 준다. 프로그램을 선택할 때에는 필요한 분석 기능과 사용 편의성, 이용 비용, 자료의 보안 조건 등을 고려한다. 다만 분석 프로그램이 연구 방법의 적절성이나 결과의 타당성을 자동으로 보장하는 것은 아니다. 연구자는 프로그램에서 수행할 분석의 원리와 결과를 해석하는 방법을 이해해야 한다.

양적 분석 계획에는 자료의 상태와 분석에 필요한 조건을 확인하는 절차를 포함한다. 값의 범위와 분포, 반복 측정 여부와 누락된 자료 등을 살핀다. 유난히 크거나 작은 값은 입력 오류인지 실제로 가능한 값인지 확인한다. 결측치는 발생한 규모와 원인을 검토하여 적절한 처리 방법을 정한다. 사례 제외와 점수 계산 기준은 가능한 범위에서 미리 설정한다. 결과를 확인한 뒤 처리 기준을 변경했다면 이유와 시점을 기록해야 한다. 필요한 경우 자료 처리 방식이나 분석 조건을 달리해도 주요 결과가 유지되는지 확인할 수 있다. 예상과 다른 결과가 나타났다는 이유로 분석 기준을 임의로 조정해서는 안 된다.

양적 분석 결과는 통계적 유의성뿐 아니라 결과의 크기와 불확실성을 함께 검토하도록 계획한다. 연구 질문에 적합한 추정값과 효과크기, 신뢰구간 등을 선택한다. 효과크기는 집단 간 차이나 변수 간 관계의 크기를 나타내며, 신뢰구간은 추정값의 불확실성을 보여주는 범위이다. 통계적으로 유의한 결과라도 실제 현장에서 중요한 차이라고 단정할 수는 없다. 반대로 자료가 제한되면 의미 있는 차이도 불확실하게 추정될 수 있다. 따라서 효과크기는 연구 설계와 비교 목적에 맞게 선택하고, 해당 연구 분야에서 그 크기가 갖는 의미를 검토한다. 다른 연구와 결과를 비교할 때에는 사용한 지표와 계산 조건이 같은지도 확인한다. 이러한 검토는 분석 결과의 의미와 해석할 수 있는 범위를 판단하는 데 도움이 된다(Lakens, 2013).

질적 분석에서는 자료에서 해석에 이르는 과정을 기록할 계획을 세운다. 면담 전사자료와 관찰 기록을 반복하여 읽으면서 참여자의 경험과 당시 상황을 살펴본다. 코드와 범주, 주제를 구성하는 방식은 선택한 질적 연구 접근에 맞추어 정한다. 기존 이론을 분석의 출발점으로 활용하더라도 그 이론과 일치하지 않는 자료를 함께 검토해야 한다. 자료를 분류하고 요약할 때에는 원문과 발언이 이루어진 상황을 다시 확인할 수 있도록 기록한다. 분석 메모에는 코드와 범주를 수정하거나 해석을 변경한 이유를 남긴다. 분석 틀 기반 분석법을 활용한다면 해당 방법의 절차에 따라 자료를 정리하고 사례를 비교해야 한다. 단순히 자료를 표로 정리하는 것과 특정한 질적 분석 방법을 적용하는 것은 구분한다.

자료가 예상과 다르게 확보되거나 분석에 필요한 조건을 충족하지 못할 때의 대응도 계획한다. 후속 조사에서 응답이 적다면 어떤 참여자가 조사에서 빠졌는지와 남은 자료의 특성을 확인한다. 특정 집단의 사례가 부족하다면 추정의 정밀도와 분석 가능성을 검토한다. 질적 연구에서 특정한 경험만 수집되었다면 참여자 모집 방식과 연구 질문의 범위를 다시 살펴볼 수 있다. 문서자료가 일부 시기에만 존재한다면 비교할 기간과 자료의 범위를 조정해야 할 수도 있다. 이러한 변경은 연구 목적과 자료의 적합성을 기준으로 결정하고 그 이유를 기록한다. 원하는 결과를 얻기 위해 분석 기준이나 자료의 범위를 임의로 변경해서는 안 된다. 연구 질문에 적절하게 답할 수 있는지를 중심으로 대안을 선택해야 한다.

[표 4-8]연구 질문별 분석 계획과 대응 방안의 기록

주:분석 계획은 연구 접근에 맞추어 작성하며, 계획한 내용과 실제 수행에서 달라진 내용을 구분한다.

[표 4-9]자료 확보의 어려움에 따른 계획 조정

주:조정은 자료의 조건과 연구 목적, 필요한 승인 절차에 따라 결정한다.