처음 쓰는 학술지 논문 작성법 | 제6장 연구 방법의 작성 | 1. 양적 연구 방법의 서술

1. 양적 연구 방법의 서술

연구 방법은 누구에게서 어떤 자료를 얻고 이를 어떻게 측정·처리·분석했는지 설명하는 부분이다. 연구계획을 그대로 옮기지 않고 실제 수행 기록과 대조하여 작성해야 한다. 독자는 이 설명을 바탕으로 결과를 얼마나 믿을 수 있으며 어디까지 해석할 수 있는지 판단한다. 대상 선정과 측정, 자료 처리와 분석에서 중요한 선택을 구체적으로 밝혀야 한다. 모집 인원과 분석 인원의 차이, 측정도구의 수정과 사례 제외 기준은 결과에 영향을 줄 수 있다. 프로그램과 분석기법의 이름에는 사용 목적과 필요한 설정을 덧붙인다. 계획이 달라졌다면 변경 내용과 이유, 적용 시점을 설명한다. 독자가 연구의 진행 과정과 판단 근거를 확인할 수 있도록 작성하는 것이 중요하다.

1) 연구 대상과 측정 방법의 서술

(1) 모집단·표집 과정과 최종 분석 대상

연구 대상을 설명할 때에는 결과를 적용하려는 대상과 실제 조사한 대상을 구분한다. A지역 독거노인을 연구했더라도 지역의 모든 독거노인에게 접근한 것은 아닐 수 있다. 협조한 복지관의 이용자를 모집했다면 그 경로와 범위를 밝힌다. 연령과 거주 형태, 이용 경험은 실제 적용한 기준으로 제시한다. 경험의 기간도 조사에서 사용한 기준에 맞추어 작성한다. ‘최근 일 년’이 응답일 이전 일 년인지 특정 연도인지 구분해야 한다. 기관명을 가리더라도 해석에 필요한 지역과 기관의 특성은 남긴다. 독자가 실제 표본과 설명하려는 전체 대상의 차이를 이해할 수 있도록 작성한다.

표집의 명칭은 실제 선정 과정과 일치해야 한다. 안내문을 보고 희망자가 응답했다면 그 과정을 설명한다. 자발적으로 참여한 사람을 조사하고 무작위표집이라고 표현해서는 안 된다. 기관을 무작위로 선정했더라도 기관 안에서 개인을 선정한 방법은 별도로 설명한다. 확률표집에서는 대상 명단과 추출 단계, 각 대상이 뽑힐 확률을 이해할 수 있는 정보를 제시한다. 층화표집과 집락표집 등 여러 절차를 사용했다면 단계별 기준을 밝힌다. 비확률표집에서는 접근 경로와 참여 조건, 특정 대상이 더 많이 포함될 가능성을 설명한다. 전문 용어와 함께 누가 어떤 과정을 거쳐 포함되었는지 보여주어야 한다.

표본 규모는 계획할 때의 근거와 실제 확보한 결과를 나누어 보고한다. 사전 검정력 분석을 했다면 검정 유형과 효과크기, 유의수준과 검정력 등의 설정을 제시한다. 평균이나 비율의 추정이 목적이라면 목표 정밀도와 계산 조건을 설명한다. 기존 자료 전체를 사용했다면 자료의 범위와 사례 수가 정해진 경위를 밝힌다. 시간과 비용, 접근의 제약으로 규모를 정했다면 그 조건과 해석의 제한을 설명한다. 수집 후 확인한 효과크기로 계산한 값을 사전 계획의 근거처럼 제시해서는 안 된다. 목표 인원에 미달했다면 실제 자료로 가능한 분석과 추정의 불확실성을 검토한다. 표본 수는 연구 목적과 필요한 정보, 수행 여건을 연결하여 근거를 제시해야 한다(Lakens, 2022).

최종 분석 인원은 모집과 응답 제출, 제외의 흐름에 따라 제시한다. 제출된 응답 건수와 실제 참여자 수는 구분한다. 한 응답에 여러 제외 사유가 있다면 처리 순서나 집계 원칙을 정한다. 전체 분석에서 제외한 사례와 특정 분석에서만 제외한 사례도 나눈다. 분석별 인원이 달라지면 이유와 실제 사용한 수를 확인할 수 있게 한다. 응답률은 참여를 요청한 전체 대상 등 분모를 분명하게 확인할 수 있을 때 계산한다. 공개 안내를 접한 사람의 수를 모른다면 분모를 임의로 추정하지 않는다. 이러한 설명은 표본이 형성된 과정과 결과의 해석 범위를 판단하는 근거가 된다(Appelbaum et al., 2018).

[표 6-1]연구 대상의 모집과 최종 분석 인원 보고

(2) 변수의 조작적 정의와 측정의 신뢰도·타당도

변수를 설명할 때에는 개념을 실제로 무엇으로 측정했는지 밝힌다. 측정 내용과 기준 기간, 응답 방식과 값의 의미를 제시한다. 병원 이용이라면 방문 횟수와 이용 여부, 필요한 진료를 받지 못한 경험 가운데 어떤 지표를 사용했는지 구분한다. 정해진 날짜를 기준으로 했다면 시작일과 종료일을 적는다. 응답일이 기준이라면 ‘응답일 이전 한 달’처럼 실제 문항의 기준을 쓴다. 범주형 변수는 범주와 코드, 분석에서 비교 기준으로 삼은 범주를 설명한다. 합계나 평균 점수를 사용했다면 역채점과 문항 누락의 처리 방법도 제시한다. 높은 값이 뜻하는 내용은 연구 질문과 모형, 결과표에서 일관되게 유지해야 한다.

기존 도구는 처음 개발된 도구와 실제 사용한 판본을 구분한다. 번역판이나 수정판을 사용했다면 해당 출처를 제시한다. 하위 영역과 문항 수, 응답 범주와 점수 계산 방법을 설명한다. 일부 하위척도만 사용했다면 선택한 범위와 이유를 밝힌다. 실질적인 도움만 측정하고 사회적 지지 전체를 측정했다고 서술해서는 안 된다. 문항을 삭제하거나 바꾸었다면 변경 내용과 근거를 제시한다. 필요한 허락과 활용 조건을 충족했는지도 확인한다. 기존 연구에서 제시한 측정 근거와 현재 연구에서 추가로 검토한 내용을 나누어 보고한다.

신뢰도는 측정 점수의 일관성과 측정오차에 관한 정보이다. 타당도는 점수를 의도한 의미로 해석하고 활용할 근거와 관련된다. 문항 사이의 내적 일관성이 높다고 개념을 충분히 측정했다고 판단해서는 안 된다. 비슷한 문항만 반복되거나 필요한 내용이 빠졌을 가능성도 살펴야 한다. 현재 자료에서 계산한 신뢰도 계수는 종류와 산출한 척도·하위 영역을 밝힌다. 계수는 문항과 점수 구성의 특성에 맞추어 선택한다. 선행연구의 값과 현재 자료에서 얻은 값도 구분한다. 도구가 널리 사용되었다는 사실만으로 현재 연구의 측정이 적절하다고 설명할 수는 없다.

타당도는 실제로 확보한 근거에 맞추어 서술한다. 전문가 검토를 했다면 전문가의 관련 경험과 검토 기준, 수정 과정을 제시한다. 요인분석을 했다면 목적과 방법, 평가 기준을 설명한다. 다른 변수와의 관계를 살폈다면 어떤 점수 해석을 뒷받침하려는 것인지 밝힌다. 예비조사에서는 문항 이해와 응답 과정에서 발견한 문제를 보고할 수 있다. 한 가지 절차만으로 타당성이 완전히 확인되었다고 표현하지 않는다. 방법에는 수행한 절차를, 결과에는 그 절차로 얻은 정보를 배치할 수 있다. 세부적인 위치는 학술지의 형식에 맞추되 불필요한 반복은 줄인다.

[표 6-2]변수와 측정도구의 서술 항목

2) 자료 수집·처리와 분석 절차의 서술

(1) 자료 수집과 결측·제외 사례의 처리

자료 수집 절차는 실제 시점과 상황, 진행 순서에 따라 작성한다. 기간과 장소, 대면·온라인 방식과 담당자를 제시한다. 연구 안내와 참여 동의가 어떻게 이루어졌는지 설명한다. 윤리심의 정보는 실제 결정 내용과 학술지의 익명 심사 기준에 맞추어 기재한다. 조사 시간과 보상 등 참여 조건도 필요한 범위에서 포함한다. 여러 기관에서 조사했다면 공통 절차와 기관별로 달랐던 조건을 나누어 설명한다. 계획을 변경했다면 실제 적용한 내용과 이유를 밝힌다. 설명문과 조사 기록, 확보한 자료를 대조하여 작성하면 기억에 의존한 오류를 줄일 수 있다.

자료 처리는 원자료를 분석용 자료로 정리한 과정을 중심으로 설명한다. 종이 설문은 응답을 입력하고 오류를 확인한 방법을 제시한다. 온라인 자료는 내려받은 변수와 값의 상태를 점검한 절차를 설명한다. 중복 응답의 판단 기준과 남길 응답을 선택한 원칙도 밝힌다. 범위를 벗어난 값은 입력 오류인지 실제 가능한 응답인지 확인한다. 점수 계산과 범주 통합에는 적용한 규칙을 제시한다. 확인 과정에서 사용한 개인정보나 보안 정보는 불필요하게 공개하지 않는다. 주요 처리 기준과 변경 이력은 보관하여 결과의 근거를 확인할 수 있게 한다.

결측치는 발생 이유와 양상을 고려하여 처리한다. 응답하지 않은 경우와 설문 흐름상 응답 대상이 아니었던 경우를 구분한다. ‘모름’과 ‘해당 없음’을 실제 값인 ‘0’으로 바꾸어서는 안 된다. 주요 변수에 값이 얼마나 빠졌으며 집단과 시점에 따라 차이가 있는지 확인한다. 필요한 값이 모두 있는 사례만 분석했다면 그 기준과 남은 인원을 제시한다. 빠진 값을 추정하여 채우는 대치를 사용했다면 이유와 사용 변수, 모형과 설정을 설명한다. 다중대치는 여러 대치자료를 만들어 분석하는 방법이므로 생성한 자료 수와 결과를 결합한 방법 등을 포함한다. 어떤 처리도 모든 결측 문제를 자동으로 해결하지 않으므로 필요한 가정과 한계를 검토한다.

사례 제외는 참여자 선정 기준과 응답의 질에 관한 기준을 나누어 보고한다. 거주 조건을 충족하지 않은 경우와 많은 문항이 누락된 경우는 다른 사유이다. 응답 시간이 지나치게 짧다는 기준을 사용했다면 구체적인 기준과 근거를 밝힌다. 같은 번호를 반복한 응답도 실제로 가능한 답변인지 확인한다. 극단값은 예상과 다르다는 이유만으로 제거하지 않는다. 자료를 확인한 뒤 기준을 정했다면 시점과 판단 과정을 기록한다. 필요한 경우 처리 조건을 달리하여 결론이 얼마나 달라지는지 검토한다. 제외한 사례와 남은 사례의 수가 모집·분석 인원 보고와 일치하는지도 확인한다.

[표 6-3]자료 처리 항목과 주요 확인 사항

(2) 분석 방법과 적용 조건·통계적 판단 기준의 제시

분석 방법은 연구 질문과 실제 수행한 분석의 순서에 맞추어 설명한다. 일반적으로 연구 대상의 특성과 주요 변수의 분포를 확인한 뒤 집단 간 차이나 변수 간 관계를 분석할 수 있다. 각 분석기법을 사용한 목적과 분석에 포함한 변수를 분명하게 제시한다. 집단 비교에서는 비교한 집단과 결과변수, 적용한 통계기법을 밝힌다. 회귀분석에서는 종속변수와 독립변수, 통제변수, 범주형 변수의 기준범주 등을 설명한다. 변수 간 상호작용을 분석했다면 그 이유와 분석 방법도 제시한다. 여러 모형에 변수를 단계적으로 투입했다면 모형의 구성과 투입 순서를 정한 근거를 밝힌다. 프로그램의 조작 순서를 나열하기보다 무엇을 어떤 방법으로 분석했는지 독자가 이해할 수 있도록 작성한다.

통계분석 프로그램은 실제 사용한 이름과 버전, 주요 분석방법을 함께 기록한다. SPSS와 jamovi는 기술통계와 평균 비교, 상관분석, 회귀분석 등에 활용할 수 있다. 특히 jamovi는 R을 기반으로 개발된 오픈소스 통계분석 프로그램으로, 다양한 추가 모듈을 통해 매개효과와 조절효과 분석, 구조방정식 모형 분석, 경로분석 및 연구모형의 시각화 등을 수행할 수 있다. SPSS에서도 Hayes의 PROCESS macro를 활용하여 매개효과와 조절효과 등을 분석할 수 있다(Hayes, 2022). 이러한 분석을 수행했다면 프로그램과 추가 모듈의 이름 및 버전, 분석모형과 주요 설정을 제시해야 한다. 예를 들어 PROCESS macro를 사용하면서 부트스트래핑을 5,000회 실시하고 95% 신뢰구간을 적용했다면 그 내용을 기록한다. 다만 프로그램의 다양한 기능을 소개하기보다 실제 연구에서 사용한 분석방법과 설정을 중심으로 작성하는 것이 중요하다.

자료의 구성과 분석에 필요한 조건도 설명한다. 서로 다른 개인에게 한 번씩 수집한 자료와 같은 사람에게 반복하여 수집한 자료는 구분한다. 같은 학교나 기관에 속한 참여자들이 공유하는 환경도 고려해야 한다. 이러한 자료의 특성을 실제 분석에서 어떻게 반영했는지 밝힌다. 선형회귀분석에서는 변수 간 관계의 형태와 잔차의 특성 등 해당 분석에 필요한 조건을 확인한다. 모든 통계분석에서 원자료 자체가 정규분포를 따라야 하는 것은 아니므로 분석기법에 필요한 조건을 구분하여 점검한다. 조건을 충족하지 못했다면 어떤 문제가 있었으며 어떻게 대응했는지 설명한다. 변수의 값을 변환하거나 분석모형과 추정 방법을 변경했다면 그 이유와 결과 해석에 미치는 영향을 제시한다.

통계적 판단에서는 유의성 검정과 결과의 크기, 추정의 불확실성을 구분하여 보고한다. 유의수준과 단측·양측 검정 여부는 실제 적용한 기준을 밝힌다. 여러 가설을 검정했다면 다중 검정에 따른 오류 가능성을 어떻게 고려했는지 설명한다. 분석 결과를 확인한 뒤 통계적으로 유의한 값을 얻기 위해 검정 방향이나 판단 기준을 임의로 변경해서는 안 된다. 효과크기와 신뢰구간은 적용한 지표와 신뢰수준, 필요한 계산 방법을 함께 제시한다. 결과의 크기를 해석할 때에는 일반적인 판단 기준뿐 아니라 측정 단위와 연구 분야의 특성도 고려한다(Lakens, 2013). 사전에 계획한 분석과 추가로 수행한 탐색적 분석은 구분하고, 분석방법이나 기준을 변경했다면 이유와 적용 시점을 기록한다. 분석 명령문과 자료의 공개 범위는 개인정보 보호와 자료 이용 조건에 맞추어 결정한다.

[표 6-4]양적 연구의 분석 방법과 통계적 판단 기준