3.근거가 충분한지 확인한다
근거가 주장과 관련되어 있어도 그 자료만으로 결론을 내리기에 충분하지 않을 수 있다. 한 사람의 경험이나 짧은 기간의 자료만으로 넓은 집단 전체를 설명하기는 어렵다. 비교 기준과 조사 대상처럼 중요한 정보가 빠지면 같은 자료도 서로 다르게 해석될 수 있다. 하나의 현상에 여러 원인이 함께 작용할 가능성도 생각해야 한다. 또한 근거가 보여 주는 범위보다 결론의 대상과 기간, 판단의 강도가 더 커지지는 않았는지 확인해야 한다. 근거의 충분성을 판단한다는 것은 자료의 개수를 단순히 세는 일이 아니다. 결론을 받아들이는 데 필요한 정보가 제대로 갖추어져 있는지를 살펴보는 일이다.
1)하나의 사례만으로 판단할 수 있는가
구체적인 사례는 이해하기 쉽고 기억에도 잘 남는다. 특히 자신이나 가까운 사람이 겪은 경험이라면 그 사례를 더 중요하게 받아들이기 쉽다. 그러나 하나의 사례는 특정한 사람과 상황에서 일어난 일을 보여 줄 뿐이다. 그 사람에게 나타난 결과가 다른 사람에게도 똑같이 나타난다고 바로 말할 수는 없다. 넓은 집단 전체에 관한 결론을 내리려면 서로 다른 특성을 가진 사람과 다양한 상황을 함께 살펴봐야 한다. 따라서 사례가 보여 주는 범위와 주장이 적용되는 범위를 비교하는 것이 중요하다.
“고등학생인 민서는 지난 학기부터 아침에 한 시간씩 공부하기 시작했다. 이전에는 주로 밤늦게 공부했지만 피곤해서 같은 내용을 여러 번 읽어도 기억하기 어렵다고 느꼈다. 민서는 잠드는 시간을 앞당기고 아침에 수학 문제를 풀었다. 두 달 뒤 수학 시험 점수는 이전 시험보다 12점 올랐다. 민서는 아침 공부가 성적 향상에 가장 큰 도움이 되었다고 생각했다. 이 경험을 들은 친구는 모든 학생이 아침에 공부하면 성적을 올릴 수 있다고 말했다. 그러나 같은 기간에 민서는 학원 수업을 새로 시작했고 하루 전체의 공부 시간도 늘렸다. 한 학생의 변화만으로 아침 공부가 모든 학생에게 같은 효과를 준다고 판단하기는 어려웠다.”
민서의 사례는 아침 공부를 시작한 뒤 수학 성적이 오른 한 학생의 경험을 보여 준다. 아침 공부가 민서에게 도움이 되었을 가능성은 있다. 그러나 성적이 오르는 동안 학원 수업을 새로 시작했고 전체 공부 시간도 늘었다. 잠드는 시간을 앞당긴 변화가 피로와 집중 상태에 영향을 주었을 수도 있다. 따라서 성적 향상이 오직 아침 공부 때문이었다고 분리하여 판단하기 어렵다. 또한 사람마다 생활 시간과 집중하기 좋은 시간이 다를 수 있다. 이 사례만으로 ‘아침에 공부하면 모든 학생의 성적이 오른다’고 결론 내리면 사례가 보여 주는 범위보다 주장이 지나치게 넓어진다.
사례 하나로는 어떤 결과가 나타날 수 있다는 가능성을 생각해 볼 수 있다. ‘아침 공부가 일부 학생에게 도움이 될 수 있다’는 정도의 제한적인 판단은 가능하다. 그러나 그 방법이 얼마나 많은 학생에게 효과가 있으며 다른 시간대보다 실제로 더 좋은지는 알 수 없다. 이를 확인하려면 생활 습관과 학습 수준이 다른 여러 학생을 살펴보고 아침 공부 전후의 변화를 비교해야 한다. 다른 학습 조건이 함께 바뀌지 않았는지도 확인할 필요가 있다. 비슷한 성공 사례가 여러 개 있더라도 효과가 없었던 사례를 제외하고 좋은 결과만 골랐을 가능성도 살펴봐야 한다. 사례의 생생함보다 사례의 수와 다양성, 다른 조건에 관한 정보가 충분한지를 확인해야 한다.
2)빠진 정보가 있는가
자료의 의미를 정확하게 판단하려면 수치 자체뿐 아니라 그 수치를 이해하는 데 필요한 배경 정보도 함께 살펴야 한다. 비교 기준과 조사 대상, 조사 기간, 장소가 빠지면 같은 숫자라도 전혀 다른 의미로 해석될 수 있다. 따라서 구체적인 수치가 제시되어 있다는 이유만으로 충분한 근거라고 판단해서는 안 된다. 먼저 결과가 무엇과 비교된 것인지 확인하고 누구를 대상으로 어떤 기간에 조사했는지도 살펴봐야 한다. 조사 방법과 질문 방식에 따라 결과가 달라질 수 있으므로 자료가 만들어진 과정도 중요하다. ‘이 결론을 판단하려면 어떤 정보가 더 필요한가’를 물으면 빠진 정보를 찾는 데 도움이 된다.
“한 회사는 올해 상반기 매출이 지난해 같은 기간보다 20퍼센트 증가했다고 발표했다. 회사는 이를 제품에 대한 소비자의 관심이 크게 높아진 결과라고 설명했다. 신제품 출시 이후 실시한 만족도 조사에서는 응답자의 80퍼센트가 제품에 만족한다고 답했다. 회사는 매출 증가와 높은 만족도를 근거로 앞으로도 성장이 계속될 것이라고 전망했다. 그러나 발표 자료에는 지난해 상반기의 매출액이 얼마였는지 제시되어 있지 않았다. 만족도 조사에 참여한 인원과 응답자를 모집한 방법도 공개되지 않았다. 신제품을 구매한 고객만 조사했는지 제품을 사용하지 않은 사람도 포함했는지 알 수 없었다. 할인 행사와 판매점 확대가 매출 증가에 어떤 영향을 주었는지도 설명되지 않았다.”
매출이 20퍼센트 증가했다는 수치를 해석하려면 먼저 비교 기준이 되는 지난해 매출을 확인해야 한다. 지난해 매출이 일시적으로 크게 감소했다면 20퍼센트 증가는 이전 수준의 일부를 회복한 결과일 수 있다. 반대로 이미 높은 매출에서 20퍼센트가 더 늘었다면 변화의 의미는 달라진다. 만족도 80퍼센트도 조사 대상과 응답자 수가 없으면 대표성을 판단하기 어렵다. 매우 만족한 고객만 자발적으로 참여했거나 응답자가 열 명뿐이었다면 전체 고객의 평가로 일반화하기 어렵다. 숫자가 크고 구체적으로 보이더라도 기준과 대상, 조사 방법이 빠지면 그 의미를 정확하게 판단할 수 없다. 수치의 모양보다 그 수치가 어떤 자료에서 만들어졌는지를 살펴봐야 한다.
앞으로도 성장이 계속될 것이라는 전망을 판단하려면 현재의 증가가 일시적인지 지속적인지도 확인해야 한다. 할인 행사 때문에 단기간에 판매가 늘었다면 행사가 끝난 뒤에도 같은 증가가 이어진다고 볼 수 없다. 판매점이 늘어난 결과라면 매장 한 곳당 판매량은 크게 변하지 않았을 가능성도 있다. 만족도가 높더라도 다시 구매할 의사가 있는지는 별도의 문제이다. 자료에 빠진 정보가 많을수록 하나의 수치를 여러 방식으로 설명할 수 있다. 따라서 결과만 받아들이기보다 비교 기준과 조사 대상, 기간, 수집 방법, 영향을 줄 수 있는 다른 조건을 확인해야 한다. 충분한 근거는 숫자를 많이 제시하는 것이 아니라 결론을 판단하는 데 필요한 맥락을 함께 제공한다.
3)다른 설명이 가능한가
하나의 현상은 여러 원인의 영향을 받아 나타날 수 있다. 따라서 한 가지 설명이 가능하다고 해서 그것만이 실제 원인이라고 바로 판단해서는 안 된다. 특히 사람의 행동이나 사회 현상은 여러 조건이 동시에 작용하는 경우가 많다. 다른 설명이 가능하다는 사실이 처음 제시된 설명이 반드시 틀렸다는 뜻은 아니다. 중요한 것은 가능한 설명들을 비교하고 어떤 설명이 실제 자료와 더 잘 맞는지 확인하는 것이다. 각각의 설명을 구별하려면 추가 자료와 비교가 필요할 수 있다.
“해오름공원은 봄에 새로운 야외 운동 시설을 설치했다. 시설이 설치된 뒤 한 달 동안 공원 이용자는 이전 달보다 30퍼센트 증가했다. 공원 관리자는 새로운 운동 시설이 주민의 방문을 늘렸다고 설명했다. 실제로 저녁 시간에는 운동 기구를 사용하는 주민이 자주 관찰되었다. 같은 시기에 날씨가 따뜻해지면서 비가 오는 날도 줄었다. 공원 주변에는 대규모 아파트 단지가 새로 입주했고 주말마다 가족 체험 행사도 열렸다. 이용자 수를 측정한 이전 달에는 추운 날이 많아 야외 활동을 하기 어려웠다. 운동 시설 외의 여러 변화도 공원 이용 증가에 영향을 주었을 가능성이 있었다.”
운동 시설이 설치된 뒤 공원 이용자가 증가했으므로 두 변화가 관련되어 있을 가능성은 있다. 저녁에 운동 기구를 사용하는 주민이 관찰되었다는 사실도 시설이 일부 방문을 이끌었을 가능성을 뒷받침한다. 그러나 같은 시기에 날씨가 따뜻해지고 주변 인구가 늘었으며 새로운 행사도 시작되었다. 어느 요인이 이용자 증가에 얼마나 영향을 주었는지는 현재 자료만으로 구별하기 어렵다. 특히 추운 이전 달과 따뜻한 다음 달을 비교했다면 계절 변화만으로도 이용자가 늘 수 있다. 따라서 운동 시설 설치를 유일한 원인으로 확정하기에는 다른 가능한 설명이 많다. 한 가지 설명이 그럴듯하다는 사실과 다른 설명을 제외할 수 있다는 사실은 다르다.
각각의 설명을 확인하려면 원인을 구별할 수 있는 자료가 필요하다. 공원 방문자에게 방문 목적을 묻거나 운동 시설 이용자 수를 따로 측정할 수 있다. 비슷한 계절의 지난해 이용자 수와 비교하면 날씨와 계절의 영향을 어느 정도 살펴볼 수 있다. 아파트 입주 전후와 행사 개최 여부에 따른 방문 변화를 비교하는 방법도 있다. 이러한 자료를 통해 운동 시설과 다른 요인의 영향을 더 구체적으로 판단할 수 있다. ‘다른 설명도 가능한가’라고 묻는 것은 처음의 설명을 무조건 의심하기 위한 일이 아니다. 하나의 원인을 성급하게 확정하지 않고 결론에 필요한 근거가 충분한지 확인하기 위한 과정이다.
4)근거보다 결론이 커지지 않았는가
근거가 실제로 보여 주는 범위보다 결론이 더 넓거나 강하게 제시되는 경우가 있다. 특정 집단을 대상으로 한 조사 결과를 더 큰 집단 전체에 적용하거나 짧은 기간의 결과를 장기적인 변화로 확대할 수 있다. ‘일부’를 ‘모두’로 바꾸거나 ‘가능성이 있다’를 ‘확실하다’로 표현하는 것도 같은 문제이다. 이러한 변화가 생기면 원래 근거가 뒷받침하는 내용보다 더 큰 주장이 만들어진다. 따라서 근거와 결론을 비교할 때에는 대상과 기간, 지역, 판단의 강도가 서로 맞는지 살펴봐야 한다. 결론이 근거보다 넓다면 그 범위를 추가로 뒷받침할 자료가 있는지도 확인해야 한다.
“한 고등학교는 재학생 400명을 대상으로 선호하는 수업 방식을 조사했다. 설문에는 280명이 참여했고 이 가운데 57퍼센트가 일부 과목에서 온라인 학습을 함께 활용하는 방식을 선호한다고 답했다. 26퍼센트는 대면 수업만을 선호했고 나머지 응답자는 과목과 상황에 따라 다르다고 답했다. 온라인 학습을 선호한 학생들도 모든 수업을 온라인으로 진행하기보다는 복습 자료와 과제 안내에 활용하는 방식을 많이 선택했다. 학교 소식지는 이 결과를 소개하며 모든 학생이 온라인 학습을 원한다고 보도했다. 이어 온라인 학습이 앞으로 모든 대면 수업을 완전히 대신하게 될 것이라고 전망했다. 그러나 조사는 한 학교의 일부 응답자를 대상으로 했으며 온라인 학습과 대면 수업을 함께 활용하는 방식에 관한 선호를 물었다. 모든 학생이 모든 수업의 온라인 전환에 동의했다는 자료는 제시되지 않았다.”
조사에서 확인된 대상은 한 고등학교의 설문 응답자 280명이다. 그중 57퍼센트가 ‘일부 과목에서’ 온라인 학습을 함께 사용하는 방식을 선호했다. 따라서 이 자료를 ‘모든 학생이 온라인 학습을 원한다’고 바꾸면 대상과 비율의 범위가 모두 넓어진다. 응답자의 절반을 조금 넘는 비율을 모든 학생으로 바꾸었고 한 학교의 결과를 더 넓은 학생 집단으로 확대했기 때문이다. 온라인 학습을 선호한 학생들도 대면 수업의 완전한 폐지보다 복습과 안내를 위한 보조적 활용을 많이 선택했다. 이 결과를 모든 대면 수업이 온라인 수업으로 대체될 것이라는 전망으로 이어 가는 것도 자료보다 강한 결론이다. 근거와 결론 사이에서 대상과 방식, 판단의 강도가 모두 달라졌다.
기간의 범위도 함께 확인해야 한다. 이번 달의 판매량이 증가했다는 자료만으로 앞으로 계속 증가할 것이라고 단정할 수는 없다. 특정 시기에 일시적으로 나타난 결과가 장기적으로 이어지는지는 별도의 자료가 필요하다. ‘두 현상이 관련될 가능성이 있다’는 결론을 ‘하나가 다른 하나의 원인으로 밝혀졌다’고 바꾸면 판단의 강도가 커진다. 근거와 결론을 나란히 놓고 대상, 지역, 기간, 비율, 확실성의 표현을 비교하면 확대된 부분을 찾을 수 있다. 결론은 근거가 실제로 보여 주는 범위 안에서 제시되어야 한다. 더 넓고 강한 결론을 내리려면 그만큼 넓고 충분한 추가 자료가 필요하다.
