AI·로봇 시대의 돌봄서비스 055. 데이터와 알고리즘

데이터와 알고리즘은 인공지능이 학습하고 결과를 만드는 핵심 기반이다. 데이터는 현실의 사람과 현상을 일정한 기준에 따라 관찰하고 기록한 자료이며, 알고리즘은 이 자료를 처리하여 특징과 관계를 학습하는 방법과 절차이다. 인공지능의 결과는 자료의 양뿐 아니라 무엇을 어떤 기준으로 측정하고 분류했는지에 따라 달라지며, 같은 자료를 사용하더라도 학습 목표와 알고리즘, 평가 기준 및 결과를 판단하는 기준점이 다르면 서로 다른 결과가 나올 수 있다. 따라서 데이터와 알고리즘을 이해할 때에는 기술의 구성뿐 아니라 자료가 만들어진 상황과 개발자가 내린 여러 선택을 함께 살펴야 한다.

데이터는 사람과 사물, 사건이나 활동을 관찰하거나 측정한 결과를 글자, 숫자, 기호와 이미지 등의 형태로 나타낸 기록이다. 머신러닝에서 분석하는 한 사람이나 사물은 하나의 사례가 되고 이를 설명하는 나이, 소득, 이용 횟수 등의 항목은 변수 또는 특징이 된다. 정형 데이터는 표의 행과 열처럼 미리 정해진 형식으로 저장되며, 반정형 데이터는 일정한 표시와 순서를 따르지만 고정된 표 형식에는 완전히 맞지 않는 자료이다. 비정형 데이터는 자유롭게 작성한 글과 상담 기록, 음성, 사진과 영상처럼 일정한 표로 바로 정리하기 어려운 자료이다. 자료의 구조에 따라 저장 방법과 분석 전 정리 과정, 사용할 분석 방법과 필요한 컴퓨터 자원이 달라진다.

데이터는 값의 특성에 따라 숫자형, 종류를 구분하는 범주형, 순서형, 날짜·시 간형, 글자형과 영상·음성형 등으로 나눌 수 있다. 같은 대상을 한 시점에서 관찰한 자료와 여러 시점에 걸쳐 변화 과정을 살펴본 자료는 서로 다른 정보를 제공한다. 또한 설문조사나 관찰을 통해 연구자가 특정한 목적으로 직접 수집한 1차 자료와 행정 기록이나 기존 조사처럼 다른 목적으로 이미 만들어진 2차 자료를 구분해야 한다. 자료의 출처와 생성 시점, 측정 단위, 항목의 의미와 수정 이력을 설명하는 정보는 자료의 의미와 신뢰성을 판단하는 데 필요하며, 개인의 신원이나 건강, 장애, 소득과 가족관계를 드러내는 민감정보에는 적법한 수집 근거와 엄격한 보호 조치를 적용해야 한다.

학습 데이터는 인공지능이 자료에 나타난 특징과 관계를 찾아 내부의 계산 기준을 조정하는 데 사용하는 자료이다. 검증 데이터는 여러 모델의 성능을 비교하고 학습 속도, 모델의 복잡성이나 분류 기준 등을 적절하게 조정하는 데 사용한다. 시험 데이터는 개발을 마친 최종 모델이 처음 접하는 사례에서도 정확한 결과를 내는지를 독립적으로 평가하기 위한 자료이다. 학습·검증·시험 데이터를 분리하는 이유는 모델이 이미 학습한 사례를 기억하는 것과 새로운 사례를 정확히 판단하는 능력을 구분하기 위해서이다(Goodfellow et al., 2016). 시험 결과를 반복해서 확인하며 모델을 수정하면 시험 데이터도 사실상 학습에 사용되므로 최종 성능이 실제보다 높게 평가될 수 있다. 자료를 나눌 때에는 전체 집단의 중요한 특성이 각 자료에 고르게 포함되도록 무작위로 나누거나 연령·성별 등의 집단 비율을 유지하여 나누는 방법을 활용할 수 있다. 같은 사람의 여러 기록이 학습 데이터와 시험 데이터에 동시에 포함되거나 예측할 당시에는 알 수 없는 미래 정보가 학습에 사용되면 데이터 누출이 발생한다. 데이터 누출은 실제 예측에서는 사용할 수 없는 정보가 모델에 미리 제공되어 성능이 실제보다 높게 나타나는 오류이다(Kaufman et al., 2012). 시간의 흐름에 따라 생성된 자료는 미래 정보가 과거 사례의 학습에 포함되지 않도록 순서에 맞게 나누고, 자료가 적으면 여러 차례 자료 구성을 바꾸어 학습과 검증을 반복하되 별도의 최종 시험과 실제 현장에서의 검증도 수행해야 한다.

알고리즘은 입력된 정보를 정해진 순서와 방법에 따라 처리하여 특정 문제를 해결하는 절차이다. 머신러닝 알고리즘은 학습 자료와 목표를 바탕으로 오류를 줄이거나 더 나은 결과를 얻는 방향으로 내부의 계산 기준을 조정한다. 모델은 이러한 학습 절차를 자료에 적용하여 만들어진 예측과 판단의 기준이다. 같은 알고리즘을 사용하더라도 학습 자료와 처음 설정한 값, 분석에 활용한 특징과 세부 설정이 다르면 서로 다른 모델이 만들어질 수 있다. 따라서 알고리즘은 모델을 학습시키는 방법이고 모델은 특정 자료를 학습한 결과물이라는 점에서 구별된다. 모델 개발자는 무엇을 예측할 것인지 정하고 예측 결과와 실제 정답의 차이를 어떤 방식으로 계산할지를 설정한다. 모델의 구조와 학습 속도, 지나치게 학습 자료에만 맞추어지는 현상을 줄이는 기준 등 학습 전에 정하는 값도 최종 성능에 영향을 미친다. 완성된 모델은 새로운 정보를 입력받아 점수나 가능성을 제시하며, 실제 분류와 조치는 별도로 정한 판단 기준과 업무 규칙에 따라 결정된다. 같은 성능의 모델이라도 판단 기준에 따라 실제로 해당하지 않는 사람을 잘못 선택하거나 필요한 사람을 놓치는 비율이 달라질 수 있으므로 오류의 영향과 비용을 고려해야 하며, 모델의 목적과 학습 자료, 평가 방법, 집단별 성능, 적절한 용도와 한계를 정리한 ‘모델카드’를 작성하면 투명한 활용과 점검에 도움이 된다 (Mitchell et al., 2019).

데이터 품질은 자료가 이용 목적에 맞게 정확하고 빠짐이 없으며 서로 일관되고 최신 상태로 관리되는 정도를 뜻한다. 잘못 입력한 값, 빠진 항목, 중복된 기록, 서로 다른 측정 단위, 오래된 정보와 잘못 표시된 정답은 인공지능이 자료의 특징과 관계를 잘못 학습하게 할 수 있다. 누락된 값을 모두 삭제하거나 임의의 값으로 채우면 정보가 빠진 이유와 집단별 차이가 사라질 수 있으므로 처리 방법과 근거를 기록해야 한다. 자료의 수집 목적과 구성, 수집 과정, 분석 전 정리 방법, 적절한 용도와 관리 방법을 문서로 남기면 이용자가 자료의 적합성과 한계를 판단하는 데 도움이 된다(Gebru et al., 2021). 데이터 품질 관리는 학습 전에 한 번 자료를 정리하는 작업이 아니라 수집부터 수정과 폐기까지 모든 과정에서 지속적으로 이루어져야 한다. 대표성은 학습 자료에 포함된 사람과 사건, 환경과 시간대가 인공지능을 실제로 적용할 대상과 상황을 충분히 반영하는 정도이다. 전체 자료의 양이 많더라도 특정 지역과 연령, 장애 유형이나 생활 형태가 빠져 있으면 해당 집단을 제대로 반영하지 못할 수 있다. 자발적으로 참여했거나 디지털 기록을 많이 남긴 사람만 포함한 자료는 기록되지 않은 사람들의 특성을 지속적으로 놓칠 위험이 있다. 따라서 예상 이용자와 실제 적용 환경을 먼저 정하고 학습 자료와 현실 집단의 차이를 비교하며, 전체 평균뿐 아니라 주요 집단과 실제 사용 상황에서 모델의 정확성과 신뢰성을 평가하고 도입 이후에도 성능의 변화를 점검해야 한다(NIST, 2023).

데이터 편향은 자료를 수집하고 측정하며 대상을 선정하고 정답을 표시하거나 자료를 처리하는 과정에서 특정 집단이나 현상이 실제보다 적게 또는 많이 나타나는 상태이다. 과거의 차별이 반영된 기록을 그대로 학습 목표로 사용하면 인공지능은 불평등한 관행을 정상적인 판단 기준처럼 배울 수 있다. 대표성 편향은 일부 집단이 학습 자료에 충분히 포함되지 않을 때 발생하고, 측정 편향은 측정 도구나 실제 상태를 간접적으로 나타내는 지표의 의미가 집단마다 다를 때 발생한다. 특성이 다른 여러 집단에 하나의 판단 기준을 똑같이 적용하거나 적절하지 않은 자료를 기준으로 모델의 성능을 평가하는 경우에도 잘못된 결과가 나타날 수 있다. 머신러닝의 피해 가능성은 자료 수집부터 모델 개발과 현장 적용에 이르는 여러 단계에서 생겨나고 서로 영향을 미칠 수 있다(Suresh & Guttag, 2021). 편향된 자료는 특정 집단의 위험을 계속 높게 판단하거나 지원이 필요한 사람을 낮은 위험으로 분류하는 차별적인 오류로 이어질 수 있다. 전체적인 정확도가 높더라도 지원 대상이 아닌 사람을 잘못 선택하거나 필요한 사람을 놓치는 비율이 집단마다 크게 다르면 오류의 부담도 불공정하게 나누어진다. 편향은 의도적으로 차별하지 않더라도 조직의 관행, 사회제도와 기술 설계가 결합하여 발생할 수 있으므로 인공지능의 모든 과정에서 관리해야 한다(Schwartz et al., 2022). 단순히 자료의 양을 늘리는 것만으로 기존의 분류 기준과 측정 방식에 포함된 편향이 해결되지는 않으므로, 자료의 출처와 한계를 기록하고 집단별 오류를 측정하며 당사자와 전문가의 의견을 반영하고 실제 적용 이후의 결과도 지속적으로 점검해야 한다.