AI·로봇 시대의 돌봄서비스 059. 사회서비스 AI의 한계와 위험

사회서비스 분야의 인공지능은 정보 접근성과 업무 효율성을 높일 수 있지만 잘못 설계하거나 운영하면 기존의 불평등과 배제를 더욱 심화시킬 수 있다. 사회서비스 데이터에는 빈곤과 장애, 질병, 학대와 가족관계 등 개인의 민감한 생활정보가 포함되며 인공지능의 오류는 실제 서비스 이용과 권리 보장에 영향을 미칠 수 있다. 기술의 정확도가 높더라도 판단 이유를 설명하거나 결과에 이의를 제기할 수 없다면 이용자는 부당한 결정을 바로잡기 어렵고, 사람이 최종적으로 승인하더라도 자동 결과에 대한 지나친 신뢰와 과도한 업무 부담으로 실질적인 검토가 이루어지지 않을 수 있다. 따라서 사회서비스 인공지능의 위험은 알고리즘 만의 문제가 아니라 데이터와 조직, 제도, 전문가와 이용자의 관계를 함께 고려하여 관리해야 한다.

알고리즘 편향은 인공지능의 결과가 특정 개인이나 집단에 지속적으로 불리하게 나타나는 현상이다. 편향은 과거의 차별이 담긴 기록, 일부 집단이 충분히 포함되지 않은 자료, 부정확한 측정, 잘못 표시된 정답이나 부적절한 예측 목표에서 발생할 수 있다. 개발자가 차별할 의도가 없더라도 거주지역, 서비스 이용량과 체납 이력 등의 정보가 소득 수준이나 인종·지역의 차이를 간접적으로 나타내어 차별적인 결과를 만들 수 있다. 인공지능의 편향은 데이터와 알고리즘뿐 아니라 사람의 판단과 조직의 운영 절차를 포함한 개발·도입·운영의 모든 과정에서 발생할 수 있다(Schwartz et al., 2022). 따라서 편향은 모델을 학습하기 전에 자료를 정리하는 데 그치지 않고 목표 설정부터 현장 적용 결과의 점검까지 지속적으로 관리해야 한다. 편향된 모델은 특정 집단의 위험을 실제보다 높게 판단하여 불필요한 조사와 낙인을 늘리거나 낮게 판단하여 필요한 지원에서 제외할 수 있다. 의료비를 건강 욕구를 나타내는 간접 지표로 사용한 알고리즘에서는 인종에 따른 의료 이용과 지출의 차이로 일부 집단의 실제 건강 욕구가 낮게 평가된 사례가 확인되었다 (Obermeyer et al., 2019). 전체적인 정확도만 평가하면 성별과 연령, 장애, 지역과 소득이 겹치는 소규모 집단에서 발생하는 큰 오류가 드러나지 않을 수 있다. 기관은 집단별 선정 비율과 잘못 선정하거나 필요한 사람을 놓친 비율을 비교하고 자료와 사회 환경의 변화에 따라 새로운 편향이 발생하는지 지속적으로 점검하며, 이용자와 현장 전문가 및 권익옹호기관이 참여하여 각 오류가 미치는 영향과 허용 가능한 수준을 논의해야 한다.

설명 가능성은 인공지능이 어떤 결과를 냈으며 그 결과가 어떤 근거와 과정을 통해 만들어졌는지를 사람이 이해할 수 있게 제시하는 특성이다. 복잡한 모델은 매우 많은 정보와 계산 기준이 서로 영향을 주므로 담당자도 개별 결과가 만들어진 과정을 쉽게 파악하기 어려울 수 있다. 설명이 부족하면 전문가는 모델의 오류를 발견하기 어렵고 이용자도 자신에게 불리한 판단의 근거를 확인하기 어렵다. 설명 가능한 인공지능은 판단의 근거를 이용자가 이해할 수 있도록 전달하고, 그 설명이 실제 작동 과정을 충실하게 보여 주며 시스템이 알지 못하는 부분도 분명히 밝혀야 한다(Phillips et al., 2021). 필요한 설명의 내용과 수준은 개발자, 사회복지사, 관리자, 감사 담당자와 서비스 이용자 등 각자의 역할에 따라 달라질 수 있다.

모델이 전체적으로 어떤 기준에 따라 작동하는지를 설명하는 방법과 한 사람의 결과에 어떤 정보가 영향을 미쳤는지를 설명하는 방법은 서로 다른 정보를 제공한다. 특정 정보가 모델의 판단에 중요하게 사용되었다고 해도 그 정보가 실제 결과를 일으킨 원인이라는 뜻은 아니다. 작동 과정이 복잡하여 이해하기 어려운 모델에 나중에 설명을 덧붙이는 방법은 이해에 도움이 될 수 있지만 실제 과정을 지나치게 단순화하거나 잘못된 확신을 줄 수 있다. 따라서 중요한 권리와 서비스에 영향을 미치는 결정에서는 결과가 나온 뒤 복잡한 모델을 설명하려 하기보다 처음부터 판단 과정을 이해할 수 있는 모델의 사용을 우선 검토하고(Rudin, 2019), 어떤 정보와 기준이 사용되었으며 무엇을 수정하거나 이의를 제기할 수 있는지를 당사자가 이해하기 쉽게 안내해야 한다.

사회서비스 자료에는 소득과 부채, 건강, 장애, 가족관계, 학대 경험, 주거 상태와 서비스 이용 이력 등의 개인정보와 민감정보가 포함된다. 여러 기관의 자료를 결합하면 개인의 상황을 폭넓게 파악할 수 있지만 원래의 수집 목적과 다르게 사용하거나 여러 정보를 조합하여 개인을 다시 알아낼 위험도 커진다. 인공지능을 개발하고 활용할 때에는 개인정보 처리의 법적 근거를 확인하고 목적에 필요한 최소한의 정보만 수집하며 보관 기간이 지나면 안전하게 삭제해야 한다. 개인정보보호위원회의 생성형 인공지능 안내서는 인공지능의 개발부터 도입·운영·종료까지 각 단계에서 개인정보 처리 기준과 보호 조치를 검토하도록 제시한다(개인정보보호위원회, 2025). 이용자의 동의를 근거로 정보를 처리하더라도 동의 내용을 이해하기 쉽게 설명하고 서비스 이용에 필요하지 않은 정보의 제공을 강요해서는 안 된다. 상담 기록을 외부 생성형 인공지능에 입력할 때에는 입력한 지시문과 첨부 문서, 생성 결과가 서비스 제공업체의 서버에 저장되거나 다른 목적으로 처리되는지를 확인해야 한다. 이름과 주민등록번호를 삭제하더라도 드문 사건과 지역, 가족 구성과 날짜 등의 정보가 결합되면 개인을 다시 알아볼 수 있으므로 일부 정보의 삭제만으로 익명성이 보장되지는 않는다. 기관은 승인된 시스템만 사용하도록 하고 정보의 전송·저장 시 암호화, 접근 권한 제한, 이용 기록 관리, 유출 사고 대응과 위탁업체 점검을 시행해야 한다. 개인정보 유출은 금전적 피해뿐 아니라 낙인과 관계 손상, 차별과 신체적 위험으로 이어질 수 있으므로 정보의 민감한 정도에 맞는 보호 조치를 적용하고, 이용자에게 인공지능이 정보를 사용하는 목적과 범위, 보관 기간과제삼자 제공 여부를 알리며 잘못된 정보를 수정할 권리를 보장해야 한다.

과도한 자동화는 인공지능이 판단을 돕는 도구의 범위를 넘어 사람의 복합적인 욕구와 권리에 관한 결정을 사실상 지배하는 상태이다. 담당자는 시간이 부족하거나 시스템의 판단이 객관적이라고 믿을 때 다른 근거보다 자동 점수와 추천을 우선하는 자동화 편향에 빠질 수 있다. 시스템의 제안을 반복해서 따르다 보면 전문가가 직접 욕구를 조사하고 비판적으로 판단하는 능력이 약해져 예외적인 사례에 대응하기 어려울 수 있다. 유럽연합 인공지능법은 고위험 인공지능을 사용하는 사람이 결과를 이해하고 지나치게 의존하지 않으며 필요한 경우 결과를 무시·변경하거나 시스템을 중단할 수 있는 인간의 감독 수단을 마련하도록 요구한다 (European Parliament & Council of the European Union, 2024). 사회서비스에서는 업무 처리 속도와 비용 절감을 이유로 사람과의 접촉과 개인별 욕구 조사를 줄여서는 안 된다. 사람이 실질적으로 감독하려면 검토자가 원래 자료를 확인하고 모델의 한계를 이해하며 자동 결정을 변경할 충분한 시간과 권한을 가져야 한다. 수백 건의 자동 결과를 짧은 시간 안에 승인하도록 하는 절차는 형식적으로 사람이 참여하더라도 사실상 자동 결정과 다르지 않다. 기관은 자동화할 수 있는 행정업무와 사람이 직접 판단해야 하는 위험도 높은 업무를 미리 구분하고 인공지능 사용을 금지하거나 제한할 사례를 정해야 한다. 디지털 도구를 사용하기 어려운 사람에게 대면·전화·서면 등의 이용 방법을 보장하고, 오류가 미치는 영향과 결정을 되돌릴 가능성, 당사자의 취약한 상황 및 전문적인 관계의 필요성을 고려하여 자동화 수준을 정기적으로 다시 평가해야 한다.

사회서비스 인공지능에는 모델 개발업체, 데이터 제공기관, 시스템 도입기관, 관리자와 현장 전문가 등 여러 주체가 참여한다. 역할이 복잡하다는 이유로 오류의 책임을 인공지능이나 외부업체에 돌리면 피해를 입은 이용자는 누구에게 시정을 요구해야 하는지 알기 어렵다. 시스템을 도입한 기관은 사용 목적과 범위를 승인하고 성능과 영향을 점검하며 외부업체의 계약상 의무와 사고 발생 시 책임을 명확히 정해야 한다. 인공지능의 개발부터 도입·운영·종료까지 각 단계에서 발생하는 윤리적·법적 책임은 실제 담당자나 관련 기관에 명확히 부여되어야 한다는 원칙이 제시되어 있다(UNESCO, 2021). 의사결정 과정에는 사용한 모델과 버전, 입력 자료, 생성 결과, 사람의 검토 내용과 최종 결정자를 확인할 수 있는 기록을 남겨야 한다. 이의 제기는 이용자가 자동화된 판단의 오류와 부당한 영향을 알리고 사람에게 다시 심사해 달라고 요구하는 권리 보장 절차이다. 기관은 결정 내용을 통지할 때 인공지능의 사용 여부와 주요 판단 근거, 예상되는 영향, 정보 수정과 이의신청 방법을 이해하기 쉬운 언어로 안내해야 한다. 이용자는 잘못된 입력 자료를 수정할 수 있어야 하며 자동 결정에 참여하지 않은 담당자가 추가 자료와 개별 상황을 다시 검토해야 한다. 오류가 중대한 피해로 이어질 가능성이 있으면 이의 심사 중 결정을 일시적으로 중단하거나 긴급 지원을 제공하고 잘못된 결과를 신속하게 취소하며, 반복되는 이의 제기와 결정 변경 사례를 자료·모델·업무 규칙의 구조적인 문제를 찾고 개선하는 데 활용해야 한다.

사회복지사는 인공지능이 제시한 정보와 초안을 비판적으로 검토하고 당사자의 권리와 안전, 자기결정과 복지를 중심으로 최종 판단을 내려야 한다. 인공지능의 결과가 기관 시스템에 표시되었다는 사실만으로 내용의 정확성과 윤리성이 보장되는 것은 아니다. 사회복지사는 중요한 사실을 원래 자료와 당사자에게 직접 확인하고 인공지능이 파악하지 못한 강점과 위험을 줄이는 요인, 문화적 배경과 최근의 변화를 함께 살펴야 한다. 생성형 인공지능은 사회복지 실천의 질을 높이는 방향으로 활용해야 하며 사회복지사의 핵심적인 역할을 대신하는 수단이 되어서는 안 된다(BASW, 2025). 시스템이 안전하지 않거나 차별적인 결과를 만든다고 판단되면 사회복지사는 사용을 거부하거나 중단을 요청하고 문제를 보고할 수 있어야 한다. 사회복지사에게 최종 책임이 있다는 이유로 인공지능의 구조적인 위험과 결과를 검토하는 부담을 현장 실무자 개인에게 모두 떠넘겨서는 안 된다. 기관은 충분한 교육과 지도·감독, 검토 시간과 기술 지원을 제공하고 모델의 성능과 편향, 보안 상태를 독립적으로 점검해야 한다. 개발자와 관리자는 모델의 한계와 변경 사항을 공개하고 이용자와 현장 전문가가 발견한 문제를 수정하는 절차를 운영해야 한다. 서비스 이용자와 지역사회가 인공지능의 도입 목적, 허용할 자동화 수준, 공정성 기준과 평가 과정에 실질적으로 참여하도록 하여, 인간의 책임을 기술에 넘기지 않고 기술을 통제하면서 인간의존엄과 권리 및 전문적인 관계를 강화해야 한다.