AI·로봇 시대의 돌봄서비스 097. 알고리즘 편향과 책임성

AI·로봇 돌봄에서 알고리즘 편향은 단순한 계산 오류가 아니라 특정 집단이 서비스에서 배제되거나 불리한 판단을 받을 수 있게 하는 구조적 위험이다. 돌봄 대상자 선정, 위험도 분류, 서비스 우선순위, 제공 시간의 결정에 편향된 결과가 사용되면 기존의 사회적 불평등이 기술을 통해 반복되거나 확대될 수 있다. 책임성은 개발자의 정확도 관리에 한정되지 않으며 데이터 수집, 제품 조달, 현장 적용, 결과 검토, 사고 대응, 피해 구제를 포괄한다. 공정성, 투명성, 설명 가능성, 이의 제기 가능성, 인간의 감독은 서로 분리된 요건이 아니라 하나의 책임 체계를 구성하는 요소이다. 사회복지기관은 알고리즘의 성능을 수동적으로 신뢰하기보다 이용자에게 미칠 위험을 도입 전부터 운영과 종료에 이르기까지 지속적으로 확인하고 통제해야 한다(NIST, 2023).

데이터 편향은 수집 대상의 불균형, 부정확한 측정, 편향된 분류 기준, 누락된 맥락, 과거의 차별적 관행에서 발생할 수 있다. 예를 들어 기존 서비스 이용 기록만으로 학습한 모형은 정보 부족, 이동 제약, 차별로 인해 서비스를 이용하지 못한 사람의 욕구를 낮게 평가할 수 있다. 주소, 소득, 가족 형태와 같은 변수는 보호가 필요한 특성을 직접 입력하지 않더라도 차별을 재현하는 대리 변수로 작동할 수 있다. 따라서 성별, 장애와 같은 민감한 변수를 단순히 제거하는 것만으로 공정성이 확보된다고 보아서는 안 되며, 자료가 어떤 제도와 사회적 조건에서 생성되었는지를 함께 검토해야 한다. 편향 관리는 데이터와 모형의 기술적 편차뿐만 아니라 인간과 조직의 판단, 서비스 이용 구조, 사회적 불평등에서 비롯된 편향을 함께 다루는 과정이다(Schwartz et al., 2022). 차별 위험을 줄이려면 전체 평균 성능뿐만 아니라 연령, 성별, 장애, 지역, 소득 수준 등 주요 집단별 오류율과 서비스 결과를 비교해야 한다. 특히 오탐지와 미탐지가 각 집단에 어떤 불이익을 초래하는지를 구분하여 평가하는 것이 중요하다. 도입 전 영향 평가에는 데이터의 대표성, 변수 사용의 필요성과 정당성, 집단별 성능, 예상되는 권리 침해, 위험 완화 조치가 포함되어야 한다. 운영 이후에는 새롭게 축적되는 자료와 AI 결과가 기존의 서비스 배분을 강화하면서 다시 학습 자료가 되는 순환적 편향을 만드는지도 점검해야 한다. 공정성 평가는 하나의 수학적 지표를 충족하는 데 그치지 않고 돌봄의 필요, 권리, 피해의 분배, 서비스 접근의 형평성이라는 규범적 기준에 따라 이루어져야 한다(WHO, 2021a; NIST, 2023).

고령자와 장애인은 학습 자료에 충분히 포함되지 않거나 표준적인 신체, 음성, 표정, 행동을 전제로 한 설계 때문에 높은 인식 오류를 경험할 수 있다. 떨림, 느린 발화, 비전형적인 억양, 보조기기 사용, 제한된 움직임은 음성 인식이나 행동 감지 시스템에서 오류나 예외로 처리될 가능성이 있다. 낙상 감지의 미탐지는 긴급 대응을 지연시키고, 오탐지는 불필요한 출동, 행동 제한, 상시 감시를 초래할 수 있다. 얼굴이나 감정 인식의 오류가 의사소통 능력과 정서 상태에 관한 잘못된 판단으로 이어지면 이용자의 자기 표현이 무시될 위험도 있다. 고령자를 동질적인 취약 집단으로 가정하는 데이터와 설계는 개인차를 지우고 연령 차별을 자동화할 수 있다(WHO, 2022a). 인식 시스템은 고령자와 다양한 장애 유형의 당사자가 참여하는 실제 이용 환경에서 집단별로 검증해야 한다. 조명, 소음, 주택 구조, 피부 특성, 보조기기, 다른 사람의 동시 행동처럼 현장에서 발생하는 조건도 시험에 포함해야 한다. 얼굴 인식에서 인구 집단에 따라 오탐률이 달라질 수 있다는 실증 결과는 평균 성능만으로 시스템의 안전성과 공정성을 판단하기 어렵다는 점을 보여 준다(Grother et al., 2019). 시스템이 이용자의 말이나 행동을 인식하지 못한 경우 이를 거부나 비협조로 해석하지 말고 문자, 버튼, 수어, 보완대체의사소통, 사람의 지원 등 다른 이용 경로를 제공해야 한다. 배포 이후에도 이용자와 종사자가 오류를 쉽게 신고할 수 있게 하고 집단별 오류와 성능 변화를 지속적으로 추적해야 한다. 특정 집단에서 중대한 오류가 반복되면 설정을 조정하거나 대체 수단을 제공하고 안전성이 확보될 때까지 해당 기능의 사용을 제한하거나 중단해야 한다.

투명성은 알고리즘을 사용한다는 사실만 공개하는 것이 아니라 시스템의 목적, 사용 범위, 주요 데이터, 한계, 책임 주체를 이해할 수 있게 하는 원칙이다. 설명 가능성은 특정한 결과가 어떤 정보와 주요 판단 요소에 의해 산출되었는지를 이용자가 이해할 수 있는 수준으로 제시하는 능력이다. 사회복지기관은 AI 사용 여부, 결과의 의미와 불확실성, 사람의 검토 여부, 결과가 서비스 결정에 미치는 영향, 문의 방법을 이용자에게 안내해야 한다. 설명은 기술 용어나 수식을 나열하는 방식이 아니라 쉬운 언어, 큰 글자, 음성, 수어, 보완대체의사소통 등 이용자가 접근할 수 있는 형식으로 제공해야 한다. 신뢰할 수 있는 AI는 책임성과 투명성 뿐만 아니라 설명 가능성과 해석 가능성을 함께 갖추어야 한다(NIST, 2023). 설명의 내용과 수준은 이용자의 결정과 권리에 미치는 영향에 비례해야 한다. 단순한 일정 추천과 서비스 자격·위험 등급에 영향을 미치는 판단에는 서로 다른 수준의 설명이 필요하다. 영업 비밀이나 보안을 보호할 필요가 있더라도 이를 이유로 이용자에게 영향을 준 주요 정보, 판단 기준, 오류 가능성까지 공개하지 않 아서는 안 된다. 책임 있는 투명성은 피해가 발생한 뒤 설명을 제공하는 데 그치지 않고 시스템의 전 생애 주기를 문서화하는 데서 시작한다. 데이터 출처, 모형 버전, 검증 결과, 변경 이력, 적용일, 담당자, 주요 입력·출력 기록은 사후 점검과 분쟁 해결의 근거가 된다. 기관은 영향이 큰 AI 시스템의 명칭, 용도, 공급자, 적용 대상, 성능, 감독 절차를 내부 목록으로 관리하고 필요한 범위에서 이용자와 감독 기관에 공개해야 한다. 의료·돌봄 분야의 AI 거버넌스는 사용 목적의 명확화, 외부 검증, 데이터 품질, 투명성을 함께 요구한다(WHO, 2023).

자동화된 결정에 대한 이의 제기는 이용자가 알고리즘의 결과를 변경할 수 없는 결론처럼 받아들이지 않도록 보장하는 절차적 권리이다. 급여 자격, 서비스 우선순위, 돌봄 시간, 위험 등급처럼 생활에 중대한 영향을 미치는 결정에는 자동화된 시스템의 사용 여부와 결정 결과를 명확히 알려야 한다. 안내에는 결과에 사용된 주요 정보와 판단 기준, 잘못된 자료의 정정 방법, 설명과 사람의 재검토를 요청하는 절차, 처리 기한이 포함되어야 한다. 이의 제기 창구는 온라인 방식에만 의존하지 않고 전화, 방문, 서면, 대리 신청, 의사소통 지원을 제공해야 한다. 정보주체가 자신의 의견을 제출하고 인간의 개입을 요청하며 자동화된 결정에 이의를 제기할 수 있는 절차는 데이터 보호와 권리 구제의 중요한 안전장치이다 (Council of Europe, 2018). 이의가 제기되면 기관은 원래의 결과를 형식적으로 재확인하는 데 그치지 않고 입력 자료, 판단 기준, 이용자의 생활 맥락을 새롭게 살피는 실질적인 재검토를 해야 한다. 검토자는 원자료, 모형의 출력과 불확실성, 적용된 업무 규칙, 현장 기록을 확인할 수 있어야 하며, 원래 결정을 유지·변경하거나 무효화할 권한을 가져야 한다. 회복하기 어려운 불이익이 예상되는 경우에는 관련 법령과 서비스 기준에 따라 재검토 기간 동안 결정의 집행을 보류하거나 임시 지원을 제공하는 방안을 마련할 필요가 있다. 잘못된 정보가 확인되면 원천 자료와 후속 기록을 정정하고, 그 자료에서 생성된 점수와 다른 기관에 전달된 결과도 수정해야 하는지 확인해야 한다. 같은 오류의 영향을 받은 다른 이용자가 있는지도 조사해야 한다.

개별 이의 제기와 처리 결과를 집계하여 반복적인 오류와 집단별 불이익을 분석하면 이의 제기 절차를 구조적 편향을 발견하는 감시 체계로 활용할 수 있다 (NIST, 2023).

AI·로봇 돌봄의 사고와 오판에 대한 역할과 의무는 개발자, 공급자, 도입 기관, 관리자, 현장 전문가에게 나뉠 수 있지만, 그 결과가 누구에게도 책임을 물을 수 없는 상태로 이어져서는 안 된다. 개발자는 의도된 사용 범위, 알려진 한계, 잔여 위험을 알리고 안전한 설계와 성능을 유지해야 한다. 공급자는 업데이트, 결함, 보안 취약점 정보를 적시에 제공하고 필요한 시정 조치를 지원해야 한다. 도입 기관은 제품과 서비스의 적합성을 검증하고 안전한 운영 환경, 교육, 감독, 사고 대응 체계를 마련해야 한다. 현장 전문가는 자신의 업무 범위에서 AI 결과를 이용자의 상황과 다른 정보에 비추어 검토하고 이상을 보고해야 한다. 계약에는 데이터 관리, 성능 저하, 보안 사고, 유지 보수, 기록 보존, 사고 통지, 손해 처리에 관한 역할을 구체적으로 정해야 한다. AI 거버넌스는 책임 주체를 명확히 하고 안전성, 유효성, 데이터 품질, 인간 개입을 보장해야 한다(WHO, 2023). 사고가 발생하면 먼저 이용자의 안전을 확보하고 문제가 된 기능이나 시스템의 사용을 제한해야 한다. 이후 입력 자료, 출력 결과, 시스템 로그, 설정, 모형·소프트웨어 버전을 보존하여 조사 가능성을 확보해야 한다. 기관은 피해를 입거나 영향을 받을 수 있는 이용자에게 확인된 사고 내용, 예상되는 영향, 즉시 취한 조치, 이용 가능한 구제 절차를 이해하기 쉽게 알려야 한다. 원인 분석에서는 개인의 실수만 찾지 말고 예측 가능한 설계 결함, 부적절한 데이터, 교육 부족, 오용을 유발한 화면, 업무량, 환경 변화, 여러 요소의 상호 작용을 살펴야 한다. 분석 결과에 따라 모형과 설정의 수정, 업무 절차 변경, 재교육, 감독 강화, 유사 이용자에 대한 선제적인 보호 조치를 실시해야 한다. 사고 보고와 학습 체계는 책임을 확인하는 절차인 동시에 같은 피해의 재발을 예방하는 조직적 안전 관리 수단이어야 한다(NIST, 2024a).

인간의 최종 검토 원칙은 생명, 안전, 권리, 기본적인 생활에 중대한 영향을 미치는 돌봄 결정을 AI의 출력만으로 확정하지 않고 적절한 권한을 가진 사람이 이용자의 맥락과 권리를 고려하여 판단한다는 원칙이다. 위험이 낮은 모든 자동화 업무에 동일한 수준의 검토를 요구하는 것이 아니라 결정의 영향, 오류 가능성, 피해의 심각성에 비례하여 감독 수준을 정해야 한다. 인간이 AI의 결과를 이해하지 못한 채 화면의 확인 버튼만 누르는 형식적인 개입은 실질적인 감독이라고 보기 어렵다. 검토자는 시스템의 목적과 한계, 오류 가능성을 이해하고 원자료와 대안적 정보에 접근하며 결과를 보류·변경하거나 사람 중심의 절차로 전환할 권한을 가져야 한다. 영향이 중대한 사안일수록 충분한 검토 시간과 관련 분야의 전문성을 보장해야 한다. 인간의 감독은 AI의 확률적 결과에 대한 과도한 의존을 줄이고 이용자의 개별 사정을 판단에 다시 포함하는 장치이다(European Parliament & Council of the European Union, 2024). 인간 검토자 역시 자동화 편향, 업무 과중, 경보 피로, 조직의 성과 압력으로 인해 AI의 권고를 무비판적으로 따를 수 있다. 기관은 검토자가 AI 결과를 유지하거나 변경한 비율과 사유, 집단별 결정 결과, 반복되는 오류를 점검하고 무작위 표본 검사와 고위험 사례에 대한 집중 감사를 병행해야 한다. 최종 결정에는 AI 권고의 내용, 이를 채택하거나 변경한 이유, 추가로 고려한 정보, 책임자를 기록해야 한다. 검토자가 합리적인 근거에 따라 알고리즘과 다른 결정을 내렸다는 이유로 불이익을 받지 않도록 전문적 재량과 안전한 문제 제기 경로도 보장해야 한다. 인간의 최종 검토는 기술의 사용을 배제하는 원칙이 아니라 사람이 실질적인 판단 권한과 책임을 가지고 이용자의존엄과 권리를 중심에 두도록 하는 협업 원칙이다(WHO, 2021a; NIST, 2023).