AI·로봇 시대의 돌봄서비스 069. AI 기반 돌봄서비스의 작동 구조

AI 기반 돌봄서비스는 이용자의 자료를 수집·분석하여 위험과 욕구를 예측하고 서비스 추천이나 알림을 제공하는 구조로 작동한다. AI가 생성한 결과는 전문가의 검토와 실제 지원을 거쳐야 하며, 지원 결과는 다시 서비스와 AI 모델의 성능을 평가하고 개선하는 자료가 된다. 이 과정은 데이터를 입력한 뒤 자동으로 결정을 내리고 끝나는 직선 구조가 아니라 사람의 판단과 결과 반영이 반복되는 순환 구조이다. 한 단계에서 발생한 오류가 다음 단계로 이어질 수 있으므로 데이터, AI 모델, 사용자 화면, 업무 절차와 책임체계를 함께 관리하고, 사용 환경에 따른 위험을 측정·관리하며 조직의 책임을 전 과정에 적용해야 한다(NIST, 2023).

데이터 수집은 서비스의 목적을 달성하는 데 필요한 이용자 정보를 정해진 방법으로 확보하는 단계이다. 자료에는 연령과 가구 구성, 건강·기능 상태, 상담·서비스 기록, 복약 정보, 센서 측정값, 위치정보와 기기 이용 기록 등이 포함될 수 있다. 같은 활동을 측정한 자료도 수집 시점, 측정 단위와 사용 기기에 따라 의미가 달라질 수 있으므로 자료의 출처와 수집 시간을 함께 기록해야 한다. 종사자가 관찰하여 입력한 내용과 이용자가 직접 표현한 욕구는 센서로 자동 수집한 자료로 대신하기 어려운 중요한 정보이다. 수집하는 각 항목은 서비스 목표와 연결되어야 하며 나중에 활용할 가능성이 있다는 이유만으로 이용자의 생활 전반에 관한 자료를 쌓아 두어서는 안 된다. 건강·돌봄 AI에 사용하는 데이터는 서비스를 적용할 대상과 실제 사용 환경을 적절히 반영해야 하며, AI 모델을 만드는 학습자료와 성능을 확인하는 시험자료를 구분해야 한다(IMDRF, 2025). 기기 미착용, 통신 중단과 입력 누락은 실제 상태 변화와 의미가 다르므로 자료의 값뿐 아니라 정상적으로 수집되었는지도 확인해야 한다. 자동으로 수집되는 자료도 센서의 고장, 기기의 잘못된 착용과 이용자의 생활 환경 변화로 부정확해질 수 있다. 따라서 자료의 양을 늘리기보다 서비스에 필요한 정보를 정확하고 일관되게 수집하고 필요한 최소한의 자료만 다루며 접근 권한을 제한해야 사생활 침해와 분석 오류의 가능성을 함께 줄일 수 있다.

데이터 전처리는 여러 출처에서 수집한 자료를 분석할 수 있도록 정리하는 단계이다. 이 과정에서는 중복 기록을 제거하고 날짜, 측정 단위와 분류 기준을 통 일하며 명백한 입력 오류와 센서의 비정상적인 값을 확인한다. 기록이 빠진 항목을 제외하거나 다른 값으로 채울 때에는 누락된 원인과 처리방법을 기록해야 한다. 자유롭게 작성된 상담기록에서는 자연어 처리를 통해 주요 표현이나 주제를 찾을 수 있지만 이용자의 생활 환경과 기록을 작성한 전문가의 판단이 일부 사라질 수 있다. 따라서 전처리는 자료를 단순히 정리하는 기술적 작업이 아니라 어떤 정보를 분석에 포함하고 제외할지를 결정하는 과정이다. 건강기록 자료의 품질은 필요한 항목이 빠짐없이 기록되었는지, 값이 정확하고 서로 일치하는지, 사용 목적에 적합하며 제때 갱신되었는지 등 여러 측면에서 평가해야 한다(Weiskopf & Weng, 2013). 특정 집단의 서비스 이용 기록이 적다면 실제 욕구가 적은 것인지 서비스 접근이 어려워 기록되지 않은 것인지 구분해야 한다. 통계적으로 지나치게 크거나 작은 값도 기기의 오류일 수 있지만 중대한 위기나 건강상태의 변화를 나타낼 수 있으므로 자동으로 삭제하기 전에 원자료와 발생 상황을 확인해야 한다. 성별, 장애, 소득과 지역 등의 변수가 예측 결과와 특정 집단에 미치는 영향을 함께 검토하고 자료의 처리 기준과 변경 기록을 보존해야, 같은 자료에서 서로 다른 결과가 나온 원인을 추적하고 분석 과정을 다시 확인할 수 있다.

위험·욕구 예측은 과거 자료에서 발견한 관계를 이용하여 앞으로 발생할 사건이나 아직 확인되지 않은 지원 필요의 가능성을 추정하는 단계이다. 먼저 낙상, 건강 악화, 서비스 중단 또는 사회적 고립 등 무엇을 어느 기간 안에 예측할 것인지 명확히 정해야 한다. 예측모델은 여러 정보를 함께 분석하여 개인별 위험점수나 위험 수준을 산출하지만 그 결과는 확정된 사실이 아니라 주어진 조건에서의 가능성을 의미한다. 같은 위험점수도 관찰 기간, 비교 대상과 예측 시점이 다르면 의미가 달라질 수 있으므로 점수를 계산한 조건과 적용 범위를 함께 제시해야 한다. 위험점수는 이용자에게 부정적인 꼬리표를 붙이거나 서비스 이용을 자동으로 제한하는 근거가 아니라 추가 확인과 조기 지원이 필요한지를 판단하는 신호로 활용해야 한다. 예측모델은 개발에 사용하지 않은 자료로 성능을 확인하고 가능하면 다른 기관, 지역과 시점의 자료에서도 비슷한 성능이 나타나는지 검증해야 한다. 성능은 전체 정확도만으로 판단하지 말고 실제 위험사례를 얼마나 발견하는지, 위험하지 않은 사례를 얼마나 정확히 구분하는지, 경고가 실제 위험으로 이어지는 정도와 예측확 률이 실제 발생률과 일치하는지를 목적에 맞게 평가해야 한다. 필요한 사람을 놓치는 오류와 위험하지 않은 사람에게 잘못 경고하는 오류는 서로 다른 피해를 일 으키므로 어느 오류를 우선 줄일지도 정해야 한다. 예측모델 연구는 대상자, 자료 출처, 예측에 사용한 정보, 결과의 정의, 누락된 자료의 처리방법과 성능을 투명하게 보고해야 하며(Collins et al., 2024), 통계적 성능이 우수하더라도 실제 돌 봄자원과 연결되지 않거나 현장 업무를 방해한다면 유용한 서비스가 되기 어렵다.

서비스 추천은 예측 결과와 이용자의 욕구·선호, 서비스 자격 기준과 이용 가능한 자원을 종합하여 적절한 지원 방법을 제시하는 단계이다. 추천 내용에는 상담, 방문 돌봄, 건강관리, 주거지원, 정서지원과 전문기관 연계 등이 포함될 수 있다. 시스템은 추천 결과만 보여 주지 말고 추천한 이유, 예상되는 도움, 이용 조건과 선택할 수 있는 다른 대안을 함께 제시해야 한다. 지역에 없거나 이용자가 접근하기 어려운 서비스를 반복해서 제안하지 않도록 서비스의 위치, 비용, 대기기간과 현재 이용 가능 여부를 계속 갱신해야 한다. 추천 순서는 공급기관의 이해관계나 서비스 제공의 편의보다 이용자의 필요와 실제 접근 가능성을 중심으로 정해야 한다. 알림은 위험의 심각성과 긴급성에 따라 이용자 안내, 담당자 확인, 보호자 연락과 응급기관 연결 등으로 구분할 수 있다. 알림 기준을 지나치게 낮게 설정하면 불필요한 경고가 반복되고 너무 높게 설정하면 지원이 필요한 위기를 놓칠 수 있다. 관련성이 낮은 경고가 지나치게 많이 발생하면 종사자가 알림을 무시하거나 대응을 늦추는 ‘경보 피로’가 나타나 안전 기능이 약해질 수 있다(Park et al., 2022). 따라서 예상되는 피해, 대응할 수 있는 시간과 필요한 조치에 맞추어 알림의 우선순위와 전달 대상을 정하고, 발송·확인·조치·종료 시점을 기록하여 경고가 실제 지원으로 이어졌는지와 대응 과정에 지연이나 누락이 있었는지를 평가해야 한다.

전문가 검토는 AI가 제시한 결과를 이용자의 현재 상황과 기존 기록에 비추어 확인하고 적절한 지원을 결정하는 단계이다. 사용자 화면에는 위험점수만 보여 주지 말고 결과에 영향을 준 주요 자료, 빠진 정보, 결과의 불확실성과 적용할 때의 한계를 함께 제시해야 한다. 설명 가능성은 모델의 복잡한 계산 과정을 모두 공개하는 데 그치지 않고 이용자와 전문가가 결과의 의미와 한계를 이해하여 다음 행동을 결정할 수 있도록 하는 개념이다(Amann et al., 2020). 사회복지사와 다른 돌봄 전문가는 면담과 현장 관찰을 통해 가족관계, 주거 환경과 당사자의 의사처럼 AI 모델에 충분히 반영되지 않은 정보를 확인해야 한다. 실제 지원은 AI가 추천한 내용을 그대로 적용하는 것이 아니라 이용자의 목표, 선택할 수 있는 대안, 예상되는 부담과 결과를 함께 고려하여 결정해야 한다. 사람이 결과를 검토한다고 해서 AI의 오류가 저절로 발견되거나 바로잡히는 것은 아니다. 종사자가 시스템의 결과를 지나치게 신뢰하면 자신의 관찰이나 전문적 판단과 달라도 그대로 따르는 자동화 편향이 나타날 수 있지만, 반대로 명확한 근거 없이 AI 결과를 무시하면 유용한 위험 신호와 조기 지원의 기회를 놓칠 수 있다. 전문가가 추천을 받아들이거나 수정·거부한 이유를 간단히 기록하면 판단이 일관되게 이루어졌는지 확인하고 반복되는 모델의 오류를 개선하는 데 도움이 된다. 최종적인 돌봄 결정과 지원은 알고리즘에 맡기지 않고 권한과 책임을 가진 전문가와 기관의 업무체계 안에서 이루어져야 한다.

결과 평가는 예측모델의 정확도뿐 아니라 AI 기반 돌봄서비스가 이용자와 돌봄 현장에 실제로 어떤 영향을 미쳤는지 확인하는 단계이다. 평가항목에는 위기 발견률, 대응 시간, 서비스 연계와 이용 지속 여부, 삶의 질, 자립, 만족도와 종사자의 업무 부담 등이 포함될 수 있다. 잘못된 경고로 생긴 불안과 불필요한 방문, 낙인, 사생활 침해와 부당한 서비스 배제처럼 예상하지 못한 부정적 결과도 함께 측정해야 한다. 도입 전후의 변화를 비교하고 가능하면 AI의 지원을 받지 않은 기존 서비스와 비교해야 관찰된 효과를 다른 제도나 환경 변화의 영향과 구분할 수 있다. 실제 현장에서 실시하는 초기 평가는 기술적 성능뿐 아니라 사람과 시스템의 상호작용, 업무 흐름과 안전 문제를 함께 다루어야 한다(Vasey et al., 2022). 서비스를 계속 운영하면 이용자 구성, 기록 방식, 정책과 생활 환경이 달라져 모델을 학습할 당시의 데이터 관계가 유지되지 않을 수 있다. 따라서 전체 성능과 집단별 오류, 새로 수집되는 자료의 특성과 알림 결과를 정기적으로 확인하여 모델의 성능이 낮아지거나 데이터의 특성이 달라지는지를 파악해야 한다. 성능이 허용 가능한 수준보다 낮아지면 알림 기준 조정, 데이터 정비, 모델 재학습, 이전 버전으로 복귀하거나 사용을 중단하는 방안을 검토해야 한다(Silva et al., 2025). 모델을 변경할 때에는 새 버전에 사용한 학습자료, 성능, 주요 변경사항, 승인자와 적용일을 기록하고 이전 버전과 비교해야 하며, 평가 결과는 이용자 자료를 더 많이 수집하는 데만 사용하지 말고 서비스의 안전성, 형평성과 이용자 성과를 지속적으로 개선하는 데 활용해야 한다.