수십억 들여 만든 의료 AI, 식약처 허가 광탈하는 이유? 알고리즘이 아니라 ‘이것’ 때문입니다.

디지털 의료기기 AI 제어 조치 심사 기준 완벽 정리 (8)

AI/ML 기능 운영 및 모니터링 – 개발 후가 아니라 운영 단계가 핵심입니다

와이즈컴퍼니(주)는 고객분들이 빠르게 변화하는 규제적 요구사항에 맞춰 대처할 수 있도록 도와드리고 있습니다.

AI/ML 기능 운영 및 모니터링의 기본 원칙

⚠️ 중요한 원칙

단순히 기능을 개발하는 것에 그치지 않고, 운영 단계에서의 모니터링 절차를 수립하여야 하며, 다음의 두 가지 핵심 요소를 반드시 포함하여 활동을 수행해야 합니다.

1. 사용자 설명 제공
올바른 사용 유도를 위한 목적, 범위, 제약사항 등 명시

2. 의사결정 추적
시스템 로그 등을 활용한 AI 판단 과정의 추적 방안 수립

핵심 요소 1: 올바른 사용을 위한 설명 제공

사용자(의료진 등)에게 제품의 사용 목적, 범위, 한계, 책임 소재 등을 명확히 안내해야 합니다.

이는 제품 설명서나 사용자 취급 설명서, 또는 제품 인터페이스(도움말 등)를 통해 제공되어야 합니다.

주요 설명 제공 예시

가이드라인에서 제시하는 주요 설명 제공 예시는 다음과 같습니다.

책임 소재

본 제품은 허가된 사용목적 및 방법에 맞게 사용해야 하며, 이를 벗어난 사용으로 발생한 문제는 전적으로 사용자 책임임을 명시합니다.

사용 자격

본 제품은 숙련된 전문의에 의해서만 사용되어야 합니다.

보조 수단 명시

의료인은 본 제품의 판독 결과에만 의존해서는 안 되며 환자의 다른 임상 정보와 함께 판단할 수 있어야 합니다.

사용 대상 제한

만 18세 이상 성인 환자에게만 사용이 가능하며 기타 질병, 임신 등의 환자에게는 사용하지 않습니다.

한계 명시

본 제품은 폐 결절의 보조 진단을 위해서 설계되었으며 진단 결과에 확신을 제공하지 않습니다.

핵심 요소 2: AI 의사결정 추적을 위한 방안 수립

AI 시스템이 잘못된 의사결정을 내렸을 때, 그 원인을 파악할 수 없다면 재발 방지가 불가능합니다.

따라서 조직은 인공지능 시스템의