의료 AI, 진단·처방서 의사 능가…"검증할 평가 과학 필요"

의료 인공지능(AI)이 진단부터 처방·관리까지 의사와 동등하거나 이를 능가하는 성능을 보인 연구가 잇따라 나왔지만, 그 성능을 객관적으로 검증할 '평가 과학'이 필요하다는 과제가 제기됐다.

국가생명공학정책연구센터는 10일 발간한 보고서에서 7월 30일(현지시간) 네이처 뉴스의 보도를 인용해 이같이 전했다. 보고서는 임상 행위를 직접 수행하는 에이전트형 AI 'MIRA'와 환자 경과에 따라 치료 계획을 세우는 AI 'AMIE'의 성능을 다룬 논문 2편을 소개했다.

네이처에 지난 6월 게재된 연구에 따르면 MIRA(Medical Intelligence for Reasoning and Action)는 전자의무기록을 기반으로 검사·영상·처방 등 실제 임상 행위까지 수행하는 AI다. 실제 환자 기록 500여 건을 시뮬레이션한 결과 진단 정확도와 시술 추천, 가이드라인 부합도 전반에서 의사보다 우수한 성과를 냈다.

충수염·담낭염·게실염·폐색전증·췌장암·췌장염·폐렴·요로감염 등 대부분 질환에서 MIRA가 의사보다 높은 진단 정확도를 기록했다. 처방 과정에서도 병용 위험 약물 처방이나 신기능에 따른 용량 조절 오류가 발견되지 않아 안전성이 확인됐다.

MIRA는 검사·영상·처방 요청과 입원 결정 등 11개 의료 특화 기능을 갖춰 단순 대화형 응답을 넘어 전자의무기록 시스템에 대한 행위까지 자율적으로 수행한다. 이는 범용 AI를 의료용으로 맞추기 위해 진료 지침·약품 정보를 참고하게 하고 검사 지시·처방 실행 기능을 더하는 '스캐폴딩' 방식이다.

AMIE(Articulate Medical Intelligence Explorer)는 진단을 넘어 치료 계획 수립까지 확장한 AI다. 전문의 평가에서 1차 진료의와 동등하거나 더 정밀한 판단을 보였고, 환자 경과에 따른 치료·검사 계획의 구체성을 비교하는 '치료 정밀도' 지표에서는 의사와 큰 격차를 나타냈다.

AMIE는 영국 NICE 가이드라인 등 총 627개 진료 지침 문서를 검색해 근거로 삼도록 설계됐다. 관리계획의 적절성, 환자 선호도 반영, 모니터링 및 계획 조정, 약물 처방 추론, 임상 가이드라인 선택, 치료 정밀도 등 6개 관리 영역에서 의사보다 전반적으로 넓은 영역을 차지했다.

다만 두 연구 모두 성능과 평가 방식 측면에서 근본적 한계를 안고 있다. MIRA와 AMIE는 범용 대규모언어모델(LLM) 위에 의료 특화 기능을 얹은 구조라 성능이 AI 자체 능력에서 비롯됐는지, 추가된 지식과 도구 덕분인지 구분하기 어렵다.

실제 AMIE 연구에서는 구형 AI에 스캐폴딩을 더해 향상된 성능이 최신 범용 AI 하나만으로도 재현됐고, 이 최신 AI에 같은 스캐폴딩을 얹어도 성능이 추가로 향상되지 않았다. MIRA 연구는 스캐폴딩 효과를 확인하는 비교 실험을 수행하지 않아 최신 AI와의 수준 비교도 어렵다는 한계가 있다.

보고서는 이에 따라 의료 분야에서 스캐폴딩 같은 특화 장치가 계속 필요할지, AI가 발전할수록 범용 AI가 특화 설계를 압도할지에 대한 질문을 제기했다. 이는 사람이 설계한 특화 장치보다 모델 자체 성능을 키우는 범용적 방법이 결국 더 낫다는 '쓰라린 교훈' 개념에 근거한다.

평가 방식의 한계도 지적됐다. 두 연구 모두 '의사의 판단과 얼마나 일치하는가'를 기준으로 성능을 측정했는데, 이는 어떤 의사를 평가자로 선정했는지에 따라 결과가 달라질 수 있다는 뜻이다. 보고서는 이를 과거 과학·의학 분야에서 같은 실험을 반복해도 같은 결과가 나오지 않았던 재현성 위기와 같은 구조의 문제라고 설명했다.

보고서는 연구자가 미리 선정한 평가자와의 일치 여부가 아니라 실제 환자에 대한 치료 결과를 명확한 기준으로 삼아 검증해야 한다고 제안했다. 사전에 계획된 임상시험과 실제 임상 현장에서의 사람-AI 상호작용에 대한 엄밀한 조사가 필요하며, 이런 연구는 이미 일부 시작됐다.

국가생명공학정책연구센터는 앞으로 어떤 의료 AI 도구를 언제 신뢰할지 알려주는 엄밀하고 지속 가능한 근거와 평가 방법을 계속 다듬어 가야 한다는 과제를 제시했다.