AI가 의사보다 진단을 두 배 넘게 맞혔다? 마이크로소프트 ‘MAI-DxO’ 사이언스 논문으로 본 ‘하나씩 묻고 좁혀 가는’ 순차 진단의 원리와 83%·3.7배 숫자 제대로 읽는 법, 내 증상을 AI에게 물어볼 때 지킬 5가지를 초보도 쉽게

며칠째 미열이 나고 목이 붓는 느낌이 든다고 해 볼게요. 동네 병원에 가면 의사 선생님은 처음부터 병명을 말하지 않아요. “언제부터 그랬어요?”, “기침도 나요?”, “최근에 여행 다녀오셨어요?” 하고 묻고, 목을 들여다본 다음 필요하면 피검사를 해요. 대답 하나, 검사 결과 하나가 나올 때마다 머릿속 후보 병명을 조금씩 좁혀 가는 거죠.

바로 이 ‘묻고, 검사하고, 다시 생각하는’ 과정을 AI에게 시켜 본 연구가 세계적인 과학 학술지 사이언스(Science)에 실렸어요. 마이크로소프트(MS)의 AI 조직 ‘마이크로소프트 AI(MAI)’가 10월 22일(현지 시간) 발표한 ‘언어 모델을 이용한 순차적 진단’ 논문이에요. 이 연구에서 MS의 AI 진단 시스템 ‘MAI-DxO’는 아주 어려운 임상 사례에서 정답률 약 83%를 기록해, 같은 조건의 일반 의사(약 36%)보다 두 배 넘게 정확했다고 해요. 국내에서도 연합뉴스·AI타임스가 23일 “의사보다 3.7배 정확”, “의사 두 배 정확도”라는 제목으로 소개했어요.

제목만 보면 “이제 병원 대신 AI에게 물어보면 되나?” 싶지만, 숫자 뒤에는 꼭 알아야 할 조건이 붙어 있어요. 오늘은 MAI-DxO가 어떻게 진단하는지, 83%·3.7배라는 숫자를 어떻게 읽어야 하는지, 무엇이 아직 증명되지 않았는지, 그리고 우리가 챗GPT·제미나이 같은 AI에게 증상을 물어볼 때 지킬 5가지까지 처음 듣는 분도 이해할 수 있게 차근차근 풀어 볼게요.

한눈에 보는 요약

먼저 단어부터: ‘순차적 진단’과 ‘오케스트레이터’

이름이 어려워 보이지만 뜻은 간단해요. MAI-DxO의 ‘Dx’는 의학에서 진단(Diagnosis)을 줄여 쓰는 표시이고, ‘O’는 오케스트레이터(Orchestrator), 즉 ‘지휘자’라는 뜻이에요. 여러 AI를 오케스트라처럼 지휘해서 하나의 진단을 내는 시스템이라는 이름이죠.

지금까지의 AI 의학 시험은 뭐가 문제였을까?

그동안 “AI가 의사 면허시험을 통과했다”는 뉴스를 여러 번 보셨을 거예요. 그런데 면허시험 문제는 보통 환자 정보와 검사 결과를 처음부터 다 보여 주고 보기 중에서 정답 하나를 고르게 해요. 실제 진료실은 달라요. 환자는 증상을 정리해서 들고 오지 않고, 의사는 무엇을 물어볼지, 어떤 검사를 할지 스스로 정해야 해요. 검사를 너무 많이 하면 비용과 시간이 늘고, 너무 적게 하면 중요한 병을 놓칠 수 있죠.

MS 연구진은 이 차이를 시험에 그대로 옮겼어요. 그게 SDBench예요. AI든 의사든 짧은 첫 정보만 받고 시작해, “열은 몇 도였나요?”처럼 질문을 하거나 “흉부 엑스레이를 찍겠습니다”처럼 검사를 요청해야만 다음 정보를 얻을 수 있어요. 그리고 정답률뿐 아니라 무엇을 얼마나 요청했는지, 검사 비용이 얼마였는지까지 함께 채점해요.

MAI-DxO는 어떻게 진단할까? ‘AI 의사 회의’의 작동 방식

MAI-DxO의 핵심은 AI 한 명에게 바로 답을 묻지 않는다는 점이에요. 대신 여러 명의 ‘가상 의사’ AI가 역할을 나눠 회의를 해요. 누군가는 가능한 병명 후보를 내고, 누군가는 그걸 확인할 질문과 검사를 고르고, 누군가는 “그 판단, 너무 성급한 거 아니에요?” 하고 반론을 던져요. 새 정보가 들어오면 후보 목록을 고치고, 다시 회의를 해요.

특히 눈에 띄는 건 비용을 따지는 역할이에요. 어떤 검사가 얻을 정보에 비해 너무 비싸면 다른 방법을 먼저 고르게 해요. 동네 병원에서 감기 증상에 무조건 CT부터 찍지 않는 것과 같은 상식이죠.

또 하나 중요한 점은 MAI-DxO가 특정 AI에 묶이지 않는다는 거예요. 연구진은 오픈AI, 구글, 앤트로픽, 메타, 딥시크 등 여러 회사의 언어 모델 위에 이 ‘회의 진행 방식’을 얹어 시험했어요. 쉽게 말해 MAI-DxO는 의사 한 명이 아니라 ‘회의 진행 규칙’에 가깝고, 그 회의에 어떤 AI를 앉히느냐에 따라 성적이 달라져요.

숫자로 보는 결과: 83%, 3.7배, 1.7배

MS와 논문이 밝힌 주요 숫자를 정리하면 이래요. 뉴스마다 ‘2배’, ‘3.7배’로 다르게 나온 이유도 여기에 있어요. 어떤 의사와 비교했느냐가 달라서예요.

꼭 알아야 할 한계: ‘의사보다 낫다’고 말하기 이른 이유

논문 스스로도 결론에 선을 그었어요. 이 비교는 통제된 조건에서 글로만 진행됐고, 전문의나 여러 의료진 팀, 실제 진료 현장보다 낫다는 걸 보여 주지 않는다고 적었어요. AI타임스와 미국 IT 매체 테크크런치도 같은 점을 짚었어요. 숫자를 볼 때 아래 다섯 가지를 같이 떠올리면 과장에 휘둘리지 않아요.

또 이 연구의 의사들은 혼자, 평소와 다른 방식으로 시험을 봤어요. 실제 병원에서는 동료에게 묻고, 환자를 다시 보고, 며칠 경과를 지켜보기도 하죠. 그래서 이번 결과는 “AI가 의사를 이겼다”보다는 “AI가 의사를 도울 수 있는 가능성이 꽤 높아 보인다”로 읽는 게 정확해요.

다음 단계: 진짜 병원에서의 시험

MS도 “시험 점수는 중요하지만 진짜 시험은 실제 진료 현장”이라고 했어요. 그래서 미국 보스턴의 베스 이스라엘 디코니스 메디컬 센터(BIDMC)와 손잡고 실제 환자를 대상으로 한 전향적 연구(앞으로 일어나는 진료를 따라가며 보는 연구)를 시작해요. 동의한 환자만 평소처럼 진료를 받으면서 AI 시스템과도 대화하고, 연구진은 AI의 판단을 의사의 독립적인 판단과 비교한다는 계획이에요.

그럼 지금 나는? AI에게 증상을 물어볼 때 지킬 5가지

MAI-DxO를 직접 쓸 수는 없지만, 이 연구에서 배울 점은 분명해요. 좋은 진단은 ‘한 방에 정답’이 아니라 ‘좋은 질문의 순서’에서 나온다는 거예요. 이미 많은 분이 챗GPT·제미나이·클로드 같은 AI에게 건강 고민을 물어보는데, 이렇게 쓰면 훨씬 안전하고 쓸모 있어요.

이 소식, 이렇게 받아들이면 좋아요

자주 묻는 질문

마무리: ‘정답 맞히는 AI’에서 ‘좋은 질문을 하는 AI’로

이번 연구가 흥미로운 건 숫자보다 시험 방식이에요. AI를 ‘정답을 맞히는 기계’가 아니라 ‘무엇을 물어보고 무엇을 검사할지 고르는 동료’로 평가하기 시작했다는 점이죠. 그리고 그 시험에서 AI가 꽤 좋은 성적을 냈어요.

그래도 아직은 시뮬레이션 성적표일 뿐이에요. 진짜 성적은 보스턴 병원에서 실제 환자와 함께 매겨질 거예요. 그 사이 우리가 할 일은 간단해요. 다음에 AI에게 건강 고민을 물을 땐 “바로 답하지 말고 하나씩 질문해 줘”로 시작하고, 마지막 판단은 꼭 의사 선생님께 맡기기. 이 두 가지만 기억해도 AI를 훨씬 똑똑하고 안전하게 쓸 수 있어요.