‘1호 인공지능 의사’라는 IDx-DR에 대한 고찰

지난 주 (이 글은 2018년 4월 18일에 쓰기 시작했습니다.)

‘1호 인공지능 의사’가 FDA 승인을 받았다는 보도가 나왔습니다.

IDx회사에서 개발한 IDx-DR이라는 인공지능인데

당뇨병 환자에서 당뇨성 망막병증을 스크리닝 하는 용도로 FDA 허가를 받았다는 내용으로

적지 않은 언론에서 관련 기사를 냈습니다.

 

FDA에서 IDx-DR의 허가에 맞추어서 보도자료를 내놓았는데

중요 포인트는 다음과 같습니다.

1. IDx-DR은 임상의사가 이미지나 (검사) 결과를 해석할 필요 없이 스크리닝 결정을 내리는 용도로 허가를 받은 최초의 의료기기이다. (IDx-DR is the first device authorized for marketing that provides a screening decision without the need for a clinician to also interpret the image or results)
2. IDx-DR은 (이미지 퀄리티가 판독에 충분한 경우) 두가지 결과를 제시해줌.
   • mild retinopathy을 넘어서는 병변 감지. 안과 전문의에게 의뢰할 것
   • mild retinopathy을 넘어서는 병변 없음. 12개월 후에 재촬영할 것
3. 900명의  당뇨 환자를 촬영한 망막 사진을 대상으로 임상 시험 했고 민감도 87.4%, 특이도 89.5%임
4. Topcon NW400라는 망막 촬영 장비를 통해서 촬영된 사진을 대상으로 함

이 글에서는 각각의 포인트에 대해서 더 자세히 살펴보고자 합니다.

 

첫번째 포인트, 의사의 해석 없이 독자적으로 판단을 내릴 수 있다는 부분에

대해서 살펴보겠습니다.

이와 관련해서는 의료, 특히 의료 이미지 분야에서 FDA 혹은 CE 승인을 받은

AI가 적지 않은데 뭐가 다르길래 이렇게 야단인가하는 생각이 들 수 있습니다.

 

우선 지금까지 의료 이미지 분야에서 FDA, CE 승인을 받은 인공지능 리스트는 다음과 같습니다.

2018년 초에 열심히 정리하다 잠시 손을 놓았고

이 글을 쓰면서 급하게 마무리 지었기 때문에 일부 누락된 제품이 있을 수 있지만

중요한 제품은 거의 포함되어 있으리라 생각합니다.

AI in medical imaging

 

흥미로운 것은 일반적인 기대와는 달리

많은 제품들이 이미지를 판독해서 진단해주는 용도가 아니고

의사가 효율적으로 일하는 것을 도와주는 제품이 많다는 점입니다.

예를 들어 지난 1월에 허가를 받은 Arterys Oncology DL의 경우

FDA 허가 letter를 보면 허가 사항이 다음과 같습니다.

…여러 영상 기법 혹은 서로 다른 시간에 찍은 다양한 이미지를 보고, 조작하고, 3D화하고

비교하기 위한 의료 기기 애플리케이션이다.

(is a medical diagnostic application for viewing, manipulation, 3D- visualization

and comparison of medical images from multiple imaging modalities

and/or multiple time-points.)

즉, Arterys Oncology DL은 판독 의사가 이미지를 효율적으로 볼 수 있도록 도와주는 도구입니다.

 

진단과 관련된 용도로 허가를 받은 것은 인공지능은 다음과 같습니다.

• Riverrain Technologies 회사의 ClearRead CT (흉부 CT에서 lung nodule 발견을 도와줌)
• Zebra Medical Vision 회사의 판독 시스템 (흉부 CT에서 폐기종, 지방간 등 진단)
• iCAD 회사의 Powerlook tomo detection (유방 Tomo에서 종괴 발견)
• Quantib 회사의 Quantib Brain (뇌위축 진단)

이외에

• Quantitative insights 회사의 QuantX™ Advanced system

의 경우 조직 병리가 확인된 유사 이미지를 제공해주기 때문에

사실상 판독에 가깝다고 볼 수 있어서 포함시킬 수 있습니다.

 

이들 진단 인공지능과 IDx-DR의 가장 큰 차이는

인공지능이 독자적으로 의미있는 의사 결정을 내릴 수 있느냐입니다.

기존 인공지능들의 Indication for use(허가 용도)를 보면

ClearRead CT: ‘designed to aid the radiologist’

Powerlook tomo detection: ‘to be used concurrently by radiologists’

QuantX™ Advanced system: ‘used to assist radiologists’

라고 되어 있습니다.

이에 비해 IDx-DR은

IDx-DR is indicated for use by health care providers to automatically detect

more than mild diabetic retinopathy (mtmDR) in adults diagnosed with diabetes

who have not been previously diagnosed with diabetic retinopathy

이라고 되어 있습니다.

인공지능이 자동으로 발견 (automatically detect)한다는 것입니다.

이런 점을 좀 과장해서 ‘1호 인공지능 의사’라고 부르는 것입니다.

 

두번째 포인트 즉 IDx-DR이 두가지 결과를 제시한다는 점에 대해서 살펴보겠습니다.

IDx-DR의 용도를 이해하기 위해

당뇨병 환자에서 망막 촬영이 이루어지는 과정에 대해서 살펴보겠습니다.

 

당뇨병 환자는 다양한 합병증이 발생할 수 있는데

대표적인 것이 당뇨성 망막병증이며, 선진국에서 실명의 가장 흔한 원인입니다.

모든 당뇨병 환자는 증상과 무관하게 매년 망막 사진을 찍어야 하며

어느 정도 이상 진행한 경우 안과 의사의 전문적인 치료를 받아야 합니다.

망막병증은 심각도에 따라서 크게 NPDR (Non-proliferative Diabetic Retinopathy)와

PDR (Proliferative Diabetic retinopathy)로 나눌 수 있고

이 중 NPDR은 mild, moderate, severe로 구분됩니다.

 

문제는 많은 당뇨병 환자들이 매년 망막 검사를 받지 않고 있다는 것입니다.

FDA의 보도자료를 보면

미국에서 50%의 당뇨병 환자들이 매년 안과 검사를 받지 않고 있다고 되어 있습니다.

당뇨를 보는 의사 (대부분 1차 진료 의사, 내분비내과 의사)가 챙기지 않은 경우도 있을 수 있고

의사가 권유했지만 별도로 안과 외래를 예약해서 검사를 받아야 하는 번거러움 때문에

환자가 검사를 받지 않았을 수도 있습니다.

 

아예 당뇨약 처방도 제대로 받지 않는 환자는 어쩔 수 없지만

당뇨약을 처방받기 위해서 병원을 찾을 때 손쉽게 검사를 할 수 있는 방법이 있다면

더 많은 환자들이 제 때 망막 검사를 받아서 실명을 예방하거나

실명되는 시기를 늦출 수 있을 것입니다.

 

이런 취지에서 1차 진료 환경에서 망막 검사를 손쉽게 받게 하기 위한 시도들이 있어 왔습니다.

의료기기 회사인 Welch Allyn은 휴대용 망막 사진 촬영기인 RetinaVue를 개발했습니다.

RetinaVue

안과 의사나 기사가 아니라도 간편하게 망막 사진을 찍을 수 있게 해줍니다.

사진만 찍는다고 끝나는게 아닌만큼 이렇게 찍은 사진을 안과 의사에게 보내서

원격 판독을 받을 수 있는 시스템도 구축했습니다.

위의 홈페이지에 보면 익일 진단 서비스를 제공하며 보통 90분 이내에

결과를 볼 수 있다고 합니다. (One day diagnostic report—usually in 90 minutes)

 

이 제품의 비지니스 모델을 생각해 보면

1차 진료 의사는 망막 사진 촬영 비용을 수가로 보전 받을 것이고

안과 의사는 판독료를 수가로 받게 될 것입니다.

(페이스북에서 미국 안과 선생님이 언급하신 내용을 보면

망막 사진 판독만 해도 짭짤한 수익을 거둘 수 있다고 합니다.)

그리고 안과 의사는 이상이 발생한 환자를 의뢰받아서 환자 pool을 넓힐 수 있다는 계산을

하게되지 않을까 싶습니다.

 

IDx-DR은 당뇨성 망막 병증이 얼마나 나쁜지를 진단해주는 시스템이 아니고

안과 전문의를 만날 필요가 있는 지를 판단해주는 시스템입니다.

안과 의사에게 의뢰하는 것은 1차 진료 의사이겠지만

이들은 사실상 망막 사진을 판독할 능력이 없을 것이기 때문에

인공지능 판독 결과에 따라서 움직일 것으로 볼 수 있습니다.

이 경우 판독 의뢰에 따른 책임은 1차 진료 의사가 아닌 IDx 회사에 있을 가능성이 높습니다.

책임을 지는 대신 (원래는 안과 의사가 가져가는) 판독 수가가 적용될 가능성이 있어 보입니다.

 

세번째 포인트,  IDx-DR의 민감도와 특이도를 포함해서 관련된 임상 시험에 대해서 살펴보겠습니다.

IDx 회사 홈페이지에 보면 2017년 미국 10곳의 의료 기관에서 900명의 환자를 대상으로 임상 시험을 했고

민감도 87%, 특이도 90%의 결과가 나왔다고 합니다.

이걸 보고 드는 생각은 생각보다 민감도, 특이도가 낮다는 점입니다.

‘그래도 인공지능 씩이나 썼는데 90대 후반 퍼센트는 나와줘야 하는 것 아닌가’는 생각이 듭니다.

스크리닝 용도의 제품인 것을 감안하면 특이도가 다소 낮더라도

민감도가 더 높아야 하는 것 아닌가 하는 생각을 할 수 있습니다.

 

참고로

민감도는 병이 있는 사람 중에 검사에서 양성으로 나오는 비율이고

특이도는 병이 없는 사람 중에 검사에서 음성으로 나오는 비율입니다.

민감도가 높아지면 병이 없는 사람도 양성으로 나올 가능성이 높아집니다.

스크리닝은  병의 가능성이 있는 사람을 조기에 잡아내는 것을 목적으로 하기 때문에

민감도를 높이는 것을 중요하게 생각합니다.

 

이정도 민감도로 FDA허가를 받았다는 것은 크게 둘 중의 하나를 의미할 것 같습니다.

1. 그래도 인공지능이 사람 보다는 낫다.
2. 전체적인 민감도는 다소 낮지만 적어도 시급하게 치료를 요하는 환자는 놓치지 않는다.

이 내용은 아마도 FDA 허가 임상에 나올 것 같은데

금번에 발표된 자료에는 언급되지않고 있고 IDx 회사 홈페이지를 봐도 마찬가지 입니다.

 

열심히 구글링을 하다가 올해 발표된 IDx-DR 관련 논문을 하나 발견했습니다.

이 논문은 미국이 아닌 유럽에서 이루어진 임상 시험을 대상으로 한 것이기 때문에

FDA 허가 임상과는 다른 임상 시험으로 보이지만

898명의 당뇨병 환자를 대상으로 했고 일부 결과가 허가 임상과 비슷한 부분이 있어서

유사할 것으로 보고 살펴보겠습니다.

 

임상 시험의 방법은 다음과 같습니다.

• 세명의 망막 전문의가 판독함
• 세명이 각자 판독한 뒤 엇갈리는 것에 대해서는 협의를 통해 최종 진단 (gold standard)을 내림
• 당뇨성 망막병증을 판독하는 두가지 기준인 ICDR 기준과 EURODIAB 기준 각각에 맞추어서 판독
• IDx-DR은 세가지 범주의 결과를 제시함
  • no RDR (Referable Diabetic Retinopathy: 의뢰 필요한 당뇨성 망막병증)
  • MDR (Moderate Diabetic Retinopathy: 중등도 당뇨성 망막병증)
  • VTDR (Vision Threatening Diabetic Retinopathy: 시력을 위협하는 당뇨성 망막병증) 
  • 단, MDR과 VTDR을 묶어서 RDR로 간주할 수 있음

 

논문의 결과를 보겠습니다.

우선 IDx-DR 인공지능의 진단 성적과 관련된 부분입니다.

우선 눈에 띄는 것은 임상 시험 대상자 가운데 RDR (의뢰가 필요한 당뇨성 망막병증)의 비율이 낮습니다.

EURODIAB 기준으로 MDR 8명, VTDR 14명 (이때 RDR은 8+14=22명)

ICDR 기준으로 MDR 60명, VTDR 13명 (이때 RDR은 60+13=73명)

당뇨성 망막병증의 유병율을 감안한다면 이상할 것 없는 결과이지만

이렇게 적은 수의 환자를 대상으로 하는 경우

한두명만 놓쳐도 진단 성적이 훅하고 떨어질 수 있을 것입니다.

 

IDx-DR이 허가를 받은 안과 의사 의뢰가 필요한 환자를 잡아내는 것,

즉, RDR을 진단해내는 것을 기준으로 진단 성적을 보면

EURODIAB 기준으로 민감도 91%, 특이도 84%이고

ICDR 기준으로 민감도 68%, 특이도 86%입니다.

FDA 승인용 임상의 결과와 비교해보면 EURODIAB 기준으로 판독한 것이 유사한 결과를 보여주었고

ICDR 기준 판독은 이에 못미칩니다.

 

IDx-DR의 민감도, 특이도가 기대만큼 높지 않다고 하더라도

당장 어떤 조치가 필요한 환자, 즉 1년 후에 재검사를 하도록 하면 위험한 환자를

잘 잡아낼 수 있다면 의미가 있다고 할 수 있습니다.

여기서는 VTDR (시력을 위협하는 당뇨성 망막병증)을 빠짐없이 잘 잡아낸다면

의미가 있는 것으로 볼 수 있지 않을까 싶습니다.

VTDR 진단의 민감도와 특이도는

EURODIAB 기준으로 64%, 95%이고 ICDR 기준으로 62%, 95%로 나왔습니다.

앞서 살펴본 RDR 진단의 민감도, 특이도와 비교하면

EURODIAB 기준으로는 VTDR 진단의 민감도가 많이 낮고

ICDR 기준으로는 양쪽이 비슷하다고 할 수 있습니다.

즉, 당장 어떤 조치가 필요한 환자를 더 잘 잡아내지는 못한다고 볼 수 있습니다.

 

그렇다면 IDx-DR 인공지능이 의미가 있기 위해서는

사람이 판독하는 것보다 판독 성적이 우수하거나

사람들 간에 편차가 심해서 사람 의사를 신뢰하기 힘든 경우에 해당할 것 입니다.

이 논문에서는 이에 해당하는 결과를 보여주고 있습니다.

위의 표는 이 연구에 참여한 망막 전문의 간에 진단의 차이를 보여줍니다.

예를 들어 EURODIAB 기준으로 판독했을 때를 보면

한 전문의가 MDR로 진단을 내린 망막 사진이 있을 때, 다른 두 전문의가

MDR로 진단을 내릴 확률이 40%

No RDR로 진단할 확률이 40%

VTDR로 진단할 확률이 20%

라는 의미입니다.

즉, 그냥 안과 전문의가 아닌 망막 전문의 간에도 상당한 진단 편차가 있다는 것을 알 수 있습니다.

 

위의 표는 세 망막 전문의 각자의 진단 성적을 보여줍니다.

EURODIAB 기준으로 RDR에 대한 민감도가 59~86% 특이도가 99%로 나왔고

ICDR 기준으로 RDR에 대한 민감도가 63~92%, 특이도가 99~100%로 나왔습니다.

IDx-DR의 진단 성적과 비교하자면

EURODIAB 기준으로 RDR에 대한 민감도는 IDx-DR이 더 우수하고

ICDR 기준으로 RDR에 대한 민감도는 IDx-DR이 전문의 한명 보다는 뒤떨어졌지만

다른 두명과는 비슷한 수준을 보였습니다.

 

FDA 허가 임상에서 나온 IDx-DR의 민감도 87.4%와 특이도 89.5%가

EURODIAB과 ICDR 중 어떤 기준을 적용했는 지 알 수 없지만

위의 표에 나오는 망막 전문의의 판독 성적과 비교할 때

가장 잘 판독하는 망막 전문의에 필적한다고 할 수 있습니다.

망막 전문의 간에도 판독 성적의 편차가 심하다는 것을 감안한다면

이는 중요한 포인트가 될 수 있습니다.

 

마지막으로 네번째 포인트, Topcon NW400라는 망막 촬영 장비를 통해서

촬영된 사진을 대상으로 한다는 점에 대해서 살펴보겠습니다.

Topcon NW400

Topcon은 일본의 안과 기기 업체이고 주로 보급형 제품을 공급한다고 합니다.

그리고 FDA 허가와 연계된 Topcon NW400은 산동없이 망막 사진을 찍어주는 제품입니다.

안과가 아닌 1차 의료 기관에서 사용될 것을 감안한다면 당연하다고 볼 수 있습니다.

위에서 살펴본 논문에서는 이전 세대 제품인 Topcon NW 100을 사용했습니다.

참고로 앞서 살펴본 간편한 형태의 망막 사진 촬영기인 Retinavue 역시

산동이 필요 없습니다.

 

제 전공 분야가 아니라 잘은 모르겠지만

Topcon NW400의 경우 수천만원대에 육박하지 않을까 싶은데

개원가에서 손쉽게 사서 쓰기에는 쉽지 않을 것 같습니다.

만약 IDx-DR이 망막 사진 스크리닝에 대한 수가를 받을 수 있다면

Topcon 제품을 저렴하게 설치해주고 대신 스크리닝 판독 수가를 받는

비지니스 모델을 택할 지도 모르겠습니다.

만약 이런 비지니스 모델이 이루어질 경우 도식화하면 다음과 같습니다.

IDx-DR 비지니스 모델 추정

물론 저 혼자 멀리 굴려본 결과이기 때문에 실제와는 다를 수도 있습니다.

 

인공지능에 따라서 특정 회사 촬영 장비에서 얻어진 이미지만을 대상으로 허가를 받는 경우가 있습니다.

예를 들어 앞서 살펴본 iCAD 회사의 유방암 진단 기기인

Powerlook  tomo detection은 GE Senoclaire breast tomosynthesis 장비 이미지를 대상으로 합니다.

이에 비해 Riverrain Technologies 회사의 ClearRead CT의 경우 이런 언급이 없습니다.

이 경우 해당 의료기기 회사 (IDx-DR의 경우 Topcon, Powerlook tomo detection의 경우 GE)를

보조하는 역할을 하게되는 셈인데 양 회사 간에 어떤 협력 모델이 있을 지 궁금합니다.

 

지금까지 ‘1호 인공지능 의사’로 알려진 IDx-DR에 대해서 살펴보았습니다.

IDx-DR은 독자적으로 의사 결정을  내릴 수 있는 최초의 인공지능 의료기기입니다.

엄밀한 의미에서 ‘진단’이라기 보다는 ‘선별 검사’이기에 다소 수월하게 시장에 진입했다고 볼 수 있습니다.

그리고 민감도, 특이도 모두 90% 전후로 나와서 생각보다 진단 성적이 높지는 않아 보이지만

전문의와 비슷한 수준으로 볼 수 있고

특히, 전문의 간에 진단 편차가 크다는 점을 감안하면 진단 기기로서의 의미가 있을 것 같습니다.

IDx-DR을 시발점으로 해서 독자적인 진단 능력을 인정받는 인공지능이 더욱 늘어날 것으로 보입니다.