ASCO 2017에서 발표되는 IBM 왓슨 관련 초록들

또 1년이 지나서 미국 임상 암학회 (American Society of Clinical Oncology) 2017

학회가 다가오고 있습니다.

Oncologist가 아닌 제가 이 학회에 관심을 갖는 이유는

이 학회에서 2013년 이후 IBM Watson에 대한 연구 결과가 꾸준히 발표되고 있기 때문입니다.

작년 말에 미국의 샌안토니오 유방암 심포지엄과

ESMO (European Society for Medical Oncology) Asia에서 각각 한편씩 발표된 초록을 제외한

나머지 연구 결과들은 ASCO에서 발표되고 있습니다.

작년에 발표된 초록 내용은 아래 포스팅에서 정리하였습니다.

IBM 왓슨의 능력, 어떻게 평가해야 할 것인가?

 

2013~2015년 ASCO에서 발표된 IBM Watson에 대한 초록들은 아래 포스팅에서 정리한 바 있습니다.

IBM 왓슨은 그동안 얼마나 발전했을까?: ASCO 2015에 발표된 초록 분석

 

2016년 ASCO에서는 호주 연구팀이 한편의 초록을 발표했는데

왓슨의 임상 진료와 관련된 능력을 보는 것이 아니라

의무기록에 대한  자연어 처리 능력을 보는 내용이라 따로 다루지는 않았습니다.

 

 

올해 ASCO에서는 총 5편의 IBM Watson 관련 초록이 발표됩니다.

네편은 암 치료 방치 결정 지원 시스템인 Watson for Oncology (WFO)에 대한 것이고

한편은 임상 시험 지원자 매칭 시스템인 IBM Watson for Clinical Trial Matching (CTM)에 대한 것입니다.

 

우선 WFO에 대한 초록들을 살펴보겠습니다.

WFO는 환자 정보를 입력하면 그 환자에 맞다고 생각되는 치료 방침을 제시합니다.

이는 추천 (recommended), 고려 (for consideration), 비추천 (not recommended)의

3단계로 나누어서 나옵니다.

WFO에 대한 연구들은 일반적으로 의사(들)이 제시한 치료 방침이

추천 혹은 고려에 들어가는 경우 부합하는 (concordant) 것으로 간주하고 있습니다.

 

처음 살펴볼 초록은 태국의 범룽랏병원이 발표한 것입니다.

Concordance assessment of a cognitive computing system in Thailand

범룽랏병원은 태국의 의료 관광을 선도하는 것으로 유명하며 2014년 WFO를 도입하였습니다.

대상 환자는 2015~2016년에 치료받은 211명이며

92명은 치료 방침 결정이 끝난 환자의 기록을 WFO에 입력한 후향적 (Retrospective) 분석이며

119명은 새로 방문한 환자의 내용을 의사와 WFO가 각각 분석, 비교한 전향적 (Prospective) 연구입니다.

부합 비율은 폐암 91%, 유방암 76%, 위암 78%로 나왔고

후향적 분석과 전향적 연구을 따로 분석했을 때도 유사한 비율이 나왔다고 합니다.

비일치 (Non-concordance) 원인과 관련해서는

주로 위암에서 미국에서 만들어진 가이드라인 이외의 치료방법에 대해

의사들이 선호한 것을 제시하고 있습니다.

위암이 아시아에서 호발하고 한국, 일본이 연구를 선도하기 때문에 그런 것으로 이해할 수 있습니다.

저자들은 전반적으로 부합 비율이 높은 것으로 평가하고 있습니다.

 

두번째 초록은 인도의 만니팔 병원이 발표한 것입니다.

Early experience with IBM Watson for Oncology (WFO) cognitive computing system for lung and colorectal cancer treatment

이 초록은 앞서 언급했고 지난 포스팅에서 다루었던

2016년 ESMO Asia에서 발표된 내용 중 유방암을 제외한 결과를 담고 있습니다.

지난 3년간 만니팔 병원에서 치료받은 362명의 환자를 대상으로 하며

폐암 112건, 대장암 126건, 직장암 124건이 포함됩니다.

부합율은 암종별로 보았을 때 폐암 96.4%, 대장암 81.0%, 직장암 92.7% 였고

병기별로 보았을 때

  • 폐암: 국한 (Localized) 88.9%, 전이성 97.9%
  • 대장암: 국한 85.5%, 전이성 76.6%
  • 직장암: 국한 96.8%, 전이성 80.6%

로 나왔습니다.

이 초록의 저자들 역시 WFO의 일치율이 높은 것으로 평가하고 있습니다.

앞서 살펴본 태국 범룽랏 병원의 초록에서 폐암 부합률이 91%로 나온 것과 유사한 결과로 보입니다.

 

이 초록은 만니팔 병원에서 작년에 발표한 것과 사실상 같은 연구를 바탕으로 한 것으로 보이기 때문에

잠깐 비교해보겠습니다.

작년에 발표된 초록에서는

직장암에서 추천 (Recommend)으로 나온 비율이 85%였고

폐암에서 추천으로 나온 비율이 17.8%였습니다.

위의 초록에서는 추천 + 고려를 합한 부합 비율을 제시했기 때문에 이와 비교하면

직장암의 경우 추천으로 나오는 경우가 매우 많고

폐암의 경우 추천으로 나온 비율은 적고 고려로 나온 비율이 높은 것으로 볼 수 있습니다.

제 전공 분야가 아니라 잘은 모르지만 주위의 암 전문의 선생님들께 여쭈어 보면

최근들어 폐암 치료제가 빠르게 발전하고 있는 것 같은데

이런 점이 반영된 것이 아닌가 하는 생각이 듭니다.

 

세번째 초록은 작년 12월에 WFO를 도입한 인천 길병원에서 나온 것입니다.

Use of a cognitive computing system for treatment of colon and gastric cancer in South Korea

2012년에서 2016년 사이에 길병원에서 치료받은 환자를 대상으로 하였으며

대장암 환자 (Stage II, III, IV) 340명과 항암치료를 받지 않은 진행성 위암 환자 185명이 포함됩니다.

연구 대상 시기로 보아서 후향적 연구로 볼 수 있습니다.

대장암 환자를 대상으로 한 결과는 다음과 같습니다.

  • 대장암 환자 전체: 73% (248명)에서 부합
  • 대장암 환자 중 보조 (Adjuvant) 항암 치료 받은 250명 중 85% (212명) 부합
  • 대장암 환자 중 전이성 환자 90명 중 40% (36명) 부합

위암 환자를 대상으로 했을 때 49% (90명) 에서 부합했습니다.

위암 환자에서 일치율이 낮은 이유로 두가지를 제시하고 있습니다.

  • 특정 항암 치료 (trastzumab/FOLFOX)가 국민건강보험 수가 적용을 받지 못함
  • 특정 항암 치료 (S-1 (tegafur, gimeracil, and oteracil) + cisplatin)이 국내에서 routine하게 사용되고 있으나 미국에서는 그렇지 않음

 

앞서 다룬 범룽랏 병원 초록에서는 위암 에서의 부합 비율이 78%로 나왔는데

길병원에서는 이보다 낮게 나온 것을 알 수 있습니다.

우리나라가 위암 치료 분야에서 앞서나간다는 점이 영향을 미쳤을 수도 있을 것 같습니다.

 

또, 길병원의 초록 내용을 만니팔 병원이 발표한 위의 초록과 비교해 보면

만니팔 병원에서는 국한성 대장암에서 85.5%, 전이성 대장암에서 76.6%가 부합한 반면

길병원에서는 보조 항암 치료를 한 경우 85%, 전이성 대장암 환자에서 40%가 부합했습니다.

 

전이성 대장암에서의 치료 방침이 부합하는 비율이 큰 차이가 납니다.

길병원 초록에서 지적한 것처럼 부합 비율이 떨어지는 중요한 이유중 하나가

해당 국가의 보험 및 의료 제도상의 특징인 것으로 보고 있는데

한국보다 의료 여건이 나쁘다고 생각되는 인도에서

전이성 대장암 치료 방침 제시에 대한 부합 비율이 오히려 더 높게 나온다는 점이 흥미로워 보입니다.

 

WFO에 대한 마지막 초록은 멕시코에서 나왔습니다.

Cognitive computing in oncology: A qualitative assessment of IBM Watson for Oncology in Mexico

앞서 본 3개의 초록이 WFO의 능력을 의사와 비교한 반면

이 초록은 WFO를 써 본 의사들의 의견을 물어본 수준이라 큰 의미는 없습니다.

폐암, 유방암, 대장암, 직장암을 포함하는 100명의 환자를 대상으로 하였습니다.

암 치료 의사들은 WFO가 유용하다고 판단하였다고 하며

특히 암 전문의가 없는 소형 병원에서의 진료 혹은 의대생 및 전공의 교육에

도움이 될 것이라는 의견이 있었습니다.

그리고 의사와 WFO의 의견이 차이가 나는 가장 중요한 이유로

  •  멕시코에서 고비용 항암치료에 대한 접근성에 제한이 있고
  • 미국과 멕시코의 암 치료 가이드라인에 차이가 있다

는 점을 들고 있습니다.

사실 두번째 이유와 관련해서는 이미 미국 인구 중 히스패닉 비율이 상당한데

여전히 미국의 암치료 가이드라인이 이를 잘 반영 못하는 것인지

아니면 이런 인종적인 차이가 아닌 제도적인 차이로 인해 가이드라인에 차이가 있는 것인지 궁금합니다.

 

지금까지 WFO에 대한 네편의 초록을 살펴보았고 IBM Watson for Clinical Trial Matching (CTM)에 대한

초록을 살펴보겠습니다.

CTM은 병원에서 임상 시험 참여 조건을 만족시키는 환자를

빠르게 찾을 수 있도록 도와주는 시스템입니다.

과거 제약 시장이 블록버스터 약물 중심으로 움직이던 때에는

다수의 환자를 대상으로 했기 때문에 피험자 모집이 어렵지 않았습니다.

의사들이 진료하다 몇가지 조건을 확인해보고 대상 환자임을 확인한 후

바로 설명하고 임상 시험에 참여하도록 하는 것이 가능해졌습니다.

점점 특정 상황에 맞는 약물들이 시장의 중심이 됨에따라

특정한 조건을 만족시키는 환자들을 피험자로 모집하는 것이 필요해졌습니다.

따라서 진료실에 들어온 환자가 그런 조건을 모두 만족시키는 지를 바로 확인하기가 힘들어져서

피험자 모집이 힘들어지고 있습니다.

왓슨 CTM은 인공지능 (IBM에서는 인지 컴퓨팅이라고 부르기는 합니다만) 기술을 활용해서

환자의 의무기록과 검사 결과를 분석해서 임상 시험의 참여 조건을 만족시키는 환자를

바로 골라줄 수있습니다.

세계적으로 유명한 메이요 클리닉 및

미국 밀워키 지역의 의료기관 네트워크인 Froedtert & MCW 암 네트워크에서

이를 사용한다는 보도가 나온 바 있습니다.

 

ASCO 2017에서 왓슨 CTM 관련 발표되는 초록은 Highlands Oncology Group (HOG)이라는

미국 아칸사 주 소재 지역 암센터(?)로 추정되는 곳이 참여하였으며

이외에도 IBM과 대형 제약사인 노바티스가 참여했습니다.

초록 내용을 보면 노바티스의 신약에 대한 임상시험을 하면서 이 연구를 한 것으로 보입니다.

Cognitive technology addressing optimal cancer clinical trial matching and protocol feasibility in a community cancer practice

총 16주간 HOG를 방문한 폐암과 유방암 환자 2620명을 대상으로 하였으며

노바티스로 부터 제공받은 임상 시험 프로토콜을 학습한 왓슨 CTM이

이들 환자 데이터를 분석하여 임상 시험에 참여가능 및 불가능한 환자들을 선별하였습니다.

결과를 보면 임상 시험을 시행하기 전에는 임상 시험 코디네이터가

90명의 환자를 3개의 유방암 프로토콜에 대한 검토를 하는데 한시간 50분이 걸렸다고 합니다.

이를 왓슨 CTM을 사용했더니 24분이 걸려 시간을 78% 단축 했다고 합니다.

왓슨은 임상 시험 기준에 해당되지 않는 환자 94%를 자동으로 걸러냈다고 하며

배제한 이유와 관련된 기준을 제시하여 환자 스크리닝 업무를 많이 줄여주었다고 합니다.

저자들은 좋은 성과라는 점을 강조하고 있는데

개인적으로는 명색이 인공지능이 90명의 환자 데이터를 검토하는데 24분이나 걸리면

기대만큼 효율적이지는 않다는 생각이 듭니다.

 

IBM 왓슨 전반에 대해서는 기존 포스팅에서 여러 차례 제 생각을 정리한 바 있기 때문에

여기서 자세히 다루지 않으려고 합니다.

Watson for Oncology와 관련해서 왓슨 사용 여부에 따른 Clinical outcome을 비교하는 연구가

아쉽기는 하지만 쉽지는 않아 보입니다.

최소한 지금처럼 의사의 의견과 왓슨의 의견을 후향적으로 비교하는 수준의

연구를 넘어서서 전향적으로 의사의 의견과 왓슨의 의견을 비교하는 정도의 연구는 필요해 보입니다.

아울러 지금까지 의료에서 왓슨의 적용에 대한 학술 발표는 모두 초록으로만 이루어지고 있는데

좀 더 엄밀한 비판과 검토를 위해서 학술지에 정식으로 논문으로 발표하는 것도 필요할 것입니다.

길병원 이후 우리나라에서 여러 병원들이 왓슨 도입을 결정하고 있는데

이런 부분에서 선도해주었으면 하는 바램입니다.

One thought on “ASCO 2017에서 발표되는 IBM 왓슨 관련 초록들

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s