우연과 싸우는 슈퍼예측가들
이스라엘군이 팔레스타인 가자지구를 침공한 직후, 슈퍼예측가들의 국제 네트워크인 스위프트센터 회원들은 6개월 이내에 2만5천 명 이상이 사망할 것이라고 예측했다. 불행히도 예상 사망자 수는 머지않아 현실로 드러났다. 잘못된 정보에 기초한 미국의 이라크 침공을 반성하며 출발한 슈퍼예측가 모임은 국제사회의 전쟁, 날씨, 정치 등을 전망한다. 그들은 정확한 판단의 비결로 외국어 학습처럼 선천적 재능보다 후천적인 반복 훈련이 중요하다고 입을 모은다. _편집자

마이크 그로세카퇴퍼 Maik Großekathöfer
마르틴 슐라크 Martin Schlak <슈피겔> 기자
 

▲ 미국 펜실베이니아대학 교수 필립 테틀록은 같은 대학교수인 부인 바버라 멜러스와 함께 2011년 미래를 예측하는 토너먼트 ‘좋은 판단 프로젝트’를 구상해 일반인 팀을 이끌었다. 유튜브 갈무리

전쟁 경과, 축구 경기 결과, 날씨 등 과학자들은 놀랍도록 정확한 예측이 가능한 방법을 개발 중이다. ‘슈퍼예측가’들의 정확한 예측 비결은 무엇일까?

예측 질문지는 가히 방대했다. 미국 정보고등연구기획청(IARPA)이 주관한 대규모 예측 토너먼트에서 지원자 수천 명으로 구성된 5개 팀이 4년간 경쟁했다. 미국 정보기관들을 위해 더 나은 예측이 가능한 접근법을 찾는다는 독특한 목표를 가지고 과학자들이 구상한 예측 토너먼트였다.
2011년 가을에 시작된 첫 번째 경연에서 지원자들은 질문 104개를 받았다. 지원자들은 며칠에 한 번씩 아침 9시에 웹사이트에 접속해 답을 제출해야 했다. 크리스티안 불프는 독일 대통령직에서 사임할 것인가라는 질문도 있었다. 이 외에도 오스트레일리아는 인도에 우라늄을 공급할 것인가, 유럽연합(EU) 회원국 중 한 곳이 유로존 탈퇴를 발표할 것인가라는 질문도 있었다.
세네갈부터 일본까지, 금 가격에서 핵무기에 이르기까지 지원자들이 답해야 할 질문은 아주 다양했다. 참가자들은 기한 내에 답을 제출해야 했고, 결과는 몇 주 또는 몇 달 후 발표됐다.
예측 토너먼트를 남편 필립 테틀록과 함께 공동 구상했던 바버라 멜러스에게 토너먼트에서 가장 놀라웠던 대목을 묻자 “오히려 놀랍지 않은 대목을 묻는 것이 더 빠를 것”이라는 답이 돌아왔다.
미국 펜실베이니아대학 심리학자인 멜러스는 동료이자 남편 테틀록과 함께 전문가 대신 다양한 분야의 일반인 중에서 간단한 심사를 거쳐 선발된 팀을 이끌었다. 블로그, 이메일, 입소문을 통해 지원자를 모집했고, 대졸 이상 학력이면 누구나 참가할 수 있었다.

‘좋은 판단 프로젝트’
사전 선발 과정을 거쳐 통과한 약 2200명의 지원자는 토너먼트 시작 전 전략적 사고에 관한 온라인 강의를 들었다. 지원자 중에는 사회 초년생과 퇴직자, 프로그래머, 군역사학자와 약사도 한 명 있었다. 멜러스와 테틀록은 예측 토너먼트를 ‘좋은 판단 프로젝트’(Good Judgement Project)로 명명했다.
미국 정보기관이 발표한 이라크의 대량살상무기 생산프로그램 보고서를 바탕으로 2003년 미국 정부는 이라크전을 개시했다. 그러나 이 보고서는 거짓으로 드러났다. 미국 정보기관이 어떻게 거짓으로 일관된 보고서를 내놓을 수 있는가. 이런 오판 방지에 관심이 있었던 것은 정치인들과 언론인들만이 아니었다. 예측 토너먼트는 그런 노력의 일환으로 탄생했다.
예측 토너먼트 과정에서 개인별로 예측 경연을 하거나 소그룹 토론도 허용됐다고 멜러스는 설명했다. 토너먼트 첫 1년이 지난 후, 과학자들은 상위 2%의 지원자들로 구성된 소규모 예측팀을 구성했다. 관련 분야 전문가들보다 오히려 더 정확하게 미래를 예측하는 일반인을 지칭하기 위해 테틀록 교수가 만든 용어는 ‘슈퍼예측가’였다. 이들은 토너먼트에서 이겼을 뿐만 아니라, 비밀정보국의 보안 전략가들보다 미래를 더 정확하게 예측해냈다.
사람들은 매일 끊임없이 예측하고 이를 바탕으로 결정을 내린다. 판사는 범죄자의 재범 가능성을 추측하고, 은행 직원은 고객의 파산 위험을 추정하며, 애널리스트는 로봇 시장 추이를 예측하고, 의사는 환자가 앞으로 얼마나 더 살 수 있는지를 예상한다.
예측을 바탕으로 기업은 어디에 투자하고 어디서 일자리를 줄일지, 법원은 누구에게 징역형을 선고할지, 은행은 어느 고객에게 대출을 진행할지, 그리고 병원은 어느 환자에게 항암 치료를 처방할지 결정한다. 예측은 정책 수립에 활용되기도 하고, 때로는 전쟁 발발이나 통치자 몰락의 결과를 초래하기도 한다. 독일 축구 팬들이 유럽 축구 선수권 대회 결과에 베팅하는 것은 거대한 예측 게임이나 다름없다.
‘슈퍼예측가’들은 어느 사안이든 본질적으로 최대한 공정하게 접근한다는 특별한 사고방식을 가진다. 이런 사고방식은 완화의료병동 심리학자부터 독일 기상청 물리학자에 이르기까지 수많은 직군의 종사자에게서 다양한 형태로 나타난다. 나쁜 예측과 좋은 예측을 구분하는 방법을 슈퍼예측가에게 배울 수 있다.
수학자들은 서적을 통해 일반 대중에게 예측 지식을 전파한다. 과학자들은 〈퓨처스 앤 포사이트 사이언스〉(Futures & Foresight Science) 등의 전문학술지를 통해 연구 결과를 공유한다. 스타트업은 예측을 위한 특별 사고방식을 기업, 정부 기관 및 정치위원회에 전파한다.
 

▲ 의사들은 생존 예후를 예측하면서 환자의 생존 기간을 과대평가하는 경향이 있다. 의사들은 환자에게 예후가 좋지 않다고 알리는 것을 마치 자신의 치료 실패로 여기는 것 같았다. 요르단 암만의 한 병원에서 로봇을 이용해 환자를 수술하는 모습. REUTERS

전문가적 식견 필요 없어
외국어 학습이나 하프 마라톤 준비처럼 예측도 훈련이 가능하다. ‘좋은 판단 프로젝트’ 등의 실험에 따르면, 정확한 예측을 위해 관련 분야의 전문가가 될 필요는 없으며 오히려 전문가적 식견이 방해가 될 때도 있다. 슈퍼예측가의 능력과 자질을 갖추지 못했어도 누구든지 미래를 더 잘 예측하는 법을 배울 수 있다.
슈테파니 슈틸 독일 하노버의대 의료서비스 교수가 어느 날 병실을 방문했을 때 한 여성 환자가 마지막으로 궁금해한 것이 있었다. 여성 환자는 비쩍 마르고 쇠약해진 상태였다. 독일 아헨의 한 완화의료병동에 입원 중이었던 이 환자는 식사량이 매우 적었고, 외부의 도움 없이는 한시도 침대를 떠날 수 없는 상태였다고 슈틸 교수는 기억한다.
여성 환자는 갑상선암을 앓고 있었다. 갑상선암은 조기에 발견하면 쉽게 치료할 수 있지만, 일부 형태의 암은 빠르게 진행돼 치료가 어렵다. 그런 경우 생존 가능성이 낮다. 이 환자는 슈틸 교수에게 “여동생과 크게 싸운 후 오랫동안 연락하지 못했다”며 “여동생에게 다시 연락을 해야 할지” 물었다고 한다.
슈틸 교수가 환자를 만난 금요일, 두 사람은 여동생에게 연락해야 할지 말지 결론을 내리지 못했고 서로 생각할 시간을 가진 후 이 문제를 다시 이야기하기로 약속했다고 슈틸 교수는 회상한다. 그리고 “월요일에 만나자”며 환자와 작별 인사를 나눴다.
중환자에게 마지막 준비를 위한 시간이 얼마나 남아 있을까? 어려운 질문이지만 암병동이나 완화의료병동에서는 매일 맞닥뜨리게 되는 질문이다. 여기서 중요한 것은 긍정적 예후다. 의사들은 예후에 따라 적절한 치료법을 선택하고, 가족들은 환자와 마지막 작별 인사를 하러 병원에 가야 할지를 결정한다. 그리고 환자 자신도 마지막으로 누구를 만나고 싶은지, 무엇을 하고 싶은지도 고민해볼 수 있다.
의사들과 심리학자들은 종종 생존 예후를 위해 표준화된 질문지를 사용한다. 그중 하나인 ‘완화의료 예후지수’(Palliative Prognostic Score)에는 환자의 호흡 곤란 증상 여부, 쇠약 정도, 백혈구 수치 및 외부 의존도 등을 체크하는 항목이 있다. 총 6개 항목에 체크 표시를 완료하면, 마지막으로 환자의 향후 30일간 생존확률을 표기한다.
하지만 의사들이 판단한 예후가 틀릴 때도 종종 있다. 오랫동안 생존 예후를 연구 중인 슈틸 교수는 완화의료 예후지수를 토대로 한 예측이 적중한 비율은 전체 사례의 3분이 1이 채 되지 않는다는 것을 확인했다.
여기서 많은 예후 예측이 지나치게 낙관적이었다는 점을 알 수 있다. 치료 의사들은 이미 첫 예측에서부터 환자의 생존 기간을 과대평가했다. 예측한 생존 기간을 무려 두 배로 늘려 말한 의사도 있었다. 불과 몇 주간 생존이 예상되는 환자에게 몇 달을 더 살 수 있다고 말하는 식이다. 의사들은 환자에게 예후가 좋지 않다고 알리는 것을 마치 자신의 치료 실패로 여기는 것 같았다.

생존 예후가 틀린 까닭
사람들의 예측이 자주 빗나가는 이유가 무엇보다 그들 자신에게서 비롯된다는 것은 다양한 사례를 통해 드러난다. 과학자들은 이런 사고 왜곡을 ‘편향 혹은 편견’이라고 부른다. 편향은 보통 틀린 예측으로 이어진다.
편견이라는 것을 스스로 안다면 편견에 대응할 수 있다. 연구에 따르면, 어떤 질문을 하는지에 따라 예측은 확연히 달라진다. ‘환자가 일주일 이상 생존할 수 있을까?’라고 질문하면 의사들은 대체로 아주 낙관적으로 답한다. 하지만 ‘환자가 다음주에 사망한다면 뜻밖이겠는가?’라고 질문하면, 의사들은 더 정확한 예측을 내놓는다. 의사와 간호사는 이를 ‘깜짝 질문’이라고 부른다.
갑상선암 환자의 생존 기간에 대해 이런 ‘깜짝 질문’을 던졌다면, 슈틸 교수는 다른 대답을 했을까? 그는 이를 알아낼 기회가 없었다. 그가 다음주 월요일에 출근했을 때, 그 여성 환자는 더 이상 병실에 있지 않았다. 주말에 눈을 감았던 것이다.
슈틸 교수는 자신이 예측한 생존 예후가 어떻게 완전히 틀려버렸는지 자문했다. 자신이 환자의 통증을 잘못 해석한 것은 아닌지, 환자가 몇 주 만이라도 더 생존하기를 바라는 마음이 예후 예측에 영향을 준 것은 아닌지 등을 고민했다.
슈틸 교수는 이 경험을 통해 두 가지 교훈을 얻었다고 말한다. 편견 메커니즘을 익히 알고 있음에도 편견이 자신의 판단에 얼마나 큰 영향을 미칠 수 있는지 이제야 알게 됐고, 동시에 다시는 중환자와 “월요일에 봐요” 같은 작별 인사를 나누면 안 된다는 것을 알게 됐다.

ⓒ Der Spiegel 2024년 제28호
Wissen, was kommt
번역 김태영 위원