▲ 존 포브스 내시. 노벨상 웹사이트

필즈상을 탄 허준이(39) 교수가 몸담은 미국 프린스턴대학교는 전세계 수학 천재들이 몰려들기로 유명한 학교다. 대표적인 천재가 1994년 노벨경제학상을 받은 존 포브스 내시(1928~2015)다. 오만한 수학천재에서 피해망상의 정신병자로 몰락했다가 인생의 황혼기에 질병을 극복하고 노벨상까지 받은 존 내시의 영화 같은 삶은 영화 <뷰티풀 마인드>(A Beautiful Mind)로 만들어져 2002년 아카데미 작품상을 받았다.

프린스턴의 수학 천재들
내시가 노벨상을 받은 게임이론의 원형을 경제학에 처음 도입한 것도 프린스턴대 교수들이었다. 컴퓨터 중앙처리장치(CPU)의 내장형 프로그램을 처음 고안하고 원자탄 개발 계획인 ‘맨해튼 프로젝트’에 참여한 것으로 유명한 수학과 교수 존 폰 노이만이 경제학과 교수 오스카 모르겐슈테른과 함께 쓴 논문 ‘게임이론과 경제적 행동’(Theory of Games and Economic Behavior, 1944)은 많은 후배 수학자를 경제학으로 이끈 기념비적 연구였다. 노이만과 모르겐슈테른은 바둑이나 체스 같은 2인용 제로섬(영합) 게임에서 손실을 최대치로 줄이는 미니맥스(Minimax) 솔루션을 제시한다. 자신에게 가장 불리한 결과는 상대방이 결정하므로, 최악의 결과를 염두에 둔 상태에서 자신의 이득을 최대화하는 전략이 바로 미니맥스 솔루션이다.
내시의 수학과 박사과정 지도교수였던 앨버트 터커 역시 게임이론에 관심이 많은 수학자였다. 터커는 ‘죄수의 딜레마’(Prisoner’s Dilemma)라는 개념을 처음 쓴 사람으로 유명하다. 죄수의 딜레마란, 독방에 수감돼 서로 접촉할 수 없는 두 명의 공범에게 자백(배신)할 경우 석방해주겠다고 제안하면서, 다만 한 명이 자백을 거부하고 다른 한 명만 자백할 경우 자백을 거부한 죄수에게 두 사람 몫의 징역형을 살게 하겠다고 했을 때(둘 다 자백하면 혼자 자백했을 때보다 형량이 줄지만 석방하지는 않는다), 결국 죄수 둘 다 자백(배신)을 선택할 수밖에 없다는 ‘비협력 게임’ 이론이다. 크리스토퍼 놀런 감독이 블록버스터 명작 <다크 나이트>에 차용해 더욱 유명해진 이 이론은 원래 미국 국방 분야 싱크탱크인 랜드(RAND)연구소의 경제학자 메릴 플러드와 멜빈 드레셔가 진행한 연구와 실험의 주제였는데, 터커 교수가 이 이론을 소개하면서 죄수의 사례를 적용해 ‘죄수의 딜레마’로 널리 알려졌다.
이렇게 경제학에 관심이 많은 수학자로 둘러싸여 20대 초반의 내시가 쓴 논문이 ‘여러 명이 참여하는 게임에서의 균형점’(Equilibrium points in n-person games, 1950)과 ‘비협력 게임’(Non-cooperative Games, 1951)이다. 내시는 임의의 수(n)의 플레이어와 임의의 선호도를 가진 보편적인 솔루션을 창안했는데, 노이만과 달리 2인용 제로섬 게임이 아닌 비영합(Non-zero-sum) 게임에서 적어도 하나 이상의 균형점이 존재한다고 증명한 것이다. 나중에 ‘내시 균형’(Nash Equilibrium)으로 불리는 이 개념은 모든 플레이어가 생각하는 최적의 상태로, 자신의 전략을 변경할 인센티브가 없을 때의 균형을 말한다. ‘죄수의 딜레마’의 결론이 대표적인 경우다.
1940~1960년대 경제학에서 게임이론이 비약적으로 발전한 이유는 고전주의 경제학이 전제하는 완전경쟁이 현실적이지 않다는 문제의식에서 비롯한다. 애덤 스미스가 말한 것처럼, 모든 사람이 이기적인 동기에서 경제활동을 하더라도 결과적으로 모두에게 이익이 된다는 가정은 고전주의 경제학자들의 머릿속에서나 가능한 얘기다. 대기업이 중소기업의 기술을 탈취하고 하도급 대금을 제대로 주지 않거나, 정유사 같은 과점기업이 유가가 오를 때는 소비자가격에 과잉 반영하고 반대로 내릴 때는 과소 반영하는 일은 수시로 일어난다.
내시의 비협력 게임 모델은 노이만 이론보다 현실 모델에 훨씬 가까워 사회 각 분야에서 실용적으로 쓰인다. 과점(Oligopoly)기업의 행태 분석을 비롯해 산업조직 이론에서 기업 간 경쟁에 대한 연구뿐만 아니라 통화위기와 예금인출 사태 등 비정상적 경제 상황, 조세정책 설계와 관련한 정부와 대중 간의 상호작용, 환경 및 자원경제학, 정보경제학 등 경제이론을 넘어 경매와 스포츠, 진화생물학, 군사학, 국제정치학 등 적용되지 않는 분야가 더 적을 정도로 광폭의 쓰임새를 자랑한다.

▲ 영화 <뷰티풀 마인드> 포스터.

본말 전도된 수학과 경제학의 관계
허준이 교수 인터뷰 가운데 가장 인상 깊었던 대목은 수학이 인문학이라고 생각한다는 내용이었다. 한국에서는 수학이 문과와 이과를 가르는 경계선이라 생각하고 의과대학을 포함한 이공계의 대표적 학문인 것처럼 말하지만, 허 교수는 수학이 천문학이나 생물학처럼 자연을 연구하는 학문과 달리 인간이 만들어낸 생각을 탐구하는 학문이라는 견해를 갖고 있다. 시인이 되겠다고 학교까지 그만뒀던 통섭형 인간이어서 생각의 틀도 통합적이고 자유분방하다.
신고전주의의 태두라고 할 수 있는 앨프리드 마셜(1842~1924)은 경제이론에 수학이 끼어드는 것을 싫어했다고 한다. 그는 수식 없이 직관으로 경제현상을 설명했던 고전주의 전통에 충실한 제자였다. 마셜에 반기를 들고 경제학에 수학을 적극적으로 끌어들인 사람이 계량경제학의 선구자이자 1970년 제2회 노벨경제학상 수상자인 폴 앤서니 새뮤얼슨(1915~2009)이다. 그는 미적분 공식을 생산과 소비, 국제무역과 공공재정 등 경제이론에 적용했다. 그리고 케인스주의의 핵심 이론이라고 할 수 있는 승수효과를 수학적으로 정교하게 발전시켜 케인스주의의 득세에 큰 기여를 했다. 그 뒤로 경제학과 수학은 불가분의 관계가 됐고, 이론적으로 설명할 수 있어도 수학적으로 증명하지 못하면 인정받지 못하는 분위기가 됐다. 본말이 뒤집혔다는 비판도 끊이지 않는다. 경제학이야말로 인간이 인간을 위해 만들어낸 대표적 학문이라고 한다면 경제학이 지향해야 할 지점은 명확하지 않을까.

* 노벨경제학상은 뒤늦게 따로 태어난 사생아 같은 노벨상이지만 현대 자본주의 역사를 압축적으로 들여다볼 수 있는 창문 같은 존재다. 역대 노벨경제학상 수상자들의 연구 업적과 관련 논쟁을 통해 현재적 의미를 되새겨본다. 너무 전문적이지 않은 상식의 수준을 지향한다.

ⓒ 이코노미 인사이트 2022년 8월호