각국은 인공지능(AI)으로 제어되는 로봇무기를 개발하고 있다. 영국-오스트레일리아계 컴퓨터과학자이자 AI 분야의 선구자인 토비 월시(58·Toby Walsh)가 이것이 왜 그리 위험한지, 어떻게 사용을 규제해야 할지 설명한다.

힐마어 슈문트 Hilmar Schmundt <슈피겔> 기자

▲ 영국-오스트레일리아계 컴퓨터과학자이자 인공지능 분야의 선구자인 토비 월시 오스트레일리아 뉴사우스웨일스대학(UNSW) 컴퓨터과학·공학부 교수는 킬러 로봇 사용을 지금이라도 금지해야 한다고 주장한다. UNSW 누리집

-러시아의 우크라이나 침략 전쟁은 부분적으로 현대 무기 시스템의 시험운영처럼 보인다. 우크라이나는 처음부터 튀르키예(터키)가 생산하는 바이락타르(Bayraktar) 타입 드론에 크게 의존했고, 이제 러시아가 이란의 드론으로 그 뒤를 따르려 한다. 이 무기들이 미래에 AI로 공격할 수 있을까.
그렇다. AI로 제어하는 ‘킬러 로봇’의 사용은 시간문제다. 얼마 전 나는 ‘POM-3’이라는 새로운 유형의 러시아 대인지뢰를 경고하는 기고문을 썼다. POM-3은 (제2차 세계대전 당시) 연합군 병사들이 농담 섞어 ‘바운싱 베티’(Bouncing Betty)라는 별명을 붙인 독일군의 산탄 지뢰 설계를 기반으로 만들어졌다. 이 지뢰는 발걸음을 감지하면 공중으로 치솟아 최종적으로 1m 높이에서 폭발해 살상력을 최대화한다.
러시아는 이 산탄 지뢰를 자국군 부대가 접근하는지 정확하게 구별하는 AI 소프트웨어를 사용해 제어할 것이라고 발표했다. 아군이 접근하면 지뢰가 폭발하지 않고 적군이 접근하면 폭발한다는 것이다. 지뢰는 무차별로 인명을 살상하는 끔찍한 무기다. 어린이가 희생되는 일도 많다. 그래서 국제적으로 사용이 금지됐고, 우크라이나를 포함해 164개국에서 대인지뢰금지협약을 맺었다. 러시아는 협약에 참여하지 않았다. POM-3에 대한 비판으로 나도 클럽에 가입했다. 러시아의 입국 금지 목록에 올라 더는 러시아로 여행할 수 없게 된 클럽 말이다. 나는 그것을 칭찬으로 받아들인다.

▲ 2022년 9월12일 우크라이나가 최근 되찾은 하르키우 지역 졸로치우 마을에서 군인과 경찰이 러시아 대인지뢰 POM-3을 정리하고 있다. 최근 러시아는 1m 높이에서 폭발하는 이 산탄 지뢰를 AI 소프트웨어를 사용해 제어할 것이라고 발표했다. REUTERS

‘킬러 로봇’ 사용은 시간문제
-세계의 공군 무기는 한 걸음 더 나아간 듯하다. 예를 들어 오스트레일리아는 현재 미국 보잉사와 함께 반자율 전투기를 시험한다. ‘로열 윙맨’(Loyal Wingman)이라는 이 요격 드론의 임무는 폭격기 조종사를 호위·보호하는 것이다.
로열 윙맨은 미화됐고, 사람들을 오도하는 명칭이다. 오직 인간의 생명, 이 경우 조종사의 생명을 보호하기 위한 것이라는 인상을 준다. 실제는 완전히 다르다. 이미 오래전부터 대중은 거의 눈치채지 못한, 세계적인 AI 군비 경쟁이 진행됐다. 미 육군은 아틀라스(Atlas)라는 로봇탱크를 개발 중이다. 미 해군은 시헌터(Sea Hunter)라는 완전자동화된 로봇군함을 만들고 있다. 그중 하나는 이미 하와이에서 캘리포니아 해안까지 독자적으로 항해를 마쳤다. 중국은 AI로 제어하는 미사일을 개발하고 있다. 러시아는 핵무기를 장착할 수 있는 포세이돈(Poseidon)이라는 무인 잠수함을 개발하려 한다. 이것은 악몽이다. 지휘관 대신 컴퓨터 프로그램이 핵전쟁 시작 여부를 결정하는 잠수함보다 더 무서운 것을 상상할 수 있는가?
-결국 실현되지 않을 공포 시나리오이지 않은가.
절대 그렇지 않다. 자율무기는 핵폭탄보다 훨씬 더 위험해질 수 있다. 핵폭탄 제작에는 엄청나게 많은 노하우가 필요하고 우수한 물리학자와 엔지니어가 있어야 한다. 핵분열성 물질도 필요하고, 많은 돈이 들어간다. 다행스럽게도 많은 국가가 가까운 장래에는 여전히 핵무기를 얻지 못할 것이다. 반면 AI 무기는 상황이 완전히 다르다. 재래식 무기 시스템에 적절한 컴퓨터칩, 소프트웨어, 3차원(3D) 프린터로 만든 부속품 등을 추가하면 자동무기로 변환할 수 있는 경우가 많다.
-그런 자체제작(DIY) 무기나 몇 대의 자율무기, 아틀라스 탱크, 시헌터 전함이 전쟁에서 정말 결정적 역할을 할 수 있을까.
모르겠다. 그러나 이런 무기가 우발적으로 오작동을 일으켜 전쟁을 유발하고, 이후 재래식 무기나 더 끔찍한 전쟁 도구를 사용하는 양상으로 이어질 수도 있다. 예를 들어 러시아는 우크라이나를 공격할 때 극초음속 무기를 썼다고 한다. 이 무기는 초음속의 몇 배나 되는 속도로 목표물을 향해 날아간다. 이 경우 공격받는 쪽에서 반응할 시간도, 잘못된 경보를 배제할 시간도 거의 없다. 이는 전쟁을 가속한다. 아주 짧은 시간 안에 서로를 격화하는 컴퓨터시스템 간의 전격전인 ‘플래시 워’(Flash War)가 일어날 수 있다. 이러한 전쟁의 자동화는 정세를 불안정하게 한다. 우리는 반드시 이를 막아야 한다.
-부분자율 무기가 생명을 구할 수도 있지 않은가. 예를 들어 군함을 방어하는 미국의 팰렁스(Phalanx) 미사일방어시스템은 인간보다 훨씬 빠르게 공격에 대응한다.
물론 그렇다. 극초음속 무기로부터 방어해야 한다면 좋은 수단이다. 그러나 팰렁스는 분명히 방어시스템이다. 실제로 방어 무기의 경우 AI가 덜 문제된다. 그럼에도 이런 무기의 사용은 여전히 민감한 사안이다. 이 시스템을 얼마나 신뢰할 수 있는가? 만일 소프트웨어가 여객기를 적의 미사일로 착각해 격추하면 어떻게 해야 하나?
-로봇무기가 전쟁범죄를 저지르면 누가 책임져야 하나. 유럽의회는 이미 2017년 잘못된 행위에 책임을 물을 수 있게 장기적으로 최소한 일부 기계에 특정한 법적 지위 등을 부여하는 것을 진지하게 논의했다.
그것이 무슨 소용인가? 기업은 이미 ‘법인’으로 간주한다. 그런데도 경제범죄에 관련됐을 때는 아무런 도움이 되지 않는 일이 많다.

▲ 일본의 헬리콥터 항공모함 가가(Kaga)에 실린 미사일방어시스템 팰렁스(Phalanx). 소프트웨어가 여객기를 적의 미사일로 착각해 격추하는 사태가 발생할 수도 있다. REUTERS

국가 테러에 사용될 수도
-공격형 킬러 로봇을 이미 사용하고 있는가.
많은 추측이 있다. 튀르키예가 얼굴인식 소프트웨어를 탑재한 카르구(Kargu)라는 드론을 시리아 국경에서 ‘인간 사냥’에 사용한 것으로 보인다. 카르구는 휴대전화와 비슷하게 엉터리 얼굴인식 프로그램을 이용한다. 휴대전화의 얼굴인식 프로그램이 지닌 결점을 모두 똑같이 보유했다. 이런 프로그램을 사용해 지상에 있는 사람들을 식별해 죽이는 것이다. 킬러 드론 무리에 쫓기는 게 얼마나 끔찍한 일인지 상상해보라. 드론이 특별히 신뢰할 수 있는 방식으로 작동하지 않더라도 독재정권은 당연히 대중을 공포에 떨게 하기 위해 그런 기계를 쓸 수 있다. 이런 무기는 국가 테러에 사용하기에 매우 적합하다.
-AI 통제 무기를 금지하는 것이 아직 현실적으로 가능한가. 예를 들어 당신의 새 책 <나쁘게 작동하는 기계>(Machines Behaving Badly)에서 언급한 것처럼 핵확산금지조약의 추가조항으로?
금지가 항상 완벽하게 작동하지는 않지만 상황이 더 나빠지는 것은 방지할 수 있다. 처음에는 사용했지만 나중에 금지한 무기의 몇 가지 사례가 있다. 제1차 세계대전에서 광범위하게 사용했던 독가스를 생각해보라. 혹은 병사들의 눈을 멀게 하는 ‘실명(失明) 레이저’를 생각해보라. 실명 레이저는 광범위하게 사용됐음에도 1998년 유엔 의정서(Protocol on Blinding Laser Weapons)로 불법화한 이후 전장에 거의 등장하지 않았다. 대인지뢰 금지는 잘 작동하지 않지만, 금지협약으로 적어도 4천만 개가 파괴돼 많은 어린이의 생명을 구했다. 집속탄도 비슷하다. 시리아에서 다시 사용하긴 했지만 약 99%의 재고가 파괴됐다. 우리는 ‘낙인화’로 자율무기를 받아들일 수 없게 할 수 있다.
-5년 전만 해도 당신은 훨씬 더 낙관적이었다. 저서 <살아 있다>(It’s Alive)에서 AI의 미래를 밝게 예측했다. 무엇이 당신의 생각을 바꾸었나.
현실! 우리는 AI에 대해 불쾌한 부작용을 자주 경험했다. 본인의 이익에 반함에도 도널드 트럼프 전 미국 대통령이나 브렉시트(영국의 유럽연합(EU) 탈퇴)에 투표하도록 유권자의 두뇌를 이른바 ‘해킹하기’ 위해, 표적 선거광고가 얼마나 쓰이는지 점점 더 명확해졌다. 그리고 자가학습 프로그램으로 이 공격은 완벽한 폭풍으로 확대됐다.
-어쨌든 유럽연합은 현재 ‘신뢰할 수 있는 AI’ 규정을 마련하기 위해 노력하고 있다.
유럽연합은 AI 규제의 선두에 있다. 그리고 유럽 시장은 글로벌 기업이 AI 제품을 유럽 규정에 맞게 조정할 가치가 있을 정도로 충분히 크다. 하지만 악마는 디테일에 있다. 규정을 만드는 건 좋지만 문제는 규정을 얼마나 엄격하게 지키느냐다.
-규정을 제정하기도 전부터 상당한 의견 차이가 있다. 예를 들어 투명성 문제가 있다. AI가 정말 투명하고 이해되는 존재가 될 수 있나. 아니면 애초 부분적으로 (인간이 열어볼 수 없는) 블랙박스가 아닌가.
투명성은 과대평가됐다. 인간도 투명하지 않다. 하지만 우리는 일상에서 자주 인간을 신뢰한다. 예를 들어 나는 의사도 아니고 의사의 결정을 자세히 이해할 수 없지만 의사를 신뢰한다. 의사의 마음속에 무슨 일이 일어나는지 전혀 모르는데도 그렇다. 하지만 나는 의사를 감독하는 기관을 믿는다.

▲ 2022년 9월5일 폴란드 키엘체에서 열린 제30회 국제방위산업전시회에서 튀르키예의 바이락타르(Bayraktar) TB2 드론이 전시돼 있다. REUTERS

딥페이크가 선거 결정
-AI를 규칙에 따라 작동시키려면 어떻게 해야 할까.
까다로운 문제다. AI에만 국한되는 것도 아니다. 현대의 기업도 초인간적 지능의 한 형태다. 지구에서 가장 현명한 사람도 혼자 아이폰을 만들 수 없다. 누구도 혼자 발전소를 설계할 만큼 똑똑하지 않다. 모든 기업은 수만 명의 중등 지능을 가진 직원을 연결해 초인간적 지능 집단으로 전환한다. 일종의 인공지능을 만드는 것이다.
-오작동하는 AI 시스템의 플러그를 그냥 뽑을 수는 없을까. 그러면 문제가 해결되지 않는가.
절대 그렇게 하면 안 된다. 우리는 글로벌 뱅킹시스템의 컴퓨터를 단순히 꺼버릴 수 없다. 그렇게 하면 세계경제는 붕괴할 것이다. 우리는 항공관제시스템의 컴퓨터를 끌 수 없다. 그렇게 하면 교통망이 붕괴된다. 발전소의 컴퓨터도 끌 수 없다. 그렇게 하면 대규모 정전이 일어난다. 우리는 이미 컴퓨터에 완전히 의존하고 있다. 이 의존성은 AI와 함께 계속 늘어난다. AI는 더 이상 제거할 수 없다. 그저 AI에 프로그래밍된 가치관이 우리 사회의 가치와 일치하는지 확인할 수 있을 뿐이다.
-당신은 자율주행자동차가 자전거나 보행자에게 치명적인 사고를 일으킬 것이라고 예측했다. 약 1년 뒤 그런 사고가 일어났다. 향후 5년을 어떻게 예측하는가.
자동 얼굴인식과 관련해 여러 사건이 일어날 것이다. 미국의 스타트업 ‘클리어뷰AI’(Clearview AI)는 사람들의 동의 없이 수백만 장의 사진을 수집했다. 이 회사는 유죄판결을 받았지만 여전히 수집 활동을 한다. 놀라운 일은 이 회사가 손해배상소송으로 파산하지 않았다는 것이다. 또 하나의 예측이 있다. 딥페이크(Deep Fake), 즉 인터넷에서 AI의 도움으로 조작된 동영상과 사진이 증가할 것이다. 몇 년 안에 딥페이크가 선거를 결정하거나 전쟁을 유발할 것이다. 어쩌면 둘 다 할지도 모른다.

ⓒ Der Spiegel 2022년 제31호
Blitzkrieg der Computersysteme
번역 황수경 위원