열린사회의 적은 AI인가 인간인가
지진 피해로 울부짖는 사람들, 다운재킷을 입은 교황, 죽은 사람의 히트곡 등 인공지능(AI)은 방대한 양의 데이터를 바탕으로 새로운 현실을 만들어낸다. 호기심과 놀라움을 넘어, AI는 일상에도 깊숙이 침투할 수 있다. 손주의 가상 목소리로 할머니 할아버지를 속여 보이스피싱을 하거나, 자신의 목소리가 어느 날 특정 정당의 선거 수단으로 사용될 수 있다. 더 이상 어떤 현실에도 동의할 수 없는, 진실이 붕괴한 사회를 피할 수 있을까? AI를 ‘도덕적으로’ 훈련하기 위해 폭력·음란물을 걸러내다 악몽·우울증에 시달리는 케냐·독일 저임금 노동자들의 트라우마도 들여다봤다. _편집자

파트리크 보이트 Patrick Beuth 등 <슈피겔> 기자
 

▲ 사진작가 보리스 엘다크젠의 작품 <전기 기술자>. 2023년 4월 ‘소니 월드 포토그래피 어워드’를 받았지만 인공지능(AI)의 작품이라며 엘다크젠은 수상을 거부했다. 보리스 엘다크젠 누리집

▲ 인공지능(AI) 연구자 케이트 크로퍼드는 지금까지 소수의 사람만 AI 혜택을 누렸지만 이제 기술이 보편화돼‘생성형 (AI) 시대’가 됐다고 말한다. 인공지능(AI) 연구자 케이트 크로퍼드는 지금까지 소수의 사람만 AI 혜택을 누렸지만 이제 기술이 보편화돼‘생성형 (AI) 시대’가 됐다고 말한다.

보리스 엘다크젠은 짧고 거칠게 웃은 뒤 노트북을 열고 그를 유명하게 한 사진을 보여줬다. 진지한 표정을 한 두 여성이 찍힌 흑백사진이다. 한 여성은 다른 여성 뒤에 수줍게 숨었고 두 사람의 머리 위에 발광하는 전선이 걸려 있다. 독일 베를린의 사진작가는 이 작품에 ‘The Electrician’, 즉 ‘전기 기술자’라는 제목을 붙였다. 제목 자체가 모든 것을 말해준다. 이 사진 뒤에는 순수한 기술이 있다. 그는 사진 찍는 데 카메라를 쓰지도 않았고, 렌즈 앞에 모델을 세울 필요도 없었다. 부서질 듯 아름다운 ‘전기 기술자’는 프로세서와 회로의 작품이자 인공지능(AI)의 창조물이다.
약 1년 전부터 엘다크젠은 이른바 생성형 인공지능(AI)으로 실험했다. 이 AI는 한때 사진작가라는 직업을 만들어낸 장비인 카메라, 렌즈, 플래시, 조리개뿐 아니라 심지어 모티브까지 대체했다. 대신에 그는 이른바 ‘프롬프트’인 정확한 지침을 컴퓨터에 입력하고 소프트웨어가 여러 단계에 걸쳐 작업을 수행하도록 한다. 엘다크젠은 이 절차를 ‘프롬프토그래피’(Promptography)라고 부른다.
작품 <전기 기술자>에는 미국 회사 오픈에이아이(OpenAI)의 달리2(DALL-E 2) 프로그램을 썼지만, 지금은 스테이블디퓨전(Stable Diffusion) 소프트웨어로 작업하는 것을 선호한다. 그는 “나는 감독이고, AI는 나에게 아이디어를 제안하는 세트·음향·카메라·배우”라고 말했다. 엘다크젠은 최종 선택만 하면 된다. 그가 묘사하려는 세계는 기계에서 만들어지며 실제 세계와 거의 구분할 수 없다.
2023년 4월 <전기 기술자>는 권위 있는 ‘소니 월드 포토그래피 어워드’를 수상했다. 자부심이 있는 사진작가라면 누구나 영광으로 여기고 세계적 명성을 얻을 기회이다. 그러나 엘다크젠은 수상을 거부하고 대신 심사위원들이 말하고 싶지 않았던 것으로 보이는 내용을 투명하게 공개했다. <전기 기술자>에서 진짜인 부분은 하나도 없고 이에 관한 토론은 어떤 상보다 훨씬 더 중요하다는 점이다. “우리는 지금 이 문제를 이야기해야 한다. 2023년 말이면 (AI에서 생성한 사진과 실제 사진을 구분할 수 있는) 모든 차별성이 사라질 것이다.”
프롬프토그래피를 가능하게 하는 기술은 최근 몇 달 동안 엄청나게 발전했다. 사실 자기 눈을 믿을 수 있는 시대는 수십 년 전에 끝났다. 스티븐 스필버그 같은 디지털 선구자들이 스크린에서 공룡을 부활시키고 포토샵 프로그램이 모든 아마추어 사진작가에게 보정 방법을 가르쳤던 1990년대에 이미 진실은 흔들리고 있었다. 정치인이 선거에서 가짜뉴스를 이용해 여론을 선동하기가 얼마나 쉬운지 알게 되면서 마침내 진실은 붕괴했다. 그러나 이런 일에 사용하는 모든 도구와 프로그램에는 시간과 비용, 많은 작업이 필요했다. 생성형 AI는 이 모든 것을 크게 줄였다. 아이디어를 내고 그 구현까지의 경로가 어느 때보다 짧아졌다. 이 모든 일이 아주 빠르게 이뤄졌다.
불과 몇 달 사이 딱딱한 연구 문헌에만 등장하던 용어가 일반 시민의 디지털 도구가 됐고, 이제 인터넷은 이들의 창작물로 넘쳐난다. 누리꾼은 친구·음악가·정치인의 목소리를 복제하고, 흰색 다운재킷을 입은 교황이나 미국 국방부 청사 펜타곤의 폭발 사진을 가짜로 만들어낸다. 이는 화면에 나타난 세계에 대한 우리의 신뢰를 잃게 한다. 사진작가 엘다크젠은 “앞으로 우리는 사진을 볼 때 항상 진짜가 아니라고 먼저 가정해야 할 것”이라고 말했다.
AI 연구자 케이트 크로퍼드는 AI의 사회적 영향에 관한 연구 분야에서 최고 전문가 중 한 명으로 꼽힌다. 그는 미국 서던캘리포니아대학(USC) 애넌버그 커뮤니케이션·저널리즘스쿨 연구교수이자 마이크로소프트연구소의 연구원이다. 그는 벌써 역사의 ‘전환점’을 거론한다. 지금까지는 소수의 사람만이 혜택을 누려왔지만 이제 기술이 보편화하는 ‘생성형 (AI) 시대’가 됐다는 것이다.
문제는 우리 사회가 준비됐는지, 앞으로 몇 년간 일어날 일에 대비하고 있는지다. 생성형 AI는 창조만 할 수 있는 게 아니라 파괴도 할 수 있기 때문이다. 만일 현재 또는 과거의 사진 자료가 일어나지 않았던 일을 보여준다면, 어떤 가수가 한 번도 부른 적이 없는 노래에서 그 가수의 목소리가 들린다면, 유명인사가 말한 적이 없는 문구를 말했다고 인용되기 시작하면 진실은 곤경에 빠진다. 더 이상 어떤 현실에도 동의할 수 없는 사회는 어떻게 될까?
 

▲ 탐사 플랫폼 벨링캣의 설립자 엘리엇 히긴스는 가짜뉴스의 범람으로 2024년 미국 대선이 엉망진창이 될 것이라고 내다봤다. 위키미디어 코먼스

▲ 엘리엇 히긴스는 도널드 트럼프 전 미국 대통령의 탄핵 가능성에 관한 보도가 나오자 미드저니 프로그램을 이용해 트럼프 전 대통령이 수갑을 차고 목덜미를 잡혀 경찰에게 끌려가는 모습, 주황색 수감복을 입고 화장실을 청소하는 모습 등을 만들었다. 엘리엇 히긴스 트위터

1. 지진
2023년 3월 중순 어느 목요일, 인터넷은 어떤 재난 사고를 추모했다. 관련 게시물에 따르면 2001년 미국 오리건주 해안 캐스캐디아 섭입대에 진도 9.1의 지진이 발생해 몇 분 뒤 쓰나미(지진해일)가 일어났다. 수천 명이 죽고 수십만 명이 집을 잃었다. 세기의 참사 사진에는 부서진 집과 안전조끼를 입은 취재진, 눈물을 흘리는 가족, 그리고 지진 현장을 찾은 당시 미국 대통령 조지 부시의 모습이 담겨 있다. 이 사진들은 누구의 기억에도 없는 사고를 담았다. 그런 일은 일어나지 않았기 때문이다. ‘2001 캐스캐디아 9·1 대지진과 쓰나미’(2001 Great Cascadia 9·1 Earthquake and Tsunami)는 가정법의 재앙이다.
소셜미디어 플랫폼 레딧(Reddit)의 사용자는 대체 현실 생성 전용 포럼에 이 사진들을 게시했다. AI 프로그램 미드저니(Midjourney) 관련 커뮤니티의 회원들은 ‘디지털 광기’에 익숙하다. 그들은 2023년 퀴어문화축제 퍼레이드에 나타난 늙은 프레디 머큐리의 모습에 환호하고, 슈퍼마켓 계산대 뒤에 선 톰 크루즈에 경탄한다. 그럼에도 2001년 미국 서부 해안 지진의 이미지는 AI의 열정적 사용자조차 불안하게 했다. 한 사용자는 “2년 안에 사람들은 잘못된 정보를 처리하는 데 어려움을 겪겠지만, 2100년에는 이야기의 어떤 부분이 진짜인지 더 이상 알 수 없게 될 것”이라고 썼다.
진실을 찾는 사람은 조만간 엘리엇 히긴스를 찾을 것이다. 이 영국인은 인터넷에서 가장 뛰어난 ‘팩트체커’ 중 한 명이다. 2014년 그는 탐사 플랫폼 벨링캣(Bellingcat)을 설립했다. 이후 이 매체는 말레이시아항공 MH17편의 2014년 추락이나 전 러시아 첩보요원 세르게이 스크리팔을 향한 신경작용제 공격 같은 국제적인 스캔들의 내막을 밝혀내고 책임자를 폭로하는 데 중요한 역할을 했다. <슈피겔>도 벨링캣과 협업하고 있다.
2023년 3월, 레딧 이용자들이 아직 과거의 재난을 만들어내느라 바쁘던 때, 히긴스는 더 최근의 사건에 비슷한 시도를 했다. 도널드 트럼프 전 미국 대통령의 탄핵 가능성에 대한 첫 번째 보도가 나온 직후, 히긴스는 미드저니 프로그램으로 일련의 가짜 사진 시리즈를 만들었다. 트럼프 전 대통령이 수갑을 차고 목덜미를 잡혀 경찰에게 끌려가는 모습, 주황색 수감복을 입고 화장실을 청소하는 모습 등이었다. 작은 글씨로 AI 표시가 됐음에도 이 사진은 입소문을 타고 퍼져나갔고, 미드저니는 히긴스의 계정을 차단했다. 진실 추적자가 도발적인 디지털 사기로 계정을 정지당한 것이다.
신기술의 속임수 힘은 아무리 과대평가해도 부족하다고 히긴스는 말한다. 그와 같은 전문가는 촬영 장소를 확인하는 등 습관적으로 이미지를 검증하므로 속이기 어렵다. AI는 어떤 장소의 이미지는 만들어내지만 그에 맞는 위성항법장치(GPS) 데이터는 만들지 못한다. 아직은 그렇다.
히긴스는 이미지·동영상·뉴스·음성의 홍수에 휩쓸리는 일반 사용자들을 걱정한다. 2023년 6월 초에 그런 일이 일어났다. 우크라이나와 인접한 러시아의 일부 지역에서 블라디미르 푸틴 대통령의 연설이 라디오와 텔레비전에 방영됐다. 러시아 대통령은 국경 지역에 대규모 동원령을 내리고 계엄을 선포했다. 최소한 방송에서는 그런 것 같았다. 잠시 뒤 러시아 정부는 방송사가 해킹당했고, 방송된 연설은 가짜로 만들어낸 것임을 확인했다. 얼마나 많은 우크라이나인과 러시아인이 가짜뉴스에 속았는지 아무도 확실하게 말할 수 없다.
푸틴의 가짜 연설은 히긴스가 ‘명성 격차’(Fame Gap)라고 부르는 문제를 보여준다. 일반적인 AI는 공개적으로 사용 가능한 방대한 데이터 세트로 학습하기에, 대상이 유명할수록 조작된 결과물이 더 정확하고 우수해진다. 연예계 스타들에게는 짜증 나는 일, 비즈니스 리더나 언론인, 정치인들에게는 심각한 문제다.
가족·친지의 목소리로 순진한 할머니, 할아버지를 속이려는 사기꾼이 AI로 손주인 양 속임수를 쓰려면 먼저 충분한 자료를 수집해야 한다. 그러나 전쟁의 진행 과정에 대해 국민 전체를 속이려면 고위 정치인의 수천 시간 분량의 비디오·오디오 자료를 손쉽게 찾아 허위 정보에 이용할 수 있다. 히긴스는 AI 회사의 무관심한 태도에 분노하며 “사용자가 유명인을 이용해 거짓된 내용의 콘텐츠를 생성하는 것을 원치 않는다면 그들의 AI 모델에 유명인 이미지를 학습시키지 않았어야 했다”고 말했다.
히긴스는 AI가 생성한 콘텐츠와의 첫 번째 전투가 차기 미국 대선에서 벌어질 것으로 예상한다. “차기 미국 대선은 완전히 엉망진창이 될 것”이라고 그는 말했다. 미국 공화당의 당내 경쟁에서 이미 이런 일이 벌어지고 있다. 2023년 5월 트럼프 전 대통령은 그의 라이벌 론 디샌티스 플로리다 주지사의 음성을 복제해 일론 머스크, 조지 소로스, 아돌프 히틀러, 사탄(악마)과 이야기하는 영상을 공유했다.
디샌티스는 트럼프가 실제로는 싫어하는 앤서니 파우치 전 미국 국립알레르기·전염병연구소 소장을 진심으로 포옹하는 세 개의 AI 생성 이미지로 더 교묘하게 보복했다. 소로스부터 파우치까지…. 가짜 사진으로 같은 당 동료를 당 지지층이 최악의 적으로 여기는 인물과 가까운 것처럼 보이게 하는 일이 지금보다 쉬웠던 적은 없다. 시민들은 결국 인공적으로 생성된 캐리커처 중에서 선택할 수밖에 없을까?
 

▲ 2023년 5월 도널드 트럼프 전 미국 대통령은 그의 라이벌 론 디샌티스 플로리다 주지사의 음성을 복제해 일론 머스크, 조지 소로스, 아돌프 히틀러, 사탄(악마)과 이야기를 나누는 영상을 트위터로 공유했다. 도널드 트럼프 트위터 갈무리

▲ 2001년 미국 오리건주 해안 캐스캐디아 섭입대에 진도 9.1의 지진이 발생한 것을 가정해 소셜미디어 레딧 이용자가 미드저니 프로그램으로 만든 가짜 사진. 부서진 집과 안전조끼를 입은 취재진, 눈물을 흘리는 가족, 지진 현장을 찾은 당시 미국 대통령 조지 부시의 모습 등은 진짜 사진처럼 보인다. 레딧

2. 쓰레기로 점령하라
2008년 버락 오바마가 미국 최초의 흑인 대통령으로 선출됐을 때, 정치 이론가들은 변혁을 일으키는 소셜미디어의 힘에 칭찬을 아끼지 않았다. 페이스북은 이전의 어떤 수단보다 더 빠르게 소규모 커뮤니티에 도달해 사람들을 투표장으로 이끌었다. 소셜미디어는 거대한 도달 범위를 가진 디지털 선거 도우미가 됐다. 그러나 8년이 지나 꿈은 사라졌다. 트럼프는 백악관으로 가는 길에 같은 소셜미디어(페이스북)에 퍼진 가짜뉴스로 강력한 지원을 받았다.
AI는 불과 몇 달 만에 똑같은 환멸을 만들어냈다. 2023년 3월까지만 해도 미국 민주당의 일부 전략가는 AI 생성기가 그들을 위해 많은 일을 해준다며 기뻐했다. 텍스트 생성기로 작성한 기부 호소문이 실제 사람이 작성한 ‘구걸 편지’보다 더 나은 성과를 거두는 일이 자주 있었다. 유감스럽게도 이 프로그램은 유권자를 겁주는 데 훨씬 더 효과적이었다.
언론인 히긴스가 예측한 댐 붕괴는 사실 이미 발생했다. AI는 전세계의 크고 작은 무대에서 민주주의 선거의 정치적 게임 규칙을 재정의할 수 있다. 캐나다의 한 시장 후보는 유권자를 분노하게 하기 위해 노숙자 캠프의 이미지를 조작했다. 뉴질랜드에서는 보수 성향의 국민당이 조작된 보석 도둑들의 사진으로 지지자들을 속였다.
독일의 극우 정당 ‘독일을 위한 대안’(AfD)도 프롬프터그래피의 힘을 사용하는 법을 깨우쳤다. AfD 원내 부대표인 노르베르트 클라인베히터는 얼굴을 찡그리며 포효하는 난민들의 사진을 게시했다. 기계로 만든 비인간화 이미지다. 독일 최대 일간 <프랑크푸르터 알게마이네 차이퉁>(FAZ)에 클라인베히터는 놀랍게도 이런 사진이 “정치적 의견을 설명하는 데 도움이 된다”고 강변했다.
소셜미디어에 이런 사진이 올라오면 대기하고 있는 많은 팩트체커가 대체로 심각한 조작을 밝혀낼 수 있다. 그러나 인터넷의 틈새인 비공개 텔레그램이나 와츠앱의 단체대화방에서는 상황이 다르다. 이보다 더 거짓말하기 쉬운 곳이 없고 군중을 선동하기 쉬운 곳도 없다. 트럼프의 전 백악관 고문 스티븐 배넌의 선거 구호는 “쓰레기(인터넷에 올리는 가짜 정보와 가짜 사진들)로 지역을 점령하라”였다. 지금 딱 들어맞는 구호다. 누구나 쓰레기를 만들 수 있고 만드는 작업도 자동화됐다. 포퓰리스트(대중영합주의자)에게는 꿈같은 상황이다.
AI 규제가 터무니없이 뒤처진 점도 선동가들에게 도움이 된다. 유럽연합(EU)은 AI에 관한 규정인 ‘AI법’(AI Act)을 제정하려 노력한다. 이는 AI를 규제하는 최초의 법률 중 하나가 될 것이다. 유럽연합 집행위원회는 최근 AI로 생성한 콘텐츠에 앞으로 표시를 해야 한다고 요구했다. 이것이 정확히 무엇을 의미하는지, 무엇보다 누가 어떻게 이 법을 집행할지는 아무도 모른다. 이러한 질문의 답이 나오기까지 몇 달, 몇 년이 걸릴 수도 있다.
그래서 평행세계의 독버섯은 방해받지 않으면서 정치적 담론을 계속 먹어치우고 있다. 선거광고에 AI를 어느 정도까지 허용할 수 있을까? 소셜미디어 전문가 케이티 하배스는 “이미 그 경계가 모호해지고 있다”고 말했다. 그는 페이스북과 트위터 초창기에 루디 줄리아니 전 뉴욕시장의 대선 캠페인과 미국 상원 선거에서 공화당을 위해 일했다. 지금은 개인 컨설팅회사를 운영한다.
하배스는 조만간 유권자가 가짜 사진과 동영상을 구별하는 데 익숙해지고 페이스북 같은 플랫폼이 이를 처리할 방법을 찾으리라고 믿는다. 하지만 2024년 미국 대선에선 아직 대비가 미흡할 수도 있다. “(2024년 미 대선은) 여러 가지로 혼란스러운 시점에 치러지는데 이제 AI 기술까지 더해졌다”고 하베스는 말했다.
AI와 실제 지능을 구분하도록 훈련된 지피티제로(GPTZero)나 에이아이오어낫(AI or Not)과 같은 프로그램이 있지만, 간단한 테스트만 해봐도 이 프로그램들이 얼마나 신뢰할 수 없는지 알 수 있다. 혼동의 위험이 높고 때로 무력감까지 느껴진다. 한 오류 메시지에는 “죄송합니다. 이 경우 AI가 생성한 것인지 아닌지 알 수 없습니다”라고 표시된다. 픽셀 단위로 학습한 프로그램이 알아내지 못한 것을 어떻게 사람이 맨눈으로 알아볼 수 있겠는가?
반대로 거짓이 진실처럼 보인다면, 즉 우리가 보는 모든 것이 가짜일 수 있다면 어떤 가능성이 있을까? 정치인, 기업 최고경영자(CEO), 장군들은 앞으로 민감한 내용의 음성파일이나 사진을 모두 AI가 만든 것으로 치부해 쉽게 제거할 수 있을 것이다. 히긴스는 이미 이런 방어 전략을 체험했다. 그가 말레이시아항공 MH17편 추락 사고의 조사 결과를 발표했을 때 러시아 변호사들은 어깨를 으쓱했을 뿐이다. 변호인단은 증거 사진이 AI로 조작한 것이 틀림없다고 주장했다. 너무 정교해 어떤 전문가도 AI 작업 여부를 확인할 수 없다는 것이다. “완전히 말도 안 되는 소리”였다고 히긴스는 말했다.

ⓒ Der Spiegel 2023년 제28호
Die große Fake-Maschine
번역 황수경 위원