관충 關聰 <차이신주간> 기자
 

▲ 2024년 4월2일 빌리 아일리시 등 음악인 246명은 공개서한을 발표하고 인공지능 기술을 이용해 아티스트의 권리를 침해해서는 안 된다고 호소했다. 2024년 3월10일 미국 로스앤젤레스에서 열린 아카데미 시상식에서 빌리 아일리시가 노래하고 있다. REUTERS

한 인공지능(AI) 음악 데이터 공급업체 관계자는 “인공지능 모델 훈련에 쓰이는 음악 데이터를 저작권이 있는 음악 유통사를 통해 구매하거나 훈련에 사용되는 음악을 전문적으로 창작해서 공급한다”고 말했다. 전자는 발매가 가능한 수준의 작품이어서 음질이 보장되지만 구매 후 스타일을 분류해 태그를 붙이고 악보로 옮겨 적는 과정을 거쳐야 모델 훈련에 사용할 수 있다. 후자는 스타일을 정확하게 분류할 수 있고 별다른 처리 없이 바로 사용할 수 있다. 그러나 모델 훈련에 필요한 기본 요소만 갖춘 경우가 많아서 저작권이 있는 음악과 비교했을 때 음악성이 떨어진다.

인간의 노력과 참여 필요
중국 국내 인공지능 음악 모델 훈련은 현지 시장에서 선호하는 중국어로 된 음악과 전통음악 데이터를 적용하기 쉬운 것이 장점이다. 훈련 데이터가 장르 특성에 맞기만 하면 민속 음악이나 중국 희곡(Chinese theatre) 등 특수한 장르도 훈련 방식이 크게 다르지 않다. 인공지능 음악 데이터셋 공급업체 관계자는 “희곡은 극의 종류가 다양하고 지역마다 특성이 달라서 전문 희극 배우들이 녹음해야 하고 데이터를 충분히 확보하기 어렵다. 중국어로 된 음악은 매우 광범위한 개념이라서 지역별로 정확하게 분류해야 모델 훈련에 도움이 된다”고 말했다.
대만 가수 천산니는 2023년 3월 신곡 <당신을 사랑하는 방법을 알려주세요>(教我如何做你的愛人)를 발표하고 노래를 부른 가수가 인공지능 목소리 모델이라고 밝혔다. 천산니는 텐센트뮤직에서 개최한 회의에서 “인공지능으로 정교하고 아름다운 목소리를 훈련하기 위해 좋은 소재를 확보하는 것이 가장 어려운데 나는 데뷔한 지 오래돼 작품도 많고 저작권을 갖고 있어 개발팀과 계속 소통하면서 결과를 개선해 인공지능이 나와 비슷하게 노래할 수 있었다”고 말했다.
한 음원시장 관계자는 “음악 훈련이 이미지 훈련보다 훨씬 어렵다”고 말했다. 인공지능은 이미지를 연상할 때 화면과 색상, 분위기 등을 기억하는 데 중점을 두지만 음악은 보컬과 편곡, 멜로디 세 부분으로 나뉘고 보컬만 해도 호흡과 어투, 발음, 습관이 모두 다르고 같은 사람이 다른 노래를 부를 때에도 차이가 난다. 멜로디는 박자와 리듬, 빠르기에 따라 다른 감성과 음악 스타일을 만들 수 있다. 편곡은 다양한 악기와 도구를 사용해서 인공지능 학습 과정이 더욱 복잡하다. 이미 오픈소스 기술이 많이 등장했지만 제작사가 차별화된 작품을 만들려면 자체 알고리즘을 개발하고 고품질 데이터로 훈련해야 한다.
지금 단계에서는 인공지능 생성 음악이 아무리 대단해도 제작 시에 인간의 노력과 참여가 필요하다는 뜻이다. 음악 창작은 그림이나 영상처럼 아티스트가 반복해서 수정하고 다듬은 결과물인데 인공지능으로 만든 음악은 이런 과정 없이 사람의 목소리와 악기 연주만으로 구성돼 가치가 떨어진다.
전자음악 프로듀서 우줘링은 “3~4일이면 노래 한 곡을 만들 수 있지만 최초의 영감을 정리해서 노래할 수 있는 상태까지 만들려면 여러 차례 반복적으로 연습해서 문제점을 찾아낸 후 다시 수정하는 작업을 거치며 다듬어야 한다”고 말했다. 때로는 편곡 과정에서 기본적인 인공지능 알고리즘을 통해 ‘작위적이지 않으면서 일정한 패턴이 있는’ 구성을 얻기도 한다.
 

▲ 전세계 음악 콘텐츠 자원은 워너뮤직과 소니뮤직, 유니버설뮤직 등 3개 음원 유통사가 장악하고 있다. 이들은 저작권 보호를 위해 자신들이 저작권을 보유한 콘텐츠로 인공지능 모델을 개발하는 것을 금지하고 있다. REUTERS

음악 교육 분야에서의 역할
사실 인공지능은 음악 제작 과정에서 큰 역할을 하고 있다. 인공지능이 실제 가수의 목소리로 곡을 부르기도 하고 인공지능 믹싱 기술은 오디오 트랙을 자동으로 조정해서 더욱 세밀한 후반 작업을 가능하게 한다. 왕쉬안 중국전매대학 작곡과 교수는 “음악 창작 과정에서 일부를 인공지능 기술로 최적화하거나 대체할 수 있다”고 말했다. “예를 들어 편곡이나 믹싱 등 기술이 필요한 과정을 인공지능이 고정된 규칙에 따라 자동으로 완성해 제작 속도를 높일 수 있다. 음악 소재 생성과 음악 스타일 시뮬레이션도 인공지능 기술을 활용할 수 있는 영역이다.”
드럼 연주자이자 록밴드 만다린(Mandarin)의 멤버 안위는 “업계 사람들이 처음에는 굉장히 경계하다가 ‘적’을 알아보자는 생각으로 인공지능 기술을 사용했는데 대부분 계속 사용하진 않았다”고 말했다. 그는 “인공지능 도구로 제작한 동영상 배경음악이나 데모(demo)는 품질이 사용할 수 있는 수준이고 전반적인 묘사와 스타일에 근접한 틀을 만들어내서 완성도가 60% 정도다. 하지만 믹싱, 반주, 화음 분야는 완성도나 창의성이 부족해서 계속 지켜보고 있다”고 지적했다.
창작자들은 대중음악이 정형화된 창작에 화음과 멜로디 편성 방법도 고정적이라서 일부 사람이 만든 작품이 인공지능의 결과물보다 못한 예도 있다고 인정했다. 음악 프로듀서 리싱위는 “앨범을 제작할 때 직접 현장에서 녹음한 아마존의 빗소리와 고래 소리를 사용한 경험이 있다”며 “수집한 소리 자체는 결과나 목적이 아니었고 느끼고 생각하는 과정이어서 다른 것으로 대체할 수 없었다. 그런데 사람들은 그런 것들을 조금씩 잊고 있다”고 말했다.
왕쉬안은 “지금 수준의 데이터와 알고리즘을 사용해서는 인공지능 생성 음악이 많은 사람의 공감을 얻는 음악 작품을 대체할 수 없고 대중음악을 평가하는 기준에 큰 영향을 미치지 않을 것”이라고 말했다. “하지만 음악 교육 분야에서는 인공지능 기술의 발전이 큰 변화를 가져올 수 있다.” 그는 “인공지능을 도입하고 음악 제작 과정이 바뀌어서 앞으로 음악 전공 학생들이 갖춰야 할 능력과 취업 방향에 새로운 도전을 가져왔다”고 말했다.
“음악 교육 기관은 교육 과정을 조정해서 음악 기술과 관련한 지식 훈련을 도입해 학생들이 업계 변화에 적응하도록 지원해야 한다. 그와 동시에 학생의 창의적 사고와 예술적 감수성을 배양해서 그들이 인공지능 시대에 경쟁력을 유지하도록 집중해야 한다.”
 

▲ 인공지능이 음악 창작을 보조한 특수 사례도 있다. 10년 전 뇌졸중으로 쓰러진 미국의 유명 컨트리 가수 랜디 트래비스는 인공지능의 도움을 받아 신곡을 발표했다. 2024년 5월16일 미국 텍사스에서 열린 아카데미 오브 컨트리 뮤직(ACM) 어워즈 시상식에서 랜디 트래비스(왼쪽)가 기념촬영을 하고 있다. REUTERS

저작권 지키기 전쟁
“인류의 예술은 존중받아야 하고 아티스트와 작곡가는 공정한 대우를 받아야 한다. 플랫폼은 음악을 사랑하는 사용자를 위해 안전하고 내용이 충실한 서비스를 제공할 것이다.” 루시안 그레인지 유니버설뮤직그룹 최고경영자(CEO)는 2024년 5월2일 실적 콘퍼런스콜에서 유니버설뮤직과 틱톡이 계약을 연장한 의미를 설명했다. 새로운 협력이 전자상거래와 광고, 홍보를 포함하기 때문에 유니버설뮤직이 계약을 통해 얻을 수 있는 가치가 향상됐고 콘텐츠 수익도 늘었다.
중국 국내 더우인과 마찬가지로 해외 사업인 틱톡은 대중음악 홍보와 배급의 중요한 경로이며 음악 유통사에는 틱톡으로부터 받는 권리 사용료 수익이 매우 중요하다. 틱톡은 미국과 영국에서 유니버설뮤직그룹과 유니버설뮤직퍼블리싱그룹(UMPG)이 저작권을 보유한 음악이 플랫폼에서 인기 있는 음악의 30%를 차지한다고 밝혔다. 짧은 동영상 사용자들이 이런 저작권 음악을 사용하는 방식이 너무 다양해서 재미를 위해 음악의 속도나 음정을 바꿔 원곡을 훼손하기도 한다. 음악 유통사는 단속을 강화하도록 요구하는데 그중 사용권을 허가받지 않은 인공지능 창작 음악도 포함된다.
유니버설뮤직은 2023년 8월부터 유니버설뮤직이 저작권을 보유하고 스트리밍 플랫폼에 업로드한 인공지능 생성 음악이 크게 늘었다고 밝혔다. 플랫폼에서 삭제 통보한 음악의 47%가 보컬과 악기를 사용했고 나머지는 저작권과 상표, 발행권을 침해했다. 한 인터넷기업 음악사업 관리자는 “일부 음악이 저작권자의 허가를 받지 않고 인공지능 기술로 편곡하거나 앨범 표지나 제목을 바꿔서 스트리밍 플랫폼에 진입했다”고 말했다.
“새롭게 체결한 계약에서 틱톡은 생성형 인공지능 콘텐츠에 대한 우리의 우려를 해소하기 위해 핵심 부분을 조정했다. 따라서 그들에게 다시 권리 사용을 허가할 것이다.” 유니버설뮤직은 틱톡과 체결한 계약이 음악과 기술기업이 인류 예술과 그를 통해 창출한 경제적 이익을 함께 보호한 중요한 사례가 될 것이라고 밝혔다. 틱톡은 사용 허가를 받지 않은 인공지능 생성 음악을 삭제하고 기술을 개선해서 아티스트와 작곡가의 저작권 확인 업무의 효율을 개선할 예정이다.
다른 스트리밍 플랫폼은 한발 앞서 인공지능 콘텐츠 관리와 데이터 운영의 한계를 설정했다. 2023년 4월, 유명 래퍼 드레이크와 가수 위켄드(The Weeknd)의 음색을 모방해서 창작한 인공지능 음악 <하트 온 마이 슬리브>(Heart on My Sleeve)가 논란이 된 후 이 음악은 스포티파이와 애플뮤직, 유튜브에서 삭제됐다. 같은 해 9월 다니엘 에크 스포티파이 최고경영자는 비비시(BBC)와의 인터뷰에서 플랫폼에서 인공지능 음악을 완전히 금지할 계획이 없다고 밝혔다. 그는 “인공지능이 아티스트의 창작 과정을 보조하는 긍정적 역할을 한다”며 “인공지능이 실제 사람을 그대로 모방하면 안 되고 플랫폼이 콘텐츠로 인공지능을 훈련하지는 않을 것”이라고 말했다.
2023년 8월 유튜브는 인공지능 음악의 원칙을 발표하고 책임감 있게 인공지능을 포용하되 아티스트의 권익과 공평한 보상을 보장해야 한다고 밝혔다. 인공지능이 저작권을 침해할 위험이 증가함에 따라 유튜브는 인공지능 기술에 투자를 늘려서 그런 콘텐츠를 식별하기 위해 자원을 투입할 계획이다. 이 원칙은 유니버설뮤직의 호응을 얻었고 두 기업은 인공지능 음악 창업보육사업을 시작해 아티스트 스스로 콘텐츠를 인공지능에 제공할지를 결정하고 합법적으로 인공지능 음악을 창작하도록 지원할 계획이다.
콘텐츠의 저작권 침해 외에도 음악 유통사가 우려하는 것은 인공지능 개발사가 권리 사용 허가 없이 저작권 음악을 사용해 인공지능을 훈련하는 상황이다. 2023년 10월, 유니버설뮤직과 콩코드뮤직그룹(Concord Music Group), ABKCO는 아마존이 투자한 인공지능 기업 앤트로픽(Anthropic)이 케이티 페리, 비욘세 등 아티스트의 음악을 사용해 인공지능 모델을 훈련했다며 법원에 저작권 침해 소송을 제기했고 7500만달러(약 1020억원)의 손해배상을 청구했다.

아티스트 권익과 공평한 보상
“우리가 저작권을 보유한 음악과 아티스트의 목소리와 초상(얼굴이나 모습)을 사용하려면 사용 허가를 받아야 한다. 이것은 기본 원칙이다. 권리 소유자가 합당한 보상을 받고 자유로운 시장에서 창의성을 발휘하도록 보호해야 한다.” 유니버설뮤직은 창작자와 저작권자가 콘텐츠 사용 방식을 결정할 수 있어야 한다고 밝혔다. 인공지능 개발자가 훈련에 사용하는 모든 콘텐츠는 저작권자에게 허가와 동의를 얻어야 한다는 뜻이다. 그리고 아티스트의 목소리와 초상은 그들의 명확한 동의를 얻고 특정 용도를 위해 공정한 보상을 제공한 상황에서만 사용할 수 있다.
수노는 신규 버전을 공개하는 자리에서 “우리는 더 많은 가짜 ‘드레이크’를 만들려는 것이 아니라 음악 창작을 독려하려는 것이다. 인공지능 모델이 다른 예술인의 작품을 인용하지는 않을 것이다. 남용을 막기 위해 ‘워터마크 사운드 기술’을 개발했고 이 기술을 통해 수노에서 창작한 음악을 검사할 수 있다”고 강조했다.
아티스트들은 인공지능이 자신의 성과물을 함부로 사용하는 것을 원하지 않는다. 음악인 200여 명이 서명한 공개서한에서 이들은 “일부 기업이 허가를 받지 않고 작품을 사용해 인공지능 모델을 훈련했다”며 “이런 행위의 직접적인 목적은 인공지능이 생성한 목소리와 이미지로 아티스트의 작품을 대체해서 아티스트에게 지급하는 저작권료를 줄이는 것이다. 생계를 유지하기 위해 애쓰는 음악가와 아티스트, 작곡가에게 이런 상황은 재난이다”라고 밝혔다.
미국은 인공지능 기술 혁명의 전초기지이고 콘텐츠 산업의 권리 보호 운동이 가장 급진적으로 진행되고 있다. 공개서한을 보낸 주체이자 비영리단체인 예술가권리연합(ARA)과 노스캐롤라이나주 의원, 미국독립음악협회는 ‘직업 음악인 보호법’ 초안을 마련해 독립 예술가와 음악 창작자가 스트리밍 플랫폼과 인공지능기술개발자와 공정한 보상을 협의하도록 지원했다. 2024년 3월 테네시주는 미국에서 처음으로 인공지능 딥페이크(인간 이미지 합성)를 겨냥한 법안을 통과시켰고, 7월부터 ‘초상, 음성, 이미지 보안 보장법’(Ensuring Likeness, Voice, and Image Security Act)이 발효됐다. 예술가가 권리 사용 허가 없이 진행한 모방과 딥페이크의 피해를 받지 않도록 보장하는 법안이다. 여기에는 생성형 인공지능을 사용한 오디오 복제도 포함된다.

콘텐츠 산업의 권리 보호
소셜미디어에서 인공지능 생성 콘텐츠가 급증하면서 개인의 이름과 초상 등이 부당하게 도용되는 것을 방지하기 위해 미국은 ‘퍼블리시티권’(The Right of Publicity)을 각 주(州)의 법률로 보장하는데, 주마다 견해 차이가 있어서 업계에서는 연방법으로 보장해주길 요구했다. 2023년 10월, 양당 상원의원으로 구성된 위원회에서 ‘가짜 금지법’(No Fakes Act) 초안을 제출해 현행 주법을 보완하는 보호책을 마련했다.
유럽에서는 2024년 6월부터 발효된 인공지능법(the Artificial Intelligence Act)에서 인공일반지능(AGI) 모델 훈련에 사용하는 콘텐츠는 저작권법을 존중하고 훈련 데이터셋의 저작권을 보호해야 한다고 규정했다. 그러나 과학기술 혁신에 개방적인 일본 정부는 2023년 5월 인공지능 생성 콘텐츠(AIGC) 모델 훈련에 사용한 콘텐츠의 저작권을 보호하지 않겠다고 밝혔다.
“인공지능은 음악 산업 가치를 높일 수 있는 잠재력이 크고 플랫폼과 모델, 정부는 인공지능의 발전 과정에서 핵심 역할을 하는 3대 요소다.” 로버트 킨슬 워너뮤직그룹 최고경영자는 2024년 5월9일 실적발표회에서 미 국회가 2024년 안에 입법을 완료하도록 촉구했다. “타인의 초상과 목소리를 사용하려면 동의를 얻어야 하고 시장에서 진행한 협상의 구속을 받아야 한다는 것이 우리의 핵심 주장이다. 타인의 정체성을 침범하고 아티스트의 생계를 훔치는 행동을 용인해서는 안 된다.”
로버트 킨슬은 인공지능이 음악 창작을 보조한 특수 사례도 소개했다. 세계적 권위의 그래미상을 수상했던 미국 컨트리 가수 랜디 트래비스는 10년 전에 뇌졸중으로 쓰러진 후 자연스럽게 말하거나 노래하는 게 어려웠는데 2024년 5월 초 인공지능의 도움을 받아 신곡 <웨어 댓 케임 프롬>(Where That Came From)을 발표했다. 워너뮤직은 실적발표회가 시작되기 전에 이 노래를 소개했다.
왕쉬안은 음악 산업의 많은 분야가 인공지능의 영향을 받아 변할 것이라고 말했다. “인공지능 보컬의 감정 표현이 새로운 차원으로 발전해서 음색을 똑같이 따라 하는 것은 물론 정확하고 진실한 표현을 보조하고 악기의 모든 연주를 세밀하게 조정하는 등 음악 생성 과정의 제어 능력도 개선될 것이다. 그렇게 되면 창작자가 더욱 자유롭게 창의성을 발휘할 수 있다.”

ⓒ 財新週刊 2024년 제22호
AI音樂等待爆發
번역 유인영 위원