관충 關聰 <차이신주간> 기자
 

▲ 2000년대 중화권 대중음악계를 풍미했던 여가수 쑨 옌쯔의 목소리를 인공지능으로 복제한 ‘AI 쑨옌쯔’ 동영상처럼 누구나 쉽게 창작하는 방법이 알려지자 콘텐츠가 대량으로 생성되어 ‘사용자가 직접 제작한 콘텐츠’(UCC) 플랫폼에 넘쳤다. 유튜브 갈무리

2024년 5월 후난위성티브이의 유명 예능프로그램 <가수>(歌手)가 방영되자 중국 대중음악 업계가 들썩였다. 프로그램은 새로운 경연 규정에 따라 참가한 가수들의 창작 과정을 생방송으로 내보냈다. 중국의 유명 가수 나잉이 첫 번째 대결에서 두 외국인 가수에게 패하자 시청자들은 여러 중국 가수를 후보로 추천했다. 이후 미국의 유명 가수 애덤 램버트와 중국 가수 쑨난이 합류했고 최종 승자를 예상하기 힘들어졌다.
음악의 예술적 수준을 끌어올리려는 노력과 후계자 양성이 부족했다는 반성 속에서 음악인들은 인공지능(AI)이 가져온 변화를 겪고 있다. 2024년 3월22일 생성형 인공지능 작곡 애플리케이션(앱) 수노(Suno)가 새로운 버전 V3를 공개했다. 수노 V3는 프롬프트(생성형 AI 명령어)를 입력하면 몇 초 만에 2분 분량의 노래를 무료로 만들어낸다. 대화하는 방식으로 누구나 노래를 만들 수 있다는 뜻이다. 2024년 5월21일 수노는 1억2500만달러(약 1700억원)의 새로운 투자를 유치했다고 밝혔다.
 

▲ 인공지능 음악이 실제 공연 무대에 오르는 경우도 있다. 2024년 4월13일 중국에서 열린 인공지능 국악 연주회에서 텐센트뮤직엔터테인먼트그룹이 개발한 인공지능 모델 ‘친웨’가 창작한 중국 전통음악을 상하이민족악단 단원들이 연주했다. REUTERS

인공지능 모델 잇따라 출시
수노의 최신 버전이 공개되자 중국 국내에도 인공지능 음악 열풍이 불었다. 한 사용자가 중국 감기약 ‘롄화칭원 캡슐’ 설명서를 입력하자 수노는 그걸 가사로 삼아 멜로디를 붙이고 랩이 포함된 노래를 만들었다. 음악 프로듀서 리싱위는 “몇 년 전까지만 해도 인공지능 음악은 대부분 기본적인 멜로디와 반주로 구성됐고 사람이 2차 창작을 해야 곡을 완성할 수 있었다”며 “수노가 만든 음악은 너무 훌륭해서 놀라울 정도다. 인공지능이 음악 분야에서 이렇게 빠르게 성장할 줄 몰랐다”고 말했다.
수노와 비슷한 음악 창작 인공지능 모델이 최근 잇따라 출시됐다. 중국 국내에서는 쿤룬완웨이(Kunlun Tech)가 개발한 ‘스카이에이전트’(SkyAgents)가 테스트를 시작했다. 이미지 생성 앱 스테이블 디퓨전(Stable Diffusion)을 만든 스태빌리티(Stability) AI의 스테이블 오디오(Stable Audio) 2.0은 수노보다 1분 더 긴 음악을 만든다. 얼마 후 유디오(Udio)가 출시됐고 1천만달러를 유치했다. 유디오는 구글 딥마인드 출신 공학자들이 만든 음악 생성 인공지능이다. 역시 프롬프트만 입력하면 음악을 만들어낸다. 2024년 5월10일에는 인공지능 기반 텍스트 음성 변환 서비스로 유명한 일레븐랩스(Eleven Labs)가 ‘간단한 프롬프트 입력만으로 생성한 것’이라는 설명과 함께 3분 분량의 노래 <잇 스타티드 투 싱>(It Started to Sing)을 공개해 인공지능 음악 분야로 범위를 확장했다.
인공지능 음악이 오프라인 공연 무대에 오르기도 했다. 4월13일 중국에서 열린 전국 최초의 인공지능 국악 연주회에서 텐센트뮤직엔터테인먼트그룹(Tencent Music Entertainment Group)과 텐센트 AI랩이 공동 개발한 인공지능 모델 ‘친웨’(琴樂)가 창작한 중국 전통음악을 상하이민족악단 단원들이 연주했다.
정보기술(IT) 기업이 스트리밍(실시간 재생) 플랫폼을 운영하지만 음악의 저작권은 대형 음악 유통사가 갖고 있다. 인공지능 시대에 기술을 보유한 기업은 인공지능 모델을 사용해 비지엠 (BGM·배경음악) 제작비를 크게 낮췄지만 음악 데이터를 보유한 음악 유통사는 업계가 인공지능으로 대체되기를 원하지 않는다. 새로운 충돌은 당연하다. 인공지능 생성 음악이 스트리밍 플랫폼에 밀려들어 이익을 얻었고 아티스트의 얼굴을 합성해서 권리 침해 논란도 생겼다. 2000년대 중화권 대중음악계를 풍미했던 여가수 쑨옌쯔의 목소리를 인공지능으로 복제한 ‘AI 쑨옌쯔’ 동영상처럼 누구나 쉽게 창작하는 방법이 알려지자 콘텐츠가 대량으로 생성돼 ‘사용자가 직접 제작한 콘텐츠’(UCC) 플랫폼에 넘쳤다.
전세계 음악 콘텐츠 자원은 대기업에 집중돼 있다. 소니뮤직과 유니버설뮤직그룹, 워너뮤직 등 3개 음악 유통사의 시장점유율을 합치면 70%가 넘는다. 그들은 저작권을 보호하기 위해 인공지능에 절대 양보하지 않는다. 2024년 5월16일 소니뮤직은 미국의 인공지능 기업 오픈AI와 마이크로소프트, 구글, 수노, 유디오를 포함한 수백 개 인공지능 개발사에 문서를 보내 소니뮤직이 저작권을 보유한 콘텐츠로 인공지능 모델을 개발하는 것을 금지한다고 전했다.
2024년 1월30일, 유니버설뮤직은 짧은 동영상 플랫폼 틱톡(Tiktok)에 콘텐츠 사용 허가를 중단한다고 선언했다. 틱톡이 플랫폼에 넘쳐나는 인공지능 생성 동영상을 묵인하고 편집 도구를 개발해 인공지능 음악 창작을 독려했다는 이유였다. 이후 미국의 세계적 팝가수 테일러 스위프트를 비롯한 여러 가수의 음악이 틱톡에서 사라졌고 짧은 동영상 배경음악으로도 사용할 수 없게 됐다. 5월2일 양측이 합의해 틱톡은 사용 허가를 받지 못한 콘텐츠를 삭제하겠다고 약속했다. 일주일 후 틱톡은 전세계 소셜미디어 플랫폼 가운데 처음으로 모든 인공지능 생성 콘텐츠에 자동으로 구별 표시가 생기도록 조치했다.
 

▲ 중국 인터넷기업은 생성형 인공지능 열풍이 시작되기 전부터 기업을 인수하는 방법으로 인공지능 분야에 진출했다. 틱톡의 모회사 바이트댄스는 2019년 인공지능 기술로 동영상 배경음악을 만드는 영국 주크덱(Jukedeck)을 인수했다. REUTERS

인공지능 음악의 양면성
인공지능 음악은 진입 문턱이 낮고 대량 생산이 가능하지만 음악 업계는 상대적으로 온건한 노선을 선택했다. 아티스트와 작곡가가 파괴적 기술이 가져온 부정적인 영향을 받지 말아야 한다고 주장하되 할리우드 영화 업계처럼 파업은 하지 않았다. 또한 무분별한 위조와 남용은 반대해도 인공지능 기술을 이용해서 새로운 국면이 열리기를 원했다.
2024년 4월2일 빌리 아일리시와 케이티 페리, 니키 미나즈를 포함한 음악인 246명은 공개서한을 발표하고 인공지능 개발자와 과학기술기업, 플랫폼, 디지털 음악 서비스업체가 인공지능 기술을 이용해 아티스트의 권리를 침해하는 행동과 그와 관련된 음악 생성 기술개발을 중단하고 아티스트에게 합리적인 보상을 제공해야 한다고 호소했다. 그러나 이들은 기술의 양면성을 인정하면서 다만 인공지능의 부적절한 사용을 반대하는 것이라고 언급했다.
“인공지능이 아티스트와 창작을 돕는 것은 좋은 일이다. 그러나 사용 허가를 받지 않고 그들의 작품과 이름, 이미지, 목소리를 사용하는 인공지능은 허용할 수 없다.” 유니버설뮤직은 서면 인터뷰에서 “개발자가 사용 허가를 받지 않은 콘텐츠로 인공지능 모델을 훈련하거나 음악을 위조하며, 인공지능 생성 콘텐츠가 스트리밍 플랫폼에서 대량 유통돼 소비자를 혼란스럽게 만들고 창작자의 저작권을 침해하는 문제에 주목하고 있다”고 밝혔다.
인공지능 시대에 아티스트의 가치는 어떻게 정의될까? 음악 분야에서 아티스트가 동경의 대상이 되는 특성은 상업화를 추진하는 주요 동력이다. 그리고 음악을 창작할 때 기교와 경험은 여전히 생명력을 갖는다. 리싱위는 “인간이 인공지능과 구별되는 가장 큰 차이는 실패하거나 실수하되 부단히 수정하고 발전하는 것이다. 인공지능은 확정적인 결과만 제공한다”고 말했다.
“물론 인공지능이 하나의 장르가 되긴 어렵다.” 왕쉬안 중국전매대학 작곡과 교수는 “음악의 다양한 장르는 각종 기술의 집합이지만 동시에 문화 현상이기도 하고 역사적 시기와 다양한 사람의 감정과 생활 경험을 대표한다”고 말했다. “인공지능 음악이 하나의 장르로 인정되는 시기가 오려면 인공지능이 기술적으로 정교한 작품을 창작하는 것은 물론 깊은 문화적 의의와 정서적 가치를 담은 음악을 만들어 새로운 사회 현상이나 문화의 흐름을 대표하고 이끌 수 있어야 한다.”

인공지능 음악 플랫폼 진출
중국의 음악 플랫폼 왕이윈뮤직에 개설된 수노 인공지능 음악 순위에서 1위를 차지한 음악은 재생 횟수가 120만 회를 넘는다. 플랫폼은 특성과 언어에 따라 록 음악과 전자음악, 집에 있거나 운전하는 상황에 어울리는 음악 등 다양한 분야를 구분했다. QQ뮤직에서 가장 인기 있는 인공지능 생성 음악은 헤비메탈 스타일로 부른 동요 <양아문탕기쌍장>(우리는 두 노를 젓는다)이다. 거친 남성의 목소리로 부르는 동요는 원곡과 전혀 다른 느낌이다.
한 왕이윈뮤직 관계자는 “하루 재생 횟수가 20만~30만 회면 인기곡이라고 할 수 있다. 완전히 인공지능으로 생성하지 않았더라도 인공지능의 도움을 받아 창작한 음악이 이만큼 인기를 얻은 사례는 많다”고 말했다.
온라인 음악 플랫폼은 신곡이 발표되면 짧게 홍보해서 시장 반응을 시험하고 반응이 좋은 곡은 홍보를 강화한다. 한 음악 플랫폼 관계자는 “2023년부터 일부 인공지능 생성 음악이 음악 플랫폼에 게시됐고 신곡 홍보 기간에 발생한 수익을 가져갔다”고 말했다. 인공지능 생성 콘텐츠는 거의 비용이 들지 않아 잠재적인 수익 창출의 기회가 된다.
일부 인공지능 음악은 음질이 음반회사에서 제작한 음원과 비슷한 수준까지 발전했다. 2023년 인공지능 기술로 완벽한 곡을 만들 수 있게 되자 텐센트뮤직과 왕이윈뮤직은 해마다 쏟아지는 수많은 신곡 가운데 인공지능 생성 음악을 구별해야 하는 도전에 직면했다.
인공지능 생성 음악은 대량으로 생성할 수 있지만 시장점유율은 매우 낮다. 중국 국내 플랫폼 운영을 잘 이해하고 있는 한 시장 관계자는 “대표 인기곡과 유명 연예인, 짧은 동영상 플랫폼의 인기곡으로 구성된 콘텐츠가 시장의 대부분을 차지하고 있어 신인 가수와 신인 제작사가 끼어들기는 굉장히 힘들다”고 말했다. “인공지능 음악의 제작 방식과 품질은 플랫폼에 올라온 평가를 보고 그 수준을 추측할 수 있다. 이런 음악의 재생 횟수는 인기곡과 비교가 되지 않는다. 인공지능 음악은 대부분 호기심이나 재미로 듣는 수준이고 그나마 상업적으로 성공한 사례는 마음을 편하게 해주거나 잠잘 때 듣는 음악 또는 높은 수준의 음악성이 필요 없는 광고 배경음악이다.”

음악의 성공 가능성 예측
음악 작품의 가치는 인기곡에 집중된다. 음악시장 분석업체 루미네이트(Luminate)의 자료에 따르면 2023년 전세계 음악의 86%는 재생 횟수가 1천회 미만이었고 25%는 한 번도 재생되지 않았다. 음원 시장에서 인공지능 생성 음악의 비중이 적고 저작권이 있는 음악에 영향을 미치지 않았기 때문에 플랫폼이 이를 막지 않은 이유도 있다. 인공지능 음악은 품질과 수준의 격차가 커서 플랫폼이 음악 추천 단계에서 사용자에게 적극적으로 추천하거나 홍보하지 않는다.
“인공지능 생성 음악이 큰 인기를 얻어 유명해진 곡이 생기면 플랫폼의 규칙이나 업계의 생각이 바뀔 것이다.” 한 인터넷기업의 음악사업 관리자는 “인공지능 음악이 창작 음악 생태계에 충격을 주고 아티스트의 이익을 크게 침범하는 순간이 전통음악을 대체하고 업계 규칙에 영향을 미치는 전환점이 될 것”이라고 말했다.
온라인 음악 플랫폼은 더 많은 노래가 유명해지기를 바라고 특히 짧은 동영상 플랫폼에서 유행하길 기대한다. 그래서 신곡을 많이 발표하고 짧은 동영상 플랫폼에서 홍보해 관심을 얻은 후 사용자가 음악 플랫폼으로 돌아와 전곡을 감상하도록 유도한다. 그렇다면 음악 제작사는 인공지능을 이용해 효율을 올리고 싶을까? 앞서 소개한 시장 관계자는 “제작사마다 협력하는 스튜디오나 작업자가 있고 제작비를 예상한 범위에서 조절할 수 있다”며 “노래 한 곡의 작업을 수천위안이면 끝낼 수 있다”고 말했다. 아직은 인공지능 알고리즘에 투자하거나 테스트하는 비용보다 직접 제작하는 방식이 저렴하고 간편하다. “인공지능 편곡이 아직 시작 단계고 인간을 완벽하게 대체할 수 있는 수준이 아니기 때문이다. 대형 제작사가 보기에 인공지능 기술은 음악을 제작하는 것보다 상업적으로 성공할 수 있는 음악을 예측하는 기능이 훨씬 가치 있다.”
2019년부터 텐센트뮤직은 제품데이터관리(PDM) 기술을 활용해 음악의 성공 가능성을 예측해왔다. “최근 업계에서는 수노나 유디오와 같은 앞선 수준의 인공지능 모델이 플랫폼과 결합하는 방식에 주목하고 있다.” 2024년 5월13일 량주 텐센트뮤직 최고경영자(CEO)는 실적보고회에서 “인공지능 생성 음악의 사용자 규모와 매출이 예상대로 성장하고 있으며, 이를 통해 사용자가 새로운 곡과 콘텐츠를 발견하도록 도울 수 있다”고 말했다.

인공지능 음악의 한계
중국 인터넷기업은 생성형 인공지능 열풍이 시작되기 전부터 기업을 인수하거나 합병하는 방법으로 인공지능 분야에 진출했다. 왕이윈뮤직은 2020년에 룩셈부르크에 있는 인공지능 음악 개발사 아이바(AIVA)의 전략적 투자자가 되었고, 틱톡의 모회사 바이트댄스(ByteDance)는 2019년 영국 주크덱(Jukedeck)을 인수했다. 주크덱은 인공지능 기술로 동영상의 배경음악을 만드는 기업이다.
최근에 등장한 AIGC(생성형 AI 콘텐츠)와 마찬가지로 온라인 음악 플랫폼의 인공지능 개발은 창작의 문턱을 낮춰 평범한 사람이 개성 있는 음악을 만들도록 돕고 성장이 정체된 플랫폼이 사용자를 붙잡는 것에 중점을 두고 있다. 창작자를 위해 왕이윈뮤직과 텐센트뮤직은 인공지능 창작 보조 기능을 갖춘 ‘톈인’(天音)과 ‘치밍싱’(啟明星) 플랫폼을 출시했다. 왕이윈뮤직은 2024년 5월20일부터 사용자에게 사용 권한을 개방했다.
짧은 동영상은 배경음악이 필수다. 2023년 중국 동영상 플랫폼 콰이서우(快手) 창작자가 총 106억 건의 BGM을 포함한 짧은 동영상을 게시했고, 중국판 틱톡 더우인(抖音)은 한 해 동안 BGM을 포함한 콘텐츠가 180억 건을 넘었다. 더우인의 동영상 창작 도구 젠잉의 주요 기능 중 하나가 인공지능 음악 생성이다. 사용자는 가장 유행하는 음악을 선호하기 때문에 플랫폼은 해마다 제작사에 거액의 저작권료를 지급해야 한다. 젠잉을 통해 창작한 배경음악은 수량이 많지 않아서 인공지능을 이용해 짧은 동영상의 배경음악을 대량으로 생성할 필요가 있다.
여러 업계 관계자는 리듬이 단순하고 존재감이 적어 공공장소에서 틀기 좋은 음악이나 광고의 배경음악이 가장 먼저 인공지능으로 대체될 것이라고 말했다. 이런 음악은 감상하는 사람이 별로 없고 음악 품질에 대한 기대치가 높지 않다.
전문 음악인은 음질과 보컬, 화성, 구성 등 인공지능 음악의 결함을 쉽게 구별할 수 있다. 전자음악 프로듀서 우줘링은 “인공지능 음악의 가장 큰 문제는 정형화”라고 지적했다. 그는 “인공지능으로 랩송을 만들면 가장 전형적인 리듬과 화성을 쓰고 가사도 긍정적인 내용이 주를 이룬다”며 “랩 음악 특유의 개인 감성이나 풍자, 비판적인 내용은 별로 없다. 인공지능은 가장 유행하는 전형적인 랩 음악을 참고하고 규칙에 따라 구성한 후 가장 안전한 가사를 넣는다”고 말했다.
최근 놀라운 결과물을 보여주는 인공지능 음악 모델은 대부분 신생 창업기업이 개발했다. 수노는 창업한 지 4년이 안 됐고 자체 개발한 ‘바크’(Bark)와 ‘처프’(Chirp)라는 두 가지 AI 모델이 핵심 기술이다. 바크는 보컬, 처프는 멜로디와 악기를 생성한다. 텍스트 생성과 비슷해서 모델을 훈련한 다음 토큰(Token·개별 단어 또는 문자)이 나타날 확률을 예측한다. 음악 생성 인공지능 유디오는 구글 딥마인드 출신 연구진이 설립했다. 마이크 크리거 인스타그램 공동 창업자와 오리올 빈얄스 구글 제미나이(Gemini) 기획 책임자가 투자자 명단에 포함돼 있다. 유디오로 생성한 음악은 최대 33초 분량으로 수노보다 짧다. 인공지능 모델은 거대한 분량의 데이터를 학습해야 하는데 두 기업은 훈련에 사용된 콘텐츠의 출처를 밝히지 않았다.

ⓒ 財新週刊 2024년 제22호
AI音樂等待爆發
번역 유인영 위원