Como este produtor canadense está usando IA para permitir que artistas cantem em diferentes idiomas

Quando o produtor canadense Jordan Young começou a brincar com a tecnologia de clonagem de voz de IA – eventualmente criando uma música falsa de Kanye West que soava exatamente como Kanye West – isso imediatamente o levou a pensar sobre as implicações éticas da tecnologia.

“Assim que fiz isso, comecei a pensar… se alguém pode fazer música a partir da voz de alguém, o que isso significa para os artistas? O que isso significa para a música?” disse Young, que já trabalhou com Beyoncé, BTS e Dua Lipa.

Ele e sua empresa Hooky desenvolveram recentemente uma tecnologia que pode fazer um artista soar como se estivesse cantando em um idioma diferente do seu.

Isso também repercutiu no cantor pop americano Lauv, que havia acabado de terminar sua turnê coreana e queria encontrar uma maneira significativa de agradecer a seus fãs. Por que não desenvolver uma nova versão de sua música te amo assimFoi adaptado para parecer que ele estava se apresentando em coreano?

O processo começou com a empresa de Young convocando o cantor e compositor sul-coreano Kevin Woo, fluente em inglês e coreano, para reescrever as letras e cantá-las no novo idioma. Essa interpretação teria que capturar as nuances da língua coreana, explicou Young.

Young disse: “Não é só colocar em um site tradutor e tudo o que for lançado será a sua música. Você tem que ser artístico nisso.”

A gravação também deve corresponder musicalmente. Por exemplo, se Lauv cantou em falsete em alguns bares, Woo fez o mesmo em sua demo em coreano.

Entre na inteligência artificial.

Como diz Young, a técnica é treinada em “cada canto” da voz de Lauv – das frequências e notas mais altas às mais baixas – para criar um modelo abrangente de seus vocais.

A demo em coreano, escrita e cantada por Woo, é combinada com um modelo de IA da voz de Lauv, criando uma música em coreano que soa como se fosse cantada por Lauv.

Olhar Versão em coreano de Love You Like That do LAUV:

Foi um ano importante para as indústrias criativas que lutam contra a inteligência artificial.

A indústria da música, em particular, viu uma explosão de músicas geradas por IA, modeladas a partir dos artistas mais populares do mundo – como faixas virais Coração na mãoQue incluía vocais gerados por computador que pareciam Drake e The Weeknd.

Alguns artistas estão lutando contra o uso não autorizado de suas vozes e imagens, enquanto outros como Grimes, John Legend e Demi Lovato estão adotando a tecnologia em vários graus.

“No mínimo, deveríamos dar aos artistas o controle sobre como suas vozes são usadas”, disse Young, que é de Toronto. Ele disse que foi daí que surgiu a ideia de usar IA para substituir idiomas.

“Tratava-se de criar um mecanismo de controle para que os artistas pudessem gerenciar sua imagem em um mundo onde a IA pode interrompê-la completamente.”

Outras empresas estão trabalhando em tecnologia focada em música e tradução.

Audioshack, São Francisco A empresa especializada em separação de áudio separa a faixa vocal de uma música da música e, em seguida, usa IA para transcrever e traduzir as músicas, criando uma tecnologia que mapeia o inglês original com o novo idioma, para que os fãs possam acompanhar as letras de suas músicas originais. Linguagem. A cantora pop Sia é uma de suas clientes.

Enquanto isso, a maior gravadora da Coreia do Sul, HYBE, usou tecnologia interna de IA para ajudar seu artista Lee Hyun, mais conhecido como MIDNATT, a gravar sua música. Desculpa Em seis idiomas diferentes: inglês, coreano, espanhol, japonês, chinês e vietnamita.

O cantor gravou sua música em cada idioma, que foi então combinada com demos de falantes nativos lendo a letra. Hyun fala coreano, bem como inglês e chinês limitados.

“É algo assustador que as pessoas não entendem completamente e muitas vezes a IA é retratada como uma coisa monolítica, e não é”, disse Young.

“A IA consiste, na verdade, em muitas tecnologias diferentes que podem ser combinadas de muitas maneiras diferentes.”

Artistas já estão tentando alcançar fãs internacionais

De acordo com Kristin Robinson, da Billboard Magazine, mesmo antes de a IA chegar à vanguarda este ano, os artistas estavam tentando usar linguagens diferentes para atingir os fãs.

ela aponta desesperadoUma música de 2017 do cantor porto-riquenho Luis Fonsi e do rapper porto-riquenho Daddy Yankee, cuja versão remix com Justin Bieber se tornou um sucesso.

“Justin Bieber pulando em uma música latina não é algo que eu esperava. Beyoncé tentando cantar em espanhol não é algo que escrevi no meu cartão de bingo para Beyoncé.”

Mas com a IA a juntar-se agora a esta tendência já bem sucedida, Robinson diz que as pessoas terão sentimentos contraditórios sobre a “autenticidade” do processo.

Resta saber se este tipo de música será bem recebido. Robinson diz que usar a tecnologia de forma ética e culturalmente apropriada é uma parte importante da conversa.

Isso se refletiu em algumas reações online à versão coreana de Lauv. Te amo assim.

Alguns fãs disseram estar “obcecados” com a nova versão, enquanto outros questionaram a ótica de um artista branco usando a tecnologia para sobrepor sua voz a uma música cantada por um artista coreano. Outros ainda sugeriram maneiras diferentes de Lauv e Wu cantarem na mesma faixa.

Importante entender as ‘nuances’ da linguagem: artista de Toronto

A cantora e compositora de jazz de Toronto Jacqueline Teh espera incorporar a língua de sua família – Hokkien, um dialeto chinês da província de Fujian – em seus projetos futuros. Como artista multilíngue, ela vê as vantagens e desvantagens de usar IA para criar músicas em diferentes idiomas.

Ela diz que esta tecnologia parecia interessante no início, acrescentando que poderia ser um “grande trampolim” para os artistas acessarem outras linguagens.

Mas ela diz que o crédito e a agência são extremamente importantes para os artistas – e ela não gostaria que a IA se interpusesse entre um relacionamento potencial com alguém com um idioma que é novo para eles, ou com alguém que não fala o seu próprio idioma. linguagem.

“Acho que há muitas nuances na linguagem, muitas gírias e muitas coisas que não podem ser traduzidas apenas por meio da tecnologia”, disse ele. É por isso que trabalhar com um falante nativo torna a música mais significativa para ele.

Ela diz que, embora os artistas não estejam usando a IA para contornar o trabalho árduo necessário para construir relacionamentos significativos com fãs e outros artistas, “há muito mais a ver com a tecnologia do que está acessível para nós”.

Young, o produtor, está trabalhando em um novo projeto de tradução – possivelmente com um artista canadense. Ele diz que agora que o gênio saiu da garrafa, a indústria precisa descobrir como orientar a tecnologia na direção certa.

Ele disse: “Nunca farei nada que afaste o ser humano do processo criativo”. “E há muitas empresas que estão tentando fazer isso agora.”