Deepmind推出Lyria AI音頻模型，可生成帶有樂器和人聲的音樂

Deepmind推出Lyria AI音頻模型，可生成帶有樂器和人聲的音樂

IT之家 11 月 21 日消息，Deepmind 日前推出了一款名為 Lyria 的音頻模型，可用于生成帶有樂器和人聲的音樂。此外 Deepmind 還通過與 YouTube 合作，整合 Lyria 模型開發(fā)了音樂創(chuàng)作工具 Dream Track，聲稱可令視頻創(chuàng)作者“更有效率地將想法變?yōu)樽髌贰薄?/p>

研究人員介紹了當(dāng)前通過 AI 模型生成音樂的挑戰(zhàn)，這是因?yàn)橐魳繁旧戆瑯O高的信息密度，其中每一秒鐘都可能擁有多個(gè)節(jié)拍、音符及和聲。而這也使得“生成音樂”相較于“生成語言（文字轉(zhuǎn)語音）”更為復(fù)雜，而對于 AI 模型來說，維持長音樂序列中的連續(xù)性也更為困難，這是因?yàn)槟Ｐ托枰诓煌臉肪洹⒃姽?jié)和長段落中，保持音樂的流暢性和一致性。

此外，由于音樂片段中經(jīng)常同時(shí)包含多個(gè)聲部和樂器，這也進(jìn)一步增加了音樂生成的難度，相關(guān)音頻模型必須能夠協(xié)調(diào)多種聲音和旋律，從而使生成的音樂更自然。

而 Deepmind 所開發(fā)的 Lyria AI 模型，便是針對上述痛點(diǎn)進(jìn)行的嘗試，這款模型的最大特點(diǎn)就是能夠生成包含樂器和人聲的高品質(zhì)音樂。

▲ 圖源 Deepmind

此外，Lyria 模型還擅長進(jìn)行音樂變換和延續(xù)的任務(wù)，因此模型還能基于現(xiàn)有音樂片段生成出風(fēng)格新穎或統(tǒng)一的后續(xù)片段。

研究人員同時(shí)強(qiáng)調(diào)，Lyria 模型擁有細(xì)致的微調(diào)選項(xiàng)，可讓用戶精確生成音樂風(fēng)格及表現(xiàn)方式，因此這款模型可以“滿足專業(yè)音樂創(chuàng)作的需求，同時(shí)也可以讓業(yè)余用戶輕松上手”。

▲ 圖源 Deepmind

IT之家注意到，目前 YouTube 已經(jīng)在短視頻功能“Shorts”中應(yīng)用 Lyria 模型，相關(guān)成果已經(jīng)集成在 YouTube 的實(shí)驗(yàn)音樂創(chuàng)作工具 Dream Track 中，用戶可以用這款工具生成多樣化的配樂，并可選用 Charlie Puth、Charli XCX、Sia 等藝術(shù)家的音樂風(fēng)格來創(chuàng)造出“全新演繹”。

▲ 圖源 Deepmind

據(jù)悉，用戶可以在 Dream Track 中簡單地輸入主題，之后即可選擇一位藝術(shù)家，為短視頻生成 30 秒的配樂、歌詞、伴奏等內(nèi)容。

▲ 圖源 Deepmind

▲ 圖源 Deepmind

此外，Deepmind 還表示，研究人員正廣泛地探索 AI 在音樂創(chuàng)作領(lǐng)域的應(yīng)用，未來用戶只需要哼唱，AI 就會把旋律配成帶有歌詞的完整歌曲，也可以將古早的 MIDI 音樂轉(zhuǎn)換為 Remix 版本，或?yàn)橐糗壧砑痈鞣N樂器伴奏。

Deepmind 同時(shí)提到，Lyria 模型生成的所有內(nèi)容，都會加上 SynthID 水印標(biāo)記。這是一種辨識歌曲是否是由 AI 生成的水印機(jī)制，號稱能夠在不影響聽覺體驗(yàn)的前提下，為 AI 生成的音樂嵌入“聽眾無法察覺的水印標(biāo)記”。

▲ 圖源 Deepmind

研究人員提到，帶有“聲音水印”的音頻，即便添加噪音，或是進(jìn)行 MP3 壓縮，甚至對變更音調(diào)速度，也都能夠維持可檢測性，而 Lyria 模型也可以通過檢測歌曲中的 SynthID，來確認(rèn)歌曲中由 Lyria 模型生成的部分，從而更容易辨別音樂主題內(nèi)容，方便生成后續(xù)音樂片段。