Deepmind推出Lyria AI音頻模型，可生成帶有樂(lè)器和人聲的音樂(lè)

Deepmind推出Lyria AI音頻模型，可生成帶有樂(lè)器和人聲的音樂(lè)

IT之家 11 月 21 日消息，Deepmind 日前推出了一款名為 Lyria 的音頻模型，可用于生成帶有樂(lè)器和人聲的音樂(lè)。此外 Deepmind 還通過(guò)與 YouTube 合作，整合 Lyria 模型開(kāi)發(fā)了音樂(lè)創(chuàng)作工具 Dream Track，聲稱可令視頻創(chuàng)作者“更有效率地將想法變?yōu)樽髌贰薄?/p>

研究人員介紹了當(dāng)前通過(guò) AI 模型生成音樂(lè)的挑戰(zhàn)，這是因?yàn)橐魳?lè)本身包含極高的信息密度，其中每一秒鐘都可能擁有多個(gè)節(jié)拍、音符及和聲。而這也使得“生成音樂(lè)”相較于“生成語(yǔ)言（文字轉(zhuǎn)語(yǔ)音）”更為復(fù)雜，而對(duì)于 AI 模型來(lái)說(shuō)，維持長(zhǎng)音樂(lè)序列中的連續(xù)性也更為困難，這是因?yàn)槟Ｐ托枰诓煌臉?lè)句、詩(shī)節(jié)和長(zhǎng)段落中，保持音樂(lè)的流暢性和一致性。

此外，由于音樂(lè)片段中經(jīng)常同時(shí)包含多個(gè)聲部和樂(lè)器，這也進(jìn)一步增加了音樂(lè)生成的難度，相關(guān)音頻模型必須能夠協(xié)調(diào)多種聲音和旋律，從而使生成的音樂(lè)更自然。

而 Deepmind 所開(kāi)發(fā)的 Lyria AI 模型，便是針對(duì)上述痛點(diǎn)進(jìn)行的嘗試，這款模型的最大特點(diǎn)就是能夠生成包含樂(lè)器和人聲的高品質(zhì)音樂(lè)。

▲ 圖源 Deepmind

此外，Lyria 模型還擅長(zhǎng)進(jìn)行音樂(lè)變換和延續(xù)的任務(wù)，因此模型還能基于現(xiàn)有音樂(lè)片段生成出風(fēng)格新穎或統(tǒng)一的后續(xù)片段。

研究人員同時(shí)強(qiáng)調(diào)，Lyria 模型擁有細(xì)致的微調(diào)選項(xiàng)，可讓用戶精確生成音樂(lè)風(fēng)格及表現(xiàn)方式，因此這款模型可以“滿足專業(yè)音樂(lè)創(chuàng)作的需求，同時(shí)也可以讓業(yè)余用戶輕松上手”。

▲ 圖源 Deepmind

IT之家注意到，目前 YouTube 已經(jīng)在短視頻功能“Shorts”中應(yīng)用 Lyria 模型，相關(guān)成果已經(jīng)集成在 YouTube 的實(shí)驗(yàn)音樂(lè)創(chuàng)作工具 Dream Track 中，用戶可以用這款工具生成多樣化的配樂(lè)，并可選用 Charlie Puth、Charli XCX、Sia 等藝術(shù)家的音樂(lè)風(fēng)格來(lái)創(chuàng)造出“全新演繹”。

▲ 圖源 Deepmind

據(jù)悉，用戶可以在 Dream Track 中簡(jiǎn)單地輸入主題，之后即可選擇一位藝術(shù)家，為短視頻生成 30 秒的配樂(lè)、歌詞、伴奏等內(nèi)容。

▲ 圖源 Deepmind

▲ 圖源 Deepmind

此外，Deepmind 還表示，研究人員正廣泛地探索 AI 在音樂(lè)創(chuàng)作領(lǐng)域的應(yīng)用，未來(lái)用戶只需要哼唱，AI 就會(huì)把旋律配成帶有歌詞的完整歌曲，也可以將古早的 MIDI 音樂(lè)轉(zhuǎn)換為 Remix 版本，或?yàn)橐糗壧砑痈鞣N樂(lè)器伴奏。

Deepmind 同時(shí)提到，Lyria 模型生成的所有內(nèi)容，都會(huì)加上 SynthID 水印標(biāo)記。這是一種辨識(shí)歌曲是否是由 AI 生成的水印機(jī)制，號(hào)稱能夠在不影響聽(tīng)覺(jué)體驗(yàn)的前提下，為 AI 生成的音樂(lè)嵌入“聽(tīng)眾無(wú)法察覺(jué)的水印標(biāo)記”。

▲ 圖源 Deepmind

研究人員提到，帶有“聲音水印”的音頻，即便添加噪音，或是進(jìn)行 MP3 壓縮，甚至對(duì)變更音調(diào)速度，也都能夠維持可檢測(cè)性，而 Lyria 模型也可以通過(guò)檢測(cè)歌曲中的 SynthID，來(lái)確認(rèn)歌曲中由 Lyria 模型生成的部分，從而更容易辨別音樂(lè)主題內(nèi)容，方便生成后續(xù)音樂(lè)片段。