回顧AI最賺錢(qián)的技術(shù)，Sora、ChatGPT、Midjourney都有它

回顧AI最賺錢(qián)的技術(shù)，Sora、ChatGPT、Midjourney都有它

如果說(shuō)現(xiàn)代人工智能有一份奠基文件、一份神圣的文本，那就是谷歌 2017 年的研究論文《Attention Is All You Need》。

本文介紹了一種稱為 Transformer 的新型深度學(xué)習(xí)架構(gòu)，該架構(gòu)在過(guò)去七年中徹底改變了人工智能領(lǐng)域。

目前席卷全球的生成式人工智能熱潮可以直接追溯到變壓器的發(fā)明。當(dāng)今頭條新聞中的每一個(gè)主要 AI 模型和產(chǎn)品（Sora、ChatGPT、GPT4、Midjourney、Stable Diffusion、GitHub Copilot 等）都是使用 Transformer 構(gòu)建的。

Transformer 的用途非常廣泛：雖然它們最初是專門(mén)為語(yǔ)言翻譯而開(kāi)發(fā)的，但現(xiàn)在它們正在推進(jìn)從計(jì)算機(jī)視覺(jué)到機(jī)器人到計(jì)算生物學(xué)等領(lǐng)域的最先進(jìn)技術(shù)。

簡(jiǎn)而言之，Transformers代表了當(dāng)今人工智能技術(shù)無(wú)可爭(zhēng)議的黃金標(biāo)準(zhǔn)。

transformer結(jié)構(gòu)圖

Transformers在發(fā)明七年后席卷全球，開(kāi)啟了生成式人工智能時(shí)代。

Transformers 的根本創(chuàng)新是通過(guò)注意力機(jī)制實(shí)現(xiàn)的，它使語(yǔ)言處理并行化，這意味著給定文本體中的所有單詞都會(huì)同時(shí)分析，而不是按順序分析。

注意力可視化

在人工智能的世界中，想象一下我們是一支奇特的音樂(lè)團(tuán)隊(duì)，而注意力機(jī)制就是我們的指揮家。我們的任務(wù)是演奏一首龐大而復(fù)雜的交響樂(lè)曲，每個(gè)樂(lè)器都代表著文本中的一個(gè)單詞。在沒(méi)有指揮家的情況下，我們可能會(huì)陷入混亂，每個(gè)樂(lè)器都在各自為政地演奏，音符交織成一片嘈雜的音墻。

然而，有了注意力機(jī)制，這個(gè)音樂(lè)團(tuán)隊(duì)煥然一新。指揮家會(huì)根據(jù)樂(lè)曲的需要，專注于引導(dǎo)特定樂(lè)器，使其在關(guān)鍵時(shí)刻發(fā)揮最大的作用。就像在一段激昂的音樂(lè)中，小提琴可能會(huì)在高潮處奏出動(dòng)人的旋律，而其他樂(lè)器則默契地降低音量，讓小提琴的表現(xiàn)更為突出。

在文本處理中，注意力機(jī)制的作用類似于指揮家的引導(dǎo)。當(dāng)我們閱讀一段文字時(shí)，不是所有的單詞都同等重要。有些單詞可能是關(guān)鍵信息，而其他單詞則是在語(yǔ)境中起次要作用。注意力機(jī)制就像是指揮家的手，讓我們的“音樂(lè)團(tuán)隊(duì)”能夠集中精力表達(dá)關(guān)鍵內(nèi)容，忽略掉那些不那么重要的部分。

舉個(gè)例子，考慮一句話：“在夜晚的星空下，一顆明亮的星星閃耀著?！?如果我們把這個(gè)句子看作音樂(lè)，注意力機(jī)制就會(huì)在“夜晚”和“星星”這兩個(gè)關(guān)鍵詞上集中，使它們?cè)谖覀兊摹把葑唷敝懈鼮橥怀?，就像交響?lè)中的主題一樣。

注意力機(jī)制就像是指揮家，幫助我們的“音樂(lè)團(tuán)隊(duì)”在信息的海洋中找到節(jié)奏和重點(diǎn)。它使我們的閱讀體驗(yàn)更加流暢，就像一場(chǎng)華麗的音樂(lè)會(huì)，每個(gè)單詞都在正確的時(shí)刻奏響，創(chuàng)造出美妙的語(yǔ)言交響曲。

借助一下對(duì)聯(lián)來(lái)說(shuō)明注意力機(jī)制

想象一下，一位優(yōu)雅的舞者在舞臺(tái)上翩翩起舞，她的每一步都輕盈而有力，就像注意力在文字間舞動(dòng)一樣。文字就是她的舞臺(tái)，而她通過(guò)獨(dú)特的舞步，將文字編織成了一個(gè)個(gè)美麗的意境，讓讀者陶醉其中。

對(duì)應(yīng)上聯(lián)：

注意舞者輕盈步，文字交織意境美。

而這篇對(duì)聯(lián)的另一半，則是關(guān)于指揮家的。在一場(chǎng)音樂(lè)會(huì)上，指揮家揮動(dòng)著指揮棒，引導(dǎo)著樂(lè)團(tuán)奏響美妙的樂(lè)章。就像在文字中，我們的指揮家是注意力機(jī)制，他指引著關(guān)鍵的音符，使整個(gè)文章奏響動(dòng)人心弦的樂(lè)曲。

對(duì)應(yīng)下聯(lián)：

指揮篇章樂(lè)曲奏，關(guān)鍵音符顯神奇。

對(duì)聯(lián)中的舞者和指揮家分別代表了文字中的注意力和注意力機(jī)制。文字如舞臺(tái)，而注意力就像是在其中舞動(dòng)的舞者，將文字編織成美麗的畫(huà)面。同時(shí)，指揮家注意力機(jī)制則像指揮家一樣，引導(dǎo)著文字中的關(guān)鍵信息，使整篇文章更加和諧動(dòng)人。在這個(gè)文學(xué)舞臺(tái)上，注意力機(jī)制扮演著舞者和指揮家的雙重角色，為讀者呈現(xiàn)出一場(chǎng)豐富多彩的文學(xué)盛宴。

留一個(gè)上聯(lián)，考察一下，能對(duì)出的友友們可能理解到了注意力機(jī)制的精髓。

上聯(lián)：文字如潮涌，注意力似指揮。

下聯(lián)：……（友友們請(qǐng)）