谷歌Gemini剛發(fā)就惹質(zhì)疑：測試標(biāo)準(zhǔn)有失偏頗，效果視頻疑似剪輯

谷歌Gemini剛發(fā)就惹質(zhì)疑：測試標(biāo)準(zhǔn)有失偏頗，效果視頻疑似剪輯

夢晨 克雷西 發(fā)自 凹非寺量子位 | 公眾號 QbitAI

谷歌憋了許久的大招，雙子座Gemini大模型終于發(fā)布！其中一圖一視頻最引人注目：

一圖，MMLU多任務(wù)語言理解數(shù)據(jù)集測試，Gemini Ultra不光超越GPT4，甚至超越了人類專家。

一視頻，AI實時對人類的涂鴉和手勢動作給出評論和吐槽，流暢還很幽默，最接近賈維斯的一集。

然鵝當(dāng)大家從驚喜中冷靜下來，仔細(xì)閱讀隨之發(fā)布的60頁技術(shù)報告時，卻發(fā)現(xiàn)不妥之處。

（沒錯，沒有論文，OpenAICloseAI你開了個什么壞頭啊）

MMLU測試中，Gemini結(jié)果下面灰色小字標(biāo)稱CoT@32，展開來代表使用了思維鏈提示技巧、嘗試了32次選最好結(jié)果。

而作為對比的GPT4，卻是無提示詞技巧給5個示例，這個標(biāo)準(zhǔn)下Gemini Ultra其實并不如GPT4。

以及原圖比例尺也有點不厚道了，90.0%與人類基準(zhǔn)89.8%明明只差一點，y軸上卻拉開很遠(yuǎn)。

HuggingFace技術(shù)主管Philipp Schmid用技術(shù)報告中披露的數(shù)據(jù)修復(fù)了這張圖，這樣展示更公平恰當(dāng)：

每到這種時候，總少不了做表情包的老哥飛速趕到戰(zhàn)場：

但好在，同樣使用思維鏈提示技巧+32次嘗試的標(biāo)準(zhǔn)時，Gemini Ultra還是確實超越了GPT4的。

Jeff Dean在一處討論中對這個質(zhì)疑有所回應(yīng)，不過大家并不買賬。

另外，對于那段精彩視頻，也有人從開篇的文字免責(zé)聲明中發(fā)現(xiàn)了問題。

機(jī)器學(xué)習(xí)講師Santiago Valdarrama認(rèn)為聲明可能暗示了展示的是精心挑選的好結(jié)果，而且不是實時錄制而是剪輯的。

后來谷歌在一篇博客文章中解釋了多模態(tài)交互過程，幾乎承認(rèn)了使用靜態(tài)圖片和多段提示詞拼湊，才能達(dá)成這樣的效果。

但不管怎么樣，谷歌Gemini的發(fā)布還是給了其他團(tuán)隊很大信心，GPT4從此不再是獨一無二、難以企及的存在了。

正如AI搜索產(chǎn)品PerplexityAI創(chuàng)始人Aravind Srinivas總結(jié)：

1、Gemini證明了OpenAI之外的團(tuán)隊可以搞出超越GPT4的模型

2、訓(xùn)練到位的密集模型可以超越GPT4的稀疏模型架構(gòu)

推論：從大教師模型蒸餾小尺寸密集模型會成為未來趨勢，實現(xiàn)效率和能力的最佳結(jié)合。

更多網(wǎng)友關(guān)心的話題是，這下子還有必要繼續(xù)為ChatGPT Plus付費每月20美元嗎？？

目前，Gemini Pro版本已更新到谷歌聊天機(jī)器人Bard中，水平到底有沒有宣傳的好，可以看看實際情況。

Gemini真的超越ChatGPT？

首先明確一點，目前大家能上手玩到的是Gemini Pro版本，也就是中杯，對標(biāo)GPT3.5。

對標(biāo)GPT4的大杯Gemini Ultra，要明年才出。

另外目前Gemini僅支持英文，中文和其他語言也是后面才會出。

雖然暫時玩不到Gemini Ultra，威斯康星大學(xué)麥迪遜分校的副教授Dimitris Papailiopoulos找了個好辦法：

把Gemini發(fā)布時展示的原題發(fā)給GPT4對比，結(jié)果14道題中，GPT4約獲得12分。

其中有兩題由于截圖沒法再清晰了，給GPT4算0.5分。

還有一道數(shù)學(xué)題GPT4做錯，其他題基本平手。

接下來，要說最能體現(xiàn)一個大模型綜合能力的，肯定少不了寫代碼。

根據(jù)大家的測試結(jié)果來看，Gemini編程水平還是有保證的。

有開發(fā)者測試用Pytorch實現(xiàn)一個簡單的CNN網(wǎng)絡(luò)，Gemini只用了2秒而且代碼質(zhì)量更高。

當(dāng)然速度快可能是由于Bard搭載的Gemini Pro尺寸更小，GPT4現(xiàn)在有多慢懂得都懂了。

但是下一項編寫SQL語句方面，這位開發(fā)者就認(rèn)為Gemini表現(xiàn)就不太行了。

不過對于廣大開發(fā)者來說還有一個利好消息，在遵循指令方面，Gemini對比Bard升級之前可謂是史詩級進(jìn)步。

提示工程師先驅(qū)Riley Goodside，此前想要Bard輸出純JSON格式前后不帶任何廢話，百般嘗試也不成功，最后需要假裝威脅AI不這么做就鯊個無辜的人才行。

現(xiàn)在更新以后，只需要把要求說出來，無需任何提示詞技巧就能完成了。

Gemini還有一大賣點是多模態(tài)能力，針對開頭畫小鴨子的視頻，我們從中抽取了8個關(guān)鍵幀，分別進(jìn)行提問，看看Gemini的表現(xiàn)有沒有那么神奇。

（不確定視頻中是Ultra還是Pro版本，現(xiàn)在只能測試Pro版本）

對于圖14，我們問的問題都是“What is this person doing?”，Gemini給出的回答分別是：

• 可能在用馬克筆寫字，但不知道具體是什么
• 在用鉛筆畫蛇，而且是一條眼鏡蛇
• 在用鉛筆畫烏龜，而且正處于畫畫的初期階段
• 在用黑色馬克筆畫鳥，臉朝左，頭朝右，站在樹枝上，翅膀沒有展開

對于圖1和圖2，的確判斷線索還不是很明顯，出現(xiàn)這樣的結(jié)果情有可原，不過圖3這個“烏龜”的答案就有些繃不住了。

至于圖4，至少可以肯定的是鴨子的確屬于鳥類，但是其它細(xì)節(jié)分析得還是欠缺了一些準(zhǔn)確性。

而當(dāng)我們拿出圖5的成型作品時，Gemini終于分析出了這是一只鴨子，水波紋也分析對了。

但分析出的繪畫工具變成了鉛筆，頭的朝向問題也依然沒說對，喙被說成了張開的，還臆想出了一些蘆葦。

接下來是圖6和圖7的上色過程，一般情況下鴨子不會是藍(lán)色，所以我們問了Gemini圖片中有什么異常（Is there anything abnormal?）。

針對圖6，Gemini給出的回答不能說十分精準(zhǔn)，只能說是驢唇不對馬嘴，還配上了一張風(fēng)馬牛不相及的圖片。

針對圖7的成品，Gemini直接說沒毛病，該有的東西都有，背景也很真實，甚至沒忘繼續(xù)提根本不知道哪里來的蘆葦。

但下面的一句“Here is the image you sent”就屬實令人費解了：

說Gemini沒看我們上傳的圖吧，讀出來的又的確是鴨子；說它看了吧，又給出了完全不同的一張的圖說是我們傳上去的。

所以我們想到了用“深呼吸”和“一步一步解決”提示詞技巧看看能不能提高一下Gemini的表現(xiàn)，其中深呼吸正是適用于谷歌上一代大模型PaLM的提示詞。

結(jié)果這次的答案直接讓人笑出了聲：

不正常的是，鴨子被畫到了紙上，鴨子是一種活的生物，在紙上是無法存在的……

視頻的結(jié)尾，博主還拿出了橡膠鴨子玩具，我們也拿這一幀（圖8）讓Gemini分析一下鴨子的材質(zhì)。

結(jié)果橡膠倒是分析對了，但是藍(lán)色的鴨子被說成了黃色，難怪上一張圖會說沒有異常……

逐幀詢問完成后，我們又把8張圖放在一起詢問，結(jié)果也是只有鴨子說對了。

“打假”完這段視頻后，我們又用之前拿來考察GPT4V的“吉娃娃和松餅”圖給Gemini試了試。

結(jié)果Gemin直接擺爛，告訴我們所有的圖都是“吉娃娃坐在松餅上”，甚至連圖的數(shù)量都沒數(shù)對……

于是我們換了種問法，讓它告訴我們哪些是吉娃娃，哪些是松餅。

這次Gemini倒是誠實的很，直接告訴我們吉娃娃和松餅實在太像了自己區(qū)分不出來。

和藍(lán)色鴨子的問題一樣，“深呼吸”在這里依然是沒起到什么作用，Gemini還是連數(shù)量都搞不清楚。

而勉強(qiáng)解說了的8個（實際上是6個，因為有兩個是重復(fù)的）圖，只有左下和右下兩張圖是對的，至于middle指的到底是哪一行，我們不得而知……

或許是這樣細(xì)小的差別實在是難為Gemini了，我們接下來換一些圖形推理題試試。

第一題的前四個符號是由14這四個數(shù)字與鏡像后的結(jié)果拼接而成，所以下一個圖應(yīng)該是5與其鏡像拼接，答案是C。（藍(lán)色塊是為了方便觀察，傳給Gemini的圖中沒有）

這里一開始還出現(xiàn)了一段小插曲：最開始的提示詞中是沒有最后一句話（注意字母不是符號本身）的，結(jié)果Gemini真的就把ABCD這四個字母當(dāng)成了備選的符號。

調(diào)整之后，Gemini前面給出的分析基本正確，可惜到最后選擇了錯誤選項D。

第二題，每個框中的第三個符號是前兩個的交集，答案為A。

結(jié)果Gemini研究起了這些表情，一番分析猛如虎，最后給出的答案還是錯的。

兩道題下來，一道對了百分之七八十，另一道完全錯誤，看來Gemini Pro的圖形推理能力還有很大提升空間。

不過如果把目光放到生活場景當(dāng)中，Gemini的表現(xiàn)還是值得肯定的。

我們用ChatGPT（DALL·E）生成了一張包含雞肉、胡蘿卜和黃瓜的圖片，Gemini正確地識別出了這三種食材，然后給出了很多種可以烹飪的菜肴，而且每個都配有圖片和教程鏈接。

這么多測試結(jié)果看下來，回到最初的問題，有了Gemini還有必要為GPT4付費嗎？

沃頓商學(xué)院副教授Ethan Mollick給出一個不錯的建議：

沒有什么理由再使用ChatGPT的免費版本了，現(xiàn)在已經(jīng)被Bard和Claude超越，而且它們都是免費的。

但你或許應(yīng)該繼續(xù)使用GPT4，它仍然占主導(dǎo)地位，并且在必應(yīng)（只有創(chuàng)意模式是GPT 4）中是免費的。

明年將結(jié)合AlphaGo能力升級

除了Gemini實際效果，60頁技術(shù)報告中披露的更多細(xì)節(jié)也是研究人員和開發(fā)者關(guān)注所在，

關(guān)于參數(shù)規(guī)模，只公布了最小的Nano版本，分為1.8B的Nano1和3.25B的Nano2兩個型號，4bit量化，是蒸餾出來的，可以運行在本地設(shè)備如Pixel手機(jī)上。

Pro版本和Ultra版本規(guī)模保密，上下文窗口長度統(tǒng)一32k，注意力機(jī)制使用了MultiQuery Attention，此外沒有太多細(xì)節(jié)了。

值得的關(guān)注的是微調(diào)階段，報告中透露使用了SFT+RLHF的指令微調(diào)組合，也就是使用了ChatGPT的方法。

另外也引用了Anthropic的Constitutional AI，也就是結(jié)合了Claude的對齊方法。

關(guān)于訓(xùn)練數(shù)據(jù)也沒披露太多細(xì)節(jié)，但之前有傳聞稱谷歌刪除了來自教科書的有版權(quán)數(shù)據(jù)。

Gemini拖了這么久才發(fā)，之前被曝光的消息還有不少，比如谷歌創(chuàng)始人Sergey Brin一直親自下場對模型進(jìn)行評估并協(xié)助訓(xùn)練。

結(jié)合最近OpenAI Q項目的傳聞，大家最關(guān)心的莫過于：

Gemini到底有沒有結(jié)合AlphaGo的能力？如RLHF之外更多的強(qiáng)化學(xué)習(xí)、搜索算法等。

關(guān)于這一點，DeepMind創(chuàng)始人哈薩比斯在最新接受連線雜志采訪時作出了回應(yīng)：

我們有世界上最好的強(qiáng)化學(xué)習(xí)專家……AlphaGo中的成果有望在未來改善模型的推理和規(guī)劃能力……明年大家會看到更多快速進(jìn)步。

省流版本：還沒加，明年加。

這次Gemini開發(fā)整合了原谷歌大腦和DeepMind兩個團(tuán)隊，整個開發(fā)團(tuán)隊有超過800人（作為對比，OpenAI整個公司約770人）。

其中核心貢獻(xiàn)者前六位的名字首字母，恰好組成了Gemini這個單詞，也算一個小彩蛋。

許多參與者也在個人賬號發(fā)表了感想，其中DeepMind老員工Jack Rae此前在OpenAI工作一段時間，今年7月份從OpenAI跳回到谷歌，他可能是唯一一位對GPT4和Gemini都有貢獻(xiàn)的人類了。

也有反著跳的，中科大校友Jiahui Yu在10月份從谷歌跳去了OpenAI，之前擔(dān)任Gemini多模態(tài)團(tuán)隊的視覺共同負(fù)責(zé)人。

除了團(tuán)隊成員之外，Gemini今天也是整個AI行業(yè)最大的話題。

其中著名OpenAI爆料賬號Jimmy Apples，@Sam Altman并暗示OpenAI還有沒發(fā)布的大招。

而HuggingFace聯(lián)創(chuàng)Thomas Wolf認(rèn)為，谷歌錯過了一個重要機(jī)會：

如果Gemini開源，對OpenAI和Meta來說都是一記絕殺，上一次谷歌開源Bert的時候，整個AI行業(yè)都被重塑了。

Gemini技術(shù)報告：https://storage.googleapis.com/deepmindmedia/gemini/gemini_1_report.pdf

參考鏈接：[1]https://x.com/AravSrinivas/status/1732427844729581764[2]https://x.com/DimitrisPapail/status/1732529288493080600[3]https://www.linkedin.com/posts/svpino_googlethisisembarrassingyoupublishedactivity7138287283274686464osJ5[4]https://developers.googleblog.com/2023/12/howitsmadegeminimultimodalprompting.html[5]https://x.com/ScottDavidKeefe/status/1732440398423867472[6]https://x.com/goodside/status/1732461772794220919[7]https://x.com/emollick/status/1732485517692776714

— 完 —

量子位 QbitAI · 頭條號簽約

關(guān)注我們，第一時間獲知前沿科技動態(tài)