AI助中風(fēng)失語者重新“開口”說話

20年前，在安·約翰遜自己的婚宴上，她的演講天賦表現(xiàn)得淋漓盡致。她在洋洋灑灑長達(dá)15分鐘的祝酒詞中開玩笑說，自己匆匆忙忙結(jié)了婚，搞不清婚禮流程單上的長笛手一詞應(yīng)該寫為“flutist”還是“flautist”（分別是美式英語和英式英語——本網(wǎng)注），她還承認(rèn)自己是“麥霸”。

僅僅兩年后，30歲的安（當(dāng)時她是老師、教練和一個嬰兒的母親）突發(fā)中風(fēng)，因此癱瘓失語。

將腦信號轉(zhuǎn)化為語言

科學(xué)家們8月23日報告說，他們在幫助安和其他患者再次說話方面取得顯著進展。這是神經(jīng)科學(xué)和人工智能（AI）發(fā)展的里程碑。當(dāng)安默默地設(shè)法說話時，植入大腦的電極開始解碼她的腦信號。人工智能技術(shù)把她的腦信號轉(zhuǎn)換成書面語言和發(fā)聲語言，使她的數(shù)字化身能夠發(fā)聲、微笑，還能做出噘嘴和其他表情。

專家稱，在英國《自然》周刊上發(fā)表的這項研究，首次顯示腦信號直接合成口語和面部表情。安選擇的數(shù)字化身面孔和她本人很像，研究人員基于她的婚禮致詞開發(fā)出數(shù)字化身的聲音。

研究團隊負(fù)責(zé)人、加利福尼亞大學(xué)舊金山分校神經(jīng)外科主任張復(fù)倫博士說：“我們想做的就是恢復(fù)人們的身份。”

現(xiàn)年47歲的安在寫給記者的信中說：“這讓我覺得自己又是一個完整的人了。”

這項技術(shù)的目的是幫助那些因為中風(fēng)或腦癱、肌萎縮性脊髓側(cè)索硬化癥等疾病而不能說話的人。植入裝置必須通過線纜把患者的腦部與計算機連接，但該研究團隊正在開發(fā)無線版本。研究人員希望，失語者最終可以通過計算機化的本人形象實時傳達(dá)語氣、語調(diào)以及喜悅和憤怒等情緒。

密歇根大學(xué)神經(jīng)外科醫(yī)生、生物醫(yī)學(xué)工程師帕拉格·帕蒂爾博士說：“讓人特別興奮的是，僅僅從大腦表面，研究者就能獲得有關(guān)這些不同溝通特征的很好信息。”

“聽到和自己很像的聲音”

安的經(jīng)歷反映了這一領(lǐng)域的突飛猛進。就在兩年前，該研究團隊還發(fā)表了一項研究：一個綽號為“潘喬”的癱瘓男子通過更簡單的植入裝置和算法說出了50個基本單詞，包括“你好”和“餓”等，并在電腦屏幕上通過文字顯示出來。

安使用的植入裝置的電極數(shù)量比潘喬多近一倍，增強了其檢測來自與口腔、嘴唇、頜部、舌頭和喉部相關(guān)的感覺和運動過程中的大腦信號的能力。研究人員訓(xùn)練復(fù)雜的人工智能來識別的不是單個單詞，而是音素，或者像“ow”和“ah”這些最終可以形成任何單詞的聲音單位。

“這就像語音的字母表。”該項目經(jīng)理戴維·摩西說。

潘喬使用的系統(tǒng)每分鐘產(chǎn)生15到18個單詞，安使用的系統(tǒng)則是78個，用的詞匯表比前者大得多。人們正常交談，每分鐘大約會說160個單詞。

摩西表示，當(dāng)研究人員開始與安合作時，他們并沒有想到要嘗試數(shù)字化身或音頻。但這個令人鼓舞的結(jié)果“給我們開了一個巨大的綠燈，‘好吧，咱們來試試更難的事情，努努力’”。

該研究的主要作者之一、加利福尼亞大學(xué)伯克利分校的研究生凱洛·利特爾約恩和摩西、肖恩·梅茨格、亞歷克斯·席爾瓦、瑪格麗特·西頓表示，他們編寫了一種算法，把大腦活動解碼為音頻波形，從而產(chǎn)生有聲的話語。

利特爾約恩說：“話語有很多信息，僅靠文本無法很好地保存，比如語音、語調(diào)和表情。”

研究人員與一家制作面部動畫的公司合作，用肌肉運動數(shù)據(jù)為安的數(shù)字化身編程。隨后，安嘗試用面部表情來表達(dá)快樂、悲傷和驚訝，每個表情都包括高、中、低強度。她還試圖讓頜部、舌頭和嘴唇做出各種動作。這些解碼的腦信號傳到數(shù)字化身的面部。

安通過數(shù)字化身說：“我覺得你很棒。你覺得我的人造聲音怎么樣？”

她對研究人員說：“聽到跟自己很像的聲音，這讓人百感交集。”

她甚至和在郵政部門工作的丈夫威廉·約翰遜聊起了天。她通過數(shù)字化身說：“別逗我笑。”威廉問她認(rèn)為多倫多藍(lán)鳥棒球隊有多大機會獲勝。她回答說：“一切皆有可能。”

“會說話的化身剛剛起步”

這一領(lǐng)域的進展如此之快，以至于專家認(rèn)為聯(lián)邦政府批準(zhǔn)的無線版本可能會在未來十年內(nèi)問世。對某些患者來說，多種不同的治療方法可能才是最佳方案。

斯坦福大學(xué)神經(jīng)外科教授、研究團隊負(fù)責(zé)人杰米·亨德森博士說，《自然》周刊8月23日也發(fā)表了他們團隊的研究，涉及在大腦更深處植入電極，檢測單個神經(jīng)元的活動。

亨德森從事這一研究的動力來自童年的經(jīng)歷。一次意外后，他的父親失去了說話的能力。

亨德森說，他們團隊的方法可能更精確，但不太穩(wěn)定，因為特定神經(jīng)元的放電模式可能發(fā)生改變。

他們設(shè)計的系統(tǒng)以每分鐘62個單詞的速度解碼。實驗參與者、67歲的帕特·貝內(nèi)特從一個很大的詞匯表里選取單詞說話。她患有肌萎縮性脊髓側(cè)索硬化癥。這項研究不包括數(shù)字化身或聲音解碼。

兩項研究都使用了預(yù)測性語言模型來幫助猜測句子中的單詞。俄勒岡衛(wèi)生科學(xué)大學(xué)有聲語言輔助技術(shù)專家梅拉妮·弗雷德奧肯說，這些系統(tǒng)不僅能匹配單詞，而且在提高對參與者神經(jīng)活動的識別能力時，還能“發(fā)現(xiàn)新的語言模式”。

這兩種方法都不完全準(zhǔn)確。在使用大型詞匯集時，它們錯誤解碼的單詞約占1/4。

例如，當(dāng)安試圖說“也許我們失去了它們（Maybe we lost them）”時，系統(tǒng)會解碼為“也許我們是那個名字（Maybe we that name）”。但在她說的近一半句子中，系統(tǒng)正確解讀了每一個單詞。

研究人員發(fā)現(xiàn)，在一個眾包平臺上，人們大多數(shù)時候都能正確解讀數(shù)字化身的面部表情。但解讀聲音所說的內(nèi)容更加困難，因此該研究團隊正在開發(fā)一種預(yù)測算法來改善這種情況。張復(fù)倫說：“我們會說話的化身才剛剛起步。”

專家強調(diào)，這些系統(tǒng)不是在解讀人們的思想或念頭。帕蒂爾說，它們與棒球擊球手相似，“不是解讀投球手的想法，而是解讀投球手的動作”來預(yù)測投球。

盡管如此，弗雷德奧肯說，讀心術(shù)最終有可能實現(xiàn)，從而引發(fā)倫理和隱私問題。

執(zhí)著參與實驗項目

2021年，安聯(lián)系了張復(fù)倫，就在她丈夫向她展示了關(guān)于潘喬（研究人員幫助過的癱瘓男子）的文章的第二天。張復(fù)倫說，他最初曾勸阻過她，因為她住在加拿大薩斯喀徹溫省，離他在舊金山的實驗室太遠(yuǎn)，但“她很執(zhí)著”。

安的丈夫威廉今年48歲，他給自己安排了兼職工作。“安一直支持我去做我想做的事。”威廉說，包括領(lǐng)導(dǎo)當(dāng)?shù)氐泥]政工會，“所以我覺得能在這件事情上支持她很重要”。

安從去年9月開始參與這個項目。他們乘坐一輛裝滿設(shè)備的面包車前往加利福尼亞州，其中包括一部用來在輪椅和床之間搬運她的升降機，路上需要三天時間。

約翰遜夫婦在當(dāng)?shù)刈饬艘婚g公寓，對安來說，研究人員在那里進行實驗會讓她方便一些。他們在網(wǎng)上和社區(qū)籌集資金，用于支付這項將持續(xù)多年的研究的旅費和房租。他們在加利福尼亞度過了數(shù)周時間，在研究的間隙返回家里。

威廉說：“如果她能每周7天、每天10小時參與實驗，她就會這么做。”

安天生就是一個有決心的人。他倆開始約會時，安給威廉18個月的時間求婚。威廉說，他在“滿18個月的那天”向安求婚了，當(dāng)時她“已經(jīng)去選好了訂婚戒指”。

安用電子郵件與記者溝通，她在家里利用較為初級的輔助系統(tǒng)寫這些郵件。她戴的眼鏡上有個反光點，她把反光點對準(zhǔn)電腦屏幕上的字母和單詞。

這種方式速度很慢，每分鐘只能生成14個單詞，但比她在家唯一能用的溝通方式要快：一塊塑料字母板。威廉說，這種方法就是“她設(shè)法向我展示她試圖看哪個字母，然后我設(shè)法弄清楚她想說什么”。

無法自由順暢地交談使他們沮喪。在討論具體問題時，威廉有時會說點什么，第二天會收到她的電郵回復(fù)。

“安在生活里一直特別能說，外向，愛社交。我不是這樣。”威廉說，“但中風(fēng)使我倆的角色發(fā)生反轉(zhuǎn)，現(xiàn)在我反倒成了能說的那個。”

安以前在高中教數(shù)學(xué)、健康和體育課，還擔(dān)任了排球和籃球教練。有次打排球前做熱身活動時，她腦干中風(fēng)了。威廉說，安在醫(yī)院和療養(yǎng)院住了一年后才回家，回到10歲的繼子和23個月大的女兒身邊。現(xiàn)在，他們的女兒已經(jīng)長大成人，完全不記得母親說過話。

安寫道：“我不能擁抱和親吻孩子，這太痛苦了，但這就是我的現(xiàn)實。最致命的打擊是，我被告知我不能再生孩子了。”

中風(fēng)五年后，她陷入恐懼。她寫道：“我覺得自己隨時會死。我腦子里還能動的那部分知道我需要幫助，但我怎么跟別人溝通呢？”

重新找到生活希望

漸漸地，她的頑強重新浮出水面。她寫道，最初，“我的面部肌肉根本沒用”，但大約五年后，她可以想笑就笑了。

安有十年時間完全依靠管飼喂養(yǎng)，但她后來決定要試試固體食物。她對自己說：“如果我死了，那就這樣吧。我開始吸食巧克力。”她接受了吞咽治療，現(xiàn)在可以吃細(xì)碎或柔軟的食物。她寫道：“我和女兒都喜歡紙杯蛋糕。”

2018年，安得知薩斯喀徹溫省發(fā)生的一起致命車禍需要創(chuàng)傷顧問后，她決定參加在線大學(xué)的心理咨詢課。

“我的計算機技能極低，而且身為一個偏愛數(shù)學(xué)和科學(xué)的人，想到要寫論文我就害怕。”她在一份課堂報告中寫道，“與此同時，我的女兒在九年級時診斷出患有殘疾，病情還在發(fā)展。我決心克服恐懼，讓她知道殘疾未必就能阻擋我們或者讓我們放慢腳步。”

幫助創(chuàng)傷幸存者仍是安的目標(biāo)。她對張復(fù)倫的團隊說：“我最大的夢想是成為創(chuàng)傷顧問，我想利用這項技術(shù)和我的客戶交談。”

她寫道，她剛開始用數(shù)字化身表達(dá)情感時“感覺很傻，但我喜歡這種感覺，就像自己又有了一張表情豐富的臉”。她還說，這些練習(xí)還讓她的額頭左側(cè)第一次能動了。

她還有別的收獲。她寫道，中風(fēng)后，“當(dāng)我失去一切時，那種感覺太痛苦了。我告訴自己，我再也不會讓自己陷入那種失望之中了”。

現(xiàn)在，她寫道：“感覺自己又有了一份工作。”

此外，這項技術(shù)讓她想象自己置身于《星球大戰(zhàn)》。“我已經(jīng)習(xí)慣了腦洞大開。”（編譯/趙菲菲）