技術(shù)
導(dǎo)讀:這項(xiàng)堪稱腦機(jī)接口新里程碑的研究,登上了全球首屈一指的科學(xué)期刊Nature最新一期的封面。
腦機(jī)接口(BCI)技術(shù)新進(jìn)展又一次登上國(guó)際頂級(jí)期刊Nature的封面!
美國(guó)斯坦福大學(xué)研究人員首次破譯了與手寫書信相關(guān)的大腦活動(dòng),并結(jié)合人工智能(AI)算法,實(shí)現(xiàn)“意念”寫字。
這使得癱瘓患者只需腦補(bǔ)“手寫文字”,他所想的文本就會(huì)實(shí)時(shí)顯示在屏幕上。
在這項(xiàng)研究中,患者每分鐘可鍵入90個(gè)字符,接近同齡正常人使用智能手機(jī)時(shí)每分鐘115個(gè)字符的速度——是以前用這類腦機(jī)接口(BCI)研究打字記錄的2倍多,準(zhǔn)確率更是高達(dá)99%以上。
這項(xiàng)堪稱腦機(jī)接口新里程碑的研究,登上了全球首屈一指的科學(xué)期刊Nature最新一期的封面。論文題目為《通過(guò)手寫進(jìn)行高性能的腦對(duì)文本交流(High-performance brain-to-text communication via handwriting)》。
美國(guó)斯坦福大學(xué)霍華德·休斯醫(yī)學(xué)研究所(HHMI)的研究員Krishna Shenoy是這項(xiàng)研究的合著者,與斯坦福大學(xué)神經(jīng)外科醫(yī)生Jaimie Henderson共同推進(jìn)這項(xiàng)工作。
Shenoy認(rèn)為,隨著技術(shù)的進(jìn)一步發(fā)展,這項(xiàng)創(chuàng)新可能使癱瘓的人無(wú)需用手就能快速打字。
一、聚焦手寫表達(dá)方式,解碼大腦神經(jīng)活動(dòng)信號(hào)
當(dāng)受傷或疾病剝奪了一個(gè)人的移動(dòng)能力時(shí),走路、喝杯咖啡或者說(shuō)一句話的大腦神經(jīng)活動(dòng)仍然存在。
研究人員可以利用這項(xiàng)活動(dòng),來(lái)幫助癱瘓患者或截肢患者恢復(fù)失去的能力。不過(guò),具體的需求也因殘疾的性質(zhì)而異。
有些失去雙手的人依然可以用語(yǔ)音識(shí)別軟件,而對(duì)于無(wú)法發(fā)聲的人,科學(xué)家們正開發(fā)其他方法來(lái)幫助他們與人交流。
這一次,斯坦福研究人員將目光聚焦于經(jīng)典的自我表達(dá)方式——手寫。
近年來(lái),本論文作者Shenoy的研究團(tuán)隊(duì)解碼了與語(yǔ)音相關(guān)的神經(jīng)活動(dòng),希望再現(xiàn)語(yǔ)音。比如他們?cè)诹硪豁?xiàng)研究中涉及一種方法,讓植入傳感器的患者“意念”移動(dòng)計(jì)算機(jī)屏幕上的光標(biāo),選擇虛擬鍵盤上的字幕進(jìn)行打字。通過(guò)這樣的方法,患者每分鐘可輸入大約40個(gè)字符,這是以前使用腦機(jī)接口打字的速度記錄。
但問(wèn)題是,直接腦補(bǔ)人的“筆跡”是否可行?
Shenoy團(tuán)隊(duì)中的一位神經(jīng)學(xué)家Frank Willett想知道,能不能利用用筆在紙上寫字時(shí)引發(fā)的大腦信號(hào),來(lái)找到讓人們交流更快的新方法。
二、區(qū)分不同字母活動(dòng)信號(hào),65歲癱瘓者也可正常打字
當(dāng)下,該臨床試驗(yàn)試驗(yàn)正在測(cè)試腦機(jī)接口的安全性,腦機(jī)接口能將信息直接從參與者的大腦發(fā)送到計(jì)算機(jī)。
該實(shí)驗(yàn)負(fù)責(zé)人是布朗大學(xué)麻省總醫(yī)院和普羅維登斯醫(yī)學(xué)中心的神經(jīng)科醫(yī)生和神經(jīng)科學(xué)家Leigh Hochberg,他將兩個(gè)微小的傳感器植入癱瘓者大腦控制手和手臂的部分,從而讓癱瘓者實(shí)現(xiàn)一些行動(dòng)。例如,讓癱瘓者嘗試移動(dòng)已癱瘓的手臂,從而在屏幕上完成移動(dòng)機(jī)械臂或者光標(biāo)的效果。
▲算法可追蹤對(duì)象假想中筆的運(yùn)行路徑
這一患者在參與研究時(shí)年僅65歲,患有脊髓損傷,脖子以下癱瘓。當(dāng)他想象在寫作時(shí),團(tuán)隊(duì)能利用傳感器從單個(gè)神經(jīng)元中拾取信號(hào),再通過(guò)機(jī)器學(xué)習(xí)算法識(shí)別出他的大腦隨每個(gè)字母產(chǎn)生的模式。借助該系統(tǒng),他在智能手機(jī)上打字和進(jìn)行語(yǔ)句表達(dá)的速度與同齡人相似。
Shenoy團(tuán)隊(duì)的Willett說(shuō),這種“Brain-to-Text(大腦至文本)” 的腦機(jī)接口之所以如此快,是因?yàn)槊總€(gè)字母都會(huì)引發(fā)高度不同的活動(dòng)模式,從而使算法相對(duì)容易地將一個(gè)字母與另一個(gè)字母區(qū)分開。
而植入進(jìn)患者腦中的兩個(gè)微型傳感器也正是來(lái)自美國(guó)科技公司BrainGate的電極陣列,每個(gè)都含有96個(gè)電極。就在今年4月,BrainGate研究人員成功地創(chuàng)造了一個(gè)無(wú)線腦機(jī)接口(BCI),用戶腦袋上夾兩個(gè)無(wú)線發(fā)射機(jī),就能隔空在屏幕上打字、瀏覽網(wǎng)站。不過(guò),該研究追蹤試驗(yàn)者意念移動(dòng)光標(biāo)進(jìn)行打字,每分鐘僅能輸入13.4個(gè)正確字符。
三、新系統(tǒng)將增加意念導(dǎo)航等功能
除了腦機(jī)接口輸入文本的功能模式,Shenoy的團(tuán)隊(duì)還想建立一個(gè)更全面的系統(tǒng)。
該系統(tǒng)包括點(diǎn)擊導(dǎo)航,類似于當(dāng)前智能手機(jī)上使用的導(dǎo)航,甚至嘗試通過(guò)意念說(shuō)話進(jìn)行導(dǎo)航搜索。他說(shuō):“擁有這兩種或三種模式,并在它們之間切換,在我們認(rèn)為是自然而然的發(fā)展方向?!?/p>
Shenoy稱,接下來(lái)團(tuán)隊(duì)還打算與語(yǔ)言障礙患者合作,例如患有肌萎縮性側(cè)索硬化癥的人,這是一種退化性神經(jīng)系統(tǒng)疾病,會(huì)導(dǎo)致行動(dòng)和言語(yǔ)喪失。
Henderson補(bǔ)充說(shuō),新系統(tǒng)可能會(huì)幫助那些因多種疾病而癱瘓的人。其中就包括近年來(lái)越來(lái)越常見的腦中風(fēng),這一疾病就使《潛水鐘與蝴蝶(The Diving Bell and the Butterfly)》一書的作者Jean-Dominique Bauby感到痛苦。
“他能夠通過(guò)一次眼神的動(dòng)作,一次又一次地精心挑選人物來(lái)寫這本動(dòng)人而每秒的作品?!盚enderson說(shuō)。當(dāng)然,這一技術(shù)造福的將不僅僅是研發(fā)人員喜歡的作者,而將是千千萬(wàn)萬(wàn)喪失行動(dòng)和語(yǔ)言能力的殘疾人。
結(jié)語(yǔ):腦機(jī)接口技術(shù)再上新階梯
腦機(jī)接口技術(shù)能實(shí)現(xiàn)意念操控已不是什么新鮮事,但本次我們看到,人工神經(jīng)網(wǎng)絡(luò)可以讓癱瘓者想象自己書寫,從而將意念轉(zhuǎn)化為真實(shí)的文本,90字符/分的速度也令人興奮,這是使用頭部或眼睛跟蹤系統(tǒng)進(jìn)行輸入記錄的兩倍多!
隨著這一技術(shù)的研發(fā)落地,將為癱瘓患者帶來(lái)巨大便利,不僅能實(shí)現(xiàn)和常人一樣速度的書寫表達(dá),未來(lái)也將實(shí)現(xiàn)意念講話操控等實(shí)現(xiàn)更高效交流。
來(lái)源:Nature、HHMI