進(jìn)行“意念寫字”時(shí)會(huì)在屏幕上呈現(xiàn)一個(gè)虛擬的鍵盤，鍵盤中的每個(gè)字符都以不同頻率進(jìn)行編碼。當(dāng)想拼寫某個(gè)字符的時(shí)候，只需看著這個(gè)字符，不同頻率的字符就會(huì)帶來(lái)不同的視覺刺激，從而誘發(fā)出特定模式的腦電波。

近日，美國(guó)斯坦福大學(xué)研究人員首次破譯了與手寫書信相關(guān)的大腦活動(dòng)，并結(jié)合人工智能算法，實(shí)現(xiàn)“意念寫字”。這使得癱瘓者只需“腦補(bǔ)”手寫文字，他所想的文本就會(huì)實(shí)時(shí)顯示在屏幕上。

雖然通過腦機(jī)接口(BCI)技術(shù)實(shí)現(xiàn)意念操控已不是什么新鮮事，但此次讓癱瘓者想象自己書寫，從而將意念轉(zhuǎn)化為真實(shí)的文本，并達(dá)到90字符/分鐘的速度和99%的準(zhǔn)確度也是非常令人驚喜的。這也讓人們看到了未來(lái)利用BCI技術(shù)實(shí)現(xiàn)高效意念操控和交流的希望。

BCI技術(shù)寫字的核心在編碼解碼

“腦機(jī)接口，顧名思義，就是大腦與計(jì)算機(jī)之間的一個(gè)接口，通過這個(gè)接口，大腦能夠?qū)崿F(xiàn)與計(jì)算機(jī)信息的直接交流。反之，計(jì)算機(jī)也能夠通過這個(gè)接口把信息直接加載到腦子里。”天津腦科學(xué)中心主任助理、天津大學(xué)醫(yī)學(xué)工程與轉(zhuǎn)化醫(yī)學(xué)研究院許敏鵬副教授介紹，在現(xiàn)階段，腦機(jī)接口研究主要集中在解讀大腦意圖方面，根據(jù)傳感方式的不同，可分為非侵入式BCI和侵入式BCI。

前述美國(guó)斯坦福大學(xué)“意念寫字”的研究，是利用了侵入式BCI技術(shù)。研究者將兩個(gè)微小的傳感器植入癱瘓者大腦控制手和手臂的區(qū)域，每個(gè)傳感器都含有96個(gè)電極，當(dāng)癱瘓者想象寫字時(shí)，團(tuán)隊(duì)利用傳感器從單個(gè)神經(jīng)元中拾取信號(hào)，再通過機(jī)器學(xué)習(xí)算法識(shí)別出他的大腦隨每個(gè)字母產(chǎn)生的模式。

“侵入式BCI需要通過外科手術(shù)，將信號(hào)檢測(cè)電極植入大腦皮層。”許敏鵬表示，侵入式BCI可直接提取神經(jīng)信號(hào)，具有較高的信噪比;但存在長(zhǎng)期生物相容性等瓶頸問題，且電極周圍微環(huán)境的變化容易對(duì)信號(hào)質(zhì)量帶來(lái)影響，不利于長(zhǎng)時(shí)間采集。

非侵入式BCI則是將電極放置在頭皮部位得到頭皮腦電信號(hào)，具有安全無(wú)創(chuàng)、優(yōu)良的全腦同步記錄等優(yōu)勢(shì)，因此目前在教育、醫(yī)療、航天等眾多領(lǐng)域顯示了更加廣泛的應(yīng)用前景。

“用非侵入式BCI也能實(shí)現(xiàn)‘意念寫字’。”許敏鵬介紹，2021年春節(jié)，天津大學(xué)神經(jīng)工程團(tuán)隊(duì)研發(fā)的“哪吒”腦控智臂機(jī)器人系統(tǒng)，利用戴在兩位協(xié)作者頭上的“電極帽”捕獲他們的頭皮腦電波，經(jīng)過解碼融合各方的合作意圖指令，控制機(jī)械臂寫出了一個(gè)“福”字。

“無(wú)論是侵入式還是非侵入式的BCI‘意念寫字’，背后都是一套復(fù)雜的編碼與解碼過程。”許敏鵬解釋，進(jìn)行“意念寫字”時(shí)，無(wú)論英文還是中文都會(huì)在屏幕上呈現(xiàn)一個(gè)虛擬的鍵盤，鍵盤中的每個(gè)字符都以不同頻率進(jìn)行編碼。當(dāng)想拼寫某個(gè)字符的時(shí)候，只需看著這個(gè)字符，不同頻率的字符就會(huì)帶來(lái)不同的視覺刺激，從而誘發(fā)出特定模式的腦電波。腦機(jī)接口設(shè)備捕捉到腦電波信號(hào)，然后通過算法解碼腦電波模式，就能確定看的是哪個(gè)字符。

斯坦福大學(xué)此次研究通過“腦補(bǔ)”手寫筆跡，大幅度提高了“意念”書寫的速度，主要是因?yàn)榭蒲腥藛T在對(duì)腦電信號(hào)的解碼方面取得了突破。研究人員首次破譯了與手寫字母相關(guān)的大腦活動(dòng)，通過每個(gè)字母引發(fā)腦電波的高度不同的活動(dòng)模式，使算法相對(duì)容易地將不同字母區(qū)分開。

使用BCI技術(shù)寫字還需排除“雜念”

在電視報(bào)道中，我們經(jīng)常能見到如下的場(chǎng)景，肢體活動(dòng)受限的人只需盯著電腦屏幕，轉(zhuǎn)動(dòng)眼球，便可控制鼠標(biāo)移動(dòng)，再通過眨眼或長(zhǎng)時(shí)間凝視選定目標(biāo)，就能寫字、畫畫。比如霍金通過一套眼部動(dòng)作—數(shù)據(jù)信息—語(yǔ)音的轉(zhuǎn)換設(shè)備，最終在語(yǔ)音合成器的幫助下實(shí)現(xiàn)發(fā)聲，轉(zhuǎn)換設(shè)備由此輔助霍金和外界溝通。

“眼動(dòng)追蹤是一種通過記錄被試者眼睛的位置和運(yùn)動(dòng)來(lái)跟蹤被試者視線落點(diǎn)，并分析其視覺行為的人機(jī)交互技術(shù)方法，即用目光控制機(jī)器。看似和BCI進(jìn)行書寫的技術(shù)有點(diǎn)像，其實(shí)二者有著本質(zhì)的區(qū)別。”許敏鵬解釋，BCI需要檢測(cè)大腦的神經(jīng)活動(dòng)信號(hào)并將受試者的意圖解析為實(shí)際的控制指令，簡(jiǎn)單來(lái)說(shuō)，就是實(shí)現(xiàn)用腦電控制機(jī)器;而眼動(dòng)儀主要是對(duì)受試者眼睛的運(yùn)動(dòng)和位置進(jìn)行追蹤，并計(jì)算出受試者視線落點(diǎn)的位置，以此來(lái)判斷受試者實(shí)際意圖。

“眼動(dòng)儀會(huì)受到器材位置的局限性影響，而BCI就不會(huì)存在這個(gè)問題。但目前腦信息采集還是需要受試者主動(dòng)配合，甚至為了準(zhǔn)確性需要先進(jìn)行一定量的訓(xùn)練。”許敏鵬舉例，如在利用BCI寫福字時(shí)，受試者眼睛要盯著屏幕上的視圖書寫板，確定字的筆畫起點(diǎn)和終點(diǎn)，然后連線寫出一筆。如果沒有經(jīng)過訓(xùn)練，這個(gè)字寫出來(lái)可能不會(huì)很工整。

“在實(shí)際應(yīng)用時(shí)，大腦很長(zhǎng)時(shí)間都會(huì)處于一個(gè)非任務(wù)狀態(tài)。我們使用BCI系統(tǒng)的時(shí)候，理想的使用狀態(tài)是我們?cè)谛枰獙⒁鈭D付諸實(shí)踐時(shí)BCI開關(guān)開啟，而在非任務(wù)即無(wú)意識(shí)的想法狀態(tài)時(shí)，BCI開關(guān)關(guān)閉(不輸出響應(yīng))。”許敏鵬表示，解決這個(gè)問題，就需要BCI的一個(gè)實(shí)用化形式——異步腦機(jī)接口。這種BCI就是通過對(duì)大腦信息的實(shí)時(shí)采集分析，分辨想要付諸實(shí)踐的意圖和無(wú)意識(shí)的想法，只有當(dāng)檢測(cè)出用戶有想要付諸實(shí)踐的意圖時(shí)才會(huì)開啟BCI開關(guān)，這在很大程度上增加了BCI系統(tǒng)的實(shí)用性。

BCI技術(shù)的應(yīng)用開拓了人機(jī)交互新天地

“侵入式BCI具有較高的信噪比和良好的時(shí)間、空間分辨率，馬斯克最新發(fā)布的‘LINK V0.9’就屬于侵入式BCI技術(shù)。”許敏鵬表示，但侵入式BCI需要研發(fā)具有高靈敏度和高穩(wěn)定性的電極陣列，以記錄目標(biāo)神經(jīng)元集群的信號(hào)，同時(shí)最小化環(huán)境干擾。另一方面，電極材料、結(jié)構(gòu)等的選擇與設(shè)計(jì)，長(zhǎng)期記錄電極性能的評(píng)價(jià)，植入點(diǎn)周圍微環(huán)境的變化等方面因素也是阻礙侵入式BCI發(fā)展的難題。

比如，在斯坦福大學(xué)這項(xiàng)最新的“意念寫字”研究中，研究人員就擔(dān)心其大腦中植入的電極陣列會(huì)由于微小的移動(dòng)以及疤痕的形成，對(duì)讀取神經(jīng)信號(hào)的效果有所影響，因此必須要定期重新校準(zhǔn)。同時(shí)，系統(tǒng)的“壽命、安全性和有效性”還有待進(jìn)一步證明。

我國(guó)的非侵入式BCI研究在腦機(jī)編解碼關(guān)鍵技術(shù)、BCI系統(tǒng)與應(yīng)用方面都有較好的基礎(chǔ)，達(dá)到并跑世界先進(jìn)水平，部分技術(shù)成果領(lǐng)先國(guó)際先進(jìn)水平。“但由于大腦皮層活動(dòng)產(chǎn)生的神經(jīng)電信號(hào)穿過顱骨等組織層后，信號(hào)質(zhì)量大大削弱，并損失了大量有關(guān)大腦皮層神經(jīng)電活動(dòng)信號(hào)源的時(shí)空分布信息。”許敏鵬介紹，“所以非侵入式BCI的一個(gè)重大難點(diǎn)是要從噪聲大、含有有限信息的信號(hào)中，實(shí)現(xiàn)有效的特征提取和模式識(shí)別。”此外，另一個(gè)難點(diǎn)是如何在保證足夠小的設(shè)計(jì)尺寸下，將腦電刺激編碼、信號(hào)采集、信號(hào)傳輸以及信號(hào)解碼等多種功能模塊進(jìn)行高度集成，以滿足實(shí)際場(chǎng)景下的使用需求。

雖然還有許多需要解決的技術(shù)難題，但是BCI技術(shù)在醫(yī)療、軍事、工業(yè)等領(lǐng)域都有廣闊的應(yīng)用前景，開拓了前所未有的人機(jī)交互新天地。

許敏鵬舉例，目前這項(xiàng)技術(shù)在航天等領(lǐng)域有巨大的應(yīng)用價(jià)值，能為航天員等特殊人群提供肢體約束環(huán)境下的“第三只手”和神經(jīng)功能層面融合的自適應(yīng)自動(dòng)化人機(jī)協(xié)作，幫助他們完成更多更復(fù)雜的工作任務(wù)。2016年，在我國(guó)天宮二號(hào)與神舟十一號(hào)載人飛行任務(wù)中，天津大學(xué)團(tuán)隊(duì)與中國(guó)航天員科研訓(xùn)練中心合作開展了國(guó)際首次在軌腦機(jī)交互實(shí)驗(yàn)，充分驗(yàn)證了BCI技術(shù)的在軌適用性，對(duì)未來(lái)深入開展人—智能機(jī)器人聯(lián)合深空探測(cè)起到了關(guān)鍵推動(dòng)作用。

腦控?zé)o人機(jī)技術(shù)還可以廣泛應(yīng)用在軍事領(lǐng)域，可用于室內(nèi)搜索、戰(zhàn)場(chǎng)巡查、異常監(jiān)控等場(chǎng)景。以腦控?zé)o人機(jī)系統(tǒng)為例，當(dāng)前的腦控?zé)o人機(jī)系統(tǒng)可以移植到VR或者AR平臺(tái)上，由此可擺脫屏幕的限制，單兵作戰(zhàn)時(shí)，士兵可佩戴VR或AR眼鏡，通過AR顯示混合現(xiàn)實(shí)SSVEP刺激界面，在控制無(wú)人機(jī)的同時(shí)，觀察周圍環(huán)境，與此同時(shí)還可手持武器，保證自身的安全。

“終有一天，腦機(jī)接口技術(shù)將顛覆我們現(xiàn)有的人機(jī)交互方式。人與人之間的交流不僅僅停留在語(yǔ)音或者文字上，還可以通過心靈。”許敏鵬樂觀地表示，“也許幾年后，BCI裝置就會(huì)像消費(fèi)電子品一樣進(jìn)入到我們的現(xiàn)實(shí)生活中。我們可以把它戴在頭上，與手機(jī)相連，控制接聽電話、打字等，也可以和家里的智能家電相連，比如開關(guān)燈，開帶有密碼鎖的門，控制電視和空調(diào)等。當(dāng)然還有很多技術(shù)問題需要解決，我們正在努力攻關(guān)中。”(陳 曦)