在人工智能快速演進(jìn)與腦機(jī)接口（BCI）持續(xù)深化發(fā)展的今天，多模態(tài)腦信號(hào)融合成為推動(dòng)腦科學(xué)技術(shù)應(yīng)用突破的重要方向。針對(duì)當(dāng)前非侵入性腦信號(hào)分析中存在的諸多瓶頸，微算法科技（NASDAQ:MLGO）自主研發(fā)出一種創(chuàng)新性的融合分析算法技術(shù)——融合時(shí)空卷積和雙重注意機(jī)制的EEG-fNIRS多模態(tài)腦信號(hào)分類算法。該技術(shù)顯著提升了多模態(tài)信號(hào)在復(fù)雜任務(wù)中的解碼能力，更以輕量級(jí)的架構(gòu)，實(shí)現(xiàn)了可部署于實(shí)時(shí)BCI系統(tǒng)的分類性能優(yōu)化，填補(bǔ)了現(xiàn)有方法對(duì)實(shí)時(shí)性與精度之間權(quán)衡難題的空白。

腦機(jī)接口（Brain-Computer Interface, BCI）致力于通過(guò)解碼大腦活動(dòng)來(lái)實(shí)現(xiàn)人與機(jī)器的直接通信。然而，目前非侵入性腦信號(hào)采集技術(shù)如腦電圖（Electroencephalography, EEG）和功能性近紅外光譜（Functional Near-Infrared Spectroscopy, fNIRS）均存在各自的局限性。EEG具有高時(shí)間分辨率但空間定位能力較差；fNIRS則提供了較好的空間分布信息但缺乏足夠的時(shí)間響應(yīng)速度。單獨(dú)使用任何一種模態(tài)都可能導(dǎo)致對(duì)用戶意圖的片面解讀或信號(hào)信息的損失。

近年來(lái)，EEG-fNIRS的多模態(tài)腦信號(hào)融合技術(shù)逐漸受到重視，其優(yōu)勢(shì)在于融合了兩種模態(tài)的互補(bǔ)特性，顯著提升了腦信號(hào)解碼的準(zhǔn)確性和穩(wěn)定性。但多模態(tài)融合仍面臨兩個(gè)核心挑戰(zhàn)：一是如何在信息融合過(guò)程中有效保留關(guān)鍵特征，避免信號(hào)間的信息冗余與丟失；二是在保證算法性能的同時(shí)，實(shí)現(xiàn)模型的輕量化和可實(shí)時(shí)部署性。

微算法科技設(shè)計(jì)的算法技術(shù)結(jié)構(gòu)融合了多個(gè)先進(jìn)組件，全面考慮EEG與fNIRS兩類信號(hào)的差異性與協(xié)同性。其核心包括以下幾個(gè)關(guān)鍵模塊：預(yù)處理層、時(shí)空卷積特征提取網(wǎng)絡(luò)、雙重注意融合機(jī)制以及多任務(wù)輸出分類器。

首先，EEG與fNIRS數(shù)據(jù)分別經(jīng)過(guò)獨(dú)立預(yù)處理，EEG信號(hào)采用帶通濾波、偽跡剔除與標(biāo)準(zhǔn)化操作，以增強(qiáng)頻域特征；fNIRS則使用光程校正與氧合/脫氧血紅蛋白分離處理，以獲得準(zhǔn)確的血流動(dòng)態(tài)。兩個(gè)數(shù)據(jù)源分別轉(zhuǎn)化為張量輸入，輸入進(jìn)卷積網(wǎng)絡(luò)中以提取底層特征。

隨后，時(shí)空卷積網(wǎng)絡(luò)（Spatio-Temporal Convolution Network, ST-CNN）分別應(yīng)用于兩種模態(tài)。這種結(jié)構(gòu)能夠同時(shí)捕捉信號(hào)在時(shí)間維度上的動(dòng)態(tài)變化和在空間通道之間的交互模式。例如，在EEG中，不同電極間的信號(hào)組合具有強(qiáng)烈的空間相關(guān)性；在fNIRS中，探頭布置區(qū)域則體現(xiàn)出皮質(zhì)區(qū)域活動(dòng)的空間局部性。微算法科技通過(guò)3D卷積結(jié)構(gòu)有效整合時(shí)間序列與通道信息，構(gòu)建深層語(yǔ)義表示。

為了增強(qiáng)不同模態(tài)之間的互補(bǔ)特性，微算法科技（NASDAQ:MLGO）引入雙重注意機(jī)制（Dual Attention Mechanism）。第一級(jí)是模態(tài)內(nèi)注意力（Intra-modal Attention），其作用是強(qiáng)化模態(tài)內(nèi)部關(guān)鍵特征的權(quán)重分布，提升局部識(shí)別能力；第二級(jí)是模態(tài)間注意力（Inter-modal Attention），負(fù)責(zé)在融合前對(duì)兩個(gè)模態(tài)的特征圖進(jìn)行加權(quán)匹配，使得融合后的信息具備協(xié)同判別性。兩級(jí)注意力的結(jié)合能夠有效解決通用模型中模態(tài)主導(dǎo)與模態(tài)沖突問(wèn)題，實(shí)現(xiàn)更加穩(wěn)健的信息融合。

最終輸出通過(guò)多任務(wù)分類器進(jìn)行并行預(yù)測(cè)，兼顧主任務(wù)（運(yùn)動(dòng)想象分類）與副任務(wù)（模態(tài)分類、通道判別等）間的關(guān)系。多任務(wù)學(xué)習(xí)架構(gòu)提升了模型對(duì)非運(yùn)動(dòng)狀態(tài)下信號(hào)噪聲的容錯(cuò)能力，同時(shí)增加了泛化性能。

微算法科技該技術(shù)較于傳統(tǒng)融合方法在多個(gè)層面上實(shí)現(xiàn)了顯著突破。首先，摒棄了依賴人工設(shè)計(jì)的特征選擇與通道剪枝方法，而采用深度神經(jīng)網(wǎng)絡(luò)自適應(yīng)提取特征。這不僅減少了人為先驗(yàn)偏差，也提升了適應(yīng)不同受試者的能力。其次，采用了時(shí)空融合與注意機(jī)制結(jié)合的混合模型架構(gòu)，既提升了感知能力，又大大壓縮了模型的計(jì)算量。此外，多任務(wù)結(jié)構(gòu)提供了豐富的標(biāo)簽反饋機(jī)制，提升了小樣本場(chǎng)景下的訓(xùn)練穩(wěn)定性與學(xué)習(xí)效率。結(jié)合遷移學(xué)習(xí)策略，該模型在跨實(shí)驗(yàn)、跨受試者的泛化測(cè)試中表現(xiàn)出顯著優(yōu)勢(shì)，解決了多模態(tài)腦信號(hào)模型訓(xùn)練對(duì)大規(guī)模數(shù)據(jù)依賴的問(wèn)題。

微算法科技融合EEG-fNIRS腦信號(hào)的多模態(tài)分類算法技術(shù)，展示了神經(jīng)智能與深度學(xué)習(xí)融合的巨大潛力。通過(guò)引入時(shí)空卷積結(jié)構(gòu)與雙重注意力機(jī)制，該算法不僅有效提升了信號(hào)分類的準(zhǔn)確性和魯棒性，還克服了傳統(tǒng)BCI系統(tǒng)在實(shí)時(shí)性與特征保留之間的權(quán)衡問(wèn)題，實(shí)現(xiàn)了理論研究向?qū)嶋H部署的關(guān)鍵跨越。

作為一種面向未來(lái)的腦機(jī)交互解決方案，該技術(shù)具備高度的可擴(kuò)展性和移植性，微算法科技將持續(xù)優(yōu)化模型結(jié)構(gòu)，引入自監(jiān)督學(xué)習(xí)、聯(lián)邦建模等新機(jī)制，進(jìn)一步推動(dòng)多模態(tài)腦信號(hào)融合技術(shù)在實(shí)際場(chǎng)景中的普及與落地。隨著人工智能與腦科學(xué)的不斷融合，相信該技術(shù)將在認(rèn)知神經(jīng)科學(xué)、智慧醫(yī)療和下一代交互系統(tǒng)中發(fā)揮越來(lái)越關(guān)鍵的作用。