【中科院＆香港大學:使用新方法進行多任務學習的可穿戴傳感器內儲層計算】

傳感器內多任務學習不僅是生物視覺的關鍵優(yōu)點，也是人工智能的主要目標。然而，傳統(tǒng)的硅視覺芯片存在大量時間以及能量開銷。此外，訓練傳統(tǒng)的深度學習模型在邊緣設備上既不可擴展也不可負擔。

在這里，中科院和香港大學的研究團隊提出了一種材料算法協(xié)同設計來模擬人類視網膜的學習范例，并且低開銷。基于具有有效激子解離和貫穿空間電荷傳輸特性的瓶刷形半導體 p-NDI，開發(fā)了一種基于可穿戴晶體管的動態(tài)傳感器儲層計算系統(tǒng)，該系統(tǒng)在不同任務上表現(xiàn)出優(yōu)異的可分離性、衰減記憶和回波狀態(tài)特性。

與憶阻有機二極管上的「讀出功能」相結合，RC 可識別手寫字母和數字，并對各種服裝進行分類，準確率分別為 98.04%、88.18% 和 91.76%（高于所有已報告的有機半導體）。

除了二維圖像，RC 的時空動態(tài)自然地提取基于事件的視頻的特征，以 98.62% 的準確率對 3 種類型的手勢進行分類。此外，計算成本明顯低于傳統(tǒng)的人工神經網絡。這項工作為經濟實惠且高效的光子神經形態(tài)系統(tǒng)提供了一種有前途的材料算法協(xié)同設計。

人類視網膜不僅可以感知，還可以通過收集豐富的動態(tài)信號同時處理光信號，從而加速下游視覺皮層中任務相關的學習。視網膜和視覺皮層的協(xié)同作用是大腦高效、緊湊和快速學習多任務處理能力的基礎，也是通用人工智能 (AGI) 的基本目標。

相比之下，具有物理分離的感測、處理和存儲單元的傳統(tǒng)硅視覺芯片會因這些單元之間大量和頻繁的數據穿梭而產生大量時間和能量開銷，以及順序模數轉換，這是潛在能源效率的基本限制。摩爾定律的放緩進一步加劇了這種情況。此外，傳統(tǒng)深度學習模型中的學習，例如時間信號的遞歸神經網絡，在非常具體的任務上采用乏味的訓練（例如，通過時間反向傳播的梯度下降，BPTT），這在電池接入和外形尺寸有限的邊緣設備上既不可擴展也負擔不起。

人們付出了巨大的努力來模擬人類視網膜和負擔得起的學習范式。材料方面，無機光響應二維半導體，例如具有缺陷和雜質位點的 MoS2、具有與 Sn 和 S 相關的雙型缺陷態(tài)的 SnS、層狀含黑磷的氧化相關缺陷、表現(xiàn)出強光控效應的鈣鈦礦量子點 、能夠捕獲和釋放電子的 h-BN/WSe2 異質結構和表現(xiàn)出價態(tài)變化的 MoOx 是人工視網膜應用泛的材料。另外，具有內在生物相容性、可穿戴性和可擴展性的有機半導體，如 PDVT-10、摻雜葉綠素的 PDPP4T 和并五苯/絲和 CDs 雙層，以更忠實的方式模擬了生物對應物。

在算法方面，儲層計算 (RC) 通過收集固定動態(tài)系統(tǒng)的衰落記憶將時間信號非線性地投射到特征空間，被認為是一種有前途的邊緣學習解決方案。由于 RC 的學習于長期記憶的讀出層，因此與傳統(tǒng)的深度學習模型相比，訓練成本顯著降低。然而，它仍然沒有設計出一種配對的材料算法來結合高效的人工視網膜和負擔得起的基于 RC 的邊緣學習，從而釋放仿生神經形態(tài)視覺的多任務潛力。

在這里，中科院和香港大學的研究人員提出了一種材料算法協(xié)同設計，一種具有高效激子解離和全空間電荷傳輸特性的光響應半導體聚合物 (p-NDI)，以構建用于多任務模式分類的傳感器內 RC。靈活的神經形態(tài)設備基于具有 p-NDI 半導體通道的三端晶體管。由于其出色的光響應行為和非線性衰落記憶，該設備能夠同時就地感知、記憶和預處理光學輸入（即對比度增強和降噪）。

此外，聚合物中激子解離/電荷復合動力學、光選通效應和貫穿空間電荷傳輸特性之間的協(xié)同作用使得基于晶體管的動態(tài)RC系統(tǒng)在不同任務上表現(xiàn)出優(yōu)異的可分離性、衰減記憶和回波狀態(tài)特性。這些基于 RC 的視網膜與在憶阻有機離子凝膠二極管上實現(xiàn)的「讀出功能」配對。

所有有機光電材料提供的信號預處理和動態(tài)RC的協(xié)同功能，在識別手寫字母和數字以及對各種服裝進行分類方面的準確率，分別達到 98.04%、88.18% 和 91.76%，這意味著服裝風格和尺寸的多任務學習。系統(tǒng)的總體準確率為 88.00%，不僅可以正確識別衣服，還可以正確識別衣服的尺碼。盡管是 2D 圖像，但 RC 的時空動態(tài)被用來對左手揮手、右手揮手和拍手手勢的基于事件的視頻進行分類，準確率為 98.62%。

不過，這種基于 p-NDI 晶體管的 RC 不含突觸有機電化學晶體管中廣泛使用的液體電解質，從而增強了可擴展性和可操作性。這項工作為具有多任務學習能力的可穿戴、價格合理且高效的光子神經形態(tài)系統(tǒng)提供了一種有前途的材料-算法協(xié)同設計策略。