“神經形態”一詞是希臘語“neuro”（與神經或大腦有關）和“morphic”（與形式或結構有關）的合成詞。

因此，“神經形態”的字面意思是“以大腦的形式”。反過來，“神經形態計算”是指受人腦功能啟發的電子系統。神經形態芯片不像傳統計算機那樣逐步處理數據，而是試圖模仿神經元和突觸的通信方式——利用電活動的峰值、大規模并行性和事件驅動的作。

本專欄的重點是硬件加速器知識產權 （IP） 功能，特別是神經處理單元 （NPU），設計人員可以將其集成到其片上系統 （SoC） 設備中。一些 SoC 開發人員使用第三方 NPU IP，而另一些開發人員則在內部開發自己的 IP。

我剛剛與 BrainChip 的首席營銷官 Steve Brightfield 聊天。您可能還記得，BrainChip 的名氣在于其 Akida AI 加速處理器 IP，其靈感來自人腦的認知能力和能源效率。Akida 在邊緣提供低功耗、實時的 AI 處理，利用神經形態原理用于視覺、音頻和傳感器融合等應用。

絕大多數 NPU IP 使用大型乘法累加 （MAC） 單元陣列加速人工神經網絡 （ANN）。這些密集的矩陣-向量運算非常耗能，因為每個神經元都參與了每一次計算，并且硬件必須在內存和 MAC 陣列之間移動大量數據。

相比之下，Akida 采用了基于尖峰神經網絡 （SNN） 的神經形態架構。秋田的神經元不會不斷計算加權和;相反，它們只有在內部“膜電位”超過閾值時才交換尖峰（短暫的數字脈沖）。這使得 Akida 成為事件驅動的;也就是說，只有當有新信息可供處理時才會進行計算。

與傳統 NPU 中的通用 MAC 陣列相比，Akida 利用突觸核在尖峰到達時執行加權事件累積。每個突觸都保持較小的局部權重，并在接收到尖峰時增加其對神經元膜電位的貢獻。這實現了與乘累積相同的效果，但以一種稀疏、異步和節能的方式，更類似于生物大腦。

Akida 自帶 AI 加速處理器 IP（圖源：BrainChip）

根據 BrainChip 的網站，Akida 獨立式 AI 神經處理器 IP 具有以下特點：

• 1 到 128 個節點的可擴展結構

• 每個神經節點支持 128 個 MAC

• 每個節點可配置 50K 至 130K 嵌入式本地 SRAM

• 用于所有內存和模型作的 DMA

• 無需主機 CPU 的多層執行

• 與任何微控制器或應用處理器集成

• 高效的算法網格

堅持！ 我剛剛告訴過你，“與傳統 NPU 中的通用 MAC 陣列相比，Akida 使用突觸核......”因此，看到 BrainChip 的人們在他們的網站上引用 MAC 有點尷尬。問題是，就 Akida 而言，術語“MAC”的使用有些松散——更像是一種工程簡寫，而不是像傳統 GPU 和 NPU 中那樣的字面同步乘法累加單位。

雖然每個 Akida 神經節點都包含可以執行乘累作的硬件，但這些作是事件驅動的并且很少激活。當輸入尖峰到達時，只有該節點中的相關突觸和神經元執行少量加權累積——后臺沒有連續的時鐘矩陣乘法。

因此，雖然 BrainChip 的文檔稱它們為“MAC”，但它們實際上是作為神經形態突觸處理器實現的，當尖峰觸發時，其行為類似于 MAC，否則保持空閑狀態。這就是 Akida 實現比傳統 NPU 低幾個數量級的功耗的原因，盡管原則上執行類似的數學運算。

另一種思考方式是，傳統的 MAC 陣列連續處理數字，每個神經元都參與每個周期。相比之下，Akida 節點的神經形態突觸處于休眠狀態，只有在尖峰到達時才會開始行動，在本地執行數學運算，然后再次安靜下來。如果我是詩意的，我可能會想在這個節骨眼上說一些精辟的話，比如“比起熔爐更像螢火蟲”，但我不是，所以我不會。

但是等等，還有更多，因為 Akida 處理器 IP 使用稀疏性來專注于最重要的數據，從本質上避免不必要的計算并在每一步都節省能源。同時，BrainChip 的神經網絡模型被稱為基于時間事件的神經網絡 （TENN），它建立在狀態空間模型架構之上，以跟蹤隨時間變化的事件，而不是以固定的時間間隔進行采樣，從而跳過沒有變化的時期以節省能量和內存。這些小 scamp 共同為實時 AI 提供了無與倫比的效率。

Akida 神經處理器 + TENNs 模型 = 很棒（來源：BrainChip）

這里的游戲名稱是“稀疏”。我們談論的是稀疏數據（流式輸入在硬件級別轉換為事件，在處理開始前將數據量減少多達 10 倍）、稀疏權重（修剪和壓縮不必要的權重，將模型大小和計算需求減少多達 10 倍）和稀疏激活（只有基本的激活函數將數據傳遞到下一層， 將下游計算減少多達 10 倍）。

由于傳統的 CNN 在每個時間步都會激活每個神經層，因此即使沒有任何變化，它們也可以消耗瓦特的功率來處理完整的數據流。相比之下，Akida 只處理有意義的信息這一事實使得實時流式 AI 能夠以毫瓦的功率連續運行，從而可以在可穿戴設備、傳感器和其他電池供電的設備中部署始終在線的智能。

當然，沒有什么是容易的（“如果這很容易，每個人都會這樣做”，正如他們所說）。對于希望使用神經形態計算的人來說，一個重大挑戰是尖峰網絡與傳統神經網絡不同。這就是 BrainChip 的人們提供 CNN 到 SNN 轉換器的原因。這意味著開發人員可以從傳統的 CNN（他們可能已經擁有）開始，然后將其轉換為 SNN 以在 Akida 上運行。

像往常一樣，這個洋蔥的層數比你最初想象的要多。例如，考慮一下 BrainChip 與 Prophesee 的合作。 這是兩種技術結合在一起的罕見情況之一，就好像它們一直在等待對方一樣。

Prophesee 的基于事件的相機不會以固定的時間間隔捕捉傳統幀;相反，每個像素每當檢測到光強度變化時都會生成一個尖峰。換句話說，輸出本質上已經是神經形態的——稀疏的異步事件（“尖峰”）的連續流，而不是密集的視頻幀。

這使其成為 BrainChip 的 Akida 處理器的完美伴侶，該處理器本身就是一個尖峰神經網絡。雖然傳統相機必須轉換為尖峰形式來饋送 SNN，并且 Prophesee 通常必須“去尖峰”其輸出才能饋送傳統的卷積網絡，但 Akida 和 Prophesee 可以直接連接——尖峰到尖峰，神經元到神經元——中間沒有格式體或耗電的幀緩沖。

這種基于峰值的原生協同作用在功耗和延遲方面得到了豐厚的回報。正如 BrainChip 的工程師所說，“我們以千比特每秒而不是兆比特每秒的速度工作。由于 Prophesee 傳感器僅在發生變化時傳輸信息，而 Akida 僅在峰值到達時進行計算，因此整個系統的功耗僅為毫瓦，而傳統視覺系統所需的功耗僅為數十毫瓦。

這種差異在智能手機中可能并不重要，但對于 AR/VR 眼鏡來說卻至關重要，因為 AR/VR 眼鏡的電池大小是手機的十分之一甚至二十分之一。通過消除在幀和尖峰之間轉換的需要，并避免幀存儲、緩沖和傳輸的能源成本，BrainChip 和 Prophesee 有效地構建了一個神經形態的端到端視覺管道，反映了生物眼睛和大腦的實際工作方式：始終在線，始終響應，但消耗功率而不是吞噬它。

再舉一個例子，我最近聽說 BrainChip 和 HaiLa Technologies 合作展示了當類腦計算與超高效無線連接相遇時會發生什么。他們制作了一個演示，將 BrainChip 的 Akida 神經形態處理器與 HaiLa 的 BSC2000 反向散射 RFIC 配對，這是一種兼容 Wi-Fi 的芯片，通過反射現有無線電信號而不是生成自己的無線電信號進行通信（我計劃在未來的專欄中專門討論這項技術）。其結果是一個獨立的邊緣 AI 平臺，可以執行連續傳感、異常檢測和狀態監測，同時消耗的功率僅為微瓦，足夠小，可以在單個紐扣電池上運行連接的傳感器的整個生命周期。

此次合作突出了一種新型智能、無電池邊緣設備，其中傳感、處理和通信都針對能效進行了優化。Akida 的事件驅動架構僅處理重要的尖峰，而 HaiLa 的無源反向散射鏈路消除了無線電的大部分能源成本。它們共同支持始終在線的本地智能物聯網節點，非常適合醫療、環境和基礎設施監控，在這些地方更換電池成本高昂、不切實際或完全不可能。簡而言之，BrainChip 和 HaiLa 正在為下一波超低功耗邊緣 AI 系統勾勒藍圖，這些系統在說話之前三思而后行，并且以驚人的效率做到這兩點。

遺憾的是，以上都不是我想和你談的（別再呻吟了——值得一讀）。我最初打算告訴你的是新推出的 Akida Cloud（想象一下一卷鼓和一團長號）。

現有的 Akida 1 受到市場的極好評，支持 4 位、2 位和 1 位權重和激活。下一代 Akida 2 預計將在不久的將來向開發人員提供，它將支持 8 位、4 位和 1 位權重和激活。此外，Akida 2 將支持基于時空和時空事件的神經網絡。

多年來，BrainChip 吸引開發人員的最大障礙不是它的神經形態芯片，而是物流。展示 Akida 架構意味著將笨重的基于 FPGA 的盒子實際運送給客戶，在現場為它們供電，并兼顧貸款期。隨著 Akida Cloud 的推出，這種瓶頸消失了。

工程師現在可以登錄，啟動在實際 Akida 1 上運行的現有 Akida 1 或即將在 FPGA 上運行的 Akida 2 的虛擬實例，并直接在瀏覽器中運行自己的神經工作負載。模型可以實時訓練、加載、執行和基準測試，無需運輸板條箱、保密協議或實驗室設置。

Akida Cloud 代表的不僅僅是一次便利升級;這是實現神經形態技術普及的一項戰略舉措。通過在線提供最新的架構，BrainChip 的小伙子們正在降低想要嘗試基于事件的人工智能但缺乏專業硬件的研究人員、初創公司和原始設備制造商的進入門檻。

用戶可以在承諾使用芯片之前并排比較 Akida 1 和 Akida 2 的行為、原型模型并收集性能數據。對于 BrainChip 來說，云平臺還充當了一個快速反饋循環——將每個互聯工程師轉變為早期測試人員，并加速 SNN 在整個邊緣 AI 生態系統中的采用。

這就是云中的大腦、電線上的尖峰以及在眨眼之前進行思考的人工智能。如果這就是神經形態未來的樣子，我會說“加油”（只要我可憐的老海馬體冷卻下來）。但這并不全是關于我的（應該是，但事實并非如此）。那么，你對這一切有什么看法呢？

關鍵詞： 神經形態計算 腦機芯片