提高AI模型數據吞吐量 芯動力發明神經網絡權值存儲方案

【嘉勤點評】芯動力發明的神經網絡權值存儲及讀取方案，在系統初始化時就將神經網絡首層的權值固化在靜態隨機存取存儲器的靜態內存中，有利于解決循環緩存上溢和下溢的問題，從而使芯片達到較優的吞吐量，也可以降低芯片的功耗和成本。

隨著AI芯片的計算能力越來越強，以及神經網絡模型越來越深，AI處理器在進行訓練或推理時，需要讀取大量的權值數據用于計算，而大量的數據吞吐，無疑會降低AI芯片的運算能力。

為了降低芯片的功耗和成本，相關人員在神經網絡權值存儲方面做了深度研究，目前主流的存儲方案有高速DDR(雙倍速率同步動態隨機存儲器)結合Cache緩存或者采用超大容量的SRAM(靜態隨機存取存儲器)，進一步還有采用乒乓緩存的方案。

然而，上述方案仍然存在種種弊端，比如傳輸帶寬大、存儲占用空間大或者難以使芯片的吞吐量達到較優狀態，導致芯片的功耗和成本居高不下。

為此，芯動力在2021年5月7日申請了一項名為“神經網絡權值存儲方法、讀取方法及相關設備”的發明專利（申請號：202110498031.4），申請人為珠海市芯動力科技有限公司。

根據該專利目前公開的相關資料，讓我們一起來看看這項技術方案吧。

首先，讓我們來看看目前現有技術中的神經網絡權值存儲和讀取方案是怎么樣的，如上圖所示，在神經網絡權值存儲方面，現有技術提出了高速DDR存儲結合L2Cache(二級緩存)的方案。神經網絡各層的權值存儲在DDR中，處理器在計算時，通過高速DDR接口把待處理的權值加載到Cache中，但是，在處理器計算能力越強的情況下，該方案所需的DDR傳輸帶寬也就越大，不利于降低芯片的功耗和成本。

為此，上圖為該專利中發明的神經網絡權值存儲和讀取架構的示意圖，該架構包括：處理器、小容量的SRAM、DDR和DMA控制器。其中，SRAM被劃分靜態內存和循環緩存兩塊存儲區，靜態內存用于固化神經網絡中的出現下溢的層，循環緩存用于預取和存儲神經網絡中未出現下溢的層。

DMA控制器用于從DDR中讀取神經網絡權值并向循環緩存中寫入讀取的權值，處理器用于從靜態內存或循環緩存中讀取權值以進行計算，比如GEMM(通用矩陣乘)運算等。

在該結構中，會把出現緩存下溢的神經網絡層的取值固化到靜態內存中，有利于解決循環緩存下溢的問題，當神經網絡各層中不存在出現下溢的層時，將獲取到的對應權值累積長度的最大值設定為循環緩存的最大存儲空間，從而有利于解決循環緩存上溢的問題。并能夠以較小的SRAM空間和較低的DDR傳輸帶寬達到芯片較優的吞吐量，以降低芯片的功耗和成本。

最后，上圖為這種神經網絡權值存儲方法的流程示意圖，DMA控制器在系統初始化時將神經網絡首層的權值固化在靜態隨機存取存儲器的靜態內存中，并獲取靜態隨機存取存儲器的循環緩存中神經網絡各層的權值累積長度，將根據權值累計長度將各層中的目標層的權值固化在靜態內存中。

DMA控制器執行下一次獲取權值累積長度的操作，重復執行多次獲取權值累積長度的操作，直至各層中不存在目標層。此時，DMA控制器會根據各層中不存在目標層時對應的權值累積長度設定循環緩存的大小。

以上就是芯動力發明的神經網絡權值存儲及讀取方法，該方案在系統初始化時就將神經網絡首層的權值固化在靜態隨機存取存儲器的靜態內存中，有利于解決循環緩存上溢和下溢的問題，從而使芯片達到較優的吞吐量，也可以降低芯片的功耗和成本。

（holly）

,齊翔騰達股票,廣州豐胸伊麗莎白典范,泰達足球 http://www.cityruyi.com/lm-2/lm-3/1469.html