就在幾年前，人們還認為機器學習（ML）甚至深度學習（DL）只能在高端硬件上執(zhí)行，在邊緣側需要通過網(wǎng)關、邊緣服務器或數(shù)據(jù)中心執(zhí)行訓練和推理，這在當時是一個主流觀念，因為在云和邊緣之間研究如何分配計算資源還處于早期階段。但由于工業(yè)界和學術界的深入研究和開發(fā)努力，這種情況已經(jīng)發(fā)生了巨大的變化。

如今，最新的微控制器（其中一些帶有嵌入式ML加速器）可以將ML帶到邊緣設備中，性能也很強大，已經(jīng)可以達到數(shù)TOPS了。

這些設備不僅可以執(zhí)行ML，而且還可以以低成本、低功耗、僅在絕對必要時才連接到云端的特性。簡言之，集成了ML加速器的微控制器代表了下一步，將計算應用到麥克風、攝像頭和監(jiān)控環(huán)境條件的傳感器上，這些傳感器產(chǎn)生的數(shù)據(jù)將在模塊中就實現(xiàn)數(shù)據(jù)處理，從而給物聯(lián)網(wǎng)帶來額外好處。

邊緣有多遠？

雖然邊緣被廣泛認為是物聯(lián)網(wǎng)網(wǎng)絡中最遠的點，但它通常被認為是高級網(wǎng)關或邊緣服務器。這并不是邊緣真正結束的地方，它將在用戶側附近的傳感器端結束。把盡可能多的分析能力放在用戶端是合乎邏輯的，微控制器最適合這項任務。

MobileNet V1模型的變寬乘法器示例顯示了對參數(shù)數(shù)量、計算和精度的巨大影響。僅將寬度乘數(shù)從1.0更改為0.75，只會最小程度地影響TOP-1精度，但會顯著影響參數(shù)和計算的數(shù)量（Image:NXP）

單板計算機也可以用于邊緣處理，因為單板計算機具有卓越的性能，并且在集群中可以與小型超級計算機相媲美。但它們仍然太大，成本太高，無法部署到大規(guī)模應用程序所需的成百上千個單元中。此外，它們還需要一個外部直流電源，在某些情況下可能超出可用的范圍，而MCU只消耗毫瓦級功率，可以由紐扣電池甚至幾塊太陽能電池供電。

因此，對于在邊緣執(zhí)行ML的微控制器已經(jīng)成為一個非常熱門的話題，這一點也不奇怪。它甚至還有一個名字——TinyML。TinyML的目標是允許在資源受限的小型低功耗設備（尤其是微控制器）上執(zhí)行推斷和最終訓練，而不是在更大的平臺或云中。這就需要減小神經(jīng)網(wǎng)絡模型的規(guī)模，以適應這些設備的相對適度的處理、存儲和帶寬資源，但是也不會顯著降低功能和準確性。

這些資源優(yōu)化方案允許設備攝取足夠的傳感器數(shù)據(jù)以滿足其應用，同時可以微調精度并減少資源需求。因此，雖然數(shù)據(jù)可能仍被發(fā)送到云（或者可能先發(fā)送到邊緣網(wǎng)關，然后再發(fā)送到云），但是由于已經(jīng)進行了大量的分析，因此數(shù)據(jù)量將少得多。

TinyML的一個常見例子是基于攝像頭的目標檢測系統(tǒng)，雖然能夠捕捉高分辨率圖像，但存儲空間有限，需要降低圖像分辨率。但是，如果相機包含設備上的分析，則只捕獲感興趣的對象而不是整個場景，并且由于相關圖像較少，因此可以保留其較高的分辨率。這種功能以往只能在更大、更強大的設備上執(zhí)行，但微TinyML技術允許它在微控制器上實現(xiàn)。

小而有力

盡管TinyML是一個相對較新的范例，但它已經(jīng)在以最小的精度損失進行推斷（即使是相對較小的微控制器）和訓練（在更強大的微控制器上）方面產(chǎn)生了令人驚訝的結果。最近的例子包括語音和面部識別、語音命令和自然語言處理，甚至并行運行幾種復雜的視覺算法。

實際上，這意味著一個成本不到2美元的微控制器，配備500MHz的Arm Cortex-M7內核，內存從28kb到128kb，可以提供使傳感器真正智能化所需的性能。

即使在這樣的價格和性能水平上，這些微控制器也有多種安全功能，包括AES-128，支持多種外部存儲器、以太網(wǎng)、USB和SPI，并且包括或支持各種類型的傳感器，以及藍牙、Wi-Fi、SPDIF和I2C音頻接口。再多花一點錢，這個設備通常會有一個1GHz的Arm Cortex-M7、400MHz的Cortex-M4、2MB的RAM和圖形加速。3.3伏直流電源的功耗通常不超過幾毫安。

機器學習用例（圖片：NXP）

關于TOPS的幾句絮叨

消費者喜歡使用單一的指標來定義性能，開發(fā)者也總是這樣做，營銷部門也很喜歡。這是因為規(guī)范使設備之間的區(qū)別變得簡單，或者看起來似乎如此。一個典型的例子是CPU，多年來它是由時鐘頻率來定義性能的。幸運的是，如今無論是開發(fā)者還是消費者，情況已不再如此。僅僅用一個指標來評價一個CPU就相當于用發(fā)動機的紅線來評價汽車的性能。這并非毫無意義，但與發(fā)動機的功率或汽車的性能沒有多大關系，因為許多其他因素共同決定了這些特性。

不幸的是，對于神經(jīng)網(wǎng)絡加速器，包括那些在高性能微處理器或微控制器中的加速器來說，情況也越來越嚴重，因為這是一個很容易記住的數(shù)字，因為它是每秒數(shù)十億或萬億次的運算。但在實踐中，GOPS和TOPS本身是相對無意義的度量，它們代表的只是在實驗室中進行的度量（無疑是最好的度量），而不是表示實際的操作環(huán)境。例如，TOPS不考慮內存帶寬的限制、所需的CPU開銷、前后處理以及其他因素。當考慮到所有這些和其他因素時，例如實際操作中，特定板卡使用時的性能，系統(tǒng)級性能可能是數(shù)據(jù)表中最高值的50%或60%。

所有這些數(shù)字告訴你的是硬件中計算元素的數(shù)量乘以它們的時鐘速度，而不是當它需要工作時它有多少可用的資源。如果數(shù)據(jù)總是立即可用，功耗不是問題，內存限制不存在，并且算法無縫地映射到硬件上，它們將更有意義。但現(xiàn)實世界沒有這樣理想的環(huán)境。

尤其是到了微控制器的ML加速器時，該指標的價值甚至更低。這些微型設備的值通常為1到3個TOPS，但仍然可以提供許多ML應用程序所需的推理功能。這些設備還依賴于專門為低功耗ML應用設計的Arm Cortex處理器。隨著對整型和浮點運算的支持以及微控制器中的許多其他特性的支持，TOPS或任何其他單一的度量標準都無法單獨或在系統(tǒng)中充分定義性能。

結論

隨著物聯(lián)網(wǎng)領域向盡可能多地在邊緣執(zhí)行處理越來越近，直接在傳感器上或與傳感器相連的微控制器上執(zhí)行推斷的愿望正在出現(xiàn)。也就是說，微控制器中應用處理器和神經(jīng)網(wǎng)絡加速器的發(fā)展速度很快，而且越來越熟練的解決方案不斷出現(xiàn)。趨勢是在不顯著增加功耗或體積的情況下，將更多以人工智能為中心的功能（如神經(jīng)網(wǎng)絡處理）與微控制器中的應用處理器結合起來。

如今，模型可以在更強大的CPU或GPU上訓練，然后使用TensorFlow-Lite等推理引擎在微控制器上實現(xiàn)，以減小模型的大小，滿足微控制器的資源需求。縮放可以很容易地執(zhí)行，以適應更大的ML要求。很快，在這些設備上不僅可以進行推斷，還可以進行訓練，這將有效地使微控制器成為更大、更昂貴的計算解決方案的競爭對手。

本文作者：NXP人工智能和機器學習技術主管Markus Levy