講師簡介 大綱 EDGE AI - 所謂的 Neural Process Unit 如何定義 Edge AI Computing 神經網路在硬體設計上的挑戰 應用概觀 EDGE AI 現在進行式 數據到模型 如何從把數據轉換成可執行的模型 模型到模型 這塊的研究方向在於如何精簡模型的大小，通過直接壓縮或是更精巧的模型設計 感知認知由AI執行 肢體語言取代傳統的控制器  人工智慧新趨勢 組織結構的改變 創新商務模式帶動創新服務，創新服務帶動物聯網設備需求 邊霧設備+Cloud +AI 及應用方案(硬體業者升級) IoT軟硬系統整合與國外市場擴展(培育旗艦SI) IoT創新中小企業(創新應用與地方產業發展) 如何定義 Edge AI Computing AI Chip 四象限 MAC Efficiency 處理性能 比較常見的指標是GOPS（Giga Operations Per Second）or TOPS，是指每秒需要完成的操作（包括乘法，加法，訪存等）的數量。由於神經網路最主要的運算是MAC（multiply–accumulate），也有時候也拿單位時間的MAC數需求作為性能指標的。處理的性能還可以分為峰值的需求和平均的情況。 能耗 功耗是一個應用的關鍵約束條件，一般可以用峰值能耗（W），峰值電流（A）；平均能耗，平均電流來表示。這個指標首先來自應用場景的供電能力和成本要求。 效率 效率指標主要是指能耗效率（消耗單位能量能夠進行多少運算）和面積效率（單位的晶片面積支援的運算能力）。在神經網路實現中，常見的能耗效率指標是GOPS/W（每瓦的能量可以支援的GOPS），或者TOPS/W。而面積效率好像沒有很統一的指標。 Limited Most of DLA design is done by specified application 當選用 modeling over HW limited，會以 memory buffering，會有 memory 需求變大跟 access 次數頻繁導致時間變久 Memory management 很重要 EDGE AI 設計要解決何種問題 晶片設計如何讓 AI 模型運行更快更低成本 Big Input Data Deep Network Massive Parallel Processing Reconfigurable Network Memory Bottleneck Intensive Computation Network Pruning Data Sparsity 設計考量(一)：加速 設計考量：減少記憶體的存取 設計考量：通用指令集 設計考量：稀疏化模型處理 設計考量：Knowledge distillation 編譯器與工具鍊 中間表示形式 (IR) 是編譯器或虛擬機器內部用於表示原始碼資料結構或代碼。IR旨在有助於進一步處理，例如優化和轉換。 ”良好” IR 必須準確，能夠表示原始碼而不遺失資訊 – 並且獨立於任何特定的來源或目標語言。 IR 可以採取以下幾種形式之一：記憶體中數據結構，或程式可讀的特殊元組或基於堆疊的代碼。在後一種情況下，它也被稱為中間語言 圖形優化框架可以支援許多強大的優化。但是。我們發現，僅基於計算圖的 IR 不足以解決支援不同硬體後端的挑戰 ONNX 是 Facebook 聯合微軟和 AWS 推出的開源的深度學習表示格式 DGA AI 晶片 (一)：公司類型 EDGA AI 晶片 (二): 應用類型 常見的 Edge-Device Edge + AI 讓 Edge 運算更接地氣 功能豐富的 Edge AI 設備是關鍵 Nvidia - 包括Google TPU在內的各種AI專用晶片都有其侷限性 「NVIDIA致力於一般用途的通用GPU，可以用在任何的神經網絡上，而非僅有CNN網絡上。」 Kneron EDGE AI 應用市集 EDGE AI service 總結