HoloLens Hpu芯片有什么不同

眾所周知，微軟的HoloLens設備加入了HPU芯片，這個芯片跟普通的GPU到底有什么不同。

HoloLens與HPU

如今，實現戰斗力探測的AI + AR技術已經不再為賽亞人所獨有，地球人也擁有了這項技術!

例如，微軟的HoloLens在已公布的AI + AR設備中可謂佼佼者，憑借微軟的金字招牌以及酷炫的演示動畫吸引了無數科技愛好者的眼球。

目前，用于AI/AR的處理器架構該如何設計仍然處于探索階段，Intel想借機推自己基于CPU的方案，Nvidia想利用GPU彎道超車，而Qualcomm也拼接Snapdragon平臺在一邊虎視眈眈。

在今年的商用芯片峰會HotChips上，微軟公布了應用在HoloLens中的處理器芯片(HoloLens Processing Unit, HPU)。

HPU的架構和CPU以及GPU都不相同，可謂是開創了AI / AR領域芯片的新范式。

我們采訪了UCLA從事人工智能芯片和硬件研究的Li Du,Yuan Du以及Yilei Li博士，接下來將詳細分析HPU芯片架構并展望未來AI/AR芯片設計中的范式轉換。

HoloLens 可以實現眾多 AI/AR 應用

微軟公布的HoloLens系統架構如下圖所示。就在絕大多數移動設備的處理器都基于ARM結構的今天。

HoloLens的主處理器使用的仍然是Intel的Cherry Trail SoC(包括CPU與集成的 GPU)，讓人感嘆維持了二十余年的Wintel聯盟堅不可破。

微軟最新公布的 HPU 也可以在圖上看到，HPU嚴格來說是一款協處理器，其作用是協助主處理器加速運算一些專門的運算(如用于CV的矩陣運算，用于CNN的卷積運算等)。

在 UCLA 有多年異構運算與互聯研究經驗的Yuan Du博士表示，「由于CPU必須要考慮通用性而無法對一些AR/VR運算進行優化。

因此在應用場景中會大量遇到的專門運算如果都交給CPU做會使系統的整體性能變得很差，于是我們需要設計一款專用的加速器來協助加速這些運算，微軟在這里的加速器就是HPU。

HPU通過PCIe高速接口與主處理器所在的SoC通信，不過PCIe的功耗其實是比較大的，未來可望會用上更先進的互聯技術。」

微軟公布的HPU處理能力達到每秒1T(10^12)次像素運算，功耗則小于4W。

HPU能夠融合來自5個攝像頭、一個深度傳感器以及運動傳感器的輸入信息，將信息壓縮并傳送到主處理器。

此外HPU還能實現AI手勢識別。據說微軟曾評估了來自于各大廠商的商用芯片，卻沒有找到任何一款產品能滿足系統算法對性能的要求。

這款微軟自己開發的HPU是采用臺積電28nm工藝，內含24顆可重配置的Tensilica字信號處理器(DSP)核心以及高達8MB的Cache除此以外，還有專用加速器用于給各類專門任務加速。

HoloLens 系統架構，HPU 與顯示設備緊密耦合并且和主處理器 Intel Cherry Trail SoC 由高速 PCIe 接口互聯