人工智能系統(tǒng)的加速正在從根本上重塑著每年創(chuàng)造了3350億美元的半導體行業(yè)。計算機開始認識一切，從花草到人臉，從文本到聲音，以及學會開車。統(tǒng)治了計算機行業(yè)近半個世紀的摩爾定律正在受到挑戰(zhàn)，計算性能的提升不再依賴于晶體管數量的增長，還有專用負載芯片產業(yè)的蓬勃。英特爾面臨著英偉達、微軟、蘋果、谷歌等巨頭以及CEVA、Eyeriss、寒武紀、華為等 AI 芯片新玩家不同方向的圍攻。
人工智能技術尤其是深度學習的興起，讓各大公司都注意到必須要填補的計算力鴻溝。越來越多的研究人員開始重新思考計算的本質，從人類大腦處理信息的方式獲得靈感，打造新的硬件體系結構。
經過多年的發(fā)展停滯，計算機再一次開始演化，而其結果必將更加深遠——加速人工智能，讓機器也能像人類一樣感知周圍的世界，能聽會說，能看會寫，甚至更多。這是很多科學家多年的夢想，如今正以現實的模樣向我們走來。
就在上周，《紐約時報》發(fā)表長文，以《計算機正從人類大腦獲取設計線索》為題，展現了當前AI芯片業(yè)界，重點寫了谷歌、微軟等并非傳統(tǒng)芯片公司在專用芯片上的動向。這種朝向專用芯片和新計算架構的發(fā)展趨勢可能帶來人工智能的“寒武紀大爆炸”。
斯坦福大學前任校長、計算機體系結構宗師John Hennessy以谷歌母公司Alpahbet現任董事會成員的身份接受了NYT記者的采訪。Hennessy表示：“現有方法已經不夠用了，大家在嘗試重新設計系統(tǒng)架構。”
更新更復雜的系統(tǒng)，更小更專用的芯片，更低的能耗，更快的速度……將計算量擴展到大量微小的低功耗芯片上，像人腦一樣運行，新的技術正在不斷推進計算機半導體的邊疆，正向Hennessy說的那樣：“這將是一個巨大的變化”。
谷歌：意外黑馬，率TPU殺入戰(zhàn)場
谷歌浩瀚的數據中心無疑是業(yè)界的風向標，這里發(fā)生的變化也預示著業(yè)內其他行業(yè)的發(fā)展趨勢。在谷歌眾多的服務器中，仍然有一個中央處理器，但同時，也有大量的定制芯片一起參與工作，驅動語音識別、圖像分類等人工智能應用。
2011年的時候，谷歌做了一筆計算，如果每位用戶每天使用3分鐘他們提供的基于深度學習語音識別模型的語音搜索服務，他們就必須把現有的數據中心擴大兩倍。
“我們需要另外一個谷歌。”Jeff Dean告訴谷歌基礎設施副總裁Urs H?lzle。
他們需要更強大、更高效的處理芯片。GPU是理想的深度學習芯片，谷歌也使用英偉達的GPU，但這還不夠，他們想要更快的速度，更高效的芯片。單個GPU耗能不會很大，但如果谷歌數百萬臺服務器日夜不停運行，那么耗能會變成一個嚴重問題。
Jeff Dean是最早意識到谷歌需要自己的專用人工智能芯片的人之一。右邊是谷歌自己研發(fā)的專用芯片TPU。
谷歌在去年I/O大會上推出了自己的AI芯片——張量處理器TPU（第一代）。谷歌表示，盡管在一些應用上利用率很低，初代TPU平均比那時候的GPU或CPU快15~30倍，性能功耗比（TOPS/Watt）高出約30~80倍。
今年5月I/O大會上，谷歌發(fā)布了第二代TPU，峰值性能達到180TFLOPS/s。第一代TPU只加速推理，但第二代TPU新增了訓練的功能。不僅如此，谷歌的用戶還能通過專門的網絡，在云端利用TPU構建機器學習的超級計算機。
在第二代TPU里，每個TPU都包含了一個定制的高速網絡，構成了一個谷歌稱之為“TPU艙室”（TPU POD）的機器學習超級計算機。一個TPU艙室包含64個第二代TPU，最高可提供多達11.5千萬億次浮點運算，內存400萬兆字節(jié)，4倍快于當時市面上最好的32臺GPU。
Cloud TPU 帶來的最大好處，則是谷歌的開源機器學習框架 TensorFlow。TensorFlow 現在已經是 Github 最受歡迎的深度學習開源項目，Cloud TPU 出現以后，開發(fā)人員和研究者使用高級 API 編程這些 TPU，這樣就可以更輕松地在CPU、GPU 或 Cloud TPU 上訓練機器學習模型，而且只需很少的代碼更改。
英偉達：GPU的計算時代
自上市以來的17年中，英偉達的股價一直在35美元間徘徊，其推出的Tegra系列處理器在智能手機領域也不溫不火。但從2015年開始，英偉達股價飆漲，一掃移動處理器市場的陰霾，歷史性的突破100美元（對應市值600億美元左右），這得益于其在汽車和深度學習領域的深刻布局。
在自動駕駛領域，英偉達在Tegra處理器的基礎上相繼推出了DRIVE PX和DRIVE PX2自動駕駛汽車計算平臺，并開始與特斯拉、奧迪、博世等車企合作開發(fā)無人駕駛技術，在2017年CES上推出了搭載DRVIE PX2的英偉達BB8無人駕駛原型車。
圖像處理是GPU誕生的舞臺，英偉達的 GPU 是支持深度學習算法加速的處理器中當仁不讓的佼佼者。英偉達在2008年推出了基于ARM和Geforce的移動處理器Tegra，隨后由于這一處理器系列在圖像處理方面的巨大優(yōu)勢，迅速占領了對圖像處理要求較高的游戲機和平板市場，并在隨后幾年中不斷更新升級。
卡耐基梅隆大學的lan Lane教授曾表示："借助 GPU，預先錄制的語音或多媒體內容的轉錄速度能夠大幅提升。與CPU軟件相比，我們執(zhí)行識別任務的速度超級高可提升33倍。"在機器學習領域，使用GPU提供的強大并行運算能力去處理海量的學習數據，再用CPU完成其他的邏輯。Tegra系列處理器的優(yōu)質特性讓英偉達成為眾多機器學習系統(tǒng)的首選。
微軟：教會計算機視聽
2010年，微軟剛剛開始使用機器學習算法來改進Bing，通過分析人們使用該服務的方式來改善搜索結果。雖然這些算法要比后來重新設計神經網絡要求更低，但是仍在芯片環(huán)節(jié)遇到了困難：構建像在Intel CPU上運行Windows一樣的軟件，軟件無法重新編程芯片，因為它只有連線才能執(zhí)行某些任務。
圣誕節(jié)期間，微軟研究院工程師道格·伯格（Doug Burger）與微軟的其他芯片研究人員合作，希望從硬件層面嘗試加速搜索引擎Bing。Burger和他的團隊探索了幾個選擇，但最終采用了現場可編程門陣列FPGA：一種可以重新編程新工作的芯片，他們將這個項目稱之為Project Catapult。
使用FPGA，微軟可以改變芯片的工作方式。它可以對芯片進行編程，以便執(zhí)行特定的機器學習算法。然后，它可以重新編程芯片真正的運行邏輯，在其計算機網絡上發(fā)送數百萬和數百萬個數據包。它們基于同一個芯片，但行為方式可以不同。
2015年，微軟開始大量安裝FPGA芯片?，F在，加載到Microsoft數據中心的每個新服務器都包含其中一個可編程芯片。他們幫助用戶在搜索Bing時選擇結果，幫助Azure，以及云計算服務，跨越其底層機器網絡的信息。
在2016年秋天，微軟研究人員構建出一個神經網絡，幫助機器能夠比一般人類更準確地識別口頭詞，由微軟的首位華人“全球技術院士”、首席語音科學家黃學東黃學東領導這個團隊。在近期的產業(yè)標準Switchboard語音識別基準測試中，微軟實現詞錯率（WER）低至6.3%的這一技術突破，這比IBM達到的6.6%WER下降了0.3%，達到目前語音識別領域錯誤率最低的水平。
在加利福尼亞帕洛阿爾托上空，他與老朋友黃仁勛一起吃飯慶祝。因為這背后的功臣來自于Nvidia提供的大量專業(yè)芯片培訓語音識別服務，而不是普通的英特爾芯片。如果沒有做出這樣的改變，他們的突破是不可能的。
黃學東曾說道：“如果我們沒有芯片的武器，這一進展至少要延遲五年。”
微軟的黃學東（左）和Doug Burger是在公司內容開發(fā)專用芯片的領軍力量。
在計算能力方面，Ignite 2016 大會上，Burger與微軟CEO Satya Nadella 演示了FPGA加速機器翻譯示例。他們的總計算能力達到103萬Tops，相當于10萬塊頂級GPU計算卡；功耗大約30W，僅增加了整個服務器功耗的十分之一。
今年8月，微軟將FPGA與云計算服務結合，推出 Project Brainwave低延遲深度學習云平臺。該平臺以英特爾（Intel）提供的Stratix 10現場可編程門陣列（FPGA）為基礎，除了內建深度神經網絡（DNN）加速引擎外，在軟件堆棧方面，還可支持Google的Tensorflow、微軟自家的Cognitive Toolkit等深度學習框架。
根據微軟官方測評顯示，當使用英特爾的 Stratix 10 FPGA，Brainwave不需要任何batching就能在大型 GRU （gated recurrent unit）達到 39.5 Teraflops的性能。該系統(tǒng)為實時AI而設計，以極低的延遲在接收數據后立刻處理請求。
該系統(tǒng)為實時 AI 而設計，它能以極低的延遲在接收數據后立刻處理請求。由于云基礎設施需要處理實時數據流，不管是搜索請求、視頻、傳感器數據流還是用戶交互，實時 AI 正在變得越來越重要。
繁盛的AI芯片市場，百家爭鳴
通用芯片并不能很好地適應深度學習算法的要求，效率低，功耗大，成本高。各種神經網絡算法需要專用芯片來保證其運行效率。人工智能的浪潮，催生了 AI 專用芯片的大爆發(fā)。
無論是云端的運算還是移動端的運算，都需要專門針對 AI 算法設計的芯片，但這二者對 AI 專用芯片的要求不同。云端要求 AI 芯片適應多種神經網絡架構，同時能進行高精度浮點運算，峰值性能至少要達到Tflops（每秒執(zhí)行10^12次浮點數運算）級別，對功耗沒有嚴苛要求；支持陣列式結構以進一步提高性能。
移動端 AI 芯片對設計的要求截然不同。一個根本的要求是控制功耗，這就需要使用一些辦法（如網絡壓縮）來提升計算能效，同時盡可能少地降低計算性能和計算精度的損失。
各個廠商紛紛在這兩個方向上發(fā)力 AI 芯片的研發(fā)，當然云端和移動端也無法截然分開。比如寒武紀，此前研發(fā)的寒武紀深度學習處理器是面向大規(guī)模神經網絡和多種機器學習算法的，而 2016 年推出的寒武紀1A處理器（Cambricon-1A）則是面向智能手機、安防監(jiān)控、可穿戴設備、無人機和智能駕駛等各類終端設備的。
在云端，除了上文的英偉達，英特爾在收購 Altera 之后推出了基于FPGA的專用深度學習加速卡，更收購了 Nervana，瞄準為深度學習專門定做和優(yōu)化的 ASIC 芯片；收購了 Movidius，其高性能視覺處理芯片將補足英特爾在移動端 AI 芯片的缺失。另外還有 IBM 的類腦芯片 TrueNorth。當然還有本文開頭講到的谷歌 TPU。日前，百度又正式推出了 XPU，它是基于百度 FPGA 的新一代 AI 處理架構，擁有GPU的通用性和FPGA的高效率和低能耗，對百度的深度學習平臺PaddlePaddle做了高度的優(yōu)化和加速。
在移動端，谷歌、蘋果和三星等都在用專門的 AI 芯片構建手機。微軟正在為增強現實耳機專門設計這樣的芯片。同時從科技巨頭谷歌到傳統(tǒng)車廠豐田，所有人都在進行自動駕駛汽車的研發(fā)，正需要能夠在移動端良好運行的 AI 芯片。
比如擅長底層架構改進的蘋果，其最新發(fā)布的 Apple X 采用了定制的芯片來處理人工智能工作負載。這是一個雙核的“A11 生物神經網絡引擎”（A11 bionic neural engine）芯片，每秒運算次數最高可達6000億次。該芯片賦能的最重要的事情就是使 Face ID 身份認證功能能夠快速識別人臉，從而解鎖 iPhone X 或進行購物。
芯片走向定制化，以滿足AI軟件的需求，在行業(yè)中已經變成一股新的大趨勢。谷歌已經設計了兩代芯片來處理數據中心的AI計算工作負載。 微軟也為未來版本的 HoloLens 混合現實頭盔開發(fā)了一款AI芯片。在iPhone上安裝新的專用芯片意味著主芯片的工作量將會減少，從而提高電池壽命。 否則，例如，通過手機攝像頭進行物體識別同時進行視頻錄制時，可能會迅速地將電池消耗完。此外，在不久的將來， iPhone以外的更多移動設備都可能包含針對AI的處理器。
又如華為。在德國IFA 2017舉辦期間，華為正式發(fā)布全球首款人工智能移動計算平臺麒麟970。華為方面表示，這一帶有強大AI計算力的手機端移動計算平臺，是業(yè)界首顆帶有獨立NPU（Neural Network Processing Unit）專用硬件處理單元的手機芯片。 創(chuàng)新性集成NPU專用硬件處理單元，創(chuàng)新設計了HiAI移動計算架構，其AI性能密度大幅優(yōu)于CPU和GPU。相較于四個Cortex-A73核心，處理相同AI任務，新的異構計算架構擁有約 50 倍能效和 25 倍性能優(yōu)勢，圖像識別速度可達到約2000張/分鐘。麒麟970高性能8核CPU，對比上一代能效提高20%。率先商用 Mali G72 12-Core GPU，與上一代相比，圖形處理性能提升20%，能效提升50%，可以更長時間支持3D大型游戲的流暢運行。
此外，中國也有幾家公司在進行 AI 芯片的研發(fā)。此前騰訊發(fā)布的 AI 產業(yè)報告指出，AI 芯片作為產業(yè)核心，也是技術要求和附加值最高的環(huán)節(jié)，產業(yè)價值和戰(zhàn)略地位遠遠大于應用層創(chuàng)新。而在這一點上，中國和美國的差距還很大。報告顯示，從基礎層的芯片企業(yè)數量來看，中國擁有14家，美國33家，中國僅為美國的42%。
國內在 AI 芯片研發(fā)表現突出的企業(yè)，除上文介紹的寒武紀外，還有推出具備深度學習人工智能的嵌入式視頻采集壓縮編碼系統(tǒng)級芯片“星光智能一號”的中星微電子，致力于軟硬件一體化解決方案的地平線機器人，以及打造了“深度學習處理單元”（Deep Processing Unit，DPU）的深鑒科技。深鑒科技的目標是以 ASIC 級別的功耗，達到優(yōu)于 GPU 的性能，目前第一批產品基于FPGA平臺。
美國國防部研究部門 Darpa 的項目經理吉爾·普拉特（Gill Pratt）表示，這種向專業(yè)芯片和新的計算機架構轉型的趨勢可能導致人工智能芯片的“寒武紀爆炸”。正如他所看到的那樣，將計算量擴展到大量微小的低功耗芯片，以使機器可以像人類的大腦一樣運行，這樣就有效地利用了能量。
每臺設備都將擁有自己的大腦
所有這些向專用芯片的遷移都可能削弱芯片設計與制造巨頭英特爾的力量，并從根本上改變每年規(guī)模3350億美元的半導體產業(yè)市場。
今年7月，英特爾AIPG首席技術官Amir Khosrowshahi接受新智元專訪，表示接下來英特爾將有一系列針對AI的芯片產品推出。Amir表示，以谷歌TPU為代表的AI專用芯片“優(yōu)勢只是暫時的”，英特爾正在開發(fā)比TPU第二代更好的芯片。同時，Amir強調，芯片或者說處理器只是構建成功機器學習解決方案很小的一方面，從生產到制造到銷售一整套流程，要配合才能成功。
不論如何，當前芯片界正在掀起一股革命，雖然目前這種轉變主要還發(fā)生在支撐互聯網的龐大的數據中心，但其影響在更廣泛的行業(yè)內滲透只是時間上的問題。
未來，新的移動芯片可以幫助設備自己在本地處理更多和更復雜的任務，從語音識別語，到人臉識別再到家庭機器人、無人駕駛汽車識別環(huán)境，響應命令。
每臺設備或許都將擁有自己的大腦。
