ABAB Pedia

谷歌張量處理單元

谷歌張量處理單元(TPU)是谷歌GoogleGoogle是一家美國科技公司,由Larry Page與Sergey Brin創辦,1998年註冊成立,2015年成為Alphabet旗下企業。其業務涵蓋互聯網搜索、廣告、軟件平臺、雲計算及人工智能。點擊查看完整詞條設計的機器學習加速器系列。其硬件專門處理神經網絡中反覆出現的矩陣運算。早期芯片服務於谷歌數據中心的推理工作,此後產品擴展至訓練、集群互連、公共雲及面向不同負載的專用型號。

本頁目錄8 節
詞條資料

在數據中心部署推理芯片

諾曼·朱庇等人在2017年國際計算機體系結構研討會發表的論文中記載,谷歌從2015年起在數據中心部署第一代 TPU。其核心是一組可執行65,536次八位乘加的矩陣運算單元,適用於大量重複的神經網絡推理。論文使用谷歌數據中心實際運行的神經網絡評估性能,將供電、時延等條件與計算吞吐量一同納入比較。⁠[1]

第二代加入訓練和多芯片系統

谷歌在 I/O 大會上公佈第二代 Cloud TPU。第一代主要為訓練完成的模型進行推理,新一代還支持訓練,即根據樣本調整模型參數。谷歌同時展示 TPU Pod,通過專用網絡讓多個加速器作為一套計算系統工作,將在自家數據中心取得的經驗擴展至雲端客戶。⁠[2][1]

Cloud TPU 開放測試

Google Cloud 推出 Cloud TPU 測試版,開發者可從雲端取得加速資源,用於模型訓練和運行。託管服務把服務器和驅動維護交給雲端運營方,研究團隊因而可以使用谷歌設計的硬件,而無須自行採購同類設備。TPU 是處理器家族的名稱,Cloud TPU 指通過雲平臺提供的相應計算服務。⁠[3][4]

第七代 Ironwood

谷歌發佈第七代 TPU Ironwood,將大規模推理的時延、存儲帶寬和芯片間通信作為設計重點。在11月6日的供貨說明中,Google Cloud 表示將於隨後數週開始全面供應,並將大模型訓練、強化學習和高併發推理均列入其可運行的負載。⁠[5][6]

分設訓練與推理架構

谷歌在 Cloud Next 公佈第八代 TPU 的兩個設計。8t 面向大規模模型訓練,8i 則面向低延遲推理。這次在同一代產品中分設兩個架構,對應兩種不同的使用需求:一方要提高整個訓練集群的吞吐量,另一方要壓低運行中模型響應請求所需的時間。⁠[7]

新增 TPU 8i Max 和 8tx

Google Cloud 再公佈兩種第八代系統。8i Max 針對長上下文和較高機架算力密度;8tx 面向要求機密性保護的推理。加上4月公佈的兩種設計,公司在同一年列出了四個第八代 TPU 系統,分別對應不同的訓練、推理和部署需求。⁠[8][7]

關聯機構、網站與公開賬號

谷歌 TPU 產品與雲計算服務入口。 https://cloud.google.com/tpu(在新窗口打開)⁠[4]

來源8 個來源

  1. In-Datacenter Performance Analysis of a Tensor Processing Unit(在新窗口打開)research.google↑
  2. Build and train machine learning models on our new Google Cloud TPUs(在新窗口打開)blog.google↑
  3. Cloud TPU machine learning accelerators now available in beta(在新窗口打開)cloud.google.com↑
  4. Cloud Tensor Processing Units (TPUs)(在新窗口打開)cloud.google.com↑
  5. Ironwood: The first Google TPU for the age of inference(在新窗口打開)blog.google↑
  6. Announcing Ironwood TPUs General Availability and new Axion VMs to power the age of inference(在新窗口打開)cloud.google.com↑
  7. Our eighth generation TPUs: two chips for the agentic era(在新窗口打開)blog.google↑
  8. Introducing TPU 8tx and TPU 8i Max(在新窗口打開)cloud.google.com↑