ABAB Pedia

谷歌张量处理单元

谷歌张量处理单元(TPU)是谷歌GoogleGoogle是一家美国科技公司,由Larry Page与Sergey Brin创办,1998年注册成立,2015年成为Alphabet旗下企业。其业务涵盖互联网搜索、广告、软件平台、云计算及人工智能。点击查看完整词条设计的机器学习加速器系列。其硬件专门处理神经网络中反复出现的矩阵运算。早期芯片服务于谷歌数据中心的推理工作,此后产品扩展至训练、集群互连、公共云及面向不同负载的专用型号。

本页目录8 节
词条资料

在数据中心部署推理芯片

诺曼·朱庇等人在2017年国际计算机体系结构研讨会发表的论文中记载,谷歌从2015年起在数据中心部署第一代 TPU。其核心是一组可执行65,536次八位乘加的矩阵运算单元,适用于大量重复的神经网络推理。论文使用谷歌数据中心实际运行的神经网络评估性能,将供电、时延等条件与计算吞吐量一同纳入比较。⁠[1]

第二代加入训练和多芯片系统

谷歌在 I/O 大会上公布第二代 Cloud TPU。第一代主要为训练完成的模型进行推理,新一代还支持训练,即根据样本调整模型参数。谷歌同时展示 TPU Pod,通过专用网络让多个加速器作为一套计算系统工作,将在自家数据中心取得的经验扩展至云端客户。⁠[2][1]

Cloud TPU 开放测试

Google Cloud 推出 Cloud TPU 测试版,开发者可从云端取得加速资源,用于模型训练和运行。托管服务把服务器和驱动维护交给云端运营方,研究团队因而可以使用谷歌设计的硬件,而无须自行采购同类设备。TPU 是处理器家族的名称,Cloud TPU 指通过云平台提供的相应计算服务。⁠[3][4]

第七代 Ironwood

谷歌发布第七代 TPU Ironwood,将大规模推理的时延、存储带宽和芯片间通信作为设计重点。在11月6日的供货说明中,Google Cloud 表示将于随后数周开始全面供应,并将大模型训练、强化学习和高并发推理均列入其可运行的负载。⁠[5][6]

分设训练与推理架构

谷歌在 Cloud Next 公布第八代 TPU 的两个设计。8t 面向大规模模型训练,8i 则面向低延迟推理。这次在同一代产品中分设两个架构,对应两种不同的使用需求:一方要提高整个训练集群的吞吐量,另一方要压低运行中模型响应请求所需的时间。⁠[7]

新增 TPU 8i Max 和 8tx

Google Cloud 再公布两种第八代系统。8i Max 针对长上下文和较高机架算力密度;8tx 面向要求机密性保护的推理。加上4月公布的两种设计,公司在同一年列出了四个第八代 TPU 系统,分别对应不同的训练、推理和部署需求。⁠[8][7]

关联机构、网站与公开账号

谷歌 TPU 产品与云计算服务入口。 https://cloud.google.com/tpu(在新窗口打开)⁠[4]

来源8 个来源

  1. In-Datacenter Performance Analysis of a Tensor Processing Unit(在新窗口打开)research.google↑
  2. Build and train machine learning models on our new Google Cloud TPUs(在新窗口打开)blog.google↑
  3. Cloud TPU machine learning accelerators now available in beta(在新窗口打开)cloud.google.com↑
  4. Cloud Tensor Processing Units (TPUs)(在新窗口打开)cloud.google.com↑
  5. Ironwood: The first Google TPU for the age of inference(在新窗口打开)blog.google↑
  6. Announcing Ironwood TPUs General Availability and new Axion VMs to power the age of inference(在新窗口打开)cloud.google.com↑
  7. Our eighth generation TPUs: two chips for the agentic era(在新窗口打开)blog.google↑
  8. Introducing TPU 8tx and TPU 8i Max(在新窗口打开)cloud.google.com↑