专栏计算与加速
谷歌为新款TPU配上AMD主机处理器,机密推理系统拟明年供应

谷歌11月9日宣布,面向机密推理的TPU 8tx将搭配第五代AMD EPYC主机处理器,把运行中的数据保护扩展到AI加速系统。新系统计划2027年供应,AMD由此进入谷歌自研加速器的主机与安全环节,服务政府及受监管企业的敏感AI任务。
11月9日,谷歌扩充第八代张量处理单元(TPU)产品线,公布面向敏感企业任务的TPU 8tx,并由AMD确认采用第五代EPYC服务器处理器。谷歌这次沿用了4月发布的TPU 8t硅片,将主机、安全能力和互连重新组合,纳入AI Hypercomputer基础设施,供客户运行推理、微调和强化学习。目标用户包括需要处理机密信息的政府机构和受监管行业。据KB刊载的联合Infomax报道,新系统计划明年供应,当前处于产品发布阶段。
AMD负责主机安全
AMD在这套系统中的位置十分具体。在TPU 8tx系统中,EPYC承担工作负载编排、数据准备,以及与TPU之间的高吞吐通信。AMD把这些主机职责与Infinity Guard安全能力、x86软件兼容性一起提供给谷歌,TPU负责AI加速。对客户而言,CPU还承担着把模型计算接入应用、数据和服务的工作,主机选择直接关系到加速器能否持续获得数据,以及敏感任务如何建立硬件保护边界。
按照AMD披露的流程,系统在允许加速器直接访问受保护内存前,先验证其身份与安全配置。EPYC的安全加密虚拟化技术SEV与TPU协作,使提示词、模型权重和中间数据在CPU内存及主机与加速器之间传输时保持加密,并在加速器执行期间提供硬件隔离。这套设计保护的是正在使用的数据;谷歌将其定位为首个具备硬件强制机密计算能力的云端TPU系统。
这也改变了敏感模型的部署流程。按谷歌的设计,企业可以在服务模型的同一套机密系统内,用私有数据微调模型、将大模型蒸馏为小模型,或通过强化学习训练智能体,减少敏感数据跨集群迁移。安全能力仍有部署条件:AMD在公告中注明,Infinity Guard功能随处理器代际和系列而异,需要服务器厂商或云服务商启用,客户须确认具体支持范围。
沿用硅片重配网络
谷歌4月推出的TPU 8t面向大规模训练,采用3D torus互连。此次TPU 8tx沿用TPU 8t硅片,换用低延迟Boardfly网络,并配备第五代AMD EPYC主机,可用于机密推理和小规模训练。网络调整服务于智能体的多步推理:芯片之间需要频繁交换数据,通信等待会逐步累积。谷歌称,TPU 8tx的推理时延最多可降至TPU 8t的一半,机密计算带来的性能损失接近于零。这是公司的系统性能声明,实际收益取决于任务的通信模式和部署配置。

内存容量与带宽分开扩展
同日发布的TPU 8i Max处理的是长上下文任务的内存瓶颈。谷歌将两颗TPU 8i放进同一封装,为同时读取代码库、视频等大量信息的智能体提供资源。原有TPU 8i配备288 GB高带宽内存(HBM)。据ChosunBiz报道,TPU 8i Max的HBM容量为384 GB,较TPU 8i增加约33%。计算能力、片上SRAM和HBM带宽各翻倍,HBM容量则增加约33%,这几个指标衡量的资源不同。带宽增大帮助系统同时供给更多计算任务,容量增大则容纳更多模型运行状态,两者不能混作同一个性能增幅。

成本还取决于这些内存有多少时间被有效使用。谷歌同步介绍的TPU Sync会在智能体等待工具响应或用户输入时,将工作内存移出TPU,恢复任务时再载入,让释放的加速资源服务其他任务。它针对的是智能体长时间保留状态、计算却间歇发生的占用方式。谷歌希望借此提高利用率、降低每次任务成本;新系统尚未公布价格,现有披露也没有给出可用于核算节省额的客户实测结果。
CPU订单取决于部署范围
AMD获得这个位置,与智能体的工作方式有关。谷歌基础设施负责人Mark Lohmeyer在10月接受EE Times采访时解释,智能体会访问API、浏览网站、编写并运行代码,这些操作需要CPU;会话还可能持续数天甚至数周,需要保存上下文和状态。因此,主机侧的任务调度、存储连接和安全隔离都是系统设计的一部分。不过,Lohmeyer也强调,最优CPU配置取决于具体工作负载,谷歌会继续提供多种处理器选择。
谷歌称,TPU业务已有近100家客户,外部组织对安全和长上下文的需求正进入系统设计。需求端已有具体容量承诺:Anthropic在4月6日宣布与谷歌、博通签订协议,取得多吉瓦级下一代TPU容量,预计自2027年开始上线,绝大部分新增计算能力设在美国。这份协议说明TPU正在承接外部模型公司的基础设施需求,但其披露范围是下一代TPU容量,并未指定此次发布的机密系统。
由此看,AMD此次扩大市场存在感的路径,是把主机处理器和安全技术接入客户的自研加速平台。对必须保护私有模型与数据的企业,TPU 8tx提供了明确的系统选项;对AMD,订单增量将取决于这类客户的采用规模和实际主机配置。谷歌扩充TPU产品线提供了入口,明年供应的机密系统才是这次合作转成部署的具体载体。
备注与来源 · 16 条
全文 · 16 条
- [1] 谷歌新增TPU 8tx、8i Max用于企业级AI datacenterknowledge.com ·
- [2] 谷歌加速追赶英伟达……扩大AI半导体“TPU”产品阵容 kbthink.com ·
- [3] 谷歌重新调整TPU加速器以支持更广泛的AI推理工作 nextplatform.com ·
- [4] iBUYPOWER 推出搭载 Ryzen AI Max+ PRO 495 的 PRO AMD AI Halo 迷你电脑,进军迷你电脑市场,起售价 3999 美元 wccftech.com ·
- [5] AMD EPYC 扩大在 AI 基础设施底层的应用 amd.com ·
- [6] 谷歌推出面向智能体时代的 TPU 8tx 和 TPU 8i Max blog.google ·
- [7] 谷歌两款 TPU 系统拟明年推出 qz.com ·
- [8] 谷歌发布 TPU 8tx 和 8i Max,强化安全与高吞吐推理 chosun.com ·
- [9] 谷歌针对智能体与机密计算细分 TPU 系统 techtarget.com ·
- [10] 谷歌公布 AMD 安全处理器审查技术报告 projectzero.google
- [11] 搭载 NVIDIA H100 的 Azure 机密虚拟机正式可用 nvidia.com ·
- [12] Anthropic 扩大与谷歌、博通的多吉瓦下一代算力合作 anthropic.com ·
- [13] 最大化Gemini:谷歌云竞标构建企业AI操作系统 siliconangle.com ·
- [14] 据报道,谷歌聘请AMD设计下一代TPU tomshardware.com ·
- [15] 谷歌:代理式AI将对数据中心CPU提出新需求 eetimes.com ·
- [16] 谷歌将TPU产品线一分为二以迎接智能体时代 thenewstack.io ·
本文话题由作者精心挑选,多方研究和对比后,编辑审阅发布。引用来源与链接统一列在文末。相关快讯:/s/747182。