Summary
Openai 发布Jalapeño，这是其首款与 Broadcom 联合设计的定制推理处理器，TechCrunch报道。该芯片针对推理，即用训练好的模型响应用户查询，而非训练本身。OpenAI表示早期测试显示其每瓦性能明显优于当前最先进产品，但仍处于评估阶段，尚无部署时间表。公司将该芯片定位为优化基础设施栈的一个层面，涵盖架构、存储和网络。预训练预计将继续使用 Nvidia 硬件。此举延续了 谷歌 TPU和 Amazon Trainium为各自工作负载定制加速器的路径。
Why it matters
推理是OpenAI最大且增长最快的成本项。能提升每瓦性能的芯片直接攻击每次查询的单位经济性，并压缩英伟达的定价权，这与推动谷歌和亚马逊走向定制硅的逻辑如出一辙。掌握设计主权，也能在GPU短缺期间对冲供应风险。
What to watch
- Jalapeño何时从测试转入生产部署。
- 对标英伟达及竞争对手定制芯片的独立基准测试结果。
- OpenAI推理负载中有多少从商用GPU迁移出去。