AI 的速度瓶颈:内存比算力更关键

技术
AI 的速度瓶颈:内存比算力更关键

全球最先进的人工智能常受困于“数字交通堵塞”。由于数据传输滞后,最顶尖的处理器往往只能闲置,等待数据从遥远的内存库传达。

现代计算已进入一个奇特的阶段:思维的速度受限于“厨房”的距离。虽然像英伟达 H100 这样的芯片每秒能进行数万亿次运算,但它大部分时间竟在无所事事。这是因为运算所需的数据存储在独立的内存芯片中,而连接两者的物理导线传输速度太慢,无法及时“喂饱”处理器。

在应用中继续阅读
还有2个段落 · 再加3题测验
在应用中打开

获得完整体验

下载每日知识