Rubin NVL72 在智能体负载上做到 862 tok/s/user，8 天内交互性接近翻倍
低延迟专用 kernel 让 Rubin 的交互速度在 8 天内接近翻倍。
英伟达推理Rubin
01
核心主张
低延迟专用 kernel 让 Rubin 的交互速度在 8 天内接近翻倍。
在 GLM5.3 744B 的智能体负载上，Rubin NVL72 达到 862 tok/s/user；提升来自低延迟专用 kernel，而不是硬件换代。
02
要点
实测数字
862 tok/s/user，模型为 GLM5.3 744B。
负载类型
智能体（agentic）负载，不是普通对话。
提升来源
低延迟专用 kernel，8 天内接近 2 倍。
03
金句
RUBIN NVL72 HITS 862 tok/s/user on GLM5.3 744B on agentic workloads!
RUBIN NVL72 在 GLM5.3 744B 的智能体负载上达到 862 tok/s/user。
In less than 8 days, NVIDIA has increased interactivity on Rubin by close to 2x
不到 8 天，英伟达把 Rubin 的交互速度提升了接近 2 倍。
04
后续观察
- 该数字的测试条件与 batch 设置
- 后续是否还有 kernel 优化空间
01BREAKING NEWS🚨: RUBIN NVL72 HITS 862 tok/s/user on GLM5.3 744B on agentic workloads!突发🚨：RUBIN NVL72 在 GLM5.3 744B 的智能体负载上达到 862 tok/s/user！
02In less than 8 days, NVIDIA has increased interactivity on Rubin by close to 2x through low-latency specialized kernels.不到 8 天，英伟达通过低延迟专用 kernel，把 Rubin 的交互速度提升了接近 2 倍。
BREAKING NEWS🚨: RUBIN NVL72 HITS 862 tok/s/user on GLM5.3 744B on agentic workloads!
In less than 8 days, NVIDIA has increased interactivity on Rubin by close to 2x through low-latency specialized kernels.