2026-05-10 04:45:31
Sakana AI 和 Nvidia 通过跳过 80% 的无效计算,实现 30% 更快的 H100 推理
Sakana AI 和 Nvidia 已开源 TwELL,这是一种稀疏数据格式,可让 H100 GPU 在大型语言模型中跳过 80% 的无效计算,同时不牺牲准确性。该解决方案在 H100 上可实现最高 30% 更快的推理和 24% 更快的训练,并降低峰值内存使用。在对一个 1.5 十亿参数的模型进行测试时,通过训练期间的轻量级正则化,该方法将活跃神经元降至低于 2%,且在七个下游任务中没有出现性能下降。