12月23日,星期一
2024-12-23 10:06
苹果与英伟达合作优化大语言模型

近日,苹果与英伟达宣布合作,旨在加速和优化大语言模型(LLM)的推理性能。

为了改善传统自回归 LLM 推理效率低和内存带宽小的问题,今年早些时候,苹果机器学习的研究人员发布并开源了一种名为「ReDrafter」(Recurrent Drafter,循环草稿模型)的推测解码技术。

目前,ReDrafter 已经整合到英伟达 ​……

[展开]
加载更多