近期，苹果在 Hugging Face 发布了 OpenELM 系列模型。OpenELM 的关键创新是逐层扩展策略，该策略可在 transformer 模型的每一层中有效地分配参数，从而提高准确性。

与具有统一参数分配的传统语言模型不同，OpenELM 可以改变转换器层的配置，调整每层 的注意力头和前馈 ​……