苹果 推出小型语言模型 OpenELM

当地时间4月25日，苹果在HuggingFace模型库上发布了一系列小型语言模型，名为OpenELM（开源高效语言模型），意味着苹果正为了在Apple设备端上运行生成式AI软件做准备。

OpenELM参数量最低仅有2.7亿个，是市面上最小的一组模型

苹果新推出的OpenELM模型家族包括8个成员，4组参数量级别分别为2.7亿、4.5亿、11亿和30亿。这一参数规模小于市面上的主流模型，例如微软的Phi-3模型最低为38亿，而Google的Gemma可提供最少20亿个参数的版本。小型语言模型的运行成本更低，优化后可内嵌于手机和笔记本电脑等移动设备中，无需借助云服务器。

OpenELM采用“层级缩放策略”这一技术在Transformer模型中更高效地分配参数。该模型的Transformer层具有不同的配置和参数，而非每层都是相同参数。与艾伦AI研究所今年2月推出的“真正开源且最先进的大语言模型”OLMo相比，OpenELM的准确率提高了2.36%，同时预训练所需的Token数量减少了一半。

OpenELM系列模型现已加入Meta、Google和微软的开源模型阵列。虽然这一开源模型可供开发人员使用，并且不禁止商业使用或修改，但如果任何基于OpenELM的衍生作品被指控侵权，Apple将保留提出专利索赔的权利。

苹果想在端侧AI上弯道超车

苹果CEO库克提到，生成式AI功能将出现在Apple设备中。此前2月，他曾透露，公司已在这一领域花费了「大量时间和精力」。然而，苹果尚未透露其AI应用的具体细节，且仍未推出过商用模型。

在OpenELM系列之前，苹果已推出多款有助于在Apple设备上调用AI能力的框架及模型：

ReALM：该模型可以理解手机屏幕上的信息、对话和上下文语境，使用户与语音助手的互动更自然；

MGIE：该图像编辑模型可以根据用户指令修复照片；

Ferret-UI：该模型可用于手机智能导航；

MLX：一种机器学习框架，帮助AI模型更高效地在Apple Silicon系统上运行。

构建自研AI版图的同时，苹果还计划找Google、OpenAI和百度合作，有可能授权它们的AI模型在iPhone上运行。