破解 ChatGPT 惊人耗电！DeepMind 新算法训练提效13倍，能耗暴降10倍

DeepMind 研究团队提出了一种加快 AI 训练的新方法——多模态对比学习与联合示例选择（JEST），大大减少了所需的计算资源和时间。

JEST使大型语言模型训练迭代次数降低13倍，计算量减少10倍。这项技术可能重塑AI的未来，对减少能耗和提高训练效率具有重要意义。

总体来说，JEST 方法展现出了“数据质量引导”（data quality bootstrapping）方法的巨大潜力，即使用小规模精选数据集来指导对更大的、未经管理的数据集的学习。

无论是使用 JEST 参考模型对数据集进行预评分，还是通过可学习性评分来根据模型需求进行动态调整，都可以成为通用基础数据集的更有效率的替代方案。当然，该方法仍存在一定局限性，虽然 JEST 同时实现了性能增益和训练成本降低，但依旧依赖于小型、精心管理的参考数据集，它指定了未经管理的更大数据集中优先考虑的分布。