起原：新智元

在WWDC 2024上，苹果重新界说了AI——Apple Intelligence。

这是一款深度集成到iOS 18、iPadOS 18和macOS Sequoia中的个东说念主智能系统。

与其他科技大厂不同的是，「苹果牌」AI并莫得奉行「越大越好」的方针。

相背，苹果的派头愈加求实，优先有计划用户体验，更强调AI模子的定制化。

将生成式AI无缝融入操作系统，——从某种兴味上来说，这是一种相等「苹果」的作念法。

Apple Intelligence由多个功能强大的生成模子构成，这些模子挑升用于用户的日常任务，不错即时得当用户现时的行径。

Apple Intelligence内置的基础模子针对用户体验进行了微调，举例编写和优化文本、选录、详情告知的优先级、为对话创建兴味的图像，以及简化跨App的交互。

苹果倾向于运用开辟端的小模子惩办这些事情，虽然用户也不错选择使用ChatGPT品级三方的行状，但这时数据方面的牵涉就跟苹果没关关联了。

苹果留神先容了其中两个模子：一个约30亿参数的开辟端说话模子，以及一个更大的基于行状器的说话模子（可通过独到云筹办在苹果行状器上启动）。

Keep Small

苹果的基础模子是在AXLearn框架上稽查的。

AXLearn是苹果在2023年发布的一个开源神气，它修复在JAX和XLA之上，使苹果大概在多样稽查硬件和云平台上以高效果和可扩张性稽查模子，包括TPU、云霄和土产货GPU。

苹果勾通使用数据并行、张量并行、序列并行和全王人分片数据并行 （FSDP）来沿数据、模子和序列长度等多个维度扩张稽查。

苹果使用蕴蓄爬虫AppleBot来采集公开可用的数据，——若是Web发布者不但愿我方的履行被Apple Intelligence用于稽查，苹果也提供了多样粒度的收尾决议。

苹果示意，在稽查基础模子时，从不使用用户的私东说念主个东说念主数据或用户交互，况兼苹果应用过滤器来删除互联网上公开的个东说念主身份信息（比如社会保障和信用卡号）。

除了过滤除外，苹果还通过数据索求、肖似数据删除和基于模子的分类器的应用，以识别高质地的文档。

后处理

苹果在稽查管说念中使用搀杂数据计策，勾通东说念主工谛视和合成数据，并践诺透澈的数据管制和过滤要道。

苹果在后处理阶段开发了两种新颖的算法：

1. 拆开抽样微调算法（rejection sampling fine-tuning algorithm）；

2. 基于东说念主类反馈的强化学习（RLHF）算法，接收镜像下落计策优化和留一法上风推断器（leave-one-out advantage estimator）。

这两种算法不错权臣普及模子的指示除名质地。

除了确保生成模子具有强大功能外，合肥市外商投资贸易服务有限责任公司苹果还使用了一系列立异时间在开辟上和独到云上对其进行优化， 青岛艺星工艺品有限公司以普及速率和效果。

开辟端模子和行状器模子王人使用分组查询致密力（grouped-query-attention）， 浙江益众纺织服饰有限公司来优化其推感性能。

苹果使用分享的输入和输出词汇表，来裁汰内存需乞降推理资本，保证了分享镶嵌张量的映射莫得肖似。

开辟端模子使用49K的词汇大小，而行状器模子使用100K的词汇大小。

关于开辟端推理，苹果使用low-bit palletization，来心仪必要的内存、功耗和性能条件。

为了保执模子质地，苹果开发了一个使用LoRA适配器的新框架，搀杂使用2比特和4比特的成就计策（平均每个权重3.5比特），以收尾与未压缩模子调换的精度。

此外，苹果还使用交互式模子延伸和功耗分析器用Talaria来更好地指引每个操作的比特率选择。

运用激活量化和镶嵌量化，不错在苹果的神经引擎上收尾高效的键值缓存（KV cache）更新。

通过上头的这些优化，新闻资讯iPhone 15 Pro大概达到约0.6毫秒的延伸，以及每秒30个token的生成速率。

适配器

苹果的基础模子针对用户的日常行径进行了微调，不错动态地专注于手头的任务。

作念法是将袖珍神经蕴蓄当作模块（适配器，adapter），插入到预稽查模子的各个层中，以收尾针对特定任务的微调。

上海悠享电子商务有限责任公司

此外，苹果调节了致密力矩阵、致密力投影矩阵和前馈蕴蓄中的全勾通层，以得当Transformer架构的的解码层。

通过仅微调适配器层，基本预稽查模子的原始参数保执不变，从而保留模子的一般学问，同期又能赈济特定任务。

Apple Intelligence包含一组平日的适配器，这是扩张基础模子功能的有用设施。

苹果使用16位示意适配器参数的值，关于30亿个参数的开辟模子，16级适配器的参数频繁需要10兆字节。

适配器模子不错动态加载、临时缓存在内存中并进行交换，保证了操作系统的反应智力。

因为用户体验是最高优先级，是以在对模子进行基准测试时，苹果专注于东说念主工评估。

选录

苹果的稽查数据基于从更大的行状器模子生成的合成选录，并通过拆开抽样计策进行过滤，仅保留高质地的选录。

为了评估特定于产物的选录，这里使用一组750个反应，针对每个用例进行了仔细抽样。

评估数据集涵盖了苹果的产物功能在出产中可能濒临的多样输入，包括不同履行类型和长度的单个文档和堆叠文档的分层组合。

另外，评估选录功能也要有计划到一些固有风险，比如，模子偶尔会忽略掉一些蹙迫的细节。

字据评分者在五个维度上的打分，选录被分类为好、中、差。

实验终结标明，与同类模子比较，带有适配器的模子不错生成更好的选录。

况兼在卓越99%的针对性抗击性示例中，选录适配器并莫得放大敏锐履行。

基础功能

关于开辟端和行状器模子的一般功能，苹果运用一套全面的真确宇宙请示来评估通用模子的功能。

这些请示在不同的难度级别上各不调换，涵盖头脑风暴、分类、阻塞式问答、编码、索求、数学推理、绽开式问答、重写、安全、转头和写稿等主要类别。

将苹果的模子与开源模子（Phi-3、Gemma、Mistral、DBRX）和类似范围的交易模子（GPT-3.5-Turbo、GPT-4-Turbo）进行比较。

实验标明，与大无数竞品比较，苹果的模子更受东说念主工评分师的醉心。

苹果的3B开辟端模子性能优于Phi-3-mini、Mistral-7B和Gemma-7B等大型模子；而苹果的行状器模子也要优于DBRX-Instruct、Mixtral-8x22B和GPT-3.5-Turbo，同期效果更高。

安全性

苹果使用一组不同的抗击性请示来测试模子在无益履行、敏锐主题和事实性方面的证据。

测量每个模子的违纪率，相通接收东说念主工评估：

上图露馅了在安全请示方面与竞品的PK。东说念主工评分员发现苹果的恢复更安全、更有匡助。

指示除名

为了进一步评估模子，苹果还使用指示追踪评估（IFEval）基准测试来比较同类模子的智力。

终结标明，苹果的开辟端和行状器模子王人比同等范围的开源和交易模子更好地除名翔实诠释。

终末是字据里面转头和作文基准评估模子的写稿智力，包括多样写稿诠释，这些终结不触及用于特定功能的适配器。

裁剪/jayden

]article_adlist-->

海量资讯、精确解读，尽在新浪财经APP

• 成功案例
• 苹果
• 发布
• AXLearn
• 2023年