苹果研究团队在App Store进行了A/B测试，验证AI生成的关联度标签能否提升搜索排名和应用下载量。结果令人意外……
AI生成的相关性标签小幅提升App Store搜索转化率
在一项名为《Scaling Search Relevance: Augmenting App Store Ranking with LLM-Generated Judgments》的新研究中，苹果研究人员探索了大型语言模型（LLM）能否通过生成相关性标签来改善App Store的搜索结果质量。
正如研究中所说，相关性显然是帮助用户找到目标应用的关键。虽然搜索排名依赖多种信号，但研究团队主要聚焦于两大核心因素：
- 行为相关性：反映用户与搜索结果的真实互动，例如是否点击或下载某款应用。
- 文本相关性：衡量应用元数据（名称、描述、关键词等）与用户搜索词在语义上的匹配程度。
研究指出，虽然行为相关性标签数据非常丰富（因为可以轻松追踪用户行为），但文本相关性标签情况完全不同：
虽然行为相关性标签数量充足，但由人类评估员生成的文本相关性标签却极为稀缺。这造成了一个根本性难题：高质量文本相关性标签既昂贵又难以规模化生产，成为了多目标训练中文本相关性目标的瓶颈。
为了解决这一问题，研究团队基于已有的人类判断数据，对一个30亿参数的LLM进行了微调，使其学会根据用户搜索词和应用元数据自动打出相关性标签。
随后，他们用该模型生成了数百万条全新相关性标签，并将这些标签与原始数据结合，重新训练了App Store的排名系统。
完成训练后，他们先进行了离线评估，随后在全球真实App Store流量上开展了大规模A/B测试：
“（…）使用
llm-augmented
模型后，我们的核心指标——转化率（定义为至少下载一款应用的搜索会话占比）实现了统计显著的+0.24%提升。虽然数值看似微小，但在成熟的工业级排序系统中，这已被视为显著进步。该增益在89%的商店front中均有体现。”
换句话说，看到AI增强排名模型的搜索结果的用户，比使用传统排名模型的用户多0.24%的概率至少下载一款应用。
虽然0.24%听起来很小，但考虑到2025年App Store全年下载量预计约380亿次，这一微小提升就能转化为数千万次额外下载，对开发者而言无疑是重大利好。
欲阅读完整研究论文，请点击此处链接。
