Meta：基于证据的用户兴趣评估基准

标题GISTBench: Evaluating LLM User Understanding via Evidence-Based Interest Verification来源arXiv, 2603.29112v1摘要我们引入了GISTBench这是一个用于评估大型语言模型LLM在推荐系统中从用户交互历史中理解用户的能力的基准测试。与传统的RecSys基准测试专注于项目预测准确性不同我们的基准测试评估了LLM从参与数据中提取和验证用户兴趣的能力。我们提出了两个新的度量系列兴趣基础性IG分解为精确度和召回率分量以分别惩罚幻觉兴趣类别和奖励覆盖率以及兴趣特异性IS它评估了验证LLM预测的用户配置文件的独特性。我们发布了一个基于全球短期真实的用户交互构建的合成数据集表单视频平台。我们的数据集包含隐式和显式的参与信号以及丰富的文本描述。我们根据用户调查验证了我们的数据集保真度并评估了8个开放权重LLM涵盖7B到120B参数。我们的发现揭示了当前LLM的性能瓶颈特别是它们在跨异构交互类型准确地计数和归属参与信号的能力有限。️文章简介研究问题大语言模型能否从用户交互历史中准确提取并验证其真实兴趣而非产生幻觉或遗漏关键偏好主要贡献论文提出了 GISTBench 基准及合成数据集设计了兴趣扎根度与特异性两大指标家族无需人工标注即可量化评估 LLM 对用户理解的准确性。重点思路构建包含隐式与显式正负信号的高质量合成数据集基于真实短视频平台用户行为聚合生成既保护隐私又保留统计特征。提出兴趣扎根度指标分解为精确率与召回率通过可配置的证据阈值如点赞数、观看时长验证预测兴趣是否有足够行为支撑。引入兴趣特异性指标利用检索任务评估已验证兴趣的区分度确保模型生成的兴趣描述能精准对应到具体内容而非泛泛而谈。建立标准化兴趣分类体系进行归一化处理利用多模型集合作为预言机来估算召回率上限解决缺乏绝对真值标签的评估难题。分析总结当前模型的主要瓶颈在于覆盖率不足而非幻觉严重即模型能准确识别部分兴趣但无法发现用户所有潜在的兴趣类别。证据计数能力是核心短板模型难以在混合交互类型中准确统计和归因信号特别是在缺乏显式反馈的数据集中表现糟糕。指令遵循能力仅是入门门槛一旦模型能输出结构化结果其排名更多取决于领域特定的推理能力而非通用的指令遵循分数。增加上下文长度能显著提升兴趣覆盖的召回率因为更多历史数据提供了满足验证阈值的证据但对兴趣描述的特异性提升有限。个人观点论文聚焦于用户画像生成的“可解释性”与“事实依据”将评估维度拆解为“是否有据可依”和“描述是否具体”揭示了当前大模型在用户理解任务中“敢猜不敢证”和“广撒网难覆盖”的本质缺陷。附录