arXiv · cs.CL· Federico Lucca·· 3 天前AI 评分50
Foyer 论文提出先测量再训练:typed decision models、逻辑回归与生成式 LLM 对比路由个人多语言收件箱
Measure Before You Train: Typed Decision Models vs. a Classical Baseline vs. a Generative LLM for Routing a Personal Multilingual Inbox
来源与原文
arXiv · cs.CL
作者:Federico Lucca
发布时间:(北京时间)
阅读原始来源 · arxiv.org ↗完整链接与内容说明
https://arxiv.org/abs/2610.32955v1
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Federico Lucca 发布 arXiv 论文(arXiv:2610.32955),介绍自托管个人收件箱智能体 Foyer 及一套在训练前获得真值的测量协议。基于 739 封真实意大利语/英语邮件,对比生产关键词规则、TF-IDF+逻辑回归基线、typed decision models(Tev1、Nimble、Nimble v4-max)与生成式 LLM(Qwen2.5-7B、Gemma 4 26B/31B),发现约 200 标签下逻辑回归在各字段准确率最高但从不预测最稀有的两类;准确率并非产品指标,最准确的系统组合成动作后最常忽略需行动的邮件(18%),对噪声概率设置成本阈值后可减半并成为最便宜的方案。
来源:arXiv · cs.CL · arxiv.org