跳到正文
arXiv · cs.CL· Federico Lucca·· 3 天前AI 评分50

Foyer 论文提出先测量再训练:typed decision models、逻辑回归与生成式 LLM 对比路由个人多语言收件箱

Measure Before You Train: Typed Decision Models vs. a Classical Baseline vs. a Generative LLM for Routing a Personal Multilingual Inbox

来源与原文

arXiv · cs.CL

作者:Federico Lucca

发布时间:(北京时间)

阅读原始来源 · arxiv.org ↗
完整链接与内容说明

https://arxiv.org/abs/2610.32955v1

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Federico Lucca 发布 arXiv 论文(arXiv:2610.32955),介绍自托管个人收件箱智能体 Foyer 及一套在训练前获得真值的测量协议。基于 739 封真实意大利语/英语邮件,对比生产关键词规则、TF-IDF+逻辑回归基线、typed decision models(Tev1、Nimble、Nimble v4-max)与生成式 LLM(Qwen2.5-7B、Gemma 4 26B/31B),发现约 200 标签下逻辑回归在各字段准确率最高但从不预测最稀有的两类;准确率并非产品指标,最准确的系统组合成动作后最常忽略需行动的邮件(18%),对噪声概率设置成本阈值后可减半并成为最便宜的方案。

来源:arXiv · cs.CL · arxiv.org