GitHub · 灵魂体仓库·· 11 天前精选AI 评分62
qa_agent_local_llm:用本地 LLM 加 pandas 构建 Excel 问答 Agent 并公开五轮迭代评测
srinikethakella1812/qa_agent_local_llm
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/srinikethakella1812/qa_agent_local_llm
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 上开源了一个 Excel 问答 Agent,读取本地表格后由 qwen2.5-coder:3b 经 Ollama 在本机生成 pandas 代码,经 AST 白名单安全检查后执行并输出摘要,数据不出本机。项目附带 24 题评测集,从首轮 9/10 迭代到 868 行账单数据上 24/24,并总结了经验:提示词示例泄漏会让模型照抄错误模式,temperature 0 的重试会重复同一错误,静默错误答案只能靠独立计算的评测发现,因此把业务规则移入数据层而非仅靠提示词。作者同时指出 AST 白名单不是沙箱、24/24 分数因针对自建测试集调优而偏乐观。
推荐理由
作者用独立计算的 eval 对比五轮迭代,把本地 3B 模型跑 Excel 问答的踩坑过程写得很具体,可迁移到类似的本地 Agent 场景。
来源:GitHub · 灵魂体仓库 · github.com