跳到正文
GitHub · 灵魂体仓库·· 11 天前精选AI 评分62

qa_agent_local_llm:用本地 LLM 加 pandas 构建 Excel 问答 Agent 并公开五轮迭代评测

srinikethakella1812/qa_agent_local_llm

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/srinikethakella1812/qa_agent_local_llm

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 上开源了一个 Excel 问答 Agent,读取本地表格后由 qwen2.5-coder:3b 经 Ollama 在本机生成 pandas 代码,经 AST 白名单安全检查后执行并输出摘要,数据不出本机。项目附带 24 题评测集,从首轮 9/10 迭代到 868 行账单数据上 24/24,并总结了经验:提示词示例泄漏会让模型照抄错误模式,temperature 0 的重试会重复同一错误,静默错误答案只能靠独立计算的评测发现,因此把业务规则移入数据层而非仅靠提示词。作者同时指出 AST 白名单不是沙箱、24/24 分数因针对自建测试集调优而偏乐观。

推荐理由

作者用独立计算的 eval 对比五轮迭代,把本地 3B 模型跑 Excel 问答的踩坑过程写得很具体,可迁移到类似的本地 Agent 场景。

来源:GitHub · 灵魂体仓库 · github.com