跳到正文
10月14日周三
  1. GitHub · 去对齐工具与仓库73

    modeltested 开源基准发布:65 个本地模型的真实工作评测

    GitHub 开源项目 modeltested 发布了一个面向开放权重 LLM 的真实工作基准,结果在 modeltested.com 自动更新,当前榜单覆盖 65 个本地模型。评测分编码(30 题,沙箱内跑隐藏单元测试)、文档抽取(24 题)和决策(56 题,含 Brier score 校准)三套,大部分题目以 age 加密存放、密钥为 CI secret,公开与隐藏分数并排展示以暴露背题;模型经 OpenRouter 以全精度或 8-bit 运行,部分 Q4 模型在 Mac mini(M4, 16 GB)上用 Ollama 补测以量化损失,并给出显存适配估算而非速度数字。

    推荐理由:这个开源基准用隐藏题集加密和 canary 字符串对照公开分,可用来识别模型背题,且单模型复测成本仅几美分到几美元。

10月13日周二
  1. GitHub · 灵魂体仓库50

    lulilulili/HeadToTailUICardByDeviceSideLLM:端侧小模型语义 API 调用验证工程发布,Qwen2.5 四档实测 4000 次调用

    GitHub 项目 HeadToTailUICardByDeviceSideLLM 验证端侧小模型驱动语义 API 调用,当前覆盖 10 个领域、417 个伪 API,默认题组为 1000 条中文单服务用例。Qwen2.5 0.5B/1.5B/3B/7B 各完成 1000 条共 4000 次调用,7B 最终语义正确率最高(77.1%),1.5B 高于 3B 且耗时更低;尚未接入 HarmonyOS 真机,业务执行为 mock,处于可行性验证阶段。

10月10日周六
  1. GitHub · 去对齐工具与仓库39

    roy032/bd-legal-rag:孟加拉国法律双语 RAG 问答系统开源

    GitHub 开源项目 bd-legal-rag 提供孟加拉语与英语双语检索增强问答,针对孟加拉国法律条文,答案引用具体条款,语料无法回答时直接拒答。系统在 43,966 个语料块上评测:qwen2.5:14b 生成答案引用指向检索片段的比例达 1.00,拒答准确率 0.91,答案正确率 0.71;加 cross-encoder rerank 后 recall@5 达 0.878。支持 Ollama 本地、OpenAI、Anthropic 等多种 LLM 接入,附带 HTTP API、流式 UI 和 248 个离线测试。

10月9日周五
  1. GitHub · 去对齐工具与仓库49

    llm-lang-lab:探索 LLM 智能体更易用的编程语言实验仓库

    ddanila 的 llm-lang-lab 仓库是一个探索对 LLM 智能体更友好的编程语言的实验,目前尚未实现新语言。首期对比 C17 与 Go,由 pi 智能体驱动本地 Qwen3.5 9B(Q4_K_M)模型经 Ollama 运行:六次试点中 Go 通过 3/3,C 通过 2/3;v2 全套校准中 C 4/10、Go 6/10。新的 v3 研究包含 800 个新种子试验,预计运行约 17 小时,结果属探索性证据而非稳定排名。

10月8日周四
  1. GitHub · 去对齐工具与仓库66

    support-agent 开源韩语客服 LLM 智能体与规则化评测环境

    hyeonbin123 在 GitHub 开源了用工具调用处理韩语虚拟购物客服的 LLM 智能体,并配套可复现的规则化评测环境(开发用 24 题、测试用 40 题,pass^k 与无 LLM 的 DB 状态判定,遵循 τ-bench 方法但任务自建)。本地 4~14B 模型实测中,qwen3.5:4b 将测试集 pass^1 从 18.1% 提到 55.6%;语音通道使 pass^1 从 16.2% 跌至 1.9%,规则化正则化挽回约一半至 8.8%;改用发信号码加姓名精确核验后身份核验从 53.1% 升至 80.2%。项目含 FastAPI 聊天服务、MCP 服务器、审批队列与审计日志,全部指标可从 reports/ 记录重新计算。

    推荐理由:作者用 pass^k 与无 LLM 的规则化判定量化了语音通道、模型升级和小型模型对客服智能体成功率的影响。