跳到正文
只看论文#Ollama
  1. GitHub · 去对齐工具与仓库73

    modeltested 开源基准发布：65 个本地模型的真实工作评测

    GitHub 开源项目 modeltested 发布了一个面向开放权重 LLM 的真实工作基准，结果在 modeltested.com 自动更新，当前榜单覆盖 65 个本地模型。评测分编码（30 题，沙箱内跑隐藏单元测试）、文档抽取（24 题）和决策（56 题，含 Brier score 校准）三套，大部分题目以 age 加密存放、密钥为 CI secret，公开与隐藏分数并排展示以暴露背题；模型经 OpenRouter 以全精度或 8-bit 运行，部分 Q4 模型在 Mac mini（M4, 16 GB）上用 Ollama 补测以量化损失，并给出显存适配估算而非速度数字。

    推荐理由：这个开源基准用隐藏题集加密和 canary 字符串对照公开分，可用来识别模型背题，且单模型复测成本仅几美分到几美元。

  1. GitHub · 去对齐工具与仓库66

    support-agent 开源韩语客服 LLM 智能体与规则化评测环境

    hyeonbin123 在 GitHub 开源了用工具调用处理韩语虚拟购物客服的 LLM 智能体，并配套可复现的规则化评测环境（开发用 24 题、测试用 40 题，pass^k 与无 LLM 的 DB 状态判定，遵循 τ-bench 方法但任务自建）。本地 4~14B 模型实测中，qwen3.5:4b 将测试集 pass^1 从 18.1% 提到 55.6%；语音通道使 pass^1 从 16.2% 跌至 1.9%，规则化正则化挽回约一半至 8.8%；改用发信号码加姓名精确核验后身份核验从 53.1% 升至 80.2%。项目含 FastAPI 聊天服务、MCP 服务器、审批队列与审计日志，全部指标可从 reports/ 记录重新计算。

    推荐理由：作者用 pass^k 与无 LLM 的规则化判定量化了语音通道、模型升级和小型模型对客服智能体成功率的影响。

已经到底了