跳到正文
  1. GitHub · 去对齐工具与仓库66

    shi3z 发布游戏NPC用本地LLM日语基准 npc-llm-bench

    shi3z 在 GitHub 发布 npc-llm-bench,用于定量比较本地LLM作为日语游戏NPC的对话质量与速度,结果收录在 RESULTS.md。基准含73个测试,覆盖日语自然度、人格维持、知识边界、记忆一致性、状态反映、角色差异、诱导耐性和长期对话,并测量TTFT、并发吞吐与VRAM,最终输出加权NPC Score与7种排行榜。

    推荐理由:作者给出了游戏NPC场景的73项测试、评分权重和RTX 4090等硬件上的11个模型实测结果,方法可复用。

  1. GitHub · 灵魂体仓库64

    lmex:把免费档 LLM API 延迟做成交易所行情的开源项目

    作者发布 lmex 项目,将免费档 LLM API 拟为交易所 ticker,以 TTFT p99 毫秒数为价格,每 :07 由 GitHub Actions cron 运行 llm-latency-bench 基准并将结果提交到仓库,dashboard 用绿涨红跌反转色的蜡烛图展示延迟,错误率超 50% 即停牌。收录 Groq、Google Gemini、Cerebras、OpenRouter 等 7 个模型端点,每 tick 仅 6 到 10 次请求以留在免费额度内,743+ 条历史记录发布为 Kaggle 公开数据集,并附 latency-router 实时选择最快端点。项目 MIT 协议,无服务器,dashboard 由 GitHub Pages 读原始文件。

    推荐理由:作者公开了整套测量流程、样本量局限和 p99 取舍理由,方法透明,读者可以直接复用或自己 fork 搭建。

  1. GitHub · 去对齐工具与仓库58

    LLM-invoice-extraction:用 claude-haiku-4-5 评测发票结构化抽取的开源项目

    作者开源了一个基于 LLM 的发票结构化数据抽取与评测项目,用 claude-haiku-4-5 在 40 份合成测试发票上跑了三种提示词策略:rules 策略全字段正确率达 87.5%,few_shot 75.0%,zero_shot 60.0%,仅 zero_shot 与 rules 的差异通过配对 McNemar 检验显著(p=0.007)。项目具备固定种子、dev/test 切分和 API 结果磁盘缓存的可复现设计,并用确定性校验层检查数字一致性;事后故障注入测试显示完全自洽的错误数字(协调改价)在 49/49 次试验中都无法被算术校验发现,zero_shot 的校验召回率也只有 50%。数据为合成生成且仅测单一模型,结果未必适用于真实发票。

    推荐理由:用合成发票把提示词策略、确定性校验和可复现评测串成完整流程,还用故障注入演示了纯算术校验的盲区,方法可迁移到同类抽取评测。

  1. Hugging Face Blog74

    微软与 Hugging Face 发布 ThinkingBox 基准,以数据库终态评测 Agent 并要求 20 次重复运行

    Microsoft 与 Hugging Face 联合发布 ThinkingBox 及 ThinkingBox-Bench,通过隔离 MCP 会话检查 Agent 留下的终端数据库状态和副作用,而非只看工具调用或回复文本,覆盖 507 个有状态业务工作流,每任务独立运行 20 次,已通过 OpenEnv 上线 Hugging Face。

    推荐理由:基准不看工具调用而看数据库终态,18 个模型在 507 任务上跑 20 次,区分了单次成功与可依赖性,并给出每次可靠任务的成本对比。

已经到底了