按兴趣浏览，循来源深入。
Embedl 团队发布 Qwen3.8-27B 在 Jetson Thor 上的 INT4 部署方案，batch 1 下解码 39.6 tok/s、端到端 23.6 tok/s、峰值显存 24.8 GiB。方案采用自研量化（误差约为标准 AWQ 的一半）、FlashHead 加速 262k 词表输出层、MTP 投机解码，底层为 TensorRT Edge-LLM 0.10.1；准确率与 FP16 对照为 GSM8K 96.4 对 96.1、IFEval 83.5 对 81.9、MMLU-Pro 79.1 对 79.5，并称快于 Jetson AI Lab 报告的 llama.cpp Q4_K_M + MTP 约 35 tok/s。
推荐理由：作者给出与 FP16 逐项对照的准确率和实测吞吐，并说明量化与投机解码的具体做法，便于复现比较。
peymanpro 在 GitHub 发布 AI-Evaluation-Engineering V1.1，一个供 AI 系统做测量、对比与回归测试的中立于提供商的评测层。V1.1 新增带类型化的 Agent 轨迹回放与任务/步骤成功分离分析、对抗性安全回归用例、配对 bootstrap 置信区间的发布决策 compare（evaluate_release_candidate，含 Bonferroni 校正与 PASS/FAIL/INCONCLUSIVE/INVALID_EVIDENCE 四种判定）、方向感知回归门控、失败记录转回归套件的 JSONL 失败记忆，以及质量/成本与质量/延迟权衡前沿分析和可审计证据包。
推荐理由：作者把评测当工程学科来设计，给出了配对 bootstrap、回归门控和失败记忆等可复用做法，对搭建 AI 评测体系有参考价值。
protocol/perun 发布，这是一套以文本文件形式分发的技能包，让 Claude Code、Cursor 等 AI 编码助手按固定流程完成从审查到交付的工作，核心是带证据的深度代码审查，另含 token 成本优化、门控智能体交付等技能。作者用统一测试环境实测 39 个真实 bug 修复案例，Perun 在 claude-sonnet-5-5 上比普通提示词多抓 bug 但区间下界为 0，相比 Claude Code 内置 /code-review 抓到的 bug 数量相当而误报大幅更少，与三个流行的审查技能对比均为平局；在更强的 claude-opus-5-5 上与普通提示词打平。大改动场景下多次独立审查比任何单一方法更有效，项目同时附上成本核算和诚实的局限性说明。
推荐理由：项目附上统一测试环境和多组对照基准数据，连不利的平局结果也如实列出，读者可自行判断这套 review 技能包的真实增益。
Local Quench 发布，这是一款面向本地 LLM 的 AI 编码智能体，支持 LM Studio、llama.cpp、Ollama 和 vLLM，代码不出本机，提供 Windows、Linux 和 Android 版本。它针对本地模型常见失误（宣布步骤后停止、改测试直到通过等）设计了 harness 纠偏规则，且每条规则可单独关闭并测量；内置 QuenchBench 基准，还可通过 quenchbench.py 一条命令跑 SWE-bench Verified、Terminal-Bench 2.0、Aider Polyglot 等评测。8 GB VRAM 即可起步，应用自带模型顾问推荐适配显存的模型和量化方案。源码不开放，仓库提供发布包、issue 跟踪和基准脚本。
推荐理由：为本地模型设计了针对常见失误的 harness 纠偏机制，且每条规则都可单独关闭并用 QuenchBench 实测，方法可迁移到自己的本地部署。
开发者开源了麦当劳配餐 Skill「McPair 麦麦配」（github.com/paraboy-s/mcd-meal-pairing），LLM 只做意图理解与渲染，价格、热量、用券全部由确定性代码经 MCP 工具计算，每个数字可追溯。系统枚举门店 1881 种搭配剪枝出三档方案，含品味指纹（带置信度）、券诊断、反事实解释和 max-min 拼单分配；40 场景评测中主餐口味契合 0.55、热量贴合 0.78、16 个场景用上券，消融显示关闭品味引擎后口味契合跌至 0.05。该项目为麦当劳程序员创意开发大赛参赛作品，非官方产品，只做决策不下单。
推荐理由：把意图理解交给 LLM、算账交给确定性求解的架构，附带消融实验和基线对比，是一套可迁移的 Agent 工程参考。
GitHub 项目 HarnessProbe 开源，通过同一模型、同一任务、同一评分器下只切换 harness 配置的矩阵实验，输出 delta 和 Harness Sensitivity Index 而非榜单。作者给出一次 66 trials 的实测示例显示，11 个配置中 10 个得分相同，唯一移除 shell（无法运行测试）的 no-shell 配置掉 16.7 分，说明提示词调整是噪声、验证权限才是主要信号。工具含 6 个双向验证的任务、Wilson 置信区间、pass@k/pass^k 与 flakiness 指标、隔离沙箱，支持 Anthropic、OpenAI 兼容端点、DeepSeek 和 Ollama 本地模型，MIT 协议。
推荐理由：它把 harness 当作唯一变量做矩阵实测，并诚实给出置信区间与任务过易的局限，区分模型能力与脚手架贡献。
neoromantic 发布 @goodit/evals，一个把 eval 文件作为 Bun 测试运行的 LLM 功能评测框架，记录 scorer 指标与 token/延迟数据，并支持基线对比报告。该项目已进入维护模式，只做 bug 修复和依赖更新，不再新增功能；要求 Bun >= 1.3.9，peer 依赖 ai >= 6 和 zod，内置 ExactMatch、Contains、LLM judge 等 scorer，支持 Facts() LLM 判分、evalSuite.each 变体对比和 --json 机器可读输出，MIT 协议开源。
推荐理由：作者给出了把 LLM 功能评测跑成 Bun 测试的完整方案，scorer、基线对比与 token 延迟拆分都可直接迁移到自己的项目。
Kapitsa 开发者发布 0.2 版，引入新投机解码方法 KFlash，并在 MacBook Pro M4 Pro 48GB 与 M1 Pro 16GB 上对比多款引擎的解码速度。Qwen3.8 27B 4-bit 下 Kapitsa 0.2 KFlash 达 63 tok/s，Inco Splash 1.4.0 DFlash2 为 53 tok/s；Qwen3.6 35B-A3B 上两者分别为 161 和 135 tok/s。KFlash 在同一遍检查中用 best-first 树检查草稿候选，而非单链遇错即停。作者提供 kapitsa bench 供用户自测并提交结果，Splash 需 M3 或更新芯片，Kapitsa 支持 M1 至 M6。
推荐理由：作者给出两代 Mac 上多引擎的实测数据，并解释了 KFlash 与 DFlash2 在投机解码检查方式上的差异，便于读者对照自己的机型。
webkubor 发布并开源了 Scorecard 工具，粘贴 GitHub 仓库、npm 包或网页 URL 即可生成含九维雷达图和整改清单的体检报告，线上版为 scorecard.webkubor.online。工具分四套独立引擎（GitHub 9 维 / npm 7 维 / 网页 9 维 / GEO 4 维），判据只取 API 可核实的客观证据，读不到的数据从分母剔除并标注「无法核实」而非记 0 分；另提供 GEO 引擎测品牌在 AI 答案中的提及率与引用率，支持 CLI、/api/scorecard/compare 对比模式和可直接交给 coding agent 的 /skill.md。项目 MIT 协议开源，线上版地址 https://github.com/webkubor/scorecard。
推荐理由：作者详细说明了读不到的数据如何不进分母、判据对应哪些公开标准，读者可据此评估这类打分工具的可信度。
furkanbati 在 GitHub 开源了 llm-evaluation-platform，一个用于评测大语言模型输出的 REST API 平台，用 Ollama 生成答案、可插拔指标打分、SQLite 存储每次评测。平台提供 Exact Match、Numeric Match、Token F1、语义相似度和 LLM-as-a-Judge 等八种指标，评测后台运行并有并发上限和队列限制。在 23 个标注用例上，llama3 作为 judge 正确决策 22/23 并拒绝全部 13 个错误答案，judge 通过 XML 标签包裹内容并按数据处理来抵抗提示词注入，但包含注入指令的正确答案仍是唯一失误。
推荐理由：项目给出了八种评测指标在同一批 23 个标注用例上的正确率对比，可以按答案类型选指标，部署门槛是 Docker Compose 加 Ollama。
The-Pack-Man 在 GitHub 发布 DuckDB_Dbt，用自然语言提问即可在本地 DuckDB + Ollama（qwen2.5-coder:7b）上生成 SQL、执行并解释，dbt 建模并通过手写 semantic_manifest.yaml 注入业务规则，SQL 走只读连接，失败自动重试（默认2次）。作者用32题golden集做消融评测：qwen2.5-coder 7B 在 temperature 0 下，仅schema 时总体执行准确率 56.2%（business_rule 类仅 15.4%），加语义 manifest 后总体 90.6%（business_rule 92.3%），manifest 提升 +34.4 个百分点，修复12题、破坏1题。
推荐理由：作者用32题golden集做了加与不加semantic manifest的消融，还列出了残余失败案例和自述局限，结论可复核。
GitHub 仓库 Jessie-QingYu/jev-in-the-wild 汇总了 TypeSafe AI 的 System One 模型 Jev 的真实用例、开源项目、基准测试和批评，共 429 条条目，其中 213 条来自 Reddit、Hacker News、YouTube 和博客等 GitHub 之外渠道。仓库包含 255 个开源项目、61 个实测用例、91 条分析批评，并设有专门展示 Jev 失败案例的板块，如 24 小时期货模拟交易亏损 3.15% 的实测记录；数据源为 data/entries.json，每周期更新，声明与 TypeSafe AI 无关联。
推荐理由：这份清单把负面结果和批评单独列出，并强调条目以实测数据为准，读者可借此了解 Jev 生态里哪些用法真正被验证过。
waxinz 在 GitHub 发布 Arcturos，一个本地优先的 LLM 基准测试与评测面板，所有数据保存在用户自有的本地 SQLite 文件中。它可对 OpenAI 兼容或 llama.cpp 原生推理服务器做基准测试，测量 decode tok/s、prefill tok/s、TTFT、wall time、MTP/speculative acceptance、并行流等多项指标并支持多上下文长度；支持带图表、固定基线和逐指标差值的并排对比，以及由外部 LLM judge 盲评的单轮与多轮 prompt 评测（pairwise A/B 偏好、按 judge 和类别统计胜率），并提供套件胜率与覆盖率报告、CSV 导出和 append-only 存储。
推荐理由：开源的本地 LLM 推理基准与评测面板，数据存本地 SQLite，可对比吞吐、TTFT 并用外部模型盲评 prompt。
Reddit 用户 /u/jakecoolguy 发布开源排行榜 whatmodel.sh，输入 RAM 和 GPU 即可查看本地可运行模型的排名和运行命令，并与同分数的 API 模型对比。每个模型分数基于 19731 条公开基准结果拟合，结果均附来源链接；数据、评分代码和 bench 脚本开源于 github.com/jakemanger/whatmodel，支持 curl whatmodel.sh 终端使用，并接受贡献真实 tok/s 数据和新模型分数。作者指出 32GB Mac 可 4-bit 本地运行 Qwen3.8 27B，得分与 GPT-5 相当。
推荐理由：作者开源了评分方法和数据，每个模型分数都能追溯到 19731 条基准结果来源，可自行核验后选用。
作者开源 Silvaiee，一个由 AI 智能体在一天内构建、几乎全部由 Claude（辅以 GLM 和 DeepSeek）编写的 Pokémon FireRed ROM-hack 项目，核心是面向 LLM 的命令行 pk，基于 pokeemerald-expansion 1.17.1 的 FRLG 构建，智能体不读原始游戏文件、用短命令编辑地图、地形、事件和对话，将一次地图编辑的成本降到几百 token。附带两个可复现的盲评基准，Claude Opus 以地图 6.0、对话 8.3 居首，并发现模型自评地图分数最高虚高 +5.5，而盲评 AI 打分与人类评审几乎一致。项目为实验性质，仅支持 FRLG，无官方支持。
推荐理由：项目附带了可复现的盲评基准和自评偏差数据，想比较各模型做关卡设计与写对话的差距可以参考。
GitHub 开源项目 agent-evals 发布，用于测量工具调用型 LLM Agent 的准确率与幻觉，通过保留集验证的改动改进 Agent。框架包含 AWS docs agent（逐条引用与文档快照核对，虚构页面和错引由代码标记）和 boto3 代码 agent（按 botocore 服务模型检查 API 调用，在 moto 无网络沙箱运行）。评分优先用引用检查、关键词检查等纯代码确定性 graders，代码无法判定的部分才用 LLM judge；每个指标带 bootstrap 置信区间、McNemar 检验和 τ-bench 的 pass^k，运行记录含 git SHA、prompt hash 等完整 manifest。
推荐理由：开源的 Agent 评测框架，先跑代码级确定性评分再上 LLM judge 的思路值得借鉴，统计方法部分也可迁移到自家项目。
hanlinwenyuan 发布开源工具 hlwy-ai-checker，用于检查第三方 AI API 是否掺假及渠道一致性，可完全本地部署以保护 API Key 与测试数据。原理是利用大模型被要求随机选数时的统计偏差形成指纹，先以官方 API key 标定，再测试第三方渠道并比较指纹相似度；作者说明这属于统计检测，结果受模型版本、采样参数等因素影响，不能作为商业纠纷的法律或事实依据。
推荐理由：原文讲清了用随机采样统计指纹检测第三方 API 渠道真伪的原理和使用流程，方法可复现且可本地部署。
GitHub 开源库 figured 发布，提供两类无参考、确定性的在线评测，对每个回答的数字和每次工具调用参数溯源，单次检查约 150 µs、每次工具调用约 25 µs（p99 0.19 ms），零依赖、无模型调用，Python 3.10+，pip install figured 可装。库支持 before_call 的 allow/warn/block/confirm 四种裁决、来源规则限制值只能来自指定通道（可拦下间接提示注入类载荷）、重复调用与预算检查，并能重放 OpenAI、Anthropic、Gemini、Bedrock、LangChain 及 tau-bench、AgentDojo 等格式的记录用于离线评测和 CI。
推荐理由：原文给出基准实测数字、延迟数据和局限清单，读者可据此判断这套无参考确定性检查是否适合接入生产流量。
noonghunna 发布 benchlocal-cli，一个面向任意 OpenAI 兼容端点运行 LLM 行为评测包的 CLI，采用确定性 verifier 判分而非 LLM-as-judge。v0.9 加入 aider-polyglot-30（基于 Aider-AI/aider 的 benchmark.py，覆盖 cpp/go/java/js/python/rust 共30题），并内置 BenchLocal 的8个 MIT 许可评测包、可选推理套件（HumanEval+、LiveCodeBench v6、GSM-Symbolic、GPQA-Diamond）。
推荐理由：README详述了各评测包、确定性判分器和Docker沙箱机制，可了解如何在CI中给量化模型做可复现的质量门槛。
GitHub 上的 local-llm-bench-lab（v0.11.0）发布，用一个 YAML 文件描述模型、llama.cpp 设置和变化参数，自动编译、下载模型、跑完所有组合并存入 SQLite，最后给出胜出配置和对应的 llama-server 部署命令。工具优先为 Raspberry Pi 5 设计，也可在任意 Linux PC 包括 WSL2 上运行，测量速度、延迟、质量与并发，每个结果记录 llama.cpp commit、模型 sha256、完整 flags 和机器信息，附带置信区间、运行间冷却和不稳定标记，并可选用 lm-evaluation-harness 与 LLM judge。
推荐理由：工具用单个 YAML 定义实验矩阵并自动记录 llama.cpp commit、模型 sha256 与硬件信息，可迁移到自己的本地模型对比流程。