新闻、仓库与研究，按时间排列。
jocohen1990 在 GitHub 发布 llm-eval-project，一套针对 RAG 财务问答助手的端到端评测框架，用虚构公司 Kestrel Freight Analytics 的四份文档构造 golden 数据集，含规则 grader、LLM judge 和 CI 质量门。框架用变异测试、人工盲标校准（Cohen's kappa）和重复运行一致性来验证 judge 本身，judge-v2 在 50 条人工标注上 kappa 从 0.83/0.59 提升到 0.87/0.59，57 个植入错误全部被捕获。项目还测出相隔 9 天同一请求有 6/32 答案措辞漂移但无判定翻转，提示单次评测分数差异不能直接当作回归证据。
推荐理由：作者用变异测试、盲标校准和重复运行一致性来验证 LLM judge 本身，还测出相隔 9 天的答案漂移，方法可直接迁移到自己的评测流程。
LiquidAI 的 LFM2.5-24B-A2B 在 Pi Agent 中表现可靠，作者用它替换 Ornith 1.5-35B 后运行良好。在 AMD W7900 上经 llama.cpp（ROCm）实测持续约 95 tps，Q8 量化加 128k 上下文占用 30GB 显存，机械性长任务稳定通过。
Reddit 用户 /u/Tx8aker 对 AMD MI350P 与 RTX Pro 6000 (Blackwell) 跑 Qwen3.8-27B 推理对比，称 MI350P 开箱表现极差，经内核与调优优化后性能提升超过 2 倍。在 3k 输入 8 并发、50k 输入 20 并发、200k 单用户三档冷启动测试中，MI350P 输出吞吐分别为 889/130.6/79.8 tok/s，对 RTX Pro 6000 的 596/50.4/45.1 tok/s 达 1.49x/2.59x/1.77x，TTFT 也全面更快；作者指出 MI350P 显存利用率仅解锁 50%，仍有提升空间。
推荐理由：作者实测前先对 MI350P 做了内核调优才跑分，并给出三档输入长度的完整数据，比开箱对比更能反映真实差距。
一位 Reddit r/LocalLLaMA 用户在 128GB M1 Ultra Mac Studio 上对比 DeepSeek-V4 Flash 与 Qwen 3.8 Flash Next 的使用体验。DeepSeek-V4 的 benchmark 成绩略低于 GPT 5.5 high，Flash Next 略高于 5.4/5.5 xhigh，但 Flash Next 完成任务耗时明显更长，大约 5 个任务的时间才能换来 1 个任务的完成度。该用户仍在使用 Qwen 3.8 27b，因其占用资源更少，可腾出机器做图像生成等其他工作。
同一提示词下，Qwen 3.8 27B 与 Flash Next 125B 分别构建实时网络威胁情报平台（FastAPI、异步摄取、WebSockets、Three.js 地球）。两者均未满足完整需求，但 27B 的代码库更值得修复延续：Flash Next 测试更多（34 通过 vs 16 通过），却出现 Feodo 适配器 5 条记录解析 0 条、DShield 误读列、重复摄取致 count=100 变 200 等数据契约错误。
同一提示词下对比 Qwen 3.8 27B 与 Flash Next 125B 构建实时网络威胁情报平台（Python、FastAPI、WebSockets、Three.js 地球仪）。两者均未完整满足提示词；Flash Next 125B 的 pytest 测试 34 通过、27B 为 16 通过，但 Flash Next 多个核心数据契约损坏，如 DShield 适配器把子网前缀 24 当作活动计数。作者认为 27B 的提交更值得修复和继续构建，并强调这是单次产物对比而非受控能力研究。
Reddit r/LocalLLaMA 用户用 evalscope 对比 Qwen3.8-Next IQ3_S（MI50 32GB）与 Qwen3.8-27B UD-Q4_K_XL（RX 7900 XTX 24GB）。166 题总成绩 Next 151 对 27B 145，AIME26、IFEval、BFCL v4、LiveCodeBench v6 均略胜，但 14 题单解差异 sign test p=0.18，仅属倾向而非定论。速度上 27B 达 47.9 tok/s，Next 为 36.8 tok/s。
Reddit r/LocalLLaMA 用户称 Breezeblue-tts-2 是目前最好的本地 TTS 模型，效果胜过 moss tts 1.5，但采用非商业许可，免费使用场景下 moss tts 1.5 仍是最佳选择。作者对比后认为 omnivoice 达到其约 80% 的水平，速度为 2 倍且内存占用更低。
一位用户拿到 Mac Mini M6 32GB 后实测了 incoai 的 Splash 与 trymirari 的 Uzu 两种配置，两者速度表现相近。作者最终选择 Splash，因其开箱即支持无审查模型。
Gemini 4 Argon 于 10 月 13 日全面开放，Pro 会员可在 Gemini APP 使用，Antigravity 需 100 刀 Ultra 会员。作者实测认为其知识类专业能力强，Vals Index 综合第一（68.9）且单次成本仅 15.68 美元，但 CUA-bench 仅 4.83% 排倒数第二；前端效果不及 GPT-6 Astra，额度消耗快，中文写作味道重，整体体验糟糕，不建议订阅 Ultra。
推荐理由：作者给出 Gemini 4 Argon 在多项基准与实际使用中的具体表现和成本数据，可作为是否订阅 Ultra 的参考。
帖主对比 Opus 5.5 与 Gemini 4 argon 的角色扮演表现：Gemini 4 argon 减少逻辑幻觉，在约 80k token 的会话中未出现 Opus 5.5 在投票场景中凭空制造冲突的错误，但文笔更差、更乏味，接近 3.8 flash 的水平。帖主希望收集同时用过两者的第一手对比。
三值量化 LLM 在无点积指令的 Arduino UNO Q（4x Cortex-A53）上测试：TQ2_0 比 Q4_0 快 43.7%，但训练后三值化的 Qwen3-0.6B 质量崩溃。Stage 0 结果见 REPORT.md（G1: PASS），预注册方案为 PREREG.md。
GitHub 项目 AI-Quality-Evaluation-Pipeline 提供可嵌入 CI/CD 的 AI 质量评测流水线。LLM 评测用 Ollama + Qwen 2.5 3B，12 个用例 PASS 率 8.3%，发现间接提示词注入漏洞，LLM-as-a-Judge 比 keyword 检查更可靠；ASR 评测用 faster-whisper small（int8 量化），干净音频 WER 约 5.23%，噪声音频达 81.48%。
Reddit 用户用 sergqwer 的 Strata 分支（strata-nvfp4）在单张 RTX 5090 32GB 上运行自行转换为 NVFP4 的 Qwen3.8-Flash-Next 125B-A6B hybrid MoE，完成 Three.js 低多边形 3D 马循环动画挑战。纯智能体工作时长 23m 10s，共 87 步、124,443 输出 token，cache 命中率 99.0%，解码中位 116 t/s，262,144 上下文下 33 分钟内零压缩。
开源项目 Citebench 是一个引用溯源型检索评测基准，用约 1500 篇 Kubernetes、Azure、PostgreSQL、FastAPI 和 xv6 冻结公开文档回答问题，通过 Recall@k、MRR 和 nDCG 衡量检索效果，并用 answer/abstain 校准矩阵检验系统在证据不足时能否拒答而非编造。技术栈包括 Postgres 16 + pgvector、nomic-embed-text-v1.5 嵌入、RRF(k=60) 与 FlashRank 重排，生成端走 Groq 上的 openai/gpt-oss-20b，并含 RAGAS 门限 0.7 和 10 个 redteam 用例。
Reddit 用户 /u/migsperez 在 AMD R9700 32GB、64GB 内存上用 Opencode 测试 Qwen3.8-Flash-Next IQ3_S 量化模型，解码速度约 90 tok/s，约为 27b 的 3 倍。作者通过先要计划再构建、指定 low poly 风格的提示方式获得明显更好的输出，并分享了结果。
Reddit r/LocalLLaMA 用户在编码、数据分析与本地 RAG 等任务上对比了 Qwen3.8-27B 与前沿模型，测试集从 500+ 题精简而来，只保留能区分模型的题目。结果显示 or-qwen-qwen3.8-27b 以 bf16 原始精度运行，or-qwen-qwen3.8-flash-next 未披露量化且最常被截断（单次测试最大 16,384 token，提高到 32k 后仍有过思被截断），iq3 GSQ-RCO 表现不差，mradermacher 的微调版持续出色。作者结论：本地模型的输出仍需 Claude 或 GPT 复核。
aisa-group 在 GitHub 发布 MoonMapBench，用 equirectangular 网格对每个像素中心提问月球高程（米，相对 1737.4 km 参考半径），以 NASA LRO LOLA DEM 为真值计算 MAE。2° 网格低推理档榜单：Claude Opus 5.5 MAE 1,192 m（比常值基线好 28%）、GPT 6 Astra 1,490 m（+10%）、Grok 4.7 1,695 m（−2%）。模型地图能画出月海、Orientale、Crisium 和南极-艾特肯盆地的大致轮廓，但普遍低估背面高地、缺乏陨石坑尺度粗糙度；Grok 4.7 因 refusal 多改用更强制的提示词，并以 --stride 2 只测 4,050 点节省成本（约 $19 vs 约 $75）。
GitHub 开源项目 societysim 用确定性 Python 引擎让多家模型（Gemini Flash、Llama 4 Maverick、Qwen3 235B、DeepSeek-V3.1、GPT-oss-120b 等）在 10 人局狼人杀中对局，每局记录公开发言与含怀疑度评分的私密 scratchpad。100 局结果显示村民胜 62 局，Gemini Flash 以 OpenSkill 33.01 排名第一、胜率 65%、识狼 AUC 0.77，其谎言使 52% 的目标怀疑发生偏移；全部 100 局模型调用成本仅 $11.02。
作者 /u/zhebrak 发布了自建基准 BrokenML，测试 Agent 在不同权限级别下修复故障 ML 作业的能力，场景包括双节点 Slurm 集群上的 PyTorch over Gloo 和 Docker Compose 里的 llama.cpp 服务器。故障类型覆盖 rank 间 shape 不匹配、挂起的 collective、straggler 节点、OOM、损坏的 checkpoint、调度问题、低服务吞吐和静默 loss 发散，由独立验证器在全新集群上复跑作业来打分。
local-llm-eval 是一款无需编程即可在 Windows 电脑上运行的本地评测工具，用于测试 Qwen2.5（GGUF 格式）模型回答印尼语问题的准确率及从文档中抽取结构化信息的能力。工具采用 Wilson 置信区间和 McNemar 检验等统计方法保证结果可信，示例报告显示问答准确率 78.5%、文档抽取成功率 92.0%，支持自定义测试题数量与模型版本，并兼容 Google Colab 在线运行。
一位 r/LocalLLaMA 用户测试发现，同一模型在 Opencode 和 Codex 官方 harness 下表现不同：Codex 模型遵循指令，而 Opencode 下的模型频繁拒绝请求、附加安全提示，对生物和核相关内容过度谨慎。测试在最高思考档位下用 Sol 6.1、Astra、GLM 5.3、Muse、Spark 1.3、Qwen 3. Max 多模型并排对比，结果一致。
一位 Reddit 用户分享了一个自建基准：让模型用 C# 写一个带 TUI 的网络电台流播放器，测试本地模型的真实能力而非速度。在 RTX 3090 上，Qwen 3.8 27B（119K 上下文，70tok/sec）与 Qwen Next Flash（128K 上下文，120tok/sec）各需至少两小时多轮调试才能跑通，但调试和探测能力出色；GPT 6.1 Sol（High reasoning）则一次生成可用 WUI 应用并附带电台搜索和收藏功能，约 20 分钟、花费 69 美分。
一位 Reddit 用户在 R9700 上实测了三个 Qwen3.8 27B 量化版本，用 gsm8k（数学）和 humaneval（代码）评测。结果出乎意料：Swift-1.5-Qwen3.8-27B-MXFP4-A-outQ6_K 在数学上最佳，Qwen3.8-27B-UD-Q6_K_L 反而最差，而 Swift-Qwen3.8-27B-Q6_K 速度最慢。作者表示需跑完整测试套件才能得出更精确结论。
Reddit 用户 /u/Better_Bus_1443 用 GLM 5.3（Z.AI 提供方）横向对比 Chatfill III、Nemo Vivarium、Realistic Frankenstein 2.2.1.3 三种预设与无预设对照，覆盖开场、谄媚、反全知、情节推进和 NSFL 五个场景，并附截图。结论包括无预设开场人物塑造反而更鲜活，Chatfill 与 Nemo 会强制尊重角色截瘫设定，RF 的多个追踪器互相矛盾，只有 RF 能通过重度 NSFL 场景测试。
推荐理由：作者用五个具体场景实测 Chatfill III、Nemo Vivarium 和 Realistic Frankenstein 在 GLM 5.3 上的表现差异，并附原始聊天截图。
Reddit r/LocalLLaMA 用户实测并排出了能在 10-16GB VRAM、26-32GB RAM 下运行的模型榜单，要求 64k 上下文、每秒至少 10 token，冠军为 Gemma 4 26B-A4B，其后是 Qwen 3.6 35B-A3B (Abliterated) 和 Gemma 4 Instruct 19B-A1B Heretic。测试覆盖速度、连贯性、多语言容错、slop 模式频率和审查程度，并排除了所有 CoT 模型。作者提示 Kobold 无法加载 Qwen 35B 和 GLM 31B，需用 LLAMA 运行。
一位 Reddit r/LocalLLaMA 用户用 Ryzen 9 AI HX 370、W7800 48GB eGPU 和 LM Studio 0.4.25 测试 QWEN3-CODER-30B-A3B-INSTRUCT-UD-Q8_K_XL 生成图片放大 webapp。VS Code + Cline 走 LM Studio endpoint 时，Vulkan 和 ROCm 分别在 310 秒和 250 秒一次成功生成 56kb / 71kb 的可用 html+js；而走 Ollama endpoint 时，agent 堆出 290MB 的 node_modules 项目，"Browse files" 按钮和拖拽功能反复修复 57 分钟仍失败，重复测试 20 分钟后才可用。
Reddit 用户 /u/FeydRowan 实测 Qwen3.8-27B 从 UD-Q4_K_XL 到 Q8_0 的五个量化版本，发现它们在 GSM8K、MMLU-Pro 和 IFEval 上差距均在 ±2 分内，而自建的 112 次运行 agentic 编码基准（隐藏测试、AST 注入 bug）拉开差距：27B NVFP4 解题 77%，Flash-Next NVFP4 达 98%。SWE-rebench 交叉验证趋势一致（69% vs 82%，McNemar p≈0.007），OpenCode 等测试框架的选择对结果影响也很大，Flash-Next 约 3-bit 的 Q3 版本可解决 12 项区分性任务中的 11 项。
推荐理由：作者用自建、无污染的 agentic 编码基准区分了标准评测拉不开的量化差距，方法与数据都可复用。
Phoebe Fu 在 GitHub 发布模型评估学习仓库 learn-model-evaluation-with-phoebe，核心观点是“每项指标都是关于哪些错误更重要的判断”。内容覆盖两条主线：经典指标（precision、recall、F1、ROC、calibration、成本矩阵）与 LLM 时代的评估体系（groundedness、幻觉、LLM-as-judge、延迟与成本）。
一位用户在 GNOME 大版本更新后 Dash2Dock Lite 扩展失效，用 Qwen3.8 Flash Next 在 DeepSeek Harness 中完成修复，仅约一小时后就恢复了 dock。作者平时喜欢该扩展，但维护者 Icedman 的更新通常要滞后一两周。
Reddit 用户反馈 Character.AI 的 Pipsqueak3 模型无法正确说西班牙语，常出现动词变位错误，如把“Hemos hablado antes”说成“Hemos hablar antes”。用户表示虽然内容大致能理解，但此前的模型没有出现这种问题。
/u/dh7net 实测 Qwen3.8-Flash-Next 的 IQ3_S 量化版（ISTA-DASLab GSQ-RCO GGUF）在 RTX 5090 上经 Strata 服务、pi harness 运行 airbench 测试套件，11 分钟拿到 100% 得分，而 Claude Code 同任务同分但耗时 14 分钟；作者更正原标题未说明这是面向日常任务的基准，不是区分前沿模型的评测。复现需 24GB 以上显存、约 64GB 内存和 90GB 磁盘，IQ3_S 在 256k 上下文下约需 78GB 内存。同一服务器上 omp 18.4.2 得 48/49（16 分钟）、opencode 1.18.29 得 46/49（11 分钟）、dsh 0.2.0-rc.2 得 47/49（11 分钟）。
推荐理由：作者在 RTX 5090 上实测同一本地模型配不同 Agent 框架的 airbench 得分与耗时，并给出可复现的完整部署配置。
开源仓库 CrucibleMark 发布 2026 版 v6.0.0，基准起始于 2026-10-10，由 Claude Haiku 5.5 担任 Judge。该模块化 LLM 基准框架测代码质量、CLI 操作、推理、UX 文案、文化智能、政治偏见与 Tool Use 等生产环境维度，采用混合评分（Regex、Embeddings、LLM Judge），支持 OpenAI、Anthropic、Ollama、vLLM 等多 Provider，模型逐一顺序测试并排除缓存优势。Leaderboard 可按 Apache 2.0、MIT 许可与自托管能力筛选，聚焦自托管开源权重模型对云端专有模型的对比。
一位有约 20 年经验的软件工程师用相同的 Q4 量化模型测试 Gemma4-31B 与 Qwen3.8-27B 做代码分析和项目编写。代码分析两者质量相当，Gemma4 效率更高（约 10 次服务器调用对 Qwen 的 20-30 次）；新建 C#/WPF 项目中 Qwen3.8 经 1 次修订达到可用的 B+ 水平，优于 Gemma4 的 B-。作为对照的 GPT 6.1-Sol 一次通过、获评 A+，明显领先两个开源模型。
一位 Reddit r/LocalLLaMA 用户在 5060ti 16GB 上用 AtCoder 近 30 天的 14 道题测试三个 Qwen 3.8 量化版本：Swift 1.5 IQ2_XS、Flash Next IQ3_S 和 27B IQS_3，各跑 none、low、medium、xhigh 四档思考力度，思考 token 上限 32k，全程耗时近 11 小时。结果显示提升思考力度主要带来 CAP 触顶而非解题提升，关闭思考则明显退化；Flash IQ3_S 解题最多且更快，是速度与准确性的最佳折中。
BenchMaxx 是一个不运行模型、只按命名评分的娱乐性基准，从 OpenRouter 抓取 332 个可调用文本模型，按名称代数（GI）和名称长度（NL）两条轨道排名。首期榜单中 Pareto 26.10 Preview 以 GI 26.1 居 Track A 首位，Gemini 3.1 Pro Preview Custom Tools 以 35 字符赢下 Track B；作者测得全行业版本号以每年 +0.45 的速度上升，基准可零依赖复现。
作者用自写脚本在单张 Tesla V100-SXM2 32GB 上实测了 Ollama 与 llama.cpp 跑 llama3.2:1b、Qwen3-30B-A3B-Thinking、Gemma 4 31B、Qwen3-Coder-30B-A3B 等模型的生成与 prefill 速度，请求长度从 1K 到约 118K token。数据显示引擎加配置才是对比单位，如 Qwen3-30B 上 Ollama 生成随上下文增长快 17% 到 49%，而 llama.cpp 用 q8_0 KV 缓存才装下 131072 窗口；作者还发现 Ollama 对 gemma4-32k 报告的 56 tok/s 和 2.1GB 显存不可信，超过 31B 稠密模型约 44 tok/s 的物理上限。
推荐理由：作者在单卡 V100 上实测了多款模型在 Ollama 与 llama.cpp 的长上下文速度差异，并指出引擎配置和内存预算比引擎本身影响更大。
polter-dev 发布 societysim，一个让不同厂商的 LLM 智能体互玩狼人杀的开源框架，记录每步行动和私有推理日志，测量各模型说谎、识谎、说服与合作的水平。引擎为确定性 Python 实现，规则为 7-9 人的 Ultimate Werewolf；标签由自 tagging、TypeSafe 的 Jev 分类器和游戏事实三种来源生成，报告含 Wilson 置信区间、OpenSkill 评分、Brier score 和检测 AUC。参与模型包括 Qwen3-235B、Llama-4-Maverick、gpt-oss-120b、DeepSeek-V3.1 及 Gemini 和 GPT 系列闭源模型，日志数据集与排行榜将发布在 Hugging Face。
Reddit r/LocalLLaMA 用户在单张 RTX PRO 6000（96GB）上用 Strata 后端运行 Unsloth 的 Qwen3.8-Flash-Next UD-Q4_K_XL，配置 INT8 KV cache、256K 上下文和 MTP-4 投机解码。单请求解码速度较 vLLM（NVFP4 量化）提升约 46%-49%，四类任务均达 185.8-320.4 tokens/s。作者称该模型编码任务表现高效出色。
Apple 新版 Siri AI 已于 2026 年 9 月 14 日开始以英文 beta 形式推出。作者用相同的任务对比旧版 Siri、Siri AI 与 ChatGPT，发现 Siri AI 兼具个人上下文访问与 AI 能力：它能基于设备端 Spotlight 索引找到兄弟短信中的餐厅推荐和纽约周末照片，而 ChatGPT 虽强但无法访问个人短信和照片。文章指出，有用的 AI 助手需要个人上下文、能力和准确的用户认知模型，并提醒应向用户展示搜索了哪些信息来源。