跳到正文
10月24日周六
  1. Reddit · r/LocalLLaMA26

    16GB VRAM/32GB RAM 下多模型算法任务测试 V2:CyberTiel 与 Ornith 表现亮眼

    一位 r/LocalLLaMA 用户发布了自己在 16GB VRAM、32GB RAM 环境下进行的 5 项算法任务模型测试 V2,相比上一版收紧了任务设置并更换了参测模型阵容,同时开源了 GitHub 仓库供他人复现。结果显示 CyberTiel 和 Ornith 表现意外出色,而 LFM 和 Mellum 在真实负载下表现不佳。

  2. Reddit · r/LocalLLaMA30

    Kimi K3.1 Pro 生成“鹈鹕骑自行车”高保真场景测试:3D 理解能力大幅进步但仍逊于 Opus 5.5

    用户用“生成鹈鹕骑自行车的高保真场景”提示词测试 Kimi K3.1 Pro,默认思考(max)模式下上下文占用约 160k tokens,经 Pi.dev harness 运行。结果优于发布时的 Opus 5.5,但与 Opus 5.5 和 astra 6 仍有明显差距,作者认为即将发布的开源权重模型在 3D 理解上进步巨大。

10月23日周五
  1. GitHub · 去对齐工具与仓库51

    serbeval 塞尔维亚语 LLM 基准发布,GPT-6-sol 以 99% 居首

    作者发布塞尔维亚语大语言模型基准 serbeval,基于 lm-evaluation-harness 0.4.12,官方集 v1.2 共 351 题,其中 61 题经人工核验、214 题由四模型共识确认、76 题由其派生,重点考查翻译无法覆盖的语法现象如格支配、动词体、aorist/imperfect、正字法与西里尔/拉丁字母一致性。30 个模型经 OpenRouter 零样本评测显示 openai_gpt-6-sol 以 99% 居首,gemini-3.8-flash、claude-opus-5.5、gpt-6.1-sol 98%,前沿模型差距很小,剩余错误多为有争议的正字规范;DeepSeek V4 Pro 达 95% 超过 Sonnet 5.5(94%),Kimi K3 92%。

10月22日周四
  1. Reddit · r/LocalLLaMA63

    ggufbench 实测 8 个本地 GGUF 模型的 agent 编码能力:27B 级已够用

    作者 /u/Joralk_ 自建 harness,在 2× RTX 5080 上以统一采样配置实测 8 个本地 GGUF 模型的工具调用、代码与 agent 任务,每任务跑 3 个种子并统计均值与标准差。结果显示 125B 的 Qwen3.8-Flash-Next 并非榜首,35B MiniCPM-V-4.7 与 27B Qwen3.8 在 agent 任务上与其持平,工具调用可靠性比模型规模更关键;开启 thinking 模式使 27B 代码分从 0.79 升至 0.93、agent 分从 0.90 升至 0.96,但延迟从 36 ms 增至 629 ms 且每调用多花约 253 个中位 token。

    推荐理由:作者自建 harness 实测 8 个本地 GGUF 模型的工具调用与 agent 编码表现,还给出 thinking 模式开关的量化代价,方法可复用。

  2. Reddit · r/LocalLLaMA50

    Ornith-1.5-122B:有人把它放进 coding agent 试过吗?

    Ornith-1.5-122B 是一个 MoE 推理模型,支持 tool calling 与 256K 上下文窗口,官方自测在 SWE-bench Pro 得 76.9 分,高于 Qwen3.8-Flash-Next 的 43.9,但在 Terminal-Bench 2.1 上以 81.2 略低于 83.4。已有 Ollama 发布,Q4_K_M 约 77GB,另有运行时内存开销。发帖者想了解它在陌生仓库和长任务中的表现。

10月21日周三
  1. GitHub · 去对齐工具与仓库28

    andyholst/trending-local-llms:本地 LLM 热度榜(Qwen3.8-27B、LFM2.5-24B-A2B 等)

    GitHub 本地 LLM 热度榜显示,Qwen3.8-27B-Instruct(Apache 2.0)以 100.2 热度居首,在 RTX 5090 上经专用推理引擎达 500 t/s 单智能体、约 2000 t/s 多智能体,支持最高 1M token 上下文。Qwen3.8-Flash-Next-125B(MoE)以 60.4 热度次之,在 AMD Strix Halo 上 prefill 达 938 t/s。Ternary Bonsai 2 27B 经 1.75-bit 三值压缩至 5.9GB,保留约 98.2% 能力,5 天下载 11,792 次。

10月17日周六
  1. Reddit · r/LocalLLaMA66

    Kimi K3 发布三个月后实测:本地几乎跑不动,小模型已追平

    Reddit 用户 /u/Sanbi_Ai 复盘 Kimi K3 发布三个月后的实际使用状况:全模型 1.56 TB,Unsloth 推荐的最小量化为 594 GB,需约 610 GB RAM+VRAM,装不进 512 GB;1-bit 量化与全模型下一 token 一致率 79%,2-bit 达 90% 但需 861 GB。其在 Artificial Analysis 指数已从 57 降至 44,GLM-5.3(753B)得 45,Step 5 Preview(600B)以 44 追平;自家 API 仅 43 tok/s,AA agentic 基准平均每任务近一小时、超 $10。许可证非 MIT,公司若 12 个月内总收入超 $20M 需与 Moonshot 另行签约。

    推荐理由:作者用 Unsloth 量化文档和 AA 数据逐项核算了 Kimi K3 的本地运行门槛、API 速度和许可证限制,信息可直接用于部署决策。

10月16日周五
  1. Reddit · r/LocalLLaMA31

    Nemotron-3.5-Bolt-74-A9B 与 Nemotron-3.5-Super-VL 测试

    Reddit r/LocalLLaMA 用户对 NVIDIA Nemotron-3.5-Bolt-74-A9B 和 Nemotron-3.5-Super-VL 进行领域自测,两款模型在 pandas/numpy 和 DDDM 部分表现不佳。Bolt 的 medium thinking 弱于 Nemotron nano,high thinking 略好但不显著且慢得多;Super-VL 因默认 16k max token 预算出现 3 次截断,作者认为放开限制或有提升空间。

10月14日周三
10月13日周二
  1. Reddit · r/LocalLLaMA28

    Qwen3.8-27B 与前沿模型及其他模型的对比测试

    Reddit r/LocalLLaMA 用户在编码、数据分析与本地 RAG 等任务上对比了 Qwen3.8-27B 与前沿模型,测试集从 500+ 题精简而来,只保留能区分模型的题目。结果显示 or-qwen-qwen3.8-27b 以 bf16 原始精度运行,or-qwen-qwen3.8-flash-next 未披露量化且最常被截断(单次测试最大 16,384 token,提高到 32k 后仍有过思被截断),iq3 GSQ-RCO 表现不差,mradermacher 的微调版持续出色。作者结论:本地模型的输出仍需 Claude 或 GPT 复核。

10月10日周六
  1. GitHub · 灵魂体仓库47

    loktar00/llm-website-demos:10 个模型网站生成输出画廊

    Jason 的 day-0 基准测试活动收集了 10 个模型的网站生成结果,每个模型接受同一组网站提示词(手绘日志、risograph 印刷站、瑞士/粗野/装饰艺术微站、Virtual Boy 复古页等),共 92 个网站单元。每个站点为单个自包含 index.html,无构建步骤、无框架,所有输出未编辑,可在浏览器直接打开或经 GitHub Pages 在线浏览。个别单元标记为 Self-fix 或 Hand-patched,Astra 因服务会话未达 verified-ready 状态而无单元收录。

  2. Reddit · r/LocalLLaMA27

    LocalLLaMA 网友发起纯 open-weight 模型社区基准测试

    一位 Reddit r/LocalLLaMA 用户发布了纯 open-weight 模型基准测试,包含 coding、agentic 与按领域/语言/意图分类的可筛选实时结果,全部在本地 2xRTX 3090 + 128GB RAM 电脑上运行,不使用 LLM-as-judge。目前 DeepSeek-V4-Vision-Exp 领先但各模型各有强项,Qwen3.8-27B(Uncensored)正在评测,GLM-5.3-Flash-UD-IQ3XSS 和 Mellum2.1-12B-A2.5B 即将加入。作者号召社区在算力、评测和开发方面提供帮助。

10月9日周五
  1. GitHub · 灵魂体仓库58

    super-squalo 开源 best-llm-for CLI 汇总各模型基准成绩与价格

    super-squalo 在 GitHub 开源 best-llm-for,用 npx best-llm-for 在终端按代码、图像、视频、智能体、数学、推理六个领域查看各模型基准成绩与价格,并提供网页版。只保留模型厂商自己发布的分数,弃用厂商发布会上对竞品的成绩共28条,自报成绩与第三方实测分开标注,数据由 GitHub Action 每日重建、可离线使用,另附带 Claude Code skill 供项目内直接引用该数据。

    推荐理由:它把各家只挑对自己有利的分数拼成终端里的一张总表,只保留模型厂商自报成绩并区分自报与第三方实测,信息口径比较透明。

  2. GitHub · 去对齐工具与仓库53

    llm-arena-vram-calc:给 Arena.ai 排行榜补上参数量与 VRAM 部署估算的开源工具

    kmvaidya 发布开源工具 llm-arena-vram-calc,为 Arena.ai 开源 LLM 排行榜的 225 个模型补充参数量与 BF16/FP8/INT4 三种精度的显存估算,并给出每块单卡能运行的最高排名模型。serving 显存按权重乘以 1.25 计入 KV cache 与框架开销,MoE 模型按全部专家加载计算,参数解析含手动覆盖、Artificial Analysis 数据、名称解析和页面抓取四级回退,数据 24 小时缓存,当前解析成功率为 76.0%。

10月8日周四
  1. GitHub · 去对齐工具与仓库31

    ShanySky/llm-intelligence-monitor:监控 GPT 等大模型能力下降的轻量回归测试项目

    GitHub 上的 llm-intelligence-monitor 是一个轻量回归测试项目,用于监控 GPT 等大模型是否出现能力下降。自 2026-10-05 起自动日测 schedule 已停用,改为按需人工运行:默认 8 道固定锚点题 + 8 道分层轮换题,每题运行中英文镜像,四模型(GPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna、GPT-5.6 Sol X High)并行测试,每模型每轮执行 32 个测试。项目还增加了基于轻量 Agent Harness 的应用型评测通道,评分以客观隐藏检查点为主,不依赖 LLM Judge。

10月7日周三
  1. GitHub · 去对齐工具与仓库55

    法国政府开源 LLM 竞技场 compar:IA,支持机构自建实例

    法国政府项目 compar:IA 是一个开源 LLM 竞技场,用户提交提示词后由两个匿名模型作答并投票,事后揭晓模型名。项目由 DINUM、法国文化部和欧盟 ALT-EDIC 支持,2026年6月已累计 70 万次对话、25 万次投票(约89%为法语),测试超过 130 个模型。公共榜单以 Bradley-Terry 分数和 95% 置信区间呈现盲投票偏好,数据集以 Etalab Open Licence 2.0 与 CC BY 4.0 发布在 Hugging Face。2026年9月发布的 2.0 版新增消息历史、个人榜单和管理后台,支持企业、行业或语言社区用 Docker 自部署实例,丹麦的 AI-arenaen 已上线第二个实例。

  2. GitHub · 去对齐工具与仓库34

    AutoEval:本地运行 Qwen 与 Llama 的 LLM 评测基准项目(试点版 0.1.0)

    工程师学生 Jules 发布个人项目 AutoEval 试点版 0.1.0,在本地用 Ollama 运行 qwen3:1.7b 与 llama3.2:3b(Q4_K_M 量化),基于 3 份 NHTSA 召回报告、9 个案例评测特征抽取、时序分析与有来源摘要,共产生 36 条模型回答,API 成本为 0 欧元。首轮试点中 Llama 3.2 特征抽取得分 63.3%、时序 50.0%,Qwen 3 抽取为 0.0%、时序 40.0%,规则基线抽取 80.0%;语料仍小,结果尚待独立人工复核。

  3. GitHub · 去对齐工具与仓库40

    VersionBench:按版本号大小给 LLM 排名的趣味基准

    VersionBench 是一个戏谑式排行榜,按模型名称中的数字版本号给大语言模型排名,版本号越大名次越高,分数只衡量命名而非智能或能力。其 2026 年 10 月 6 日复核的数据快照涵盖 18 个模型族的 404 次发布事件,附 264 条来源链接,提供排行榜、时间线、对比和发布索引视图,支持 CSV 导出,并以单文件 index.html 离线运行,可部署到 GitHub Pages。

10月6日周二
10月5日周一
9月30日周三
  1. Hugging Face Blog70

    Hugging Face 推出 Open TTS Leaderboard:多语言 TTS 与语音克隆的可扩展评测

    Hugging Face 推出面向开源与多语言 TTS 的 Open TTS Leaderboard,用客观指标替代难以扩展的 arena 式人工投票。评测维度包括基于 Qwen3 ASR 的 WER/CER 可懂度、H200 GPU 上的 RTFx 与 TTFA 速度、以及 WavLM 嵌入余弦相似度(SIM)衡量说话人相似度,将单模型评测从数周缩短到数小时。

    推荐理由:用 WER、SIM、TTFA 等客观指标把评测周期从数周缩到数小时,并解释了开源模型在 arena 榜单上代表性不足的原因。