跳到正文
10月19日周一
  1. Reddit · r/LocalLLaMA39

    Nemotron 3.5 Bolt 实测:适合小型多用户部署

    Reddit 用户实测 Nemotron 3.5 Bolt,认为其适合小型多用户场景。该模型解码器采用 2 bit 量化、敏感部分为 NVFP4,每 5 层线性注意力(Mamba2)配 1 层 GQA 全注意力,30k 上下文仅占 200 MB KV cache(27B 为 952 MB),速度约为 27B 的两倍,智能水平与 Qwen3.6 27B 相当,幻觉率优于部分顶级模型。作者推荐单张 5090(32 GB)或 128 GB 小型主机作为理想硬件。

  2. Hugging Face · 新模型:abliterated50

    RTX 3080 20 GB 实测 Qwen3.8-27B 两个 abliterated 量化版的 MTP 速度与困惑度对比

    作者在单张 RTX 3080 20 GB 上用 llama.cpp 实测了 Qwen3.8-27B 的 Huihui 与 Heretic RVN 两个 abliterated 量化版本,仓库不含模型权重。结果显示 RVN IQ4_XS 在 MTP 下最快(代码 69.4 tok/s、散文 58.2 tok/s,比 Huihui 快约 5–7%),德语困惑度略低,通过 88.6K 上下文与全部 6 项工具调用测试,但多占 1.1 GB 显存导致 n-max 3 无法启动;MTP 草稿深度 n-max 2 是综合最优设置,MTP 对 prefill 无帮助反而约损失 5%。

10月18日周日
  1. Reddit · r/LocalLLaMA48

    browsecomp-plus-mini:从 BrowseComp-Plus 830 条查询中精选 15 条,无需 LLM judge 即可近似排序 deep-research 智能体

    Reddit 用户发布 browsecomp-plus-mini,从 BrowseComp-Plus 的 830 条查询中选出 15 条子集,用于低成本比较搜索智能体。该子集与完整基准的加权 Spearman 排序一致性达 0.88(随机 15 条为 0.75),全基准分差超 10 分的两个系统约 96% 情况下保持排序。答案均为 1-4 个词,按归一化精确匹配评分,无需 LLM judge,成本不足完整运行的 2%。

  2. GitHub · 去对齐工具与仓库52

    晴天 SVG 海报横评:同一提示词实测 8 平台 24 个大模型

    greenwoodpro 发布晴天 SVG 海报横评,用同一句提示词在 8 个平台、13 家厂商的 24 个模型上各生成一次 SVG,共 59 件作品,全部由模型手写矢量图形,不调用图片生成。作者用 Edge 无头浏览器按原始 viewBox 2× 渲染成 PNG,结论是能当海报用的不超过十张,最好的三张来自 v0 上的 GPT (astra) xhigh、claude.ai 的 Sonnet 5.5 high 和商汤 SenseNova;作品存在同质化重、人物回避正脸、小字排版失控等通病,且思考强度更高不等于更好。画廊托管在 GitHub Pages,仓库附 30 份 SVG 源码,其中 v0 侧 Sonnet 5.5 max 与 high 输出 MD5 相同,系重复导出已合并计数。

  3. GitHub · 3D 生成新仓库18

    BUS5001 课程项目评估:Google NotebookLM 作为大学学术研究助手

    一项 BUS5001 Assessment 3 项目通过三项测试评估了 Google NotebookLM 在大学学术场景中的可用性,测试基于 AASB S2、ASIC Regulatory Guide 280 和 Australian Treasury Sustainable Finance Roadmap 三份公开澳大利亚官方文件,涵盖有据问答、多源比较和学习指南生成。结果显示输出与来源基本一致、引用可查但未逐条验证,三项测试中未确认出现幻觉。项目建议在教师指导和数据治理政策下进行受控试点,将 NotebookLM 作为辅助工具而非替代原始学术文献。

  4. Reddit · r/LocalLLaMA31

    新一代本地编程 LLM 表现相当不错,远超过去的大参数模型

    一位 Reddit r/LocalLLaMA 用户自建测试:让模型学习一种新图形语言的语法并生成可被程序解析的图形。Qwen 3.8 与 Ornith-1.5 表现最佳,两者仅 27B,却在语法理解和想象力上击败了 DeepSeek 4 flash、Qwen 3.5 122b、GLM 4.7 等更大的本地模型,想象力甚至超过 Haiku 5.5;GLM 4.7 已生成 66k token 思考仍未完成。

  5. Reddit · r/LocalLLaMA72

    RX 9060 XT 16GB 上十个模型跑五项编码任务实测

    作者在一张 RX 9060 XT(16GB)上用五项编码任务实测十个模型,每轮只给 spec 文件,需自行产出 solution.py 和 test_solution.py 并跑测试,由模型看不到的 checker 评分,单格上限 1750 秒。deepseek-v4.1-flash 云端 API 与 Qwen3.8-27B UD-IQ4_XS+MTP(kvstream fork)均 5/5,前者 236 秒 43k tokens,后者 94 分钟 185k tokens;其余本地模型多在 4/5 或更低,c4、c5 是主要分水岭,失败集中在 tie-break 规则、嵌套组解析和用 re 回溯导致超时或内存暴涨。

    推荐理由:作者自建带盲测 checker 和性能门槛的编码评测,在 16GB 显卡上实测十个模型,失败原因逐个拆到具体规则和实现细节。

  6. Reddit · r/LocalLLaMA42

    9 条思考规则在长程智能体任务上的实测:GLM-5.3-Flash 跑 Terminal-Bench 2.0

    作者在 Terminal-Bench 2.0 全部 89 个任务上测试了 9 条思考规则:同一模型 GLM-5.3-Flash 配 mini-swe-agent,High thinking 下加规则得 59.6%,不加规则为 52.8%。该成绩高于 Claude Opus 4.6 + Claude Code(58.0%)和 Gemini 3 Pro(56.9%),低于 GPT-5.5 的 82.2%。作者称排行榜分数为多次尝试平均,其结果为单次尝试,仅供参考。

  7. Reddit · r/SillyTavernAI37

    GLM 5.3 使用一个月后的体验评价

    一位用户分享了 GLM 5.3 使用一个月后的评价,总体偏正面。他认为该模型主动性极强,能自行推动剧情,世界感是同类免费模型中最好的,长对话(500-900 条以上消息)依然保持活跃。缺点是性格存在迎合用户的正面偏置,且语气模式僵化,即使纠正后角色仍困在单一表达状态里。

10月17日周六
  1. GitHub · 灵魂体仓库59

    PipeRoll 开源 seismograph 模型行为漂移观测站

    PipeRoll 开源了 seismograph 仓库,一个独立模型行为观测站,自 2026-08-20 起每日对 43 个文本模型(16 家实验室,含 Anthropic、OpenAI、Google、DeepSeek 等)运行固定探针电池,发布行为漂移的 witnessed readings,实测已上线(seismo.piperoll.org)。设计上采用双层电池:Tier 1 固定探针累积基线,Tier 2 每次程序化生成新题用于检测评估作弊导致的固定分与新鲜分 divergence;每次读数经 cosign 签名锚定到 Rekor,附完整 provenance。

    推荐理由:每日固定探针加冻结基线的设计,把模型行为漂移变成可追溯的观测记录,方法论与治理规则都公开可查。

  2. Reddit · r/LocalLLaMA32

    Qwen Flash Next 量化等级与温度参数对比实测:性能、任务时间与质量

    一位 Reddit 用户在本地硬件上对 Qwen Flash Next 的 q3_xxs、q3_s、q4_xs 三种量化版本,分别在 temp 1(官方推荐采样参数)和 temp 0 下各跑 3 次共 12 组测试,任务为浏览器内 Tetris 游戏。结果显示各量化版本质量均可接受,低量化版本因思考与额外工具调用生成更多 token,总解码量与任务时间随量化等级提升而下降;temp 0 或略降任务时间并提升一致性,但样本太少不足以下结论。作者建议在硬件允许下选最高量化,关注任务时间而非解码速度。

  3. Reddit · r/LocalLLaMA18

    LocalLLaMA 用户呼吁建立与 jev 官方基准校准结果相关的开源基准

    Reddit r/LocalLLaMA 用户发帖称,开源模型在 jev 官方基准(如 calibration 校准)上的表现与开源基准排名不一致,kev 在官方基准排第二却进不了非官方 jev decision index 首页,说明两者中至少一方有问题。他希望有人做一个与官方基准强相关、按图像解析、视频解析、数学、代码、游戏等技能细分并覆盖不同输入格式的开源基准;现有 jevbench 结果太少且只测游戏能力。

  4. Reddit · r/LocalLLaMA50

    NVIDIA Nemotron-3.5-Bolt-74B-A9B GGUF 在 16GB VRAM 上的 llama.cpp 实测与 Strata 风格调优

    用户在 16GB VRAM 上用 llama.cpp 测试 NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF(IQ2_XSS 官方量化),20k 输入、贪心解码下 v0.7.0 达 168.8 tok/s,为各构建方案最佳,其余变体差异在噪声范围内。Strata 风格的专家路由 profiler 经 #30594 可用于 llama.cpp,但混合模式因 PCIe Gen5 x16 上传快于 CPU 计算而降至 89–98 tok/s;GPU 缓存预热后命中率约 82%。专家缓存 7.5 GB 为安全上限,draft 默认设置(每步 3 token、无置信阈值)最优。

  5. GitHub · 灵魂体仓库49

    15 个本地 LLM 俄罗斯方块编程实测:千分制排名

    一个 GitHub 仓库用同一指令让 15 个本地 LLM 各自制作俄罗斯方块网页游戏,以 1000 分制排名。测试在 AMD Strix Halo(Radeon 8060S、64GB 统一内存)上用 llama.cpp b11701 router 模式运行,Agent 为 opencode v1.18.35,每模型独立会话、bubblewrap 沙箱隔离并禁网,单次限时 60 分钟。评分由 headless Chrome 实机操作测试(含 10 张截图)加代码评审组成,图形与手感由人工确认,结果写入 RESULTS.md。

  6. Reddit · r/LocalLLaMA28

    Qwen 3.8 Flash Next 真有那么强吗?作者实测对比 Qwen 3.8 27B 后表示存疑

    一位 r/LocalLLaMA 用户在 4x 3090 上实测 Qwen 3.8 Flash Next UD-Q4_K_XL,与 Qwen 3.8 27B Q8 直接对比后认为差距明显,Flash Next 并不如社区宣称的那样好。在用两个提示词生成 Windows 俄罗斯方块独立 .exe 的测试中,27B 模型首提示出现两个 bug(暂停和游戏结束后按键仍生效),但第二次提示自行修复;strata 框架跑 4 小时未产出可玩 exe,生成速度虽快但结果比 llama.cpp 更差。

  7. Reddit · r/CharacterAI29

    Character.AI 用户实测体验:PS2 文笔细腻但爱跑偏,PS3 反应快但逻辑欠佳

    一位 r/CharacterAI 用户分享对各模型的日常使用反馈:因每日撞上 400 次 swipe 上限感到不满。PS2 擅长比喻、景物描写和内心冲突,但每条回复都会跑偏成无标点的混乱句子,几乎必须大量编辑;PS3 擅长动作、争吵和推进剧情,但经常不合逻辑。用户策略是用 PS3 出反应和动作、PS2 垫情绪氛围,多刷 PS3 后拼接成长回复。所有模型都存在乱插外语词、抢演用户角色的问题。

  8. Reddit · r/LocalLLaMA66

    Kimi K3 发布三个月后实测:本地几乎跑不动,小模型已追平

    Reddit 用户 /u/Sanbi_Ai 复盘 Kimi K3 发布三个月后的实际使用状况:全模型 1.56 TB,Unsloth 推荐的最小量化为 594 GB,需约 610 GB RAM+VRAM,装不进 512 GB;1-bit 量化与全模型下一 token 一致率 79%,2-bit 达 90% 但需 861 GB。其在 Artificial Analysis 指数已从 57 降至 44,GLM-5.3(753B)得 45,Step 5 Preview(600B)以 44 追平;自家 API 仅 43 tok/s,AA agentic 基准平均每任务近一小时、超 $10。许可证非 MIT,公司若 12 个月内总收入超 $20M 需与 Moonshot 另行签约。

    推荐理由:作者用 Unsloth 量化文档和 AA 数据逐项核算了 Kimi K3 的本地运行门槛、API 速度和许可证限制,信息可直接用于部署决策。

  9. Reddit · r/LocalLLaMA31

    Nemotron 3.5 Bolt 真实任务评测:与 Qwen Flash Next 各胜一局

    一位数据工程师用两个真实 ETL 任务(重构 run.sh、编写 orchestrator.py)实测 Nemotron 3.5 Bolt,并以 Qwen Flash Next(UD-IQ4_XS、llama.cpp)的已完成结果作对照,由 Gemini 评审。结果两者各胜一局:Nemotron 在脚本重构上胜出,Qwen 在 orchestrator.py 上胜出。作者认为 Nemotron 3.5 Bolt 足以胜任其工作负载,在其服务器上平均速度约 130t/s,且 2-bit 量化下表现令人印象深刻。

  10. Reddit · r/LocalLLaMA40

    LLM 通关 2D 平台跳跃游戏的项目成为决策能力 benchmark

    Reddit 用户 Felladrin 发布的让 LLM 玩 2D 平台跳跃游戏的项目已开放为 benchmark,任何模型都可参与并贡献可复现结果至 GitHub 排行榜。模型在每步决策中读取游戏文本描述并回答两道选择题(选择目标与按键),目前仅榜首模型在全部 5 个 seed 上通关全部 14 个关卡;27B 大模型跑完一轮测试需 16 小时。

10月16日周五
  1. Reddit · r/LocalLLaMA31

    Nemotron-3.5-Bolt-74-A9B 与 Nemotron-3.5-Super-VL 测试

    Reddit r/LocalLLaMA 用户对 NVIDIA Nemotron-3.5-Bolt-74-A9B 和 Nemotron-3.5-Super-VL 进行领域自测,两款模型在 pandas/numpy 和 DDDM 部分表现不佳。Bolt 的 medium thinking 弱于 Nemotron nano,high thinking 略好但不显著且慢得多;Super-VL 因默认 16k max token 预算出现 3 次截断,作者认为放开限制或有提升空间。

  2. Reddit · r/LocalLLaMA29

    无人谈论的 Qwen Flash Next:潜在 SOTA 级 Q2 量化

    Reddit 用户实测 Agantai 的 GYRO 系列量化 GYRO-M,称其在 KLD、top 1 和体积上同时优于 ISTA-lab 的量化。3 天测试中未出现循环问题,最长自主运行 2-3 小时,速度与 ISTA 2 bit 量化相当,整体接近 ISTA q3 水平但体积更小,仅在西里尔文本编辑上偶有出错。

  3. Reddit · r/LocalLLaMA60

    DeepSeek V4.1 Flash 4x DGX Spark 实测:与 Patrick Moorhead 结果对比

    Reddit 用户 /u/Aroochacha 在自己的 4x DGX Spark 上复测 DeepSeek-V4.1-Flash,并与 Wccftech 报道的 Patrick Moorhead 结果对比。他指出 Wccftech 所列 476 GB 内存占用实为磁盘上的 476 GiB(511 GB),模型权重本身 511 GB,实际只能用每台 Spark 约 80%-92% 的内存,模型无法完整驻留内存,需用 SGLang TP4 加从各节点本地 NVMe 流式读取的约 196 GB Engram 表(带约 4 GB row cache)才能跑起来。

    推荐理由:作者在自建 4x DGX Spark 上复测 DeepSeek V4.1 Flash,给出逐档 prompt 的完整数据,并指出 Wccftech 把磁盘占用误报为内存需求。

  4. Reddit · r/LocalLLaMA31

    阿里巴巴 Qwen 团队发布 BlenderWorld Benchmark

    阿里巴巴 Qwen 团队于 10 月 14 日发布 BlenderWorld Benchmark 仓库,用于评测视觉智能体根据真实世界参考在 Blender 中创建 3D 场景的能力。作者推测 Qwen 未来可能聚焦 3D 设计智能体技能及通过 MCP 使用 Blender 等工具,并可能公布后续模型在该基准上的成绩,但这并非官方公告。

  5. AIHOT · 精选34

    Kling 4.0 凌晨上线,作者实测30秒一镜到底与全能参考表现

    可灵AI凌晨正式上线视频模型 Kling 4.0,作者实测后认为其在大范围动态、复杂动作衔接和全能参考可控性上有扎实进步。新模型支持最长30秒一镜到底直出,首尾帧改为最多10帧多帧参考;1080P 30秒约450积分,720P 20秒的 Kling 4.0 Flash 仅120积分,作者推荐先用 Flash 打样再出片,10-bit 4K HDR 尚未上线。

  6. Reddit · r/SillyTavernAI22

    RP 逻辑基准测试:记忆、情感与保密能力(Reddit r/SillyTavernAI)

    Reddit 用户自建了一套测试角色扮演逻辑的基准,让模型阅读角色档案和多轮故事中的散落线索与秘密,再以特定角色写出下一轮,共 27 项任务、满分 1000 分,覆盖本地与 API 模型。测试只考察逻辑而非文笔,故事由 AI 生成,评分由 gpt-6-astra 担任 AI 评审,作者提醒结果仅供参考。

  7. Reddit · r/LocalLLaMA59

    RTX Pro 6000 实测 Ninfer6000、vLLM 与 llama.cpp 跑 Qwen3.8-Flash-Next 对比

    作者在 RTX Pro 6000 Blackwell 上对比 Ninfer6000、vLLM(NVFP4)与 llama.cpp(Q4_K_XL)运行 Qwen3.8-Flash-Next 的表现。Ninfer6000 平均 decode 238 tok/s,约为 vLLM 的 1.59 倍、llama.cpp 的 2.21 倍,但 prefill 低于 vLLM(约 10k 对 16k tok/s);BFCL v4、IFEval、MMLU-Pro、HumanEval+、MBPP+、Arena-Hard、RULER 等基准三者基本持平。

    推荐理由:作者在 RTX Pro 6000 上实测三套引擎跑 Qwen3.8-Flash-Next 的吞吐与基准数据,并给出真实使用中工具调用异常的细节。

  8. Reddit · r/LocalLLaMA31

    Qwen3.8-Flash-Next 在双 AMD AI Pro R9700 平台上的个人推理方案对比评测

    作者在双 AMD AI Pro R9700(Lenovo P620、Threadripper Pro 3945WX、128 GB DDR4)上对比了 Qwen3.8-Flash-Next 的三种推理方案:radiance 1.4.0、Strata 0.1.42 和 Unsloth 的 llama.cpp fork。radiance 生成速度最快达 147.2 tps,Strata 为 79.1 tps,llama.cpp 仅 17.6 tps;三者与 OpenRouter 上 Alibaba 托管的 Qwen3.8-Flash 输出一致性接近,作者认为可视为等效并按速度选择。

10月15日周四
  1. Reddit · r/LocalLLaMA58

    自托管模型往返翻译基准发布:覆盖 15 个模型多种量化版本

    /u/isoos 与朋友发布了自托管模型的首轮往返翻译基准结果,涵盖 8 个语言对、12 条测试提示词,用嵌入向量距离打分并惩罚不一致与指令遵循错误,测试了 15 个模型的不同量化版本,结果见 selfhostedintelligence.com。观察包括:16GB VRAM 足以自动化翻译;推理模式对 Qwen 模型提升巨大;大型 MoE 模型最低量化档与上一档差距明显;abliteration(huihui quants)对大模型通用能力的影响远小于小型稠密模型。测试在 1-2 台 Strix Halo 上运行。

    推荐理由:实测覆盖 15 个模型不同量化版本,并给出量化层级与 abliteration 影响的具体观察,可按硬件条件选型。

  2. Reddit · r/LocalLLaMA34

    LocalLLaMA 实测:模型差异可能来自损坏的工具模板与文件名问题,而非模型本身

    一位 LocalLLaMA 用户用 MCP host 和 ML-Flow 追踪本地模型工具调用后发现,Gemma4:27b 更新后工具调用失败从大量降为零,而 Gemma e2b 和 qwen2.5 仍频繁失败,问题多出在默认工具模板与 harness 配置不匹配。文件名中使用括号也会破坏部分工具。作者认为比较开源模型优劣时需先排除 harness 与任务差异。

  3. Reddit · r/LocalLLaMA22

    Strata 与 Swift 1.5 为速度牺牲智能?LocalLLaMA 用户实测对比 27B 模型

    Reddit r/LocalLLaMA 用户实测发现,Strata 模型即使量化到 27B 3.8 UD Q4 仍感觉智能不足,难以编写基础 3D 游戏和 2D 平台游戏,且比 27B 需要更多 shots 和 compactions。Swift 1.5 27B 同样表现更差,DeepSeek Flash V4 在 Q2 量化下没有这种明显下降。结论:不赶时间建议用 27B Q4(慢 3x 到 5x)或常规 flash 模型,追求极速编码可选 Next flash strata。

  4. Reddit · r/LocalLLaMA52

    Qwen3.8 Flash Next Unsloth 量化版实测:芬兰语能力随量化明显下降

    /u/MarkoMarjamaa 用 Project Lönnrot 三本芬兰语书、Project Gutenberg 同源英语书和 wiki 语料,实测 Qwen3.8 Flash Next Unsloth 各量化档的 KLD 与 top-1% 差异。结果显示芬兰语受量化影响明显,Q8 时 KLD 已远超 0.02 的可察觉阈值;其自测的混合(chimera)模型把 Unsloth Q4 换成 Q8 级 n-gram,效果介于 Q4 与 Q5 之间,且 n-gram 从磁盘读取不占内存。原文链接:https://www.reddit.com/r/LocalLLaMA/comments/1x6kw7k/

  5. Reddit · r/LocalLLaMA54

    Qwen3.8 27B 16GB 显存 KV 量化实测:21 个模型 9 种量化共 189 组基准

    Reddit 用户 /u/Fancy-Snow7 对可装入 16GB 显存的 Qwen3.8 27B 量化组合计算 KLD 与困惑度,覆盖 21 个模型、9 种 KV 量化共 189 组基准。结论是 q5_1/q5_1 几乎总是优于 q8_0/q4_0 或 q4_0/q8_0,而后两者差异很小;模型量化升一档跑 q4_0/q4_0 在 KLD 上几乎总优于低一档配 f16/f16,建议先选最高可用模型量化,再视余量提高 KV 量化。作者提醒该结论适用于较低量化,从 q6 升到 q8 时提高 KV 量化收益可能更大,且不适用于 Gemma 等需 f16 KV 的模型;Bonsai 和 swift 量化因属微调,KLD 差异显著,计算意义不大。完整基准数据见评论区。