跳到正文
10月21日周三
  1. Hugging Face · 新模型:abliterated56

    PinoCookie 发布 Qwen3Guard-Gen-4B-Abliterated 去对齐版

    PinoCookie 在 Hugging Face 发布 Qwen/Qwen3Guard-Gen-4B 的 abliterated 版本,移除该安全分类器的有害内容标记行为,而非聊天模型的拒绝行为。在 80+80 对照集上,原版标记 78/80 有害对,消融后标记 0/80,良性选择性保持 80/80 Safe,margin 排序 AUC 从 0.988 降至 0.9755;采用 L32 α=6.0 的单层 o_proj+down_proj 消融点,同配方复现三次结果一致,并在不同主体模型的 40+40 新切片上复验。

    推荐理由:原文给出消融方法、逐层消融网格和 80+80 对照数据,可据此判断这次对 guard 模型的去对齐到底去掉了什么、代价多大。

  2. GitHub · 灵魂体仓库39

    date-buffet-llm:本地 LLM 加持的双向条件匹配相亲测试应用

    GitHub 开源项目 date-buffet-llm 是一个无需后端的相亲匹配测试应用,基于 React + Vite + TypeScript,用 localStorage 和 50 名 seed 固定的虚拟人物运行,可切换 Supabase 实现真实用户匹配。推荐卡片内置"AI 설명 보기"功能,调用本地 Ollama 的 qwen2.5:3b 用 2-3 句解释匹配理由并推荐开场消息,单条生成 12-25 秒,通过 JSON schema 强制输出、temperature 0.2 和抄袭/事实检测保证质量。项目附带公平性测试(npm run simulate),TOP 10 基准下年龄、性别、地区指标均通过,TOP 5 地区指标未达标。

  3. Reddit · r/LocalLLaMA51

    Qwen3.8-Flash-Next 对比 Opus 5.5:同一 Rust 任务六组合 12 次基准实测

    /u/deepu105 在 r/LocalLLaMA 发布受控编码评测:以 LlamaStash 路线图中的保存与恢复 llama-server KV cache 功能为同一任务,6 种模型与 harness 组合各跑 2 次共 12 个 PR,全部通过端到端测试。Claude Code + Opus 5.5 xhigh 平均 6.94/8 分,Claude Code + Flash-Next 为 5.5 分,Pi + Flash-Next 为 5.06 分;Opus 代码质量领先(82% vs 68%/66%),差距集中在边界情况、测试与文档。

  4. Reddit · r/LocalLLaMA52

    OvisOCR3 发布:基于 Qwen3.5-0.8B 的 OCR 模型,支持结构化输出与跨页表格重建

    OvisOCR3 基于 Qwen3.5-0.8B,以 Apache 2.0 开放,附 vLLM 推理示例。新增结构化 JSON 输出(含边界框与元素类别)、按字段或 JSON 模板的关键信息抽取、图表描述与流程图 Mermaid 输出,以及先解析再用同一模型合并相邻页表格片段的跨页表格重建。官方报告 OmniDocBench v1.6 得分 96.74、MDPBench 88.80(由 69.00 提升)、PureDocBench 82.31(由 75.10 提升)。

  5. Reddit · r/LocalLLaMA45

    InternScience 发布 Sage-A1.5:基于 Qwen3.6-35B-A3B 的 35B MoE 智能体模型微调

    InternScience 发布 Sage-A1.5,一个基于 Qwen3.6-35B-A3B 微调的 35B Mixture-of-Experts 智能体模型,主打长程科学问题求解。该模型支持跨子智能体的并行任务编排与独立上下文、可选的链式思维内自验证,以及原生 function calling 等工具集成能力,提供 GGUF 格式供社区使用。

  6. Hugging Face · 新模型:uncensored42

    LxBarn 发布 Qwen-Image-2.1-Uncensored 量化版,支持 ComfyUI 本地生图

    LxBarn 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的无审查(Uncensored)量化版本,提供 GGUF、Safetensors 和 MLX 格式,文件大小从 NVFP4 的 4.20 GB 到 BF16 的 14.23 GB 不等,其中 Q4_K_M(4.60 GB)被推荐为 GGUF 体积与质量的最佳平衡。该版本内置 qwen3vl_8b 文本编码器与 VAE 文件,可直接在 ComfyUI 中使用,且无内置安全检查器,可直接生成成人、NSFW 及敏感图像。

  7. Hugging Face · 新模型:abliterated39

    Huihui-Qwen3.8-27B-abliterated GGUF 发布:Qwen3.8-27B 去审查版本

    huihui-ai 发布基于 Qwen/Qwen3.8-27B 的去审查(abliterated)GGUF 版本,通过 abliteration 技术移除模型拒绝回答行为,仅消融部分层(如第 22 至 52 层,0 起始索引),MTP 与视觉部分未改动。提供 Q2_K_L 至 Q8_0_L 等多种量化格式,可通过最新版 ollama(huihui_ai/Qwen3.8-abliterated)或 llama.cpp 运行,支持 -c 262144 上下文;模型安全过滤大幅降低,建议用于研究测试而非生产环境。

  8. Reddit · r/LocalLLaMA51

    Qwen3.8-Flash-Next 1.66bpw EXL3 量化可完整装入 5090 并稳定推理

    /u/Unstable_Llama 在 r/LocalLLaMA 分享 Qwen3.8-Flash-Next 的 1.66bpw EXL3 量化版本,无需 offload 专家即可完整装入 5090。推理全程稳定、无推理循环,速度 200-300 t/s;因 32 GB 显存即便配合 cache 量化上下文空间仍紧张,需做较多 compacting。权重发布在 https://huggingface.co/turboderp/Qwen3.8-Flash-Next-exl3,附量化模型生成的液体猫演示视频。

  9. Reddit · r/LocalLLaMA18

    2x5090 + 128GB 内存下用 vLLM 部署 Qwen3.8 Flash Next 的最佳配置讨论

    一位 Reddit r/LocalLLaMA 用户在 2x5090 + 128GB 内存的本地环境运行 Qwen3.8-27B 做智能体编程,称 vLLM 是唯一不破坏 KV cache 且能高效利用的框架,目前使用 Minachist 的 Qwen3.8-27B-INT6-Mixed-AutoRound 量化版本。他考虑改用 Flash Next,但未找到针对 2x5090 + vLLM 的平衡配置方案,向社区征求部署经验。

  10. Reddit · r/LocalLLaMA68

    Kapitsa 0.2 发布 KFlash 投机解码,并实测对比 Apple Silicon 多款推理引擎

    Kapitsa 开发者发布 0.2 版,引入新投机解码方法 KFlash,并在 MacBook Pro M4 Pro 48GB 与 M1 Pro 16GB 上对比多款引擎的解码速度。Qwen3.8 27B 4-bit 下 Kapitsa 0.2 KFlash 达 63 tok/s,Inco Splash 1.4.0 DFlash2 为 53 tok/s;Qwen3.6 35B-A3B 上两者分别为 161 和 135 tok/s。KFlash 在同一遍检查中用 best-first 树检查草稿候选,而非单链遇错即停。作者提供 kapitsa bench 供用户自测并提交结果,Splash 需 M3 或更新芯片,Kapitsa 支持 M1 至 M6。

    推荐理由:作者给出两代 Mac 上多引擎的实测数据,并解释了 KFlash 与 DFlash2 在投机解码检查方式上的差异,便于读者对照自己的机型。

  11. arXiv · cs.AI62

    Agent S4 论文提出演化式智能体界面,在 OSWorld V2 达 21.3% 开源 SOTA

    论文提出 Agent S4,一种自主计算机使用智能体,从任务经验中构建可演化的智能体界面:元智能体在无成功标签的合成任务轨迹上构建并修订界面与用法知识仓库,再通过基于种群的进化按未见验证任务的表现筛选。在 OSWorld V2 上,Agent S4 搭配 Qwen3.8-27B 与演化界面仓库取得 21.3% binary score,为固定界面同模型的 3.8 倍,高于 GPT-5.5(13.0%)和 Claude Opus 4.8(20.6%),成本约为后两者的 4.3% 和 1.5%;在 ScienceBoard 上同模型成功率从 41.4% 提升至 58.6%。代码已开源。

    推荐理由:论文提出让智能体自主演化操作界面,用无标签轨迹和种群进化构建接口库,并给出 OSWorld V2 与成本对比数据。

  12. arXiv · cs.CL48

    Present but Hard to Read:用最小对探测 Ouro-1.4B 与 Qwen2.5-1.5B 的潜在推理

    一项 arXiv 研究测试模型内部状态中被复制自问题的数字是否存在:在 looped 模型 Ouro-1.4B 和标准 Transformer Qwen2.5-1.5B 上,该数字在最后一个 prompt token 处存在且跨问题共享编码,readout 约 0.9,但常规单样本探测只读到 0.36 和 0.19(即使经过 5,249 个训练问题)。作者提出一套包含合成 null 的协议来区分计算值与输入的复制和混合,在预注册的两步问题研究中发现 Ouro 写出答案最后一位前有未写出的中间值 a+b 的微弱信号,且其符号部分可由混合解释。将该值 patch 到另一问题并不改变写出的数字,而 patch 答案的同一位置可以,说明该值可读但未被使用。

  13. arXiv · cs.CL39

    PAR:面向状态跟踪长度泛化的进度对齐循环方法

    论文提出 Progress-Aligned Recurrence(PAR),通过让第 k 次迭代的预测对齐前 k 步操作后的状态、并将循环状态重缩放至首轮范数,提升循环语言模型的长度泛化能力。基于 Qwen2.5-0.5B、仅在最多 32 步上训练的模型,在 swap-S₅ 任务外推到 512 步时达到 95.5% 平均全状态准确率,为训练长度的 16 倍,显著高于 RLT 的 55.7% 和显式思维链的 0.8%。消融实验显示去掉范数锚定会使外推倍数降至 2.2 倍以下,无中间标签时可借助前缀自蒸馏从最终答案学习对应关系。

  14. arXiv · cs.CL48

    CUA-Recovery:面向长时程计算机使用智能体错误恢复的基准测试

    研究者提出 CUA-Recovery 基准,用 ReRail 框架在持久桌面环境中合成多应用长时程任务,评估计算机使用智能体(CUA)的错误检测与恢复能力。测试集含 2,250 个经人工验证的错误状态(100 个任务),训练集含 8.6K 轨迹(377 个任务);六款智能体错误感知率(EAR)最高仅 44.0%,Pass@3 最高 25.5%。用训练集微调 Qwen3.5-35B-A3B 后,其平均 EAR 从 19.9% 升至 35.2%,Rubric Score 从 5.0% 升至 16.1%,并在 MyPCBench 和 Odysseys 上分别提升 15.3 和 10.8 分。

  15. GitHub · 灵魂体仓库62

    Simile 开源村庄模拟:NPC 依托 Claude Code 与 Qwen3-TTS 本地运行

    GitHub 项目 mentaldesk/simile 发布了一个等距像素风小村庄模拟,NPC 由核心价值、关系指标和事件记忆日志驱动行为与对话,思考通过本机 Claude Code 登录完成,无需 API key。语音用 Qwen3-TTS 在本地生成,Apple Silicon 上经 mlx-audio 推理,句子文本到达后 0.2–0.4 秒出声,生成速度约为播放的 3 倍,只对玩家可闻的对话配音。村庄新闻由 Claude Haiku 分析六个 RSS 源,每源最多 10 条。

    推荐理由:仓库文档写清了 NPC 核心数值、关系四指标和记忆日志的设计,读者可以照此复现带记忆的村庄智能体。

  16. arXiv · cs.AI51

    研究揭示微调目标如何塑造大语言模型幻觉检测中的层级信息分布

    arXiv 论文 arXiv:2610.27711 发现,在匹配条件下分类头微调在二分类幻觉检测上持续优于 LLM-as-Judge 序列到序列范式,原因在于 cls 学到任务专属的判别方向、隐状态呈清晰双簇几何,而 s2s 依赖预训练语言建模头、表征更接近原骨架。分析发现任务信息集中在上中部 InfoWindow,其上各层高度冗余,截断 InfoWindow 之上的 31% 层在 Qwen3-4B 和 8B 上准确率不变且延迟降低 1.4 倍,同样的深度比例在预先固定的条件下迁移到 Llama-3.2-3B 和 Mistral-7B-v0.3,并在 QNLI 和 SST-2 上重现相同层级结构。

  17. arXiv · cs.AI27

    Hearsay or Fact?框架设计与引导方式如何影响 LLM 概率更新

    一项基于 δ-SNLI 数据集的研究测试了 LLM 收到单条新信息时概率估计的移动幅度,涵盖 Qwen3-8B、OLMo-2-7B 两种本地模型及五种 agent 命令行配置。在直接陈述引导下,全部七种配置均朝标注方向移动 18-28 个百分点;改用“有人说”转述则降低移动幅度 2-5 个百分点。研究还发现,五次加权估计虽减少极端值,但在两个本地模型中使敏感度分别下降 43% 和 68%。

  18. arXiv · cs.AI44

    在托管模型上实现隐私保护推理:针对冻结 Qwen3.8-27B 的学习型输入嵌入变换

    该 arXiv 论文提出在客户端本地将文本转为向量,并经 55.6M 参数的训练网络变换后,再交给托管方运行冻结的 Qwen3.8-27B 模型,托管方始终收不到文本或 token id。在 1,490 道训练外的 MMLU 问题上,该变换仅损失 1.5 个百分点准确率(80.7% vs. 82.3%),同时 30.1% 的内容 token 经最近邻查找已无法还原为原始 token。

  19. Reddit · r/LocalLLaMA30

    Reddit 用户实测:Unsloth 3bit Qwen 3.8 Flash Next 在 CachyOS + STRATA 下速度从 9t/s 提升至 48t/s

    一位 Reddit r/LocalLLaMA 用户在 8GB 显存的本地设备上运行 Unsloth 3bit Qwen 3.8 Flash Next,原速仅 9t/s;改用 CachyOS 与 STRATA(自带 NVIDIA 驱动)后峰值达 48t/s,平均约 30t/s。上下文长度最高跑到 42k,距 OOM 仅差约 130MB VRAM,64k 因显存不足无法实现,作者称其体验接近本地版 Claude。

  20. GitHub · 3D 生成新仓库16

    Lolite OS(GitHub 仓库)更新:网页桌面系统新增语音通话、Life RP 玩法与游戏商店

    Lolite OS 是一个可部署在 GitHub Pages 或 Vercel 的浏览器桌面系统,提供应用、游戏、文件与深紫蓝界面。本次更新为 Lolite Chat 加入基于 WebRTC 与 Supabase 的可见语音通话标签、语音房间、桌面通知和已读回执;Life RP 新增 12 条故事任务、28 天 18 级赛季、6 个玩家商店与 18 种商品,以及 Lolite Plus(4,500 虚拟币)和 Lolite Pro(12,500 虚拟币)等纯游戏内升级。GitHub Pages 版仅为静态预览,Vercel 版的 service worker 在浏览器测试中失败,仓库已提供 Dockerfile 和 render.yaml 用于自托管代理后端。

  21. Hugging Face · 新模型:abliterated52

    DevelopingDad 发布 Qwen3.8-Flash-Next-FP4-Local 去对齐实验版 trial117

    DevelopingDad 在 Hugging Face 发布基于 NVIDIA Qwen3.8-Flash-Next-FP4-Local 的去对齐实验权重 trial117,将 trial 117 实验的拒绝方向干预直接烘焙进 checkpoint,无需运行时 adapter。在两台 DGX Spark 的 TP=2 对照测试中,烘焙版开发集拒绝 0/100、保留集 3/100,与 adapter 的 KL 差异约 0.037 nats;原定的零拒绝目标和 0.20 KL 上限未达成。需 B12X vLLM 运行时,TP=1 冒烟测试通过 5 项基础检查,长上下文、多模态与工具调用能力未经验证。

    同一新闻,精选展示《DevelopingDad 发布 Qwen3.8-Flash-Next-FP4-Local-Abliterated 去对齐权重》

  22. Reddit · r/LocalLLaMA36

    Qwen3.8-27B-pi 在 RTX 3080 + 3060 双卡本地部署实测

    一位 Reddit r/LocalLLaMA 用户在 RTX 3080(10GB)+ RTX 3060(12GB)双卡上用 llama-server 运行 Qwen3.8-27B-pi Q4_K_M 量化模型,配合 MTP 草稿推理实现 30-40 tok/s 生成速度,平均 MTP 接受率约 0.75,上下文 75776。该配置用于 Kotlin/Android 的 agentic coding,作者称 dflash2 草稿反而比 MTP 更慢,并征求进一步优化建议。

  23. Reddit · r/LocalLLaMA62

    Intel Arc Pro B65 几乎没有跑分数据,作者自建 4x 平台实测长上下文吞吐

    /u/SamSausages 因 Intel B65 几乎没有公开跑分,自建 4x B65 平台,用 vLLM 对 Flash-Next W4A16 和 Qwen3.8-27B 的 INT4、FP8、BF16 等配置做长上下文吞吐扫描,覆盖 0 到 200K 上下文和 1 到 16 并发请求。数据显示 Flash-Next 开启 MTP-3 后单请求吞吐约翻倍(0 上下文 84.5 对 42.7 tokens/sec),200K 上下文下降到 45.8;Qwen3.8-27B INT4 在 4 卡下 8 并发可达 468.2 tokens/sec。

    推荐理由:作者自建 4x Intel B65 平台,实测多款模型在 16K 到 200K 上下文下的吞吐数据,并给出 MTP 开关与不同精度的对照。

10月20日周二
  1. Hugging Face · 新模型:abliterated31

    Huihui-Qwen3.8-Flash-Next-abliterated 的 Orinfer E8P Q2A8 量化部署发布

    huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated 的 Orinfer E8P Q2A8 量化版本面向 Jetson AGX Orin 64GB 部署,采用近 2-bit E8P 编码与旋转处理,模型目录约 51.2 GB,只读权重约 34.52 GiB。支持文本、多图、thinking、prefix caching 与最多 7 drafts 的原生 MTP,上下文容量 262,144 tokens;实测 8,192 输入 prefill 达 809 tokens/s,Python 代码生成解码 53.84 tokens/s。权重采用 Qwen Community License 1.0,Orinfer 代码为 LGPL-3.0-or-later。

  2. Reddit · r/LocalLLaMA53

    Qwen3.8-Flash-Next 与 Opus 5.5 六组实测对比:真实 Rust 功能任务上 Opus 平均 82% 对 68%

    /u/deepu105 在 r/LocalLLaMA 发布受控对比:用 LlamaStash 路线图中的真实 Rust 功能(卸载前保存并恢复 llama-server 的 KV cache)作为统一任务,六种组合各跑两次共 12 个 PR,全部通过端到端测试。Claude Code + Opus 5.5 平均得分 82%,Claude Code + Flash-Next 为 68%,Pi + Flash-Next 为 66%,差距主要在边界情况、测试和文档;Flash-Next 耗时为 Opus 的 1.1 到 2.1 倍,但本地运行(Strix Halo 笔记本上约 Q4 量化、4.16 bpw、70W TDP)几乎零成本。

  3. Reddit · r/LocalLLaMA46

    Ornith-1.5-122B 发布:基于 Qwen 微调的端到端自我改进模型

    Ornith 团队发布 Ornith-1.5-122B,一个基于 Qwen3.5 与 Gemma4 继续预训练、mid-training 和 post-training 构建的 122B 模型。该模型将自我改进循环从 scaffold 与 rollout 优化扩展到联合优化任务生成、scaffold 构建和解题 rollout,通过强化学习持续生成新训练任务并改进策略,不依赖人工策划的固定任务集。

  4. Reddit · r/LocalLLaMA55

    AMD Ryzen AI Halo 迷你主机:$4k、128GB 统一内存跑本地大模型

    转引 TechPowerUp 报道:AMD Ryzen AI Halo 迷你主机定价 $4k,搭载 Ryzen AI Max+ 395 和 128GB 统一内存,可运行 32GB 显存 GPU 装不下的大模型;对比 NVIDIA DGX Spark 的 128GB 版 $7k,后者在 time-to-first-token、CUDA 集成和 fp8/fp4 支持上更快更全,但 Halo 支持 Windows 和 Linux、完全本地私有、无订阅和云依赖,代价是内存带宽、待机风扇噪音和缺乏高级精度格式。作者还实测用 128GB Strix Halo 机器加载 qwen3.8-flash,通过 codex 配合 sumus 做本地多文件重构,把整个仓库和模型同时放进统一内存实现离线工作。

  5. Reddit · r/LocalLLaMA31

    Qwen3.8-FlashNext 与 Qwen3.8-27B 工具调用问题对比

    Reddit r/LocalLLaMA 用户反馈,ukisai/Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-GGUF:IQ3_S 在 Basalt 上运行时工具调用失败明显增多,最多连续四五次失败才成功,而 Qwen3.8-27B 在 4bpw 以上量化及 llama.cpp、vLLM、exllamav3、NInfer 引擎下几乎无失败。作者计划用 BFCL v3 或 v4 测试不同配置以收集数据。

  6. Reddit · r/LocalLLaMA28

    Qwen 3.8 Flash Next:显著更快、更精准地达成结果

    Reddit r/LocalLLaMA 用户分享了一个针对 Qwen 3.8 Flash Next 的附加提示词:让模型先写出粗糙草稿,测试后逐步添加细节与深度,以“分形”循环方式迭代,避免陷入反复规划的无用思考循环。作者称模型因此变得前所未有地快速、精准和自信,并发布了聚焦局部细化的修改版提示词,征求社区改进建议。

  7. Reddit · r/LocalLLaMA57

    BigMoeOnEdge 作者展示自适应流式优化器,可在消费级硬件上运行大型 MoE 模型

    BigMoeOnEdge 作者发布自适应流式 Planner,作为 llama.cpp 之上的资源调度层,在手机、Mac、Windows 笔记本等设备上运行远超内存的 MoE 模型,并提供 OpenAI 兼容本地服务器。实测 Qwen3.6-35B-A3B 在 12GB Android 手机上解码 10 tok/s、NPU prefill 100-300+ tok/s,16GB Mac 上 Planner 将解码从 7 提升到 25-30 tok/s、2000-token prompt 从 21 秒降到 3.4 秒;DeepSeek V4 Flash 284B 在 12GB 手机上 1 tok/s。作者考虑向 llama.cpp 提 PR 集成。

  8. Hugging Face · 新模型:uncensored56

    Qwen3.8-27B TURBO Heretic 无对齐微调版发布 GGUF 权重,ARC-C 达 735

    yushen100 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段微调 GGUF 量化版,主打去对齐与思考 token 缩减(约 1/2 至 1/10),8bit ARC-C 735、ARC-E 882,4bit ARC-C 719,均高于原版 Qwen3.8-27B(8bit ARC-C 0.591)。去对齐用 Heretic v1.2.0+ 的 ARA 方法,Stage 1 拒绝数从 99/100 降到 0/100(KL 散度 0.0535),Stage 2 后为 11/100、KL 0.0025。

    同一新闻,精选展示《TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版,ARC-C 达 735》

  9. Reddit · r/LocalLLaMA18

    用双 3060 12GB 的旧服务器跑 MoE 模型,我漏了什么?

    一位用户计划以约 €550 购入二手 HP Z640(2x E5-2680 v4、64GB ECC 2400),加装两块 3060 跑 Qwen 3.8 Flash Next(Strata)和 llama.cpp,并兼顾 PyTorch CV 训练、PyBullet RL、LLM LoRA 训练与 MiniMax H3 视频生成。其疑问包括双 3060 能否装入 Z640、双路 CPU 是否影响 llama.cpp 的 MoE offload、M6000 作第三卡是否值得保留,以及 PSU 仅两根 6-pin、HP 限双卡各 150W 时用适配器加功率限制是否可行。

  10. Hugging Face · 新模型:abliterated64

    alesha-pro 发布 Qwen3.8-Flash-Next 去对齐 Strata GGUF 量化包

    alesha-pro 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated Strata GGUF 量化包,含 S 和 S-small 两种规格,基于 Mirai 的 2-bit trellis 构建,用 huihui-ai 的拒绝方向向量去除拒绝行为。实测 AdvBench 64 条提示中 stock 版拒绝 64 次、加向量后仅 1 次,Alpaca 无害提示基本不受影响。可在 1-2 张 RTX 3090 上运行,S 版解码 82-113 tok/s,支持最高 262144 上下文,需 Linux、CUDA 12.8+ 和约 64 GB 内存。

    推荐理由:作者实测了加拒绝向量前后的拒绝数和各档速度内存数据,读者可以据此判断这个去对齐量化包的实际表现。

  11. Reddit · r/LocalLLaMA31

    Nvidia Nemotron 3.5 Super 120B 与 Qwen 3.8 27B 对比:HTML 动画叙事与可视化能力测试

    Reddit r/LocalLLaMA 用户用"降噪耳机原理"单文件 HTML canvas 动画提示词对比 Nvidia Nemotron 3.5 Super VL 120B A12B(Q4_K_M)与 Qwen 3.8 27B(Q8_0)。前者思考 7 分钟、31 tps,后者思考 20 分钟、15 tps,测试在 AMD Strix Halo 128GB、Win11 LM Studio 上进行,Nemotron 效果明显更好。

  12. GitHub · 灵魂体仓库64

    Open Grammar 插件用本地 Ollama 模型为 Obsidian 和 Logseq 做英德语拼写语法检查

    laffy-999 发布 Open Grammar 插件,在 Obsidian 1.14.4 和 Logseq 0.10.15 内用本地 Ollama 模型提供英语和德语拼写语法建议,不依赖云模型和外部检查服务,仅接受 loopback 地址并拒绝云端模型。默认模型为 qwen3.5:4b,在 63 段合成基准中修复 32/39 处错误且保留全部 24 个对照段落,约需 3 GiB GPU 显存或可回退 CPU 运行;正文还给出十余个候选模型的对比数据和保护链接、代码等笔记语法不被改动的实现细节。

    推荐理由:README 附带 12 个候选模型在 63 段合成样本上的实测对比和筛选逻辑,读者可以照着按内存与语言需求选型复现。