跳到正文
#Qwen
今天10月26日周一20 条
  2. GitHub · 灵魂体仓库50

    fanyifan090409-dev/mobile-llm-engine：基于 Qwen3 的手机本地大模型推理引擎开源

    GitHub 开源 mobile-llm-engine，一款 iOS 优先的本地大模型推理引擎，内置基于 Qwen3 继续训练的 0.6B 中文助手模型（Q5_K_M 量化、551MB），专注日历等工具调用任务，数据不出设备。实测 40 题工具调用中 tool_call 发射率和 schema 校验通过率均为 100%，但日期参数正确率 0/15，幻觉问题修复中。目前仅支持 Apple Silicon Mac，运行内存约 1GB，可开放试用。

  3. Reddit · r/LocalLLaMA22

    Qwen4-27B 疑似采用 4 路并行残差流架构

    Reddit 用户在 vllm-xpu-kernels 的一个 PR 中发现 Qwen4-27B 的架构变化：用 4 路并行残差流替代单一残差路径，以在固定 27B 参数预算内提升信息流和表示密度，相关页面随后显示 404。作者认为若有效深度得以扩展，多步推理、编程和推理一致性可能大幅提升，并表示更期待 27B 版本而非 flash MoE 版本。

  6. Reddit · r/LocalLLaMA22

    社区热议：Qwen4 是否值得期待

    Reddit r/LocalLLaMA 用户讨论 Qwen4 的预期表现：预览版 Qwen3.8-Flash-Next 虽仅用于展示新架构，但同规模下表现极为出色，发帖人认为 Qwen4 发布后可能不再需要更大模型。讨论聚焦 Qwen4 能否大幅超越当前 QFN，还是该尺寸已接近当前技术上限。

  7. Hugging Face · 新模型：uncensored50

    Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP GGUF 发布

    HauhauCS 发布 Qwen3.8-27B 无审查 Aggressive 变体的 GGUF 量化版本，0/465 拒答，直接作答且几乎无前导语。该版本附带 HauhauCS FastMTP 32K 加速 sidecar，在 Q8_K_P 下相比禁用 MTP 最高达 3.02x 文档 TG 和 1.93x 推理 TG，比标准内嵌 MTP 高 35.2% 和 21.1%。模型保留文本、推理、agentic、图像与视频能力，原生 262,144-token 上下文，可扩展至 1,000,000，兼容 llama.cpp 等标准 GGUF 运行时。

  8. GitHub · 3D 生成新仓库50

    开源项目 Muti-agent：基于 LangGraph 的营销物料多智能体生成系统

    GitHub 仓库 lxy305072-collab/Muti-agent 发布，输入产品信息可自动产出标题、正文和配图，基于 LangGraph 编排 7 个 Agent 节点，含 Critic 75 分审查门槛、人工审核闸口和多模态图文一致性审查。系统用 pgvector 做 RAG 混合检索，评分 ≥90 的物料自动向量化入库作 few-shot 范例，并公开了 SSE 断线续传、DashScope 出图双端点路由、JSON 输出自修复等 9 个工程难点解法。

  10. Reddit · r/LocalLLaMA18

    Qwen3.8-Flash-Next 与 Swift-1.5 对比：用户求 Swift-1.5 过度思考改进的实测体验

    一位 r/LocalLLaMA 用户从 DSV4 Flash 0731 切换到 Qwen3.8-Flash-Next，表示效果好于预期，但该模型常做不必要的深度思考和信息获取，token 效率低导致体感偏慢。Swift-1.5 据称针对 Qwen 模型过度思考的倾向进行改进（可能因 RL 为 benchmark 刷分所致），发帖人正在征求同时用过两者的对比体验。

  11. GitHub · 去对齐工具与仓库43

    MiniCode：基于 LLM 的自主编程智能体（UFMS 神经网络课程实践项目）

    MiniCode 是一个由 LLM 驱动的自主编程智能体，接收自然语言任务后生成 SPEC 与 PLAN，在沙箱化 workspace 中受控执行，且仅在独立于 LLM 的测试 harness 确认 pytest 通过后才判定完成。项目为 UFMS 神经网络课程实践作业，目标模型为 Qwen/Qwen2.5-14B-Instruct-AWQ，经 vLLM 以 OpenAI 兼容 API 提供。智能体采用有限状态机（RECEIVED→SPECIFIED→PLANNED→IMPLEMENTING→VERIFYING→DONE/FAILED），含修复循环、token 预算管理与 .minicode/ 执行追踪。

  12. GitHub · 灵魂体仓库41

    autoNews：用 GitHub Actions 零成本自动生成前沿 AI 日报的开源项目

    GitHub 开源项目 autoNews 每天自动采集全球 AI 资讯，覆盖 11 个垂直领域，用大模型生成结构化解读并归档为飞书云文档，全程运行在 GitHub Actions 上，零服务器成本。项目支持 ArXiv、GitHub Trending 等多源采集，标注 [大厂/顶级机构] 等质量标记，可配置飞书或钉钉推送。模型接口任意 OpenAI 兼容服务均可，支持 DeepSeek、通义千问、智谱 GLM、OpenAI 等，每天北京时间 08:00 自动运行并跨天查重。

  13. Reddit · r/LocalLLaMA22

    如何用 QLoRA 微调 Qwen3.5-9B 处理约 500 GB 多格式原始数据：一位本地部署用户的求助

    一位 Reddit r/LocalLLaMA 用户用 8x T4 服务器部署 Qwen 3.5-9B Q5_K_XL，实现 87k 上下文、44 个 slot、单用户 35-40 tps，现想用 QLoRA 微调约 500 GB 的图像、扫描件、PDF、Word/Excel 数据。他持有 Mi50、V620、3060 等多块显卡但多台主板存在启动兼容问题，纠结于 3060 组合还是单价约 700 美元的单卡 R9700，并询问 unsloth 是否支持 Intel GPU。

  14. Reddit · r/LocalLLaMA61

    RTX PRO 4000 Blackwell SFF 120W 超频实测：Qwen3.8 27B 生成提速 67%

    /u/iam31337 在 RTX PRO 4000 Blackwell SFF（24 GB，工厂 70 W 无辅助供电）上用修改版 VBIOS 将功率提至 120 W，Qwen3.8 27B 生成从 35.04 提升到 58.53 tok/s（+67%），Qwen3.6 35B A3B 显存 +33.3% 时生成 +19.8%。158 次请求、每配置仅 1-3 次，两模型量化与投机解码设置不同，非严格受控对比；作者提醒 120 W 超出 PCIe 75 W 槽位预算，属实验性结果。全文与 CSV 见 https://piszczek.pl/blog/rtx-pro-4000-blackwell-sff-120w-qwen-benchmark

    推荐理由：作者实测同一款卡上两个模型的功耗超频收益差异，给出具体功率与频率参数，并坦承样本量与量化设置的局限。

  15. GitHub · 3D 生成新仓库32

    ImageMetaAI 开源：本地 AI 为 Shutterstock 与 Adobe Stock 生成图片元数据

    ImageMetaAI 是一款基于 C# 和 WPF 的 Windows 桌面应用，使用本地 Ollama 模型分析图片并生成图库元数据。视觉模型 qwen2.5vl:7b 生成图片描述，元数据模型 qwen3:14b 生成标题、关键词和分类，结果可人工编辑后导出为 Shutterstock 和 Adobe Stock 专用 CSV。图片全程本地处理不修改原文件，仅位置识别可选调用 OpenStreetMap Nominatim。

  16. GitHub · 灵魂体仓库57

    Atlas3DSS 开源 Character Creation 人格雕刻工作台

    Atlas3DSS 开源 Character Creation，一个通过激活转向雕刻 LLM 人格的交互式工作台，参考实现用 Qwen3.8-27B 跑在六张 32 GiB V100 上。方法借鉴 Lyra 的 neuron-explorer（带符号神经元干预、相对剂量归一化），提供 16 个可编辑预设、五维 Big Five 特征旋钮、共享 prompt 基线对比和本地 agent 调度研究，并明确标注命名预设的角色还原度未经验证、相关强度仅为探索性关联。

    推荐理由：原文给出了用激活转向雕刻人格的完整工作台，包含校准、对照基线和明确的证据边界，方法细节可直接迁移到他人的人格实验。

  17. GitHub · 3D 生成新仓库47

    IlyaEmelin/batch-generation-service：Qwen2.5-1.5B-Instruct 批量生成服务项目报告

    基于本地 vLLM 部署的 Qwen2.5-1.5B-Instruct 构建批量商品卡片生成服务，对 300 个商品生成五键结构卡片，三次重试将格式有效率从约 0.40 提升到 0.903，retry_rate 为 0.497。参数实验显示 repetition_penalty 1.05 在 dev 上更好但全量跑降至 0.820，最终弃用。API 对比中 OpenRouter 上的 openai/gpt-oss-20b（reasoning_effort=low，max_tokens=500）在 30 个商品上全部有效，按 20 ₽/60 ₽ 每百万 token 计费约 34.677 ₽/1000 张卡片。

  18. Hugging Face · 新模型：uncensored34

    Qwen3.5-4B-Uncensored-HauhauCS-Aggressive 发布：4B 无拒绝无损去审查版模型

    HauhauCS 发布 Qwen3.5-4B 的去审查版 Uncensored-HauhauCS-Aggressive，移除全部 465 个拒绝样本，实现完全无审查且能力无损，模型不会拒绝提示词。其提供 BF16 到 Q4_K_M 等多种 GGUF 量化（7.9 GB 至 2.6 GB），原生支持文本、图像、视频多模态，262K 上下文（可用 YaRN 扩展到 1M），可在 llama.cpp、LM Studio、Jan 等运行时加载。

  19. GitHub · 灵魂体仓库60

    understudy-lm 发布仅用目标模型文本训练的推测解码草稿模型，针对 Qwen3.5-4B 投影加速 1.43x

    understudy-lm 项目发布了仅从目标 LLM 的文本输出训练的推测解码草稿模型，无需 logits、隐藏状态或更小的同族模型，草稿一次猜测 4 个 token，由目标模型一步验证，输出不变。发布的草稿针对 Qwen3.5-4B 训练，实测每步接受 1.58 个 token，投影加速 1.43x；在 llama.cpp 下因需逐 token 起草并恢复状态反而更慢（27 到 36 tok/s 对 69 tok/s），需支持 lookahead heads 的运行时才能兑现。

    推荐理由：只靠目标模型的文本训练推测解码草稿模型，不用 logits 和隐藏状态，并给出接受的实测与局限说明。

10月25日周日
  1. Hugging Face · 新模型：abliterated24

    Qwen3.8-Flash-Next-Abliterated Sushi 3bpw 实验性量化版本发布

    sanasol2008 基于 orcarouter/Qwen3.8-Flash-Next-Uncensored 的 BF16 权重制作了 Sushi 格式 3bpw 实验性量化包，路由专家采用 EXL3 K3 编码，未额外做 abliteration 或微调。完整下载约 79.22 GiB，在 Apple M3 Max 48 GiB 上冷解码 11.88 tok/s、热解码 12.88 tok/s，慢于 2bpw 版本；校准误差相对 2bpw（相对 Frobenius 误差 0.029 对 0.064）更低，支持 262144 上下文配置上限。

  2. GitHub · 去对齐工具与仓库69

    anima3 发布：用 logprob 选择替代 LLM 生成 JSON 的 System One 大脑

    uotavern 发布 anima3，一个驱动 anima-client 的轻量 System One 大脑：把 Observation 转成文本场景（可访问性树），用代码枚举当前合法动词的闭式菜单，由本地模型按选项字母的 log-probabilities 选择一个，从不生成文本，无需解析且不会答到菜单之外，低置信度时回退到规则自己的首个动词。默认后端为本地 Qwen3-4B（logprob 模式），实测在 M5 上每次决策约 96–150 ms 且 $0；文中给出离线与 ServUO 实机数据，包括 77 个测试、战斗/经济/多人村庄/决斗等场景、置信度门控实测（ECE 0.585）以及实验 3 中 Qwen 自主决策显著差于规则（p < 0.001）的结果。

    推荐理由：作者先跑测试再定架构，用闭式动词菜单加 logprob 选择避免文本生成，还给出多场景实测延迟与置信度校准数据，方法可迁移。

  3. Reddit · r/LocalLLaMA62

    24GB M5 MacBook Air 上跑 Qwen3.8-Flash-Next Q2 量化，解码达 49 t/s

    /u/Inside-Pen-8395 在 24GB M5 MacBook Air 上以 Splash 1.4.0 的约 800 行 fork 运行 Qwen3.8-Flash-Next Q2 量化，24,576 个专家槽位中约 6,800 个驻留 ~8.8 GB 内存，其余从 SSD 按需流式读取，支持 256K 上下文，解码平均 48.8 t/s（stock 为 28.8）。

    推荐理由：作者实测了 Qwen3.8-Flash-Next 在 24GB 内存下的 SSD 专家流式方案，给出解码速度、预填充和 LiveCodeBench 对照数据。

  4. Hugging Face · 新模型：uncensored37

    Qwen-Image-2.1 Uncensored 量化版发布，提供 GGUF/Safetensors/MLX 多格式本地部署

    l666A 基于 Qwen/Qwen-Image-2.1 上游权重发布 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 格式用于本地图像生成，Q4_K_M（4.60 GB）为推荐的 GGUF 量化方案。该版本不含内置安全检查器，可直接生成成人、NSFW 及敏感图像，支持 ComfyUI 与 ComfyUI-GGUF，文本编码器卸载到系统内存可节省 9–17 GB 显存。

  5. Reddit · r/LocalLLaMA56

    用云端 Agent 评测本地 35B 模型：800 道自编数学题盲测，盲解者以 5 比 1 优于出题作者

    Reddit 用户 /u/Individual_Page9676 让云端 Agent 通过 Tailscale + LM Studio 调用本地 Mac 上的 Qwen3.6-35B-A3B，构建了一套验证式数据管线：模型自编 800 道数学题后在新会话中盲解，分歧交由 Qwopus 3.5 122B 仲裁，Agent 用 Python 暴力核算，最终得到 793 道可用题。盲解者在仲裁分歧中 56 次正确、作者 12 次，说明出题写官方答案比解题更易出错；第三轮复验中 793 个答案有 774 个被直接确认，甚至抓出 Agent 自己暴力核算写错的一道题。

  8. Reddit · r/LocalLLaMA65

    Lean-QwenFlash：Qwen3.8-Flash-Next（125B）在 16GB 显存加 8GB 内存下跑出约 20 tok/s

    /u/MaxDev0 将 sybil-solutions 的 GLM-5.3 低内存卸载方案移植到更轻量的 Qwen3.8-Flash-Next（125B），通过 NVMe SSD 直接卸载，在 16GB 显存加 8GB 系统内存的 RTX 4090 上实现约 20 tok/s 解码。8k 短上下文为 28–33 tok/s（散文）、19–22 tok/s（代码），prefill 约 1,080 tok/s；262k 满窗口下 20.0 tok/s 解码、约 1,627 tok/s prefill；RTX 3080 Laptop（16GB 显存、32GB 内存）100k 上下文约 18–21 tok/s，峰值显存 15.5GB。现有方案（如 Strata）需把 24k 专家全部驻留约 48–64GB 内存。

    推荐理由：作者把 GLM 的高效 NVMe 卸载方案移植到 Qwen3.8-Flash-Next，给出多档显存和上下文下的实测速度数据，可复现。

  9. Hugging Face · 新模型：uncensored49

    Qwen3.8-27B-Uncensored 发布 MLX 5.0 bpw 混合精度量化版

    Hugging Face 上发布 orcarouter/Qwen3.8-27B-Uncensored 的 MLX 5.0 bpw 仿射量化版，体积 17.38 GB，比 bf16 小 3.2 倍，针对 M5 的 NAX 张量单元调优。模型保留 256 K 上下文、MTP 头与视觉塔，48 个注意力模块经 GPTQ 量化后中位数输出误差降低 32%。以 Apache-2.0 许可开源，需通过 oMLX 运行。

  10. Hugging Face · 新模型：abliterated37

    Huihui-Qwen3.8-27B-abliterated-GGUF 发布：Qwen3.8-27B 去审查版本

    huihui-ai 发布基于 Qwen/Qwen3.8-27B 的 abliterated 去审查 GGUF 版本，通过 abliteration 技术移除模型拒绝回答的行为，仅消融部分层（如第 22 至 52 层，0 起始索引），MTP 与视觉部分未改动。提供 Q2_K_L 至 Q8_0_L 等多种量化，其中需消融的权重已转为 Q8_0 或 BF16 以提升回复质量，支持 262144 上下文长度，可通过最新版 ollama（huihui_ai/Qwen3.8-abliterated）或 llama.cpp 运行。模型安全过滤大幅降低，建议用于研究测试而非生产环境。

  11. GitHub · 灵魂体仓库37

    Conjecture-Gym：生成 Lean 验证定理语料的 PolyForge 与用其训练的 nano-prover

    GitHub 开源项目 Conjecture-Gym 包含两部分：PolyForge 通过符号前向推导生成图论猜想，仅当 .lean 文件通过 Lean 4 kernel 编译（无 sorry、仅标准公理）时才写入语料，全程无 LLM 参与；下游对小型代码 LLM 做 LoRA SFT 微调，并用真实 Lean pass@k 评分。两阶段仅通过 output/train_corpus.jsonl 文件连接，语料按公式去重、持续累积。

  12. GitHub · 灵魂体仓库32

    Codebud：基于 Ollama + Qwen2.5-Coder 的本地 Cursor 风格编码智能体

    Codebud 是一个本地运行的编码智能体，用 Ollama + Qwen2.5-Coder 把自然语言请求转成可执行计划，数据不离开本机，推荐模型为 qwen2.5-coder:3b-instruct-q4_K_M。项目提供 GNU 标准 Makefile 构建、`codebud doctor` 环境检查、Texinfo 手册及可注册的 OpenClaw skill（支持浏览器 UI）。代码以 GPL-3.0-or-later 许可开源。

  13. Reddit · r/LocalLLaMA52

    RTX 5080 16GB 实测 Qwen3.8 Flash Next IQ3_S：生成最高约 250 tok/s、预处理约 5,600 tok/s

    /u/yehyakar 在 RTX 5080 16GB、Core Ultra 9 285K、62GB DDR5-6800 环境下用 Basalt 测试 Qwen3.8-Flash-Next IQ3_S，262K 上下文、int8 KV。上下文扫描（15K-207K）平均 prompt 处理 5,475 tok/s、峰值 5,662 tok/s，生成平均 154.9 tok/s、峰值 186.6 tok/s；Agent 编码会话（opencode 103 次请求、最高 130K ctx）生成平均 153.0 tok/s、峰值 262 tok/s，99.5% 的 prompt token 来自缓存，首 token 中位时间 0.2 秒，显存占用 15.7GB。

  14. Hugging Face · 新模型：uncensored60

    zugquants 发布 Qwen3.8-27B TURBO 去对齐 GGUF 微调版，8bit ARC-C 达 735

    zugquants 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段去对齐微调 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored，提供含 MTP 版本的 NEO imatrix GGUF 量化。作者称 8bit ARC-C 735、ARC-E 882，4bit ARC-C 719，全部 7 项基准超过基座 Qwen3.8-27B，思考 token 减至基座的 1/2 至 1/10；用 Heretic v1.2.0 ARA 方法去审查后 100 次测试中拒绝从 99 降至 0，KL 散度 0.0535。

  15. Hugging Face · 新模型：abliterated22

    huihui-ai 发布 Huihui-Qwen3-8B-abliterated-v2：基于 Qwen3-8B 的去审查版本

    huihui-ai 基于 Qwen/Qwen3-8B 通过 abliteration 技术制作出去审查版本 Huihui-Qwen3-8B-abliterated-v2，采用新的更快消融方法并修复了上一版问题，还调整了 0 层以消除乱码。该模型可在 Hugging Face 用 transformers 加载，Ollama 端可用 huihui_ai/qwen3-abliterated:8b-v2 直接运行，并通过 /set think 和 /set nothink 切换思考模式。

  16. Reddit · r/LocalLLaMA54

    ANEMLL Forge 0.2.1 支持 M6 32GB 在 Apple Neural Engine 上运行 Qwen3.8-27B 达 192K 上下文

    ANEMLL Forge 0.2.1 发布，Qwen3.8-27B 在 M6 32GB 的 Neural Engine 上最高可跑 192K 上下文。新增 INT8 K/V cache（为 FP16 一半）并用共享输出 head 的更小 drafter 节省 0.86 GB ANE 内存；decode 依内容为 JSON 35–62 tok/s、code 18–32、prose 10–17，prefill 短上下文 260 tok/s、192K 时 62；作者称 96K 是 32GB 下的甜点位（123 tok/s prefill、约 27 tok/s decode、约 21.4 GB 内存），完整 192K 首次编译约需 2 小时，用 --ctx 只编译所需条目时 16K 从下载到运行约 10 分钟。

  17. GitHub · 3D 生成新仓库38

    Magnetar：面向可移植本地 AI 执行的 Rust 运行时发布 v0.1 基线

    新开源仓库 Magnetar 发布 v0.1 本地运行时基线，这是一个用 Rust 编写的可移植本地 AI 执行运行时，包含 magnetar-runtime 和 magnetar-cli 两个 crate。其外部 CUDA Provider 已在真实硬件上通过端到端验证，并支持加载生产级 Qwen 模型工件，实测通过公开下载的 Qwen2.5-0.5B-Instruct checkpoint 在 Reference CPU 与真实 CUDA 硬件上运行。项目另提供 WGPU、ROCm、Metal、NPU、TPU 等外部 Provider 基线，部分仅实现设备发现且尚未在对应硬件上验证，官方说明其还不是通用生产模型运行时。

  18. GitHub · 灵魂体仓库38

    sonu-2006/finalhidden：基于校准隐藏态探针的医疗 LLM 实时幻觉检测与干预实验

    该仓库基于 RTHD 框架，用轻量探针分类器（Safe / AtRisk / Hallucinating）在解码过程中监测医疗 LLM 隐藏状态，实现幻觉早期检测与模拟干预。作者在 Kaggle 上用 4-bit 量化骨干完成了 4 组试点实验，各 20 条轨迹，分别组合 EndoDiag + Qwen3-8B、MedHallu + BioMistral-7B、MedQA + Mistral-7B-Instruct-v0.3、PubMedQA + Llama-3.1-8B-Instruct；四组 EDR@K 均为 100%，平均提前量 14.85–32.50 tokens，模拟幻觉降低 76.9%–100%。作者指出样本量小、标签由启发式生成、干预为模拟而非实时引导解码。

10月24日周六