跳到正文
今天10月27日周二4 条
  1. GitHub · 3D 生成新仓库56

    mini-jev-multimodal 开源:基于 Qwen3-VL-2B 的 8 GB 笔记本多模态决策模型

    作者发布 mini-jev-multimodal,一个在 Qwen3-VL-2B-Instruct 上 LoRA 微调、加答案头的开放权重决策模型(Apache-2.0),单次前向传播对状态(文本或 JSON、最多 8 张图)的多个选项问题输出概率,不生成文本。在 16 个未见数据集上准确率 78.0% 对基线温度缩放后的 71.1%,ECE 从 0.068 降至 0.043;RTX 5070 Laptop 8 GB GPU 上中位延迟 69 ms,训练峰值显存 6.2 GB。作者坦承超过 10 个选项时弱于基模型(54.2% vs 58.7%),并提供报告、逐题结果与训练复现脚本,附 Hugging Face 模型与数据集链接。

  2. Hugging Face · 新模型:uncensored34

    Qwen-Image-2.1 Uncensored 量化版发布,提供 GGUF/Safetensors/MLX 多格式本地部署

    Hugging Face 用户 thomasdaniel87 发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本,提供 GGUF、Safetensors 和 MLX 格式,文件大小从 4.00 GB(MLX 4-bit)到 14.23 GB(BF16)不等,推荐 GGUF 使用 Q4_K_M(4.60 GB)。该版本无内置安全检查器,可直接生成 NSFW 内容,需配合 ComfyUI 与配套的 qwen3vl_8b 文本编码器和 VAE 使用,MLX 格式针对 Apple Silicon 优化。

  3. Reddit · r/LocalLLaMA31

    在本地运行 Qwen 3.8 Flash Next 的体验

    一位 Reddit 用户在 32GB 内存加 RTX 3090(24GB 显存)的游戏电脑上,通过 strata 和 hermes 运行 Qwen 3.8 Flash Next,一夜生成了一个加拿大 EV 比价网站,含 CAD 计价与省级补贴信息。Claude Opus 5.5 随后修复了部分问题并核查事实,发现省级补贴计划存在错误。作者认为首版已相当接近一次成型。

10月26日周一
10月25日周日
  1. Hugging Face · 新模型:abliterated24

    Qwen3.8-Flash-Next-Abliterated Sushi 3bpw 实验性量化版本发布

    sanasol2008 基于 orcarouter/Qwen3.8-Flash-Next-Uncensored 的 BF16 权重制作了 Sushi 格式 3bpw 实验性量化包,路由专家采用 EXL3 K3 编码,未额外做 abliteration 或微调。完整下载约 79.22 GiB,在 Apple M3 Max 48 GiB 上冷解码 11.88 tok/s、热解码 12.88 tok/s,慢于 2bpw 版本;校准误差相对 2bpw(相对 Frobenius 误差 0.029 对 0.064)更低,支持 262144 上下文配置上限。

  2. Hugging Face · 新模型:uncensored49

    Qwen3.8-27B-Uncensored 发布 MLX 5.0 bpw 混合精度量化版

    Hugging Face 上发布 orcarouter/Qwen3.8-27B-Uncensored 的 MLX 5.0 bpw 仿射量化版,体积 17.38 GB,比 bf16 小 3.2 倍,针对 M5 的 NAX 张量单元调优。模型保留 256 K 上下文、MTP 头与视觉塔,48 个注意力模块经 GPTQ 量化后中位数输出误差降低 32%。以 Apache-2.0 许可开源,需通过 oMLX 运行。

10月24日周六
  1. Reddit · r/LocalLLaMA41

    SPEV:基于 Qwen3-Omni 的全模态决策模型

    开发者基于 Qwen3-Omni 构建了全模态决策模型 SPEV,直接对原始音频输入输出决策概率,无需经 ASR 转写,避免转写带来的延迟与成本,并支持鸟鸣等非语音任务。它结合 Omni 音频/视频/图像解码器与训练的决策头,支持选择题、真假判断和序数评分,多个问题可在一次多模态前向传播中处理。

  2. Reddit · r/LocalLLaMA71

    Baseten 开源 9B 决策模型 elephant-1,Decision Index 得分 65 追平 d1-ultra

    Baseten Base Labs 开源了基于 Qwen3.5-9B 后训练的 9B 决策模型 elephant-1(MIT),不生成文本,而是对 yes/no、多选或有序评分问题直接从选项字母 logits 输出概率。Artificial Analysis 独立评测其 Decision Index 得 65 分,与 d1-ultra 持平,成本约 $8/1M tasks,约为 d1-ultra(约 $31)的四分之一;Jev Decision Index 0.4 得 62.65,为 15B 以下最佳。When2Call 95 分、WildGuardTest 93 分,Omniscience 非幻觉率 93 但准确率仅 12,倾向回答不知道。

    推荐理由:原文给出 Decision Index 得分、成本对比和分项基准数据,还说明了训练数据构成与架构改动来源,便于判断适用场景。

10月23日周五
  1. Hugging Face · 新模型:uncensored48

    Solstice-AI 发布 Qwen3.8-27B-TURBO-Fable-Cold-Fusion 的 Apple MLX oQ4e 1M 版本

    Solstice-AI 将 DavidAU 的 Qwen3.8-27B-TURBO-Fable-Cold-Fusion 量化打包为 Apple MLX oQ4e 混合精度版本,内置 1,048,576 token 的 YaRN 上下文扩展,内存占用 17.02 GB,可在 16GB/24GB MacBook 上通过 Anvil 或 MLX-LM 运行。官方称在 Claude Code 评测框架下以 9/9 项基准全胜 Claude Opus 4.6 Max,其中 SWE-bench Pro 61.7% 对 53.4%,ARC-C 735、ARC-E 882。Apple Silicon 上的 MTP 多 token 预测带来 1.72×–2.20× 的加速。

  2. Hugging Face · 新模型:abliterated54

    leonsarmiento 发布 Huihui-Qwen3.6-35B-A3B-abliterated 6bit XL MTP MLX 量化版

    leonsarmiento 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX 量化版,采用 BaseQuant_XL 6/8-bit 混合量化并嫁接 MTP 头,总大小 30.60 GB。MTP 头来自 huihui-ai 在去对齐时原样保留的 19 个源张量,经逐张量校验与 Qwen3.6-35B-A3B 原始 MTP 头字节一致。在 oMLX(M4 Pro 48GB)上 mtp_enabled 开启时草稿接受率 89.1%,吞吐 78.6 tok/s,较关闭时的约 58.5 tok/s 提升 28–34%;MTP 加速仅支持 oMLX,LM Studio 只能加载基座模型。

    推荐理由:作者给出 MTP 草稿接受率、吞吐对比和逐张量离线校验数据,读者可据此判断这个 MLX 移植在速度与精度上的取舍。

  3. Hugging Face · 新模型:uncensored39

    Qwen-Image-2.1-Uncensored 量化版本发布:支持 GGUF、Safetensors 与 MLX 格式本地图像生成

    Hugging Face 上发布了 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本,提供 GGUF、Safetensors 和 MLX 格式用于本地图像生成。版本包含 BF16(14.23 GB)至 Q4_K_M(4.60 GB)等多种量化档位,推荐 Q4_K_M 以平衡体积与质量;MLX 格式针对 Apple Silicon 优化,并随附 qwen3vl_8b 文本编码器与 VAE 文件供 ComfyUI 使用。该版本无内置安全检查或内容过滤,可直接生成 NSFW 等敏感图像。

  4. Reddit · r/LocalLLaMA43

    腾讯 WeVisOne-VL-4B 视觉语言模型上线 HuggingFace

    腾讯微信视觉团队推出统一视觉语言模型 WeVisOne-VL-4B,基于 Qwen3-VL 构建。该模型通过结构化 next-token prediction 和 9.6M 参数的轻量 pixel decoder,统一了目标级感知(开放词汇检测、指代定位、计数、指向与 OCR)与像素级感知(指代分割、可提示 alpha matting),已在 HuggingFace 开源。

  5. Reddit · r/LocalLLaMA36

    Qwen3-0.6B 被转换为 MoE 版本

    Reddit 用户 Bayliner1980 将 Qwen3-0.6B 转换为 MoE 架构,发布 bayliner1980/Qwen3-0.6B-MoE-A0.5B 及 GGUF 版本,这是其首个 chat 风格转换。因 Qwen3 无 shared expert,作者采用 pseudo-shared expert 部分恢复质量;评测显示 Wiki ppl 从 23.88 升至 26.98,各质量指标均差于原模型,0.6B 规模下 CPU 生成 124 t/s 略快于 dense 的 115 t/s,GPU 生成则略慢。作者建议只想要小模型就直接用 Qwen3-0.6B。

  6. Hugging Face · 新模型:uncensored28

    Qwen3.8-Flash-Next-Uncensored Q4_K_XL-Gufo 量化版发布

    Hugging Face 上线 Qwen3.8-Flash-Next-Uncensored 的 Q4_K_XL-Gufo 重量化版本,共 3 个分片约 103.5 GiB,升级 716 个张量 dtype 并修复 export bug,使 gufo 引擎可在 AMD Strix Halo(gfx1151)上加载,支持 262 144 原生上下文。无新微调,权重与原 Q4_K_S 相同;许可证按上游 Qwen Community License 1.0 分发,而非元数据标注的 apache-2.0。

  7. Hugging Face · 新模型:uncensored33

    Qwen-Image-2.1 Uncensored 量化版发布,提供 GGUF/Safetensors/MLX 多格式本地部署

    Hugging Face 上发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本,基于原版上游权重转换,提供 GGUF、Safetensors 和 MLX 格式,涵盖 BF16 14.23 GB 到 MLX 4-bit 4.00 GB 等多个量化档位,推荐 GGUF 用户使用 Q4_K_M(4.60 GB)。该版本内置无安全检查器,可直接生成 NSFW 等敏感图像,配套 qwen3vl_8b 文本编码器和 VAE 文件,可通过 ComfyUI 与 leejet/ComfyUI-GGUF 分支完成本地部署,文本编码器可卸载至系统内存以节省 9–17 GB VRAM。

  8. Reddit · r/LocalLLaMA63

    HuggingFaceBio 发布 Carbon-X:基于 Qwen3-14B 微调的 14.8B DNA 语言模型

    HuggingFaceBio 发布 Carbon-X,一个 14.8B 参数的 decoder-only 模型,在 Qwen3-14B 基础上用 DNA 序列与自然语言联合训练,可在普通对话中直接分析原始 DNA 并用英文回答。混合 tokenizer 用 BPE 处理文本、以 6-mer 编码 DNA,无独立 DNA 编码器;五个 DNA 基准平均 66.7%(关闭思考),比 Qwen3-14B 高 27 分,接近 GPT-6.1 Sol 的 67.5% 而推理成本约其 1/1,800;估计分析 ClinVar 240 万个意义不确定变异约需 $300,而所测前沿模型需 $32,000 至 $400 万。

    推荐理由:原文给出五个 DNA 基准的平均分、与基线模型的差距和成本对比,可据此评估这个 DNA 微调模型的实际水平。

10月22日周四
  1. GitHub · 去对齐工具与仓库58

    yfHHHE 开源 emoji-native-lm:只会用 1 到 3 个 emoji 回复的 Qwen3-1.7B 微调模型

    yfHHHE 发布 emoji-native-lm,基于 Qwen3-1.7B 用 LoRA 做 SFT 加 DPO 微调,对任何输入只以 1-3 个 emoji 回复。训练数据约 12k 条中英文聊天消息,由 Claude Opus 生成并回复,覆盖 1,915 种 emoji;666 条评测提示下经 wrapper 的回复 100% 合规,首轮采样合规率 98.9%,而基座 Qwen3-1.7B 为 0%。仓库提供 Ollama 与 llama.cpp 的 GGUF(1.8 GB q8_0)及 Python wrapper 部署方案,代码采用 Apache 2.0 许可。

    推荐理由:仓库公开了数据生成、SFT、DPO 到 GRPO 失败与修复的完整脚本和实测数据,读者可以照此复现并借鉴其偏见修正做法。

  2. Reddit · r/LocalLLaMA49

    Carbon-X:最佳开源 DNA 语言模型,可在本地用 llama.cpp 运行

    团队发布开源 DNA 语言模型 Carbon-X,基于 Qwen3 14B 在 DNA 与自然语言混合语料上 midtraining 训练,在五个 DNA benchmark 上超过所测全部开源模型,并媲美 GPT-6.1 Sol,成本约低 1,000x。模型已提供 GGUF 版本,可经 llama.cpp 本地运行,支持用自然语言分析 DNA 序列、预测突变影响和生成新 DNA。

  3. Hugging Face · 新模型:abliterated19

    mradermacher 发布 qwen2.5-1.5b-abliterated-argos 的 GGUF 静态量化版本

    mradermacher 在 Hugging Face 上发布了 qwen2.5-1.5b-abliterated-argos 的 GGUF 静态量化版本,提供从 Q2_K(0.8GB)到 f16(3.2GB)共 12 种规格,其中 Q4_K_S、Q4_K_M 标注为快速推荐,Q8_0 质量最佳。weighted/imatrix 量化暂未提供,用户可通过 Community Discussion 提出请求。

  4. Hugging Face · 新模型:abliterated20

    privastudio 发布 Qwen3.8-27B Abliterated GGUF 版本

    privastudio 在 Hugging Face 上重新分发 huihui-ai 制作的 Huihui-Qwen3.8-27B-abliterated 的 Q4_K GGUF 量化版(约 16.8 GB),打包为可在 PrivaEmanator 中本地加载的格式。该模型基于 Qwen3.8-27B,由 huihui-ai 移除了拒绝回答行为,附带 mmproj-BF16.gguf 视觉投影文件以支持图像输入,采用 Apache-2.0 许可证。

  5. Reddit · r/LocalLLaMA38

    社区自制量化版:Swift 1.5 Qwen 3.8 Flash Next 采用 Heretic 方法压缩至 Unsloth Dynamic IQ4_XS

    一位 Reddit r/LocalLLaMA 用户发布了 Swift 1.5 的自产量化版本,对全精度模型应用 Heretic 方法并量化到 IQ4_XS。其 tensor profile 提取自 Qwen 3.8 Flash Next 的 UD-IQ4_XS GGUF,量化所用 imatrix 覆盖数学、代码、英语、通用指令与工具场景。目前仅提供 IQ4_XS 格式,作者接受其他格式的请求。

  6. Hugging Face · 新模型:uncensored52

    Qwen-Image-2.1 Uncensored 混合精度 GGUF 量化版发布,4.39 GB 对比 BF16 保真度更优

    Reizxn 在 Hugging Face 发布 abenzerps/Qwen-Image-2.1-Uncensored-Quantized 的逐层混合精度 GGUF 量化版,体积 4.391 GB、4.94 bits/weight,相对权重误差 0.0636。297 个张量独立量化并按最小化重构误差分配格式,组成 Q4_K×126、Q5_K×105、F16×66;实测平均 PSNR 24.25 dB,高于统一 Q4_K 的 22.44 dB,4 个测试主体中 3 个胜出,可用 stable-diffusion.cpp 或 ComfyUI-GGUF 加载,需搭配 Qwen-Image-2.1 VAE 和 Qwen3-VL-8B 文本编码器。注意仅适合 1024 及以上分辨率。

    推荐理由:作者给出了逐层混合精度分配方法与逐张渲染的 PSNR 对比数据,读者可以按需判断该 4.39 GB 量化版相对统一 Q4_K 的保真度收益。

10月21日周三
  1. Reddit · r/LocalLLaMA52

    OvisOCR3 发布:基于 Qwen3.5-0.8B 的 OCR 模型,支持结构化输出与跨页表格重建

    OvisOCR3 基于 Qwen3.5-0.8B,以 Apache 2.0 开放,附 vLLM 推理示例。新增结构化 JSON 输出(含边界框与元素类别)、按字段或 JSON 模板的关键信息抽取、图表描述与流程图 Mermaid 输出,以及先解析再用同一模型合并相邻页表格片段的跨页表格重建。官方报告 OmniDocBench v1.6 得分 96.74、MDPBench 88.80(由 69.00 提升)、PureDocBench 82.31(由 75.10 提升)。

  2. Reddit · r/LocalLLaMA45

    InternScience 发布 Sage-A1.5:基于 Qwen3.6-35B-A3B 的 35B MoE 智能体模型微调

    InternScience 发布 Sage-A1.5,一个基于 Qwen3.6-35B-A3B 微调的 35B Mixture-of-Experts 智能体模型,主打长程科学问题求解。该模型支持跨子智能体的并行任务编排与独立上下文、可选的链式思维内自验证,以及原生 function calling 等工具集成能力,提供 GGUF 格式供社区使用。

  3. Reddit · r/LocalLLaMA51

    Qwen3.8-Flash-Next 1.66bpw EXL3 量化可完整装入 5090 并稳定推理

    /u/Unstable_Llama 在 r/LocalLLaMA 分享 Qwen3.8-Flash-Next 的 1.66bpw EXL3 量化版本,无需 offload 专家即可完整装入 5090。推理全程稳定、无推理循环,速度 200-300 t/s;因 32 GB 显存即便配合 cache 量化上下文空间仍紧张,需做较多 compacting。权重发布在 https://huggingface.co/turboderp/Qwen3.8-Flash-Next-exl3,附量化模型生成的液体猫演示视频。

10月20日周二
  1. Hugging Face · 新模型:abliterated31

    Huihui-Qwen3.8-Flash-Next-abliterated 的 Orinfer E8P Q2A8 量化部署发布

    huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated 的 Orinfer E8P Q2A8 量化版本面向 Jetson AGX Orin 64GB 部署,采用近 2-bit E8P 编码与旋转处理,模型目录约 51.2 GB,只读权重约 34.52 GiB。支持文本、多图、thinking、prefix caching 与最多 7 drafts 的原生 MTP,上下文容量 262,144 tokens;实测 8,192 输入 prefill 达 809 tokens/s,Python 代码生成解码 53.84 tokens/s。权重采用 Qwen Community License 1.0,Orinfer 代码为 LGPL-3.0-or-later。

  2. Hugging Face · 新模型:abliterated64

    alesha-pro 发布 Qwen3.8-Flash-Next 去对齐 Strata GGUF 量化包

    alesha-pro 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated Strata GGUF 量化包,含 S 和 S-small 两种规格,基于 Mirai 的 2-bit trellis 构建,用 huihui-ai 的拒绝方向向量去除拒绝行为。实测 AdvBench 64 条提示中 stock 版拒绝 64 次、加向量后仅 1 次,Alpaca 无害提示基本不受影响。可在 1-2 张 RTX 3090 上运行,S 版解码 82-113 tok/s,支持最高 262144 上下文,需 Linux、CUDA 12.8+ 和约 64 GB 内存。

    推荐理由:作者实测了加拒绝向量前后的拒绝数和各档速度内存数据,读者可以据此判断这个去对齐量化包的实际表现。

  3. Reddit · r/LocalLLaMA49

    migtissera 发布 Tess-4.5-27B:基于 Qwen 的微调模型,token 用量减少 25%

    migtissera(Synthia 作者)发布基于 Qwen 微调的 Tess-4.5-27B,在 150 个 BenchLocal 场景中比基座 Qwen3.8-27B 少生成 25% 的 token 而得分相同。其中 CLI-40 少用 32% token 且得分更高,数据提取少用 43%,BugFind-15 少用 21%。更少 token 意味着更快出答案、上下文窗口占用更少,在本地 GPU 上还可与 draft head 叠加提速。

  4. Hugging Face · 新模型:uncensored47

    NeosQ 发布 Qwen3.8-Flash-Next-Uncensored 的 MTPLX 优化速度量化版

    NeosQ 基于 OrcaRouter 去审查的 Qwen3.8-Flash-Next(125B-A6B MoE)BF16 权重,用 MTPLX Forge 按 flash-next-optimized-speed 配方制作 4-bit 量化版,总大小 115.3 GB,保留原生 MTP 投机解码头。在 M5 Max 128 GB 上 MTP 投机解码达 85.7 tok/s,为普通解码的 2.07 倍;需 Apple Silicon、macOS 14+ 及 96–128 GB 统一内存,支持 OpenAI/Anthropic 兼容 API,采用 Apache 2.0 许可证。