跳到正文
10月17日周六
  1. Hugging Face · 新模型:uncensored18

    FrosT-LyRo 发布 Qwen3.5-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking 的 i1-GGUF 量化版本

    FrosT-LyRo 在 Hugging Face 发布 Qwen3.5-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking 的 imatrix 加权 i1-GGUF 量化版本,提供从 i1-IQ1_S(8.8 GB)到 i1-Q6_K(32.2 GB)的多档量化文件,其中 Q4_K_S 被标注为大小、速度与质量的最优平衡,Q4_K_M 为推荐选项。该模型为视觉模型,mmproj 文件放在单独的 static 仓库中,静态量化版本另行提供。

  2. Hugging Face · 趋势模型69

    NVIDIA 发布循环架构模型 Dory1.0-4B,可调循环数换推理精度

    NVIDIA 在 Hugging Face 发布 4B 参数的循环(latent-recurrent)模型 NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16,采用 normalized-GPT 架构,通过重复应用共享 Recurrent 块(8 层输入、20 层循环、8 层输出)让每个 token 获得更多计算。单一 checkpoint 可设 1-4 个循环,无需重训即可权衡算力与精度,官方推荐默认 2 循环,并支持 last-loop KV caching 使 KV cache 开销保持在一循环大小。

    推荐理由:同一个 checkpoint 可调循环次数换精度,作者还给出各 loop 数的实测对比与 KV cache 省显存方案,适合关注小模型推理成本的人。

  3. Reddit · r/LocalLLaMA51

    Tyger 开源发布:单模型同时做流式 ASR 与全双工轮次控制

    nineninesix 团队发布开源权重模型 Tyger,基于 NVIDIA Nemotron 3.5 ASR Streaming 0.6B 加 14M causal GRU,每 80 ms 无前瞻地在 answer、stop、chime in 三种状态间切换,实现语音 Agent 的全双工轮次控制,可同时听到麦克风和 Agent 自身回放以避免回声误判。配套 tyger-s2s(Apache-2.0)整合 Gemma 4 E4B FP8 与 VoxCPM2,支持工具调用和最多 4 路并发对话,RTX 5090 上从用户说完到首段音频约 0.7 秒;默认全本地运行,不外传音频和文本。限制:tyger-s2s 需 28 GB 显存,仅测过 5090,仅 FP32 未测量化,目前只有离线基准。

  4. Hugging Face · 新模型:abliterated56

    edp1096 发布 Huihui-Qwen3.8-Flash-Next-abliterated-FP4-Local 量化检查点

    edp1096 在 Hugging Face 发布 Huihui-Qwen3.8-Flash-Next-abliterated-FP4-Local,将经审计的 Huihui v2 修改从匹配的 Unsloth/Huihui Q8_0 权重迁移到 NVIDIA FP4-Local 检查点,变更投影重建后取整为 BF16 并编码为 MXFP8,NVFP4 专家、PLE、MTP、视觉与 tokenizer 保留 NVIDIA 原始字节。

    推荐理由:原文给出了量化 delta 迁移的具体做法和 DGX Spark 上的运行测试记录,读者可以据此判断该检查点的实际可用状态。

10月16日周五
  1. arXiv · cs.CL39

    分析 LLM 训练全流程中的职业性别偏见:以 OLMo 3 为例

    一项研究通过让全开源模型家族 OLMo 3 的各后训练 checkpoint 生成职业叙事,追踪性别偏见的演变。结果显示:性别明确给出时,后训练主要提升男性画像叙事的语义多样性,女性画像在 SFT 后提升较小、经 DPO 和 RLVR 后不再显著;模型自行推断性别时则呈现女性偏向,且每个后训练阶段都单调增加女性标签概率,但 SFT 语料仅 7.7% 的女性 token 过剩,不足以解释该效应。

  2. Reddit · r/SillyTavernAI23

    Reddit 角色扮演玩家征询 Gemma 4 微调模型推荐

    一位本地模型玩家在 r/SillyTavernAI 征询好用的 Gemma 4 微调模型。他此前用过 Gemma 4 31B Scotoma V2 和 Gemma 4 26B A4B Boulesis,不喜欢 Boulesis,更偏好基础模型和 Phoenix 这类轻量微调,要求模型保留基础模型的智能且适合 NSFW 长会话。他目前使用 31B、26B A4B 和 12B 版本,认为 E4B 和 E2B 太小。

  3. Reddit · r/LocalLLaMA65

    Reflection 发布开源 MoE 模型 Beam 501B A23B,支持 1M 上下文

    Reflection 在 Hugging Face 发布开源模型 Beam,采用 MoE 架构,总参数 501.3B、激活 23.4B,支持 1M token 上下文,提供 BF16、FP8 和 NVFP4 三种数值格式。官方称其推理 token 用量约为同类领先开源模型的 1/3,并给出 SWE Bench Pro v1 66.1%、AIME 2026 97.7%、GPQA Diamond 90.6% 等基准成绩,主打 agentic 工具调用、编码与推理能力。

    同一新闻,精选展示《Reflection 发布开源 MoE 模型 Beam 501B,Hugging Face 提供推理与训练全流程支持》

  4. Hugging Face · 新模型:uncensored52

    Qwen3.8-27B TURBO 微调版发布 GGUF 权重,ARC-C 达 735 并大幅压缩思考 token

    TTPPCC121 等多人协作发布基于 Qwen3.8-27B 的多阶段微调 GGUF 版本,8bit ARC-C 735、ARC-E 882,4bit ARC-C 719,均高于原版 Qwen3.8-27B(8bit ARC-C 0.591)。模型用 Heretic v1.2.0+ARA 方法去对齐,Stage 1 拒绝率从 99/100 降到 0/100,KL 散度 0.0535;思考 token 减至原版的 1/2 到 1/10。提供常规与 MTP 两种 GGUF,Q4_K_S 下常规约 75 t/s、MTP 可超 90 t/s(5090、LMStudio 实测),支持 256k 上下文与视觉(需另下 mmproj 文件)。

    同一新闻,精选展示《TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版,ARC-C 达 735》

  5. Hugging Face Blog75

    Reflection 发布开源 MoE 模型 Beam 501B,Hugging Face 提供推理与训练全流程支持

    Reflection 新实验室的首个模型 Beam 在 Hugging Face 开源,为 501B 参数 MoE(每 token 激活 23B),支持 1M token 上下文,采用 Apache 2.0 许可,主打编码与智能体场景。提供 BF16、FP8、NVFP4 三种检查点,transformers、vLLM、SGLang 均已 day-0 支持,并附 LoRA SFT 与 Miles GRPO 训练配方;Hub 上分享用 Beam 构建的项目可竞争 10,000 美元额度。

    推荐理由:官方博客给出架构细节、三档精度的实测跑分和从推理到 SFT、RL 的完整部署与训练配方,便于评估上手成本。

  6. Ollama Blog64

    Reflection 开放权重模型 Beam 上线 Ollama Cloud,限时免费

    Reflection 首个开放权重模型 Beam 于10月16日发布,Ollama 作为 day-zero 合作伙伴限时免费提供,Beam 端点全程零数据保留(ZDR)。Beam 是 MoE 模型,总参数约501B、每 token 激活23B,上下文窗口100万 token,采用 Apache 2.0 许可,面向软件工程、推理和长程 Agent 任务,可通过 ollama run beam:cloud 或 Claude Code、Codex、OpenCode 调用。

    推荐理由:官方公告同时给出与 Kimi K3、GLM 5.3 等模型的 Agent Coding 跑分对照表,读者可直接比较 Beam 在各编码基准上的位置。

  7. GitHub · 去对齐工具与仓库38

    GhanaOpenAI 开源 gloss-mt:用工具调用加推理微调 Gemma 4 实现英译 Twi 翻译

    GhanaOpenAI 发布 gloss-mt,基于 google/gemma-4-E4B-it(4B 参数)做 LoRA 微调,让模型通过 lookup_twi_translation 工具查询 478,822 条离线英→Twi 词典后再推理翻译。训练数据含 15,134 条带工具调用的样本,配套数据集、微调与评测脚本及部署运行时已开源,支持 transformers 与 vLLM,并提供 Hugging Face Spaces 在线演示。

  8. Hugging Face · 新模型:abliterated24

    Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 韩语校准 3.7bpw GGUF 量化版发布

    donghanasd 在 Hugging Face 发布 Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的韩语校准混合精度 GGUF,约 12.60 GB、3.69 bits per parameter,从上游 BF16 GGUF 直接量化。量化使用 708 个 512 token 块收集的 importance matrix,张量精度分配沿用 Qwen3.8-27B-Ridge-GGUF,保留 tokenizer、chat template 和 MTP tensors,未做韩语额外训练也未验证韩语质量提升。

  9. Hugging Face · 趋势模型50

    MOSS-Image-SFT 8 步 data-space DMD 蒸馏版上线 Hugging Face

    OpenMOSS 团队将 MOSS-Image-SFT(50 步、CFG 3)蒸馏为 8 步无 CFG 的生成模型,采用 data-space DMD 方法,checkpoint 为 update 2600(EMA)float32 权重。模型提供 lora.safetensors(推荐强度 1)与 lora_latest.safetensors(推荐强度 0.7)可直接加载到 ComfyUI LoRA loader,transformer 必须以 fp32 运行,蒸馏 delta 小于 bf16 舍入步长,转 bf16 会丢失大部分蒸馏效果。当前为进行中的工作。

  10. Hugging Face · 趋势模型50

    OrcaCyber Nano 1.0:27B 本地离线防御安全模型发布 GGUF 权重

    Orca 发布 27B 视觉语言推理模型 OrcaCyber Nano 1.0,主打防御安全场景,以 GGUF 格式开源,可在本地硬件离线运行,支持逆向工程、漏洞分析、安全代码审查、事件分诊与视觉输入。模型上下文长度 262,144 tokens,内置 MTP 投机解码并支持 DFlash2 draft 文件,主权重 15.70 GB,另有适配 16 GB 显卡的 12.99 GB 版本;基准成绩包括 MATH-500 98.60%、AIME 2025 96.23%、SWE-bench 78.4%,可直接在 llama.cpp 中加载。

  11. Hugging Face · 新模型:uncensored18

    bappi/gemma-4-E2B-uncensored-coder-fable5-composer2.5 模型上线 Hugging Face

    多模态模型 bappi/gemma-4-E2B-uncensored-coder-fable5-composer2.5 在 Hugging Face 发布,支持 image-text-to-text 任务,可通过 Transformers 的 pipeline 或 AutoModelForMultimodalLM 加载。模型同时提供 vLLM、SGLang 部署方式及 OpenAI 兼容 API,并可用 Docker Model Runner 运行。

  12. Hugging Face · 趋势模型64

    ornith-ai 发布端到端自我改进的 Ornith-1.5-122B 开源模型

    ornith-ai 发布 Ornith-1.5-122B,一个 122B MoE 模型,将 Ornith-1.0 的自我改进循环扩展到联合优化任务生成、scaffold 构建和解题 rollout,通过强化学习持续生成训练任务并改进策略。模型支持 262,144 tokens 上下文(YaRN 缩放后约 1M),可单张 80GB GPU 部署,并提供量化 Mobile 变体。基准中 SWE-bench Verified(non-hack)84.5、TerminalBench 2.1 为 81.2,评测采用防 reward hacking 措施并以 Claude Opus 作为 judge。

    推荐理由:模型卡同时给出多基准成绩与防 reward hacking 的评测细节,读者可对照同参数量级模型比较编码与智能体表现。

  13. Hugging Face · 新模型:uncensored18

    Hugging Face 上架 dolor4dollar/supergemma4-26b-uncensored-gguf-v2 GGUF 模型

    Hugging Face 发布 uncensored 模型 dolor4dollar/supergemma4-26b-uncensored-gguf-v2 的 GGUF 版本,提供 Q4_K_M 量化。该模型可通过 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等工具本地运行,支持启动 OpenAI 兼容 API 服务器或在终端直接推理,并可接入 Pi、Hermes Agent、OpenClaw 等智能体工具。

  14. Hugging Face · 新模型:uncensored56

    HauhauCS 发布 Qwen3.8-27B 无对齐 Aggressive GGUF 量化版,附 FastMTP 加速

    HauhauCS 在 Hugging Face 发布 Qwen3.8-27B 的无对齐 Aggressive 变体 GGUF 量化,实测 0/465 次拒绝,直接作答且几乎无前导语。全系列保留原生 NextN 头并附带 FastMTP 32K 加速 sidecar,在 Q8_K_P 上文档 TG 最高达非 MTP 的 3.02x、推理 TG 1.93x,比标准内嵌 MTP 再快 35.2%/21.1%;提供 Q8_K_P 到 IQ2_M 多档量化与 BF16 视觉 projector,基于 Apache 2.0 许可,需 llama.cpp 补丁启用 FastMTP。

    同一新闻,精选展示《HauhauCS 发布 Qwen3.8-27B 无对齐 Aggressive GGUF 量化版》

  15. Hugging Face · 新模型:abliterated22

    eccentricorbit 发布 Qwen3-4B-Instruct-2507-abliterated 去审查模型

    eccentricorbit 基于 Qwen/Qwen3-4B-Instruct-2507 用 Heretic 制作了 abliterated 版本,通过 directional ablation 直接修改权重移除模型的拒绝行为,未做新数据微调,知识与通用能力接近原版。模型为 4B 参数、262k 原生上下文的非思考 instruct 模型,BF16 safetensors 格式,Apache 2.0 许可,可在 vLLM 和 Transformers 中使用,无内置安全护栏。

  16. Reddit · r/LocalLLaMA54

    NVIDIA 发布 Nemotron-3.5-Embed-1B-BF16 多模态多语言嵌入模型

    NVIDIA 在 Hugging Face 开放 Nemotron-3.5-Embed-1B-BF16 嵌入模型权重,支持将文档页以图像、文本或图文混合形式嵌入,用于多模态多语言问答检索。文本检索评测覆盖 34 种语言,图像检索覆盖 18 种语言,支持含文字、表格、图表和信息图的页面图像,可用于语义搜索与 RAG 工作流,可商用。

  17. Hugging Face · 新模型:uncensored40

    Qwen3.5-2B-Uncensored-HauhauCS-Aggressive 发布:无审查版 Qwen3.5-2B

    HauhauCS 基于 Qwen3.5-2B 发布无审查变体 Aggressive 版,约 0/465 次拒绝,号称零能力损失且不改动数据集。模型为 2B dense 参数、24 层混合架构(Gated DeltaNet 线性注意力 + 全 softmax 注意力 3:1),原生多模态,262K 上下文(YaRN 可扩展至 1M),提供 BF16 至 Q4_K_M 共 4 种 GGUF 量化,支持 llama.cpp、LM Studio 等运行时。

  18. GitHub · 3D 生成新仓库71

    DMAD 发布:把分布匹配蒸馏改写为对抗蒸馏,4 步生成 MiniMax-H3 音视频

    Texas A&M 与 ByteDance 团队发布 DMAD(Distribution Matching as Adversarial Distillation)仓库及论文(arXiv:2610.02188),将分布匹配蒸馏重构为分类问题,用共享骨干上的两个判别头直接学习 log-density ratio,免去 DMD 所需的辅助扩散模型。基于 MiniMax-H3(33B,文生音视频)训练的 rank-128 LoRA 可将 50 步 teacher 压缩为 4 步生成 1344x768、124 帧、32 kHz 立体声视频;4 步 student 在人类偏好上对 DMD2 达 79.1%、对 rCM 达 84.6%(不含平局)。

    推荐理由:作者把分布匹配蒸馏改写成判别式对抗训练,省掉辅助扩散模型,并给出从 8 GB 消费级 GPU 到 H200 的显存与速度实测数据。

  19. Hugging Face · 新模型:uncensored25

    alst10 发布 Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP 量化模型

    alst10 在 Hugging Face 上发布无审查量化模型 Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP,提供 Q4_0_ROCMFP 量化版本。该模型可通过 llama.cpp、Ollama、Docker Model Runner、Lemonade 等工具本地运行,支持启动 OpenAI 兼容服务器或在终端直接推理,并可接入 Pi、Hermes Agent、OpenClaw 等智能体工具。

  20. Hugging Face Blog48

    Granite Switch 4.1 发布:单一端点同时支持对话、决策与语音转写

    Hugging Face 发布 Granite Switch 4.1(Granite-Switch-4.1-8B 与 -30B),将 Decision aLoRA、Guardian aLoRA 和 OpenASR 排行榜上最快的 ASR 模型 Granite-Speech-5.0-Turbo-CTC 组合进单一模型,VRAM 占用与基座模型相当。得益于 cache-efficient Activated LoRA 与 vLLM 低秩适配推理加速,模型可在对话、决策与语音请求间高速切换;用户也可用 Granite Libraries 适配器自行组合模型,团队还计划在 Mellea 中发布 Adapter SDK。

  21. Hugging Face · 新模型:abliterated24

    notfakerv 发布 LFM2.5-24B-A2B-abliterated 的 MLX 4-bit 量化版

    notfakerv/LFM2.5-24B-A2B-abliterated-MLX-4bit 是 abliterated 版 LFM2.5-24B-A2B 的 MLX 4-bit affine 量化转换,权重 13.49 GB,直接由 BF16 检查点转换而非 GGUF 重量化,需 MLX LM >= 0.32.0 与 MLX >= 0.32.2。该模型为 always-thinking 推理模型,建议 24 GB 统一内存起步;验证限于冒烟与数值检查,未做 Apple Silicon 运行时测试或速度基准。

  22. Reddit · r/LocalLLaMA46

    IBM Granite Switch 4.1 30B/8B 发布:单端点集成对话、决策与语音

    IBM 发布 Granite Switch 4.1 30B,一个模块化 LLM,将 granite-4.1-30b 基座(30B 参数、128K 上下文)与决策、guardian-core 两个 aLoRA 适配器及 granite-speech-5.0-470m-turboctc 语音转文本编码器组合,通过控制 token 按需切换,单端点即可在对话、决策和语音转写间切换。采用 Apache 2.0 许可,支持 Transformers 与 vLLM,另有 8B 版本及无音频的 3B/8B/30B preview 版本。