跳到正文
  1. Hugging Face · 新模型:uncensored56

    Qwen3.8-Flash-Next-Uncensored 2-bit MLX 量化版发布,附 DFlash2 加速与 M1 Max 实测

    3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化版,目标模型采用 affine 2-bit/group-128 重建,搭配 Inco AI 的 BF16 DFlash2 草稿模型,完整下载 74.048 GB。在 M1 Max 64 GiB 实测中,代码与数学 warm 解码达 37.62 和 33.69 tokens/s,约为基线的 1.70× 和 1.56×,文本仅 1.048×;固定 50 题 GSM8K 子集全部答对且与原生参考一致,进程峰值内存 42.12 GiB。

    推荐理由:作者实测了 M1 Max 上代码与数学解码的加速倍数和内存峰值,并给出 32/48/64 GiB 的可行性判断,便于评估本地部署。

  1. Reddit · r/SillyTavernAI63

    zoracapri 发布 gemma-4-31B-Monadize-v0.1 微调模型,改善角色名重复问题

    作者 /u/zoraruha 微调 Gemma 4 31B 发布了 Monadize(gemma-4-31B-Monadize-v0.1),通过调整 next-token 概率分布和单字符分词来减少 "Elara" "Elias" 这类高频名字的重复。temperature 为 1 时生成 30 个角色名和 30 个城市名,基座 Gemma 大量重复,Monadize 产出 60 个不重复名字,起始字母的 token 分布也明显更宽。作者还观察到叙事风格有变化,并提示这是实验性模型,以关闭 thinking 的方式微调,建议保持 thinking 关闭;模型发布在 https://huggingface.co/zoracapri/gemma-4-31B-Monadize-v0.1。

    推荐理由:作者给出了基座与微调模型的 next-token 分布对比和 30+30 命名实测数据,方法与结果都可复现查看。

  1. Hugging Face · 新模型:abliterated57

    staccs 发布 DeepSeek-V4.1-Flash-1017 abliterated 版单文件 GGUF 量化包

    staccs 发布了 106.8 GB 单文件 GGUF,对 dealignai 制作的 DeepSeek-V4.1-Flash-1017 abliterated(UNCENSORED-FP8)版本重新量化,采用 lecore 激活校准的 11-bit 向量量化处理路由专家(2048 码本条目、65,536 校准 token,1.39 bpw,cosine 0.909),注意力骨架用 q4_K,共享专家 VQ 11-bit。评测以未量化源模型为教师,WikiText-2 上 2k/16k 上下文困惑度 2.817/2.936,top-1 一致率 80.2%/78.6%,优于未校准的 vq10sh12 版本(PPL 3.615、top-1 74.5%)。

    推荐理由:作者用未量化源模型给出困惑度、KL 散度和 top-1 一致率对照,可据此评估这套 11-bit VQ 量化的损耗。

  2. Reddit · r/LocalLLaMA71

    Baseten 开源 9B 决策模型 elephant-1,Decision Index 得分 65 追平 d1-ultra

    Baseten Base Labs 开源了基于 Qwen3.5-9B 后训练的 9B 决策模型 elephant-1(MIT),不生成文本,而是对 yes/no、多选或有序评分问题直接从选项字母 logits 输出概率。Artificial Analysis 独立评测其 Decision Index 得 65 分,与 d1-ultra 持平,成本约 $8/1M tasks,约为 d1-ultra(约 $31)的四分之一;Jev Decision Index 0.4 得 62.65,为 15B 以下最佳。When2Call 95 分、WildGuardTest 93 分,Omniscience 非幻觉率 93 但准确率仅 12,倾向回答不知道。

    推荐理由:原文给出 Decision Index 得分、成本对比和分项基准数据,还说明了训练数据构成与架构改动来源,便于判断适用场景。

  3. Hugging Face · 新模型:abliterated58

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 无对齐版 NVFP4A16 量化权重

    IstroSec 在 Hugging Face 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 NVFP4A16 量化版,体积从 bf16 的 65.8 GB 降到 22.1 GB,KL 0.0148。作者用 llm-compressor 0.14.0 按 NVIDIA 的 NVFP4 布局量化:专家用 FP4 权重加 bf16 激活,Mamba2 投影用 FP8,注意力保持 bf16,并用 GPTQ 以 ultrachat_200k 前 256 条对话校准。在 DGX Spark 上用 vLLM 0.30.0 实测通过,MTP 投机解码接受率 63%;24 GB 显存较紧张,建议 32 GB 以上。

    推荐理由:作者实测了 vLLM 部署并给出各量化版本与 bf16 的 KL 和拒绝数对比,可据此选择合适的构建。

  1. Hugging Face · 新模型:abliterated62

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B 去对齐版 W4A16 量化权重

    IstroSec 发布 ThinkingCap-Nemotron-3.5-Lightning-30B-A3B-abliterated 的 W4A16 量化版,20.5 GB(bf16 为 65.8 GB),KL 0.0215,用 llm-compressor 0.14.0 以 GPTQ 按 64 分组对称 INT4 量化,激活保持 bf16,面向无 FP4/FP8 支持的 GPU(如 Ampere)。在 DGX Spark 上用 vLLM 0.30.0 测试,4 个温度为 0 的请求均正确且工具调用格式正常;Heretic 评测显示 100 个有害提示拒绝 26 个(bf16 去对齐版为 23),作者称数个拒绝的差异不显著。

    推荐理由:发布方给出了各量化版本相对 bf16 的 KL 散度和拒绝数对比,还注明两次基线运行差异数个拒绝不显著,便于判断精度损失。

  2. Hugging Face · 新模型:abliterated54

    leonsarmiento 发布 Huihui-Qwen3.6-35B-A3B-abliterated 6bit XL MTP MLX 量化版

    leonsarmiento 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX 量化版,采用 BaseQuant_XL 6/8-bit 混合量化并嫁接 MTP 头,总大小 30.60 GB。MTP 头来自 huihui-ai 在去对齐时原样保留的 19 个源张量,经逐张量校验与 Qwen3.6-35B-A3B 原始 MTP 头字节一致。在 oMLX(M4 Pro 48GB)上 mtp_enabled 开启时草稿接受率 89.1%,吞吐 78.6 tok/s,较关闭时的约 58.5 tok/s 提升 28–34%;MTP 加速仅支持 oMLX,LM Studio 只能加载基座模型。

    推荐理由:作者给出 MTP 草稿接受率、吞吐对比和逐张量离线校验数据,读者可据此判断这个 MLX 移植在速度与精度上的取舍。

  1. Reddit · r/LocalLLaMA63

    HuggingFaceBio 发布 Carbon-X:基于 Qwen3-14B 微调的 14.8B DNA 语言模型

    HuggingFaceBio 发布 Carbon-X,一个 14.8B 参数的 decoder-only 模型,在 Qwen3-14B 基础上用 DNA 序列与自然语言联合训练,可在普通对话中直接分析原始 DNA 并用英文回答。混合 tokenizer 用 BPE 处理文本、以 6-mer 编码 DNA,无独立 DNA 编码器;五个 DNA 基准平均 66.7%(关闭思考),比 Qwen3-14B 高 27 分,接近 GPT-6.1 Sol 的 67.5% 而推理成本约其 1/1,800;估计分析 ClinVar 240 万个意义不确定变异约需 $300,而所测前沿模型需 $32,000 至 $400 万。

    推荐理由:原文给出五个 DNA 基准的平均分、与基线模型的差距和成本对比,可据此评估这个 DNA 微调模型的实际水平。

  2. Reddit · r/LocalLLaMA60

    KittenML 开源 Kitten-TTS 2:1.58-bit 三值权重 TTS,CPU 实时运行

    KittenML 发布 Kitten-TTS 2 的代码与权重,称其为首个 1.58-bit(三值)TTS 模型,1.7B 参数,仅靠 CPU 即可实时生成。支持少于 5 秒参考音频的 zero-shot 声音克隆、20+ 语言跨语言克隆,以及重音与情感表达控制;代码和权重开源,提供 GitHub 与 Hugging Face 链接,定位为 ElevenLabs 的开源替代。

    推荐理由:1.58-bit 三值权重让这个 1.7B TTS 只靠 CPU 就能实时运行,对没有 GPU 的本地部署用户是可查的开源替代选项。

  3. Hugging Face · 新模型:uncensored52

    Qwen-Image-2.1 Uncensored 混合精度 GGUF 量化版发布,4.39 GB 对比 BF16 保真度更优

    Reizxn 在 Hugging Face 发布 abenzerps/Qwen-Image-2.1-Uncensored-Quantized 的逐层混合精度 GGUF 量化版,体积 4.391 GB、4.94 bits/weight,相对权重误差 0.0636。297 个张量独立量化并按最小化重构误差分配格式,组成 Q4_K×126、Q5_K×105、F16×66;实测平均 PSNR 24.25 dB,高于统一 Q4_K 的 22.44 dB,4 个测试主体中 3 个胜出,可用 stable-diffusion.cpp 或 ComfyUI-GGUF 加载,需搭配 Qwen-Image-2.1 VAE 和 Qwen3-VL-8B 文本编码器。注意仅适合 1024 及以上分辨率。

    推荐理由:作者给出了逐层混合精度分配方法与逐张渲染的 PSNR 对比数据,读者可以按需判断该 4.39 GB 量化版相对统一 Q4_K 的保真度收益。

  1. Hugging Face · 新模型:abliterated68

    Ternary-Bonsai-2 27B 无对齐版重打包为 1.75-bit GGUF 并附 MTP 草稿头发布

    Cheurteen 在 Hugging Face 发布了 Hikari07jp 消融版 Ternary-Bonsai-2 27B 的重打包 GGUF:把三值权重从 2.125-bit 编码重新量化到 Prism 的 1.75-bit PTQ1_0 格式,并将 PrismML 的 MTP 草稿头以 Q4_0 重新量化合并。实测在 RTX 3070 8 GB 上,带草稿头的文件达 69.3 tok/s,无头版本 50.8 tok/s;困惑度 8.2894 优于 2.125-bit 版的 8.4593,MMLU 76.07%、HumanEval pass@1 75.00%,重打包仅改变 0.0943% 的权重、MMLU 差 0.14 点。

    推荐理由:作者不仅重打包了消融权重,还给出困惑度、tok/s 和 MMLU 等前后对照数据,可以看清 1.75-bit 格式相对 2.125-bit 的实际收益。

  2. Hugging Face Blog53

    IBM 发布 Granite Speech 5.0 系列语音模型,含新增 2B 及两款更新版本

    IBM 在 Hugging Face 发布 Granite Speech 5.0 系列:新增 granite-speech-5.0-2b 语音语言模型,并更新 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。2B 版支持六语种转录与翻译、2000 词关键词偏置,英文平均 WER 5.06%,在开源权重 ASR 模型中排名第 2;Turbo CTC 版扩展至七语种并提速约 1.6 倍至 19,870 RTFx;4.1 2B Plus 说话人归因与时间戳更准,长语音 WER 降 24%。三款模型均为 Apache 2.0 许可,支持 Transformers、vLLM、llama.cpp 等。

    推荐理由:官方给出各模型在 Open ASR Leaderboard 上的 WER、RTFx 和说话人归因误差对比数据,读者可据此挑选适合的语音模型。

  3. GitHub · 3D 生成新仓库62

    Let It Be Simple 开源一步动作生成 VLA 模型代码与权重

    论文《Let It Be Simple: One-Step Action Generation for Vision-Language-Action Models》发布代码与权重,方法只需把训练时间步分布偏向噪声端点 t' = α·t / (1 + (α−1)·t),无需蒸馏、新目标函数或新架构即可训练一步 VLA 策略。论文认为该效应是结构性的:丰富观测 tightly 约束紧凑动作目标,使不可约速度损失在噪声端点坍缩,而非像图像生成那样形成 U 形。

    推荐理由:论文给出把训练时间步分布偏向噪声端点即可训练一步 VLA 策略的方法,并附开源代码、配置和 LIBERO 成功率数据,可复现验证。

  4. Hugging Face · 趋势模型59

    HuggingFaceBio 发布 14.8B DNA 语言模型 Carbon-X

    Hugging Face 联合 Zhongguancun Academy 与 Telethon 遗传学研究所发布开源 14.8B 模型 Carbon-X,基于 Qwen3-14B,用混合 tokenizer 在单一 decoder 中联合建模 DNA 序列与自然语言。五项 DNA 基准平均 66.7%(关闭思考),比起点 Qwen3-14B 高 27 分,接近 GPT-6.1 Sol 的 67.5% 而推理成本约为其 1/1800,分析 ClinVar 全部 240 万意义不明变异约花 $300。权重以 bfloat16 适配单张 80 GB GPU,可用 vLLM 部署,支持作为 agent 工具调用,未做临床验证、不可用于医疗决策。

    推荐理由:原文给出五项 DNA 基准得分、成本对比和完整训练配方,读者可以据此评估这个 DNA 语言模型的实际水平与用法。

  5. Hugging Face · 趋势模型65

    KRAFTON 发布 Raon-1 mini preview 开源模型,30B-A4B MoE 架构,Apache 2.0 开源

    KRAFTON 从零训练的 Raon-1 mini preview 发布,为 30B-A4B(28.8B 总参数、每 token 激活 4.3B)MoE 模型,采用 Raon Delta Attention 与 Raon-mHC 的混合注意力架构,原生支持 262,144 token 上下文,以 Apache 2.0 许可开源。主打韩语对话与 Agent 任务,支持 Hermes Agent、Pi 和 OpenCode 工具调用;官方基准显示其在 IFBench、Chatbot Korean 等项目领先对比 MoE 模型。

    推荐理由:模型卡给出了与其他 MoE 和稠密模型的基准对比、架构细节和完整本地部署方案,可据此评估其真实定位。

  6. Hugging Face · 新模型:abliterated54

    Ternary-Bonsai-2-27B 无对齐 GGUF 发布,MTP 头重量化后可跑进 8GB 显存

    作者发布 Ternary-Bonsai-2-27B-Abliterated-PQ2_0-MTP-Q4_0-GGUF,在 Hikari07jp 的 abliterated 构建基础上把 MTP 草稿头从 Q8_0(430.41 MiB)重量化为 Q4_0(227.91 MiB),使组合能在 8GB 显卡上运行,实测 RTX 3070 上 45.7 tok/s、7 724 MiB 显存。主干与 abliterated 构建逐位一致,仅 blk.64.* 不同;因 MTP 头只是草稿、输出由主模型验证,困惑度 8.4593 与无头版本 8.4557 在测量误差内,200 个贪心 token 零分歧。

    推荐理由:作者给出逐字节校验和 RTX 3070 8GB 实测数据,说明把 MTP 头降到 Q4_0 后为何不损失输出质量。

  1. Hugging Face · 趋势模型53

    lodestones 发布 Kromoss:MOSS-Image-Base 的 1024px 全参微调,附 8 步 DMD turbo LoRA

    lodestones 在 Hugging Face 发布 Kromoss,是对 MOSS-Image-Base 的全参微调(1024 px,704k 训练图,发布 EMA 权重),架构与 MOSS-Image-SFT 相同、可直接替换,主要修复 Base 模型的模糊问题。仓库同时提供 8-steps-dmd-lora.safetensors(8 步、CFG 1、无负分支的 DMD 蒸馏 turbo LoRA)、int8 ConvRot 量化单文件(5.4 GB)、ComfyUI 原生支持与转换脚本,权重采用 Apache 2.0 许可。PartiPrompts(100 提示词,CLIP ViT-L/14)显示 Kromoss + LoRA 得分 27.82,高于 MOSS-Image-Base 的 27.19。

    推荐理由:这是官方模型卡,给出了完整采样设置、ComfyUI 与 diffusers 用法以及 PartiPrompts 对比数字,便于直接上手和评估效果。

  2. Hugging Face · 新模型:abliterated64

    alesha-pro 发布 Qwen3.8-Flash-Next 去对齐 Strata GGUF 量化包

    alesha-pro 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated Strata GGUF 量化包,含 S 和 S-small 两种规格,基于 Mirai 的 2-bit trellis 构建,用 huihui-ai 的拒绝方向向量去除拒绝行为。实测 AdvBench 64 条提示中 stock 版拒绝 64 次、加向量后仅 1 次,Alpaca 无害提示基本不受影响。可在 1-2 张 RTX 3090 上运行,S 版解码 82-113 tok/s,支持最高 262144 上下文,需 Linux、CUDA 12.8+ 和约 64 GB 内存。

    推荐理由:作者实测了加拒绝向量前后的拒绝数和各档速度内存数据,读者可以据此判断这个去对齐量化包的实际表现。

  3. Hugging Face · 趋势模型69

    Recursive 发布 MoE 编码智能体模型 Flint,unsloth 上线 GGUF 量化版

    Recursive 发布了面向编码智能体的 MoE 语言模型 Flint,总参数 39.8B、每 token 激活约 2.5B,在 Terminal-Bench 2.1 得 54.9%、SWE-bench Pro v2 得 89.7%、SWE-bench Verified 得 74.2%。模型采用 256 路由专家加共享专家、49 层(2 稠密 + 47 MoE)、262,144 token 上下文,以 Apache 2.0 许可发布,附 BF16 检查点、SGLang 服务套件及面向 NVIDIA 和 Apple Silicon 的量化版本,unsloth 提供 GGUF 格式和运行指南。

    推荐理由:官方模型卡给出了架构细节、评测设置和基准分数来源标注,读者可以据此了解这款小激活参数编码智能体模型的实际规格。

  1. Hugging Face · 新模型:uncensored52

    GLM-5.3-Flash-Uncensored 3.0bpw EXL3 量化包发布,附实测对比数据

    androidli 发布 GLM-5.3-Flash-Uncensored 的 EXL3 3.0bpw 量化包(mcg 码本),仅对每层 288 个 routed experts 量化,非路由张量保持源生精度,权重共 152 GB,面向 2× DGX Spark (GB10) 经 CX7 直连以 TP=2 运行。实测 EvalPlus 542 题 86.3%、GSM8K 98.0%、HumanEval 98.2%,与 Mia-AiLab 自报的 4bpw 版差异在噪声范围内;调优配置下 KV 池 3,891,200 tokens,前向延迟平均快约 15%。

    推荐理由:作者实测了 3.0bpw 量化版与 4bpw 版的质量、KV 池和延迟对比,并标注了各数字对应的复现配置。