跳到正文
10月23日周五
  1. Reddit · r/LocalLLaMA36

    Qwen3-0.6B 被转换为 MoE 版本

    Reddit 用户 Bayliner1980 将 Qwen3-0.6B 转换为 MoE 架构,发布 bayliner1980/Qwen3-0.6B-MoE-A0.5B 及 GGUF 版本,这是其首个 chat 风格转换。因 Qwen3 无 shared expert,作者采用 pseudo-shared expert 部分恢复质量;评测显示 Wiki ppl 从 23.88 升至 26.98,各质量指标均差于原模型,0.6B 规模下 CPU 生成 124 t/s 略快于 dense 的 115 t/s,GPU 生成则略慢。作者建议只想要小模型就直接用 Qwen3-0.6B。

  2. GitHub · 去对齐工具与仓库27

    Candela:在笔记本上微调的开源金融分析 LLM 项目

    Candela 是一个正在开发中的开源金融分析 LLM 项目,基于 Gemma 4 12B 的 4-bit QAT 权重用 QLoRA 微调,可回答美股相关问题,所有数字均来自带日期和来源的工具调用。项目还包含从零训练、35M 参数起步的 Candela Spark 模型族,由 Go 网关提供服务,并通过终端风格 PWA 和 three.js 3D 视图探索模型内部,采用 Apache-2.0 许可证。

  3. Hugging Face · 新模型:uncensored28

    Qwen3.8-Flash-Next-Uncensored Q4_K_XL-Gufo 量化版发布

    Hugging Face 上线 Qwen3.8-Flash-Next-Uncensored 的 Q4_K_XL-Gufo 重量化版本,共 3 个分片约 103.5 GiB,升级 716 个张量 dtype 并修复 export bug,使 gufo 引擎可在 AMD Strix Halo(gfx1151)上加载,支持 262 144 原生上下文。无新微调,权重与原 Q4_K_S 相同;许可证按上游 Qwen Community License 1.0 分发,而非元数据标注的 apache-2.0。

  4. Hugging Face · 新模型:uncensored33

    Qwen-Image-2.1 Uncensored 量化版发布,提供 GGUF/Safetensors/MLX 多格式本地部署

    Hugging Face 上发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本,基于原版上游权重转换,提供 GGUF、Safetensors 和 MLX 格式,涵盖 BF16 14.23 GB 到 MLX 4-bit 4.00 GB 等多个量化档位,推荐 GGUF 用户使用 Q4_K_M(4.60 GB)。该版本内置无安全检查器,可直接生成 NSFW 等敏感图像,配套 qwen3vl_8b 文本编码器和 VAE 文件,可通过 ComfyUI 与 leejet/ComfyUI-GGUF 分支完成本地部署,文本编码器可卸载至系统内存以节省 9–17 GB VRAM。

  5. Hugging Face · 新模型:uncensored40

    m672/gemma-4-31b-it-uncensored-fp8 发布:FP8 块量化版 gemma-4-31B 无审查模型

    m672 发布 gemma-4-31B-it-uncensored-heretic 的 FP8 块量化版本,模型体积约 31.5 GB,较 BF16 的约 62 GB 减半。与 RedHatAI/gemma-4-31B-it-FP8-block 对比,GSM8k-Platinum 97.68%、MMLU-CoT 89.97%、MMLU-Pro 84.52%,性能差距在 -0.14 至 -0.73 之间。量化采用 llmcompressor 的 FP8_BLOCK 方案,输出 compressed-tensors 格式,可原生用于 vLLM,聊天模板默认 enable_thinking 为 true。

  6. Hugging Face · 新模型:abliterated25

    Sage-A1.5 Heretic Abliterated 的 EXL3 4.0bpw 量化版本发布

    Hugging Face 上发布 Sage-A1.5 Heretic Abliterated 的 EXL3 4.0bpw 量化版本,由 exllamav3 1.6.4 的 convert.py 生成,decoder 约 4.05 bpw、lm_head 6 bit、MTP 4 bpw,视觉塔保持 bf16 未量化。目录约 19GB 含三个 safetensors shard,MTP 权重与预处理器配置从父模型 InternScience/Sage-A1.5 补齐,需 exllamav3 1.6.4 加载,可用 -mode qwen35 并开启 MTP draft。

  7. Reddit · r/LocalLLaMA59

    Swift-1.5-Qwen3.8-27B 推出 hipfire MQ4 量化版,7900 XT 上端到端约 2.2 倍于 Q4_K_S GGUF

    Reddit 用户 /u/Queasy_Asparagus69 将 Swift-1.5 微调版 Qwen3.8-27B 量化为 hipfire 的 MQ4 格式并附带 MTP 头用于投机解码,目标是让 AMD 用户获得比 llama.cpp 更快的速度。在 RX 7900 XT 20GB、ROCm 7.1 环境下,Prefill 快约 1.4–1.85 倍,16K 上下文约 1100 tok/s(llama.cpp 约 700);带 MTP 的真实 prompt 解码 36.5 tok/s(τ≈1.94),16–49K 上下文为 52–59 tok/s。六个约 10–20K token 的真实 Rust 编码任务全套耗时 237 秒,对 llama.cpp 的 530 秒,端到端快 2.24 倍。

    推荐理由:作者在同一块 7900 XT 上用真实 Rust 任务给出与 llama.cpp 的逐项速度对比,数据足够具体可复现。

  8. Reddit · r/LocalLLaMA25

    Unsloth Dynamic IQ4_XS 版 Swift 1.5 Qwen 3.8 FN 去审查量化发布,附 Strata 支持

    Reddit r/LocalLLaMA 用户发布 Swift 1.5 Qwen 3.8 flash next 的 heretic 去审查版量化模型(mean KLD 0.06,median 0.02),按 per-tensor 量化为 Unsloth Dynamic IQ4_XS 格式,使用面向智能体场景(英文、工具调用、数学、代码、推理)的自定义 imatrix。该版本已 strata ready,附带包含 mtp head 和视觉组件等所需文件的 zip 包,质量高于 ISTA 版。

  9. Hugging Face · 新模型:abliterated29

    Huihui-Qwen3.6-35B-A3B-abliterated 的 Orinfer E8P Q4A8 量化版上线 Hugging Face

    基于 huihui-ai 的 abliterated Qwen3.6-35B-A3B 模型、面向 Jetson AGX Orin 64GB 的 Orinfer E8P Q4A8 量化版在 Hugging Face 发布,权重共 35,951,822,704 参数、约 4.209 bits/权重,上下文 262,144 tokens,需 Orinfer v0.2.1 运行。验证显示单次请求 65.83 tokens/s,10/11 自动评分任务通过,权重采用 Apache-2.0 许可。

  10. Hugging Face · 趋势模型65

    KRAFTON 发布 Raon-1 mini preview 开源模型,30B-A4B MoE 架构,Apache 2.0 开源

    KRAFTON 从零训练的 Raon-1 mini preview 发布,为 30B-A4B(28.8B 总参数、每 token 激活 4.3B)MoE 模型,采用 Raon Delta Attention 与 Raon-mHC 的混合注意力架构,原生支持 262,144 token 上下文,以 Apache 2.0 许可开源。主打韩语对话与 Agent 任务,支持 Hermes Agent、Pi 和 OpenCode 工具调用;官方基准显示其在 IFBench、Chatbot Korean 等项目领先对比 MoE 模型。

    推荐理由:模型卡给出了与其他 MoE 和稠密模型的基准对比、架构细节和完整本地部署方案,可据此评估其真实定位。

  11. Hugging Face · 新模型:uncensored20

    MishraNepali/Lily-Cybersecurity-7B-Uncensored-GGUF_Q5_K_M 量化版发布

    Hugging Face 用户 MishraNepali 发布 Lily-Cybersecurity-7B-Uncensored 的 GGUF Q5_K_M 重新量化版本,体积从 13.5GB 降至 4.07GB,可在 16GB 内存的 CPU 上运行,也可在 Google Colab 使用。该模型源自 segolilylabs/Lily-Cybersecurity-7B-v0.2(Apache 2.0 协议),中间版本由 NiroshanDH 量化并做 abliteration 处理,推荐上下文窗口 4096 tokens,量化版可能出现模型幻觉。

  12. Reddit · r/LocalLLaMA63

    HuggingFaceBio 发布 Carbon-X:基于 Qwen3-14B 微调的 14.8B DNA 语言模型

    HuggingFaceBio 发布 Carbon-X,一个 14.8B 参数的 decoder-only 模型,在 Qwen3-14B 基础上用 DNA 序列与自然语言联合训练,可在普通对话中直接分析原始 DNA 并用英文回答。混合 tokenizer 用 BPE 处理文本、以 6-mer 编码 DNA,无独立 DNA 编码器;五个 DNA 基准平均 66.7%(关闭思考),比 Qwen3-14B 高 27 分,接近 GPT-6.1 Sol 的 67.5% 而推理成本约其 1/1,800;估计分析 ClinVar 240 万个意义不确定变异约需 $300,而所测前沿模型需 $32,000 至 $400 万。

    推荐理由:原文给出五个 DNA 基准的平均分、与基线模型的差距和成本对比,可据此评估这个 DNA 微调模型的实际水平。

  13. Hugging Face Blog44

    OlmoEarth v1.3 发布:为全球提供 SOTA 卫星嵌入模型

    Hugging Face 发布卫星嵌入模型 OlmoEarth v1.3,可读取一整年的 Sentinel-1 雷达与 Sentinel-2、Landsat 多光谱数据,为全球每个 10 米像素生成 128 维嵌入向量,并同步公开全球预计算嵌入及浏览器工具 Embeddings Explorer。在 27 项评测中,其 128 维嵌入在 20 项上领先 AlphaEarth Foundations(AEF)和 Tessera v2,64 维版本在 18 项上领先;模型权重、预训练数据与代码全部开源,复现一次最终训练约需 $2,720 的 H100 租用算力。

  14. Hugging Face · 新模型:abliterated22

    TristanUK 发布 onyx-qwen2.5-7b-abliterated-lora-GGUF 量化模型

    TristanUK 在 Hugging Face 发布 abliterated 版 Qwen2.5 7B 的 GGUF 量化模型(Q4_K_M),提供去审查变体供本地推理使用。该模型可通过 llama.cpp 直接运行,支持 llama serve 启动 OpenAI 兼容本地服务器或命令行推理,也提供 Ollama(ollama run)、Docker Model Runner、Lemonade 等拉取运行方式。此外可接入 Pi、Hermes Agent、OpenClaw 等本地 Agent 工具,作为默认模型使用。

10月22日周四
  1. Hugging Face · 新模型:abliterated20

    TristanUK 发布 onyx-qwen2.5-7b-abliterated-lora

    TristanUK 在 Hugging Face 上传了 abliterated LoRA 微调模型 onyx-qwen2.5-7b-abliterated-lora,基于 huihui-ai/Qwen2.5-7B-Instruct-abliterated-v2 微调而来,采用 apache-2.0 许可证。该模型借助 Unsloth 实现了 2 倍训练加速,可在 Transformers 中通过 AutoModel 直接加载使用。

  2. Reddit · r/LocalLLaMA49

    inclusionAI 发布医疗专用模型 Ling-3.0-flash-Sante

    inclusionAI 基于 Ling-3.0-flash 推出医疗专用模型 Ling-3.0-flash-Sante,总参数 124B、每 token 激活 5.1B,采用混合线性 MoE 架构(KDA、gated MLA、稀疏 MoE)。训练上下文扩展至 256K tokens,默认开启思考模式并支持工具调用,面向医疗推理、深度研究与多智能体协作。模型权重已在 Hugging Face 和 ModelScope 开放,官方强调其为研究模型而非医疗器械。

  3. Hugging Face · 新模型:abliterated26

    Huihui-GLM-4.5-Air-abliterated-lossy-REAP_50-safetensors 上架 Hugging Face

    Hugging Face 上架了基于 huihui 去限制版 GLM 4.5 Air 制作的 50% REAP 剪枝模型,由 concedo 上传。相比此前尝试,校准数据集被泛化(仍保留 60%/40% 创作偏向)并按源数据重新封装,激活记录长度从 3072 提升到 8192,并采用稀疏 observer 避免物化整个 [128, dim, tok] 块。该模型目前未经测试,可能无法加载、产生乱码或无法量化。

  4. GitHub · 去对齐工具与仓库58

    yfHHHE 开源 emoji-native-lm:只会用 1 到 3 个 emoji 回复的 Qwen3-1.7B 微调模型

    yfHHHE 发布 emoji-native-lm,基于 Qwen3-1.7B 用 LoRA 做 SFT 加 DPO 微调,对任何输入只以 1-3 个 emoji 回复。训练数据约 12k 条中英文聊天消息,由 Claude Opus 生成并回复,覆盖 1,915 种 emoji;666 条评测提示下经 wrapper 的回复 100% 合规,首轮采样合规率 98.9%,而基座 Qwen3-1.7B 为 0%。仓库提供 Ollama 与 llama.cpp 的 GGUF(1.8 GB q8_0)及 Python wrapper 部署方案,代码采用 Apache 2.0 许可。

    推荐理由:仓库公开了数据生成、SFT、DPO 到 GRPO 失败与修复的完整脚本和实测数据,读者可以照此复现并借鉴其偏见修正做法。

  5. Reddit · r/SillyTavernAI40

    ReadyArt 发布 Omega Arsenal 31B Final 模型

    ReadyArt 发布 Omega Arsenal 31B Final,作者称这可能是其一段时间内最后一款 31B 模型,效果明显超过 Swish,并基于 Scotoma 2 训练。该模型是融合 Wicked Tutu、Dark Scarlett、For Her Darkside、Melody1437 等数据集的暗黑向 smut 微调,训练采用 3 epochs 和 128 lora,耗时 24 小时以上。下一步作者计划训练 122BA10B 版 Wicked Tutu,但需 4xH200,预计下月启动。

  6. Hugging Face · 新模型:abliterated22

    Koshkasa 发布 GLM 4.5 Air 的 37.5% REAP 剪枝版本(abliterated lossy)

    Hugging Face 上由 concedo 上传的 GLM 4.5 Air abliterated 版本(huihui 去限制版)的 37.5% REAP 剪枝模型。相比此前失败的尝试,校准数据集被泛化(保留 60% creative bias)并按源基准重新打包,激活记录长度从 3072 提高到 8192,并使用稀疏 observer 避免物化整个 [128, dim, tok] 块。模型目前未经测试,可能无法加载或输出乱码。

  7. Hugging Face · 新模型:abliterated26

    Huihui-Qwen3.6-35B-A3B-abliterated-W4A16-GPTQ 量化模型上线 Hugging Face

    Hugging Face 上可用 nchapman 发布的 Huihui-Qwen3.6-35B-A3B-abliterated-W4A16-GPTQ,这是一个 abliterated 版的千问(Qwen3.6)多模态模型 W4A16 GPTQ 量化版本。页面给出用 Transformers、vLLM、SGLang 加载或部署的代码示例,三者均支持 OpenAI 兼容 API,也可通过 Docker Model Runner 运行。

  8. Reddit · r/LocalLLaMA49

    Carbon-X:最佳开源 DNA 语言模型,可在本地用 llama.cpp 运行

    团队发布开源 DNA 语言模型 Carbon-X,基于 Qwen3 14B 在 DNA 与自然语言混合语料上 midtraining 训练,在五个 DNA benchmark 上超过所测全部开源模型,并媲美 GPT-6.1 Sol,成本约低 1,000x。模型已提供 GGUF 版本,可经 llama.cpp 本地运行,支持用自然语言分析 DNA 序列、预测突变影响和生成新 DNA。

  9. Hugging Face Blog45

    IBM Granite 时间序列模型集成预测

    Hugging Face 发布 Granite Timeseries Ensemble,将四个不同架构的预训练 Granite 时间序列模型(PatchTST-FM-r1、PatchTST-FM-r2、FlowState-r1.1、TTM-r3)组合成一个无需重训练、无需拟合权重的集成预测接口。默认 Probabilistic Ensemble 采用等概率池化,另提供按预测离散度自适应加权的 IQR Ensemble。两个配方在 97 个 GIFT-Eval 数据集配置上评估,配置经宽松许可开源,可通过 granite-tsfm>=0.3.11 从 Hugging Face 加载。

  10. Hugging Face · 新模型:uncensored32

    fribourgquants 发布 DeepSeek-V4.1-Flash-1017-EXL3-3.5bpw-uncensored 量化版

    fribourgquants 在 Hugging Face 上发布 DeepSeek-V4.1-Flash-1017 的 EXL3 3.5bpw 去审查(uncensored)量化版。附带的性能测试显示,EXL3 3.5 配置在并发 1 时生成速度约 129.3 tokens/s、并发 32 时约 480.8 tokens/s,并发 1 的 time_to_content_p50 约 0.39 秒;同测试中 Native MXFP4 在并发 32 达 831.7 tokens/s,NVFP4 target 达 796.1 tokens/s。

  11. Hugging Face · 新模型:uncensored38

    fribourgquants 发布 DeepSeek-V4.1-Flash-1017-EXL3 2.875bpw uncensored 量化版

    fribourgquants 在 Hugging Face 上发布 DeepSeek-V4.1-Flash-1017 的 EXL3 2.875bpw uncensored 量化版本。附带的性能测试显示,Native MXFP4 在 batch 32 时达到约 831.66 tokens/秒,EXL3 2.875 在 batch 32 为约 452.16 tokens/秒,batch 1 时首 token 延迟约 0.41 秒。量化模型可在 Hugging Face 获取。

  12. Hugging Face · 新模型:uncensored42

    fribourgquants 发布 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored 量化模型

    fribourgquants 在 Hugging Face 上发布 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored 量化模型,并给出基准测试数据。原生 MXFP4 在单并发下达 146.84 tokens/秒、32 并发下达 831.66 tokens/秒,高于 NVFP4 target 与 EXL3 2.875/3.5 配置;单并发 time_to_content p50 为 0.34 秒。该模型为 uncensored 版本,测试数据已公开。