跳到正文
10月7日周三
  1. GitHub · 去对齐工具与仓库18

    wdenejko 开源 aviai:航空领域 LLM 应用学习沙盒仓库

    GitHub 用户 wdenejko 发布 aviai 仓库,一个用于应用 LLM 实践的个人学习沙盒,采用 uv workspace 结构,涵盖数据集构建、eval harness、微调与 RAG。其中 avtext 项目构建 METAR/TAF 解码数据集与评测基准,并验证对 Gemma 4 E4B 做 LoRA 微调能否超越基座模型,成果 aviai-e4b 已上线 Hugging Face;dsbench 为 Qwen3.x-35B 微调研究提供执行验证基准,v1 与 v2 均已可用。

  2. Hugging Face · 新模型:uncensored18

    Goghor 发布 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-INT8-W8A16-MTP 模型

    Goghor 在 Hugging Face 上发布基于 Qwen3.8 的 27B 参数模型 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-INT8-W8A16-MTP,采用 INT8 W8A16 量化,模型大小 28B params,以 Safetensors 格式提供。该模型目前未被任何 Inference Provider 部署,README 暂无内容。

  3. Hugging Face · 新模型:abliterated42

    Huihui-Qwen3.8-27B-Abliterated VAL-APEX-I-MiniPlus V2.1 GGUF 量化版发布

    Huihui-Qwen3.8-27B-abliterated 模型的官方 VAL-APEX-I 量化版 MiniPlus V2.1 发布,体积 15.33 GB(3.93 BPW),WikiText-2 困惑度 6.1466,较 BF16 仅上升 2.44%,达到 Q5_K_M/Q6_K 边界质量。该版本在 24GB GPU 上支持完整 256K 上下文,192 个 DeltaNet SSM 状态张量保持 F32 无压缩,输出头采用 Q6_K 保护。另有 11.90 GB 的 NanoPlus 版本可在 16GB 硬件上运行。

  4. Hugging Face · 新模型:abliterated42

    Huihui-Qwen3.8-27B-Abliterated VAL-APEX-I NanoPlus GGUF 量化版本发布

    Huihui-ai 的 Huihui-Qwen3.8-27B-abliterated 模型推出 VAL-APEX-I NanoPlus 量化版,体积仅 11.90 GB(2.85 BPW),可在 16GB GPU 上运行,并支持 24GB GPU 跑满 256K 上下文。WikiText-2 困惑度为 6.4238,较 BF16 基线仅升 7.06%,达到 Q4_K_M 质量档。全部 192 个 DeltaNet SSM 循环状态张量保持 F32 无压缩,输出头采用 Q6_K 保障语法稳定性。

  5. GitHub · 去对齐工具与仓库22

    raghid-shreih 开源 retail-feedback-intelligence:用 LLM 预测服装评论推荐意愿

    GitHub 上的 retail-feedback-intelligence 是一个可复现的 Python 项目,用语言模型预测 Women's E-Commerce Clothing Reviews 数据集中评论者是否推荐商品。验证的 50 条评论运行得到 46 条正确预测(92% 准确率),同一样本上多数类基线为 38/50(76%)。项目内置 6 种提示词变体(zero-shot、few-shot、stepwise)、schema 校验、离线测试与 CLI,默认使用 OpenAI SDK,MIT 许可开源。

  6. Hugging Face · 新模型:uncensored36

    minas2025 发布 Qwen-3.5-0.8B-Uncensored-Conversational 微调模型

    minas2025 基于 sh0ck0r/Qwen3.5-0.8B-heretic 用 QLoRA(4-bit)微调出 Qwen-3.5-0.8B-Uncensored-Conversational,使用含 11,400 条温暖对话数据的 minas2025/warm-chat-12k 数据集,让 0.8B 模型以热情、口语化风格聊天且无拒绝回答。模型提供 Q8_0 GGUF(约 812 MB),上下文 2048,可在 LM Studio、Ollama、llama.cpp 中加载。

  7. Hugging Face · 新模型:uncensored46

    infosave 发布 Qwen-Image-2.1-Uncensored-CMF 单文件本地图像生成模型

    infosave 在 Hugging Face 发布 Qwen-Image-2.1-Uncensored-CMF,这是面向 Cortiq 运行时的单文件图像生成模型,大小 12.745 GB、15.59B 参数,内含 DiT、文本/视觉编码器、VAE 和 tokenizer,支持 CPU、原生 Metal 和 Vulkan 路径。实测 RTX 4090 Vulkan f16 回退路径下 1024×1024、40 步端到端耗时 29.13 秒;上游 GGUF 版本无内置安全检查器,采用 Qwen 研究许可,仅限非商业研究用途。

  8. Hugging Face · 新模型:uncensored35

    Qwen3.8-27B EfficientThink Uncensored 的 VAL-APEX-I MiniPlus V2.1 GGUF 量化版发布

    IsValorum 发布 nerkyor/Qwen3.8-27B-EfficientThink-Uncensored-K3-Opus5-Grok4.6-GPT5.6Sol-SFT-SimPO-DFlash2 的官方 VAL-APEX-I MiniPlus V2.1 GGUF 量化版,针对混合线性-二次注意力架构采用 814 条细粒度张量规则。该版本有效位宽 3.93 BPW、文件 15.08 GB,目标 Q5-Q6 感知质量,8K 上下文全 GPU 卸载约需 14-16 GB VRAM,遵循 Apache 2.0 许可。

  9. Hugging Face · 新模型:uncensored28

    Qwen3.8-27B EfficientThink Uncensored 的 VAL-APEX-I NanoPlus GGUF 量化版发布

    Hugging Face 上发布 Qwen3.8-27B EfficientThink Uncensored 的 VAL-APEX-I NanoPlus GGUF 量化版,采用混合线性注意力与二次注意力架构,按 814 条细粒度张量规则分层量化,有效位宽 2.85 BPW,文件 11.65 GB。模型遵循 Apache 2.0 许可,8K 上下文全 GPU 卸载约需 10-12 GB 显存,可部分卸载运行于 12-16 GB GPU。

  10. Reddit · r/LocalLLaMA68

    EmpirioLabs 发布开放权重决策模型 Aplomb 1:5.3B、1M 上下文、多模态单请求输入

    EmpirioLabs 发布开放权重决策模型 Aplomb 1,基于 Qwen3.5-4B 并采用 Qwen3-Omni-30B-A3B-Instruct 的音频编码器,将上下文窗口从 262K 扩展到 1M tokens,可在单请求中读取文本、JSON、图像、视频和音频。

    推荐理由:官方公布了 Decision Index、MMLU-Pro 等基准分数和长上下文推理耗时,且完整跑分公开可查,便于自行核验。

  11. Hugging Face · 趋势模型67

    面壁 MiniCPM-V 4.7 35B-A3B 发布 GGUF 量化版

    openbmb 在 Hugging Face 发布 MiniCPM-V 4.7 35B-A3B 的 GGUF(llama.cpp)量化版,原 BF16 权重在 openbmb/MiniCPM-V-4.7-35B-A3B。该模型是 MiniCPM-V 系列首个 MoE 变体,官方称其借助 Lookahead Expert Scheduling、细粒度分层量化和 DSpark 投机采样,成为首个可无损流畅端侧运行的开源 MoE 模型,在 iPhone 17 Pro Max 上以 3GB 内存达到 13+ tokens/s;Instruct 模式下整体得分高于 Qwen3.6 35B-A3B 且推理时间更短。

    推荐理由:官方说明了 LES 预取、分层量化与投机采样如何配合,让 35B-A3B MoE 在 3GB 内存手机上跑到 13+ tokens/s。

  12. Hugging Face · 趋势模型42

    面壁 MiniCPM-V 4.7 发布 1B 版本

    面壁的 MiniCPM-V 4.7 系列新增 1B 版本,Instruct 模式下基础能力超越 MiniCPM-V 4.6,并在综合得分与推理效率上大幅超过 Qwen3.5 0.8B。该模型采用 LLaVA-UHD v4 的 intra-ViT 早压缩技术,支持 4x/16x 视觉 token 混合压缩,可部署于 iOS、Android 和 HarmonyOS,并提供 SGLang、vLLM、llama.cpp、Ollama 推理支持及 GGUF、BNB、AWQ、GPTQ 与 FP8 量化版本。

  13. Reddit · r/LocalLLaMA59

    Google DeepMind 开源多模态嵌入模型 EmbeddingGemma 2

    Google DeepMind 发布开放权重的多模态嵌入模型 EmbeddingGemma 2,可将文本(含代码)、图像、视频、音频及其组合映射到统一的 768 维向量空间,权重已上架 Hugging Face(https://huggingface.co/google/embeddinggemma-2)。

    同一新闻,精选展示《Google DeepMind 发布开源多模态嵌入模型 EmbeddingGemma 2》

  14. Hugging Face · 新模型:uncensored39

    Qwen-Image-2.1-Uncensored GGUF 量化版本发布,支持本地图像生成

    QUBITABHAY 基于 Qwen/Qwen-Image-2.1 原始权重发布 Uncensored 版 GGUF 量化,提供 BF16、Q8_0、Q6_K、Q4_K_M 等多种格式,其中 Q4_K_M 约 4.60 GB,被推荐为体积与质量的最佳平衡。该版本无内置安全检查器,可直接生成 NSFW 等敏感图像;配套 qwen3vl_8b 文本编码器与 VAE 文件,可在 ComfyUI 中通过 ComfyUI-GGUF 加载,文本编码器卸载到内存可节省 9–17 GB 显存。

10月6日周二
  1. Hugging Face · 新模型:uncensored57

    Gemma-4-Queen-31B-it 发布 Heretic 去对齐 LoRA 适配器(GGUF)

    SaturnHeaven 发布 Gemma-4-Queen-31B-it 的 rank-64 abliteration LoRA 适配器 GGUF 版,基于 Heretic v1.2.0 的 ARA 方法对 attn.o_proj 的去对齐差值做 SVD 截断近似,用于角色扮演和创意写作时减少拒绝和免责声明。

    推荐理由:作者给出了 rank-64 近似的重构保真度指标和源模型拒绝率对比,读者可据此判断这个 LoRA 适配器去对齐的可靠程度。

  2. Hugging Face · 新模型:abliterated68

    grimlee 发布 Swift-1.5-Qwen3.8-27B-Abliterated 去对齐版本

    grimlee 在 Hugging Face 发布 ukisai/Swift-1.5-Qwen3.8-27b 的去对齐衍生版本,采用 pos46/FULL/lambda=1.2 的拒绝方向投影,修改 131 个张量。

    推荐理由:原文给出拒绝方向投影方法与成对评测数据,读者可据此判断该去对齐版本在拒绝率与能力保留之间的实际取舍。

  3. Hugging Face · 新模型:uncensored61

    TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版,ARC-C 达 735

    TopherAU 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的去审查微调版 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF,提供常规与 MTP 两种 NEO imatrix GGUF 量化。

    推荐理由:原文给出 Heretic ARA 消融的拒绝率与 KL 散度前后数据,以及 8bit/4bit 下 ARC-C 等基准对比,可据此评估这个去对齐微调的实际效果。

  4. Reddit · r/LocalLLaMA58

    作者用免费 Kaggle T4 微调 Qwen2.5-Coder-1.5B 离线审查 Node.js 代码

    作者 /u/jeeva1398 发布了 npm 包 eventa,基于 Qwen2.5-Coder-1.5B-Instruct 做 QLoRA 微调(Unsloth,r=16,2 epochs,Q4_K_M,986 MB),在免费 Kaggle T4 上训练约 9 分钟,可完全离线审查 Node.js 代码。

    推荐理由:作者公开了数据构成、训练配置和保留集评测数字,还写明了微调版变差的一面,读者可以核对这套小模型微调流程。