跳到正文
10月7日周三
  1. Hugging Face · 新模型:abliterated42

    Huihui-Qwen3.8-27B-Abliterated VAL-APEX-I-MiniPlus V2.1 GGUF 量化版发布

    Huihui-Qwen3.8-27B-abliterated 模型的官方 VAL-APEX-I 量化版 MiniPlus V2.1 发布,体积 15.33 GB(3.93 BPW),WikiText-2 困惑度 6.1466,较 BF16 仅上升 2.44%,达到 Q5_K_M/Q6_K 边界质量。该版本在 24GB GPU 上支持完整 256K 上下文,192 个 DeltaNet SSM 状态张量保持 F32 无压缩,输出头采用 Q6_K 保护。另有 11.90 GB 的 NanoPlus 版本可在 16GB 硬件上运行。

  2. Hugging Face · 新模型:abliterated42

    Huihui-Qwen3.8-27B-Abliterated VAL-APEX-I NanoPlus GGUF 量化版本发布

    Huihui-ai 的 Huihui-Qwen3.8-27B-abliterated 模型推出 VAL-APEX-I NanoPlus 量化版,体积仅 11.90 GB(2.85 BPW),可在 16GB GPU 上运行,并支持 24GB GPU 跑满 256K 上下文。WikiText-2 困惑度为 6.4238,较 BF16 基线仅升 7.06%,达到 Q4_K_M 质量档。全部 192 个 DeltaNet SSM 循环状态张量保持 F32 无压缩,输出头采用 Q6_K 保障语法稳定性。

  3. GitHub · 去对齐工具与仓库47

    CatatMD:把问诊记录转化为可审查临床笔记的开源工具

    CatatMD 是一个面向马来西亚全科医生的开源临床记录工具,将问诊转录转化为结构化 SOAP 笔记,并补充诊断、配药、病假天数等 TPA 审计所需字段。其安全特性是架构性的:确定性规则引擎在模型之前运行红旗检测,模型无法抑制或降级;引用仅限给定语料库中的 guideline ID,缺失字段标记为 NOT_ASSESSED 而非自动填充。医生通过显式审批门完成最终确认,工具不代替医生签署。

  4. GitHub · 去对齐工具与仓库22

    raghid-shreih 开源 retail-feedback-intelligence:用 LLM 预测服装评论推荐意愿

    GitHub 上的 retail-feedback-intelligence 是一个可复现的 Python 项目,用语言模型预测 Women's E-Commerce Clothing Reviews 数据集中评论者是否推荐商品。验证的 50 条评论运行得到 46 条正确预测(92% 准确率),同一样本上多数类基线为 38/50(76%)。项目内置 6 种提示词变体(zero-shot、few-shot、stepwise)、schema 校验、离线测试与 CLI,默认使用 OpenAI SDK,MIT 许可开源。

  5. Hugging Face · 新模型:uncensored46

    infosave 发布 Qwen-Image-2.1-Uncensored-CMF 单文件本地图像生成模型

    infosave 在 Hugging Face 发布 Qwen-Image-2.1-Uncensored-CMF,这是面向 Cortiq 运行时的单文件图像生成模型,大小 12.745 GB、15.59B 参数,内含 DiT、文本/视觉编码器、VAE 和 tokenizer,支持 CPU、原生 Metal 和 Vulkan 路径。实测 RTX 4090 Vulkan f16 回退路径下 1024×1024、40 步端到端耗时 29.13 秒;上游 GGUF 版本无内置安全检查器,采用 Qwen 研究许可,仅限非商业研究用途。

  6. Hugging Face · 新模型:uncensored35

    Qwen3.8-27B EfficientThink Uncensored 的 VAL-APEX-I MiniPlus V2.1 GGUF 量化版发布

    IsValorum 发布 nerkyor/Qwen3.8-27B-EfficientThink-Uncensored-K3-Opus5-Grok4.6-GPT5.6Sol-SFT-SimPO-DFlash2 的官方 VAL-APEX-I MiniPlus V2.1 GGUF 量化版,针对混合线性-二次注意力架构采用 814 条细粒度张量规则。该版本有效位宽 3.93 BPW、文件 15.08 GB,目标 Q5-Q6 感知质量,8K 上下文全 GPU 卸载约需 14-16 GB VRAM,遵循 Apache 2.0 许可。

  7. Hugging Face · 新模型:uncensored28

    Qwen3.8-27B EfficientThink Uncensored 的 VAL-APEX-I NanoPlus GGUF 量化版发布

    Hugging Face 上发布 Qwen3.8-27B EfficientThink Uncensored 的 VAL-APEX-I NanoPlus GGUF 量化版,采用混合线性注意力与二次注意力架构,按 814 条细粒度张量规则分层量化,有效位宽 2.85 BPW,文件 11.65 GB。模型遵循 Apache 2.0 许可,8K 上下文全 GPU 卸载约需 10-12 GB 显存,可部分卸载运行于 12-16 GB GPU。

  8. Reddit · r/LocalLLaMA68

    EmpirioLabs 发布开放权重决策模型 Aplomb 1:5.3B、1M 上下文、多模态单请求输入

    EmpirioLabs 发布开放权重决策模型 Aplomb 1,基于 Qwen3.5-4B 并采用 Qwen3-Omni-30B-A3B-Instruct 的音频编码器,将上下文窗口从 262K 扩展到 1M tokens,可在单请求中读取文本、JSON、图像、视频和音频。

    推荐理由:官方公布了 Decision Index、MMLU-Pro 等基准分数和长上下文推理耗时,且完整跑分公开可查,便于自行核验。

  9. Hugging Face · 趋势模型67

    面壁 MiniCPM-V 4.7 35B-A3B 发布 GGUF 量化版

    openbmb 在 Hugging Face 发布 MiniCPM-V 4.7 35B-A3B 的 GGUF(llama.cpp)量化版,原 BF16 权重在 openbmb/MiniCPM-V-4.7-35B-A3B。该模型是 MiniCPM-V 系列首个 MoE 变体,官方称其借助 Lookahead Expert Scheduling、细粒度分层量化和 DSpark 投机采样,成为首个可无损流畅端侧运行的开源 MoE 模型,在 iPhone 17 Pro Max 上以 3GB 内存达到 13+ tokens/s;Instruct 模式下整体得分高于 Qwen3.6 35B-A3B 且推理时间更短。

    推荐理由:官方说明了 LES 预取、分层量化与投机采样如何配合,让 35B-A3B MoE 在 3GB 内存手机上跑到 13+ tokens/s。

  10. Hugging Face · 趋势模型42

    面壁 MiniCPM-V 4.7 发布 1B 版本

    面壁的 MiniCPM-V 4.7 系列新增 1B 版本,Instruct 模式下基础能力超越 MiniCPM-V 4.6,并在综合得分与推理效率上大幅超过 Qwen3.5 0.8B。该模型采用 LLaVA-UHD v4 的 intra-ViT 早压缩技术,支持 4x/16x 视觉 token 混合压缩,可部署于 iOS、Android 和 HarmonyOS,并提供 SGLang、vLLM、llama.cpp、Ollama 推理支持及 GGUF、BNB、AWQ、GPTQ 与 FP8 量化版本。

  11. Reddit · r/LocalLLaMA59

    Google DeepMind 开源多模态嵌入模型 EmbeddingGemma 2

    Google DeepMind 发布开放权重的多模态嵌入模型 EmbeddingGemma 2,可将文本(含代码)、图像、视频、音频及其组合映射到统一的 768 维向量空间,权重已上架 Hugging Face(https://huggingface.co/google/embeddinggemma-2)。

    同一新闻,精选展示《Google DeepMind 发布开源多模态嵌入模型 EmbeddingGemma 2》

  12. Hugging Face · 新模型:uncensored39

    Qwen-Image-2.1-Uncensored GGUF 量化版本发布,支持本地图像生成

    QUBITABHAY 基于 Qwen/Qwen-Image-2.1 原始权重发布 Uncensored 版 GGUF 量化,提供 BF16、Q8_0、Q6_K、Q4_K_M 等多种格式,其中 Q4_K_M 约 4.60 GB,被推荐为体积与质量的最佳平衡。该版本无内置安全检查器,可直接生成 NSFW 等敏感图像;配套 qwen3vl_8b 文本编码器与 VAE 文件,可在 ComfyUI 中通过 ComfyUI-GGUF 加载,文本编码器卸载到内存可节省 9–17 GB 显存。

10月6日周二
  1. Reddit · r/LocalLLaMA58

    作者用免费 Kaggle T4 微调 Qwen2.5-Coder-1.5B 离线审查 Node.js 代码

    作者 /u/jeeva1398 发布了 npm 包 eventa,基于 Qwen2.5-Coder-1.5B-Instruct 做 QLoRA 微调(Unsloth,r=16,2 epochs,Q4_K_M,986 MB),在免费 Kaggle T4 上训练约 9 分钟,可完全离线审查 Node.js 代码。

    推荐理由:作者公开了数据构成、训练配置和保留集评测数字,还写明了微调版变差的一面,读者可以核对这套小模型微调流程。

  2. GitHub · 灵魂体仓库57

    PoLang(破浪相册)开源:AI Agent 驱动的端侧智能相册应用

    littleseven 在 GitHub 开源了 PoLang(破浪相册),一个 AI Agent 驱动的 Android 智能相册应用,MIT 协议、免费无广告,已上架 Google Play。

    推荐理由:开源的 Agent 驱动相册应用,README 给出了与 Queryable、PicQuery 的逐项能力对比和完整模块架构,可作端侧 AI 应用工程参考。

  3. GitHub · 去对齐工具与仓库59

    jrajath94 开源面向研究工程师的 LLM 知识库仓库

    jrajath94 在 GitHub 发布 llm-knowledge-base,一个面向研究工程师的大语言模型知识库,覆盖数学基础、深度学习、LLM 内部机制、预训练、分布式训练、后训练与 RL、推理服务、Agent 与 RAG、MLOps、GPU kernel 等内容。

    推荐理由:原文列出了知识库的完整卷目和角色路径,读者可据此判断是否适合按岗位规划 LLM 学习路线。