跳到正文
10月13日周二
  1. Hugging Face · 新模型:uncensored50

    Ternary Bonsai 2 27B Uncensored Heretic v2:MLX 2-bit DFlash2 推测解码包发布

    Hugging Face 上发布的 Ternary Bonsai 2 27B Uncensored Heretic v2 是一个自包含 MLX 2-bit 包,为原版 Heretic v2 添加 DFlash2 推测解码,保留 FP16 视觉塔(8,595,478,392 字节)和 3.85 GB BF16 drafter,不重量化不重训。在 Apple M1 Max 上,temperature 0 的代码和数学任务速度为普通解码的 1.07-1.23x,工具调用 1.16x,13 个提示中位数 0.90x,需约 4 GiB 额外内存。通用聊天、长文档和采样建议改用普通解码的 serve.py。

  2. GitHub · 灵魂体仓库24

    Gemma-4-31B-Uncensored-NVFP4-DFlash:在 Windows 本地快速运行无审查大语言模型

    Nihal-puliyakkady 发布 Gemma-4-31B-Uncensored-NVFP4-DFlash,可在 Windows 本地运行 Gemma 4 31B 无审查模型,采用 NVFP4 压缩缩小体积,并用 DFlash 投机解码加快生成速度。运行需 NVIDIA GPU 至少 24GB VRAM、32GB 内存和 SSD 上 60GB 空间,全部推理在本地完成,无需联网。

10月10日周六
  1. Reddit · r/LocalLLaMA72

    RTX 5090 上实测 Qwen3.8-Flash-Next:Infernix NVFP4 对比 Strata,512k 上下文解码 137 tok/s

    /u/zipzak 在 5090 + 192GB Windows 机器上,对 Qwen3.8-Flash-Next Uncensored(abliterated checkpoint)做了 Strata 0.1.41(Q4_K_S)与 Infernix 2026.10.09.2(NVFP4)的同日 A/B 评测。结果为 Infernix 512k 上下文解码 137.0 tok/s、冷预填充 3,497 tok/s,262k 下比 Strata 快约 23%;两者 PPL 统计持平,视觉功能均可用,作者将 Infernix 作为日常主力。

    推荐理由:作者在同一硬件与同一推理契约下对两个推理引擎做同日 A/B 实测,给出了解码速度、预填充、质量和冷启动数据,方法可参考。

  2. Reddit · r/SillyTavernAI35

    用户自制 SillyTavern 扩展:按场景尺度自动切换模型连接配置

    一位 SillyTavern 用户自制了一个扩展,用 Jev 对当前场景进行 NSFW 程度分类,并据此自动切换连接配置:正常剧情留在常用写作模型,NSFW 或被拒时自动降级到更宽松的模型并重试。连接配置还保存 preset,可按场景类型拆分写作风格。作者尚未开源仓库,正征询社区是否有兴趣。

10月9日周五
  1. GitHub · 去对齐工具与仓库34

    Veronica(VACA)1.0.0:用自然语言构建应用的本地 AI 编码应用,内置 Qwen2.5 14B

    Veronica(VACA)1.0.0 是一款 Electron 桌面应用,用英文描述需求即可构建应用,支持 Linux x64 和 Windows x64,自带 Node 后端。它固定使用 Qwen2.5 14B 模型(约 9 GB)通过 OpenAI 兼容 API 由 Ollama 托管,另有基于 Qwen2.5-Coder-14B-Instruct-Uncensored 加 LoRA 合并、量化为 Q4_K_M 的微调版本托管在 Hugging Face。当前为限时演示版,2026-12-09 后停止启动,仅比对本地时钟,无联网校验、无遥测、过期不删数据。

  2. Reddit · r/LocalLLaMA60

    在 RTX 4090 上以 262K 上下文和约 130 tok/s 运行无审查版 Qwen3.8-27B(HauhauCS)

    作者将 HauhauCS 发布的无审查 Qwen3.8-27B(GGUF 格式)转换为自研 C++/CUDA 推理引擎 NInfer 的格式,在单张 4090 上跑出 262K 全原生上下文、约 130 tok/s 解码速度(MTP3,70.8% 接受率)、9K 提示词下 3,591 tok/s 预填充,Perplexity 与官方产物差距在 1.3% 以内,视觉和工具调用仍可用,采用 E8 4Bit 量化。转换器与说明见 https://github.com/T-Crypt/ninfer-4090/pull/4,仓库为 ninfer。

    推荐理由:作者给出转换前后速度、上下文和困惑度的对照数字,读者可据此评估自研推理格式在量化去对齐模型上的可用性。

10月8日周四
  1. Hugging Face · 新模型:uncensored45

    Gemma 4 E2B Uncensored LiteRT-LM 版发布:2.37 GB 端侧离线运行模型

    社区版 Gemma 4 E2B Uncensored-MAX 已转换为 .litertlm 格式,可在 Android、Pixel 及 Tensor / Mali 设备上完全离线运行。模型为 INT4 量化,有效参数 2.3B(含 PLE 总参数 5.1B),支持 32,768 token 上下文,仅保留文本能力,体积 2.37 GB。可通过 Google AI Edge Gallery 或 LiteRT-LM CLI 加载,采用 Apache 2.0 许可证。

  2. GitHub · 灵魂体仓库27

    x-cmd-install 开源跨平台 LLM 客户端:支持云端 API 与本地离线运行无审查模型

    GitHub 上的开源项目 cross-platform-llm-client 是一个统一跨平台 AI 客户端,可在标准云 API 与本地离线运行自定义及无审查语言模型之间无缝切换。项目采用 MIT 协议,最新版本 1.0.5(2026-07-21),代码总量 647,002 行,获得 1,119 星与 227 个 fork,发布资产含三个 Android APK 安装包。

10月7日周三
  1. GitHub · 去对齐工具与仓库51

    uncensored-llm 项目发布免安装USB本地LLM工具箱,纯CPU运行

    aentrepreneur 在 GitHub 发布 uncensored-llm,一个从USB直接运行 ./menu.sh 即可启动的100%本地LLM工具箱,基于预编译 llama.cpp(build b10936),无需安装、GPU、网络或账号。内置10个GGUF模型约27.7GB(含 Qwen 3.5 4B/9B/2B、Gemma 4 E4B、Phi-4 Mini、Llama 3.2 1B 及两个 Uncensored 变体),支持 OpenAI 兼容 API、tool calling、RAM 加载后拔除USB、OWASP ASI 实验的教育模式;在 i7-1165G7 上 1B 模型约 20-35 tokens/s。项目 MIT 许可,最低要求 4GB 内存与 8GB USB。

10月6日周二