跳到正文
10月24日周六
  1. GitHub · 灵魂体仓库62

    Heretic Directory 上线:可浏览的 Hugging Face abliteration 模型索引

    instax-dutta 发布 Heretic Directory,一个可浏览的 Heretic abliteration 结果索引站,快照收录 8,388 个仓库、6,320 个已验证、1,066 个上游基座模型、1,014 条消融配方,覆盖 64.8M 下载。站点通过爬取 README 卡片提取 KL 散度与拒绝数,按基座链路归类分组,得分 = 100 × (0.5 × (1 − 拒绝率) + 0.5 × 1/(1+KL));未上传权重的 unverified 卡片不得排第一,KL 低于 1e-4 的 27 条配方标记为不可信。所有指标均为自报、未复测,每日自动刷新,以静态导出部署在 Netlify,代码 MIT 许可。

    推荐理由:原文说明了如何把 Hub 上数千个 abliteration 仓库去重、验证并按 KL 与拒绝率排名,并写明所有数字均为自报未复测。

10月19日周一
  1. GitHub · 去对齐工具与仓库38

    dsh-breaklimit:DeepSeek Harness 破限插件发布,支持补丁管理与提示词切换

    rumoii 发布 dsh-breaklimit 插件,为 DeepSeek Harness 源码版 0.2.1-rc.2(宿主提交 687f282e)管理宿主补丁、提示词与规则集,提供中英文 Web 设置页。补丁逐条选择并在应用前校验文件哈希与命中数,失败时事务回滚;提示词分 recommended 与 unrestricted 两档,规则可激活到 AGENTS.md 或 CLAUDE.md。插件提供 Web、宿主命令与独立 CLI 共用的预检服务,支持 /breaklimit status、on、off 命令,采用 MIT 许可证。

10月18日周日
  1. Reddit · r/LocalLLaMA60

    Xolotl 推理引擎在单张 RTX 4090 上以约 27 tok/s 运行 DeepSeek-V4.1-Flash 552B

    开发者 /u/indrasmirror 发布了基于 Strata 的推理引擎 Xolotl,可在单张 RTX 4090(24GB)加 90GB DDR4 和 NVMe 的游戏 PC 上运行 552B 的 DeepSeek-V4.1-Flash,权重分布在 VRAM、锁定内存和 NVMe 中并按 token 按需拉取专家。实测 27 tok/s 解码、180-320 tok/s 预填充、512K 上下文、HumanEval 21/21、工具调用 10/10、agentic 修 bug 3/3,同一引擎还能跑 GLM-5.3-Flash、Qwen3.8-Flash-Next 和 Qwen3.8-27B。

    推荐理由:作者给出了单张 RTX 4090 跑 552B 模型的具体配置和实测吞吐数据,方案可直接复现。

10月17日周六
10月14日周三
  1. Hugging Face · 新模型:abliterated48

    Qwen3.8-Flash-Next GSQ-RCO-abliterated IQ3_S 的 Strata pack 发布

    minpei 发布 Qwen3.8-Flash-Next-GSQ-RCO-abliterated IQ3_S 的 Strata pack,包含 dense 权重与张量索引,绑定 GGUF revision eec4e10a,dense.bin(1.5 GB)仍在上传,可用 tools/iq_pack.py 9 秒自建。在 RTX 3060 12 GB + GTX 1080 Ti 11 GB、64 GB RAM 参考配置下,上下文 131,072 tokens,解码速度 21.9–24.6 tok/s。该模型已 abliterated(移除拒绝方向),无内置护栏,需自行提供内容审核。

10月11日周日
  1. Hugging Face · 新模型:uncensored48

    WaveCut/Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP-NInfer-v3 发布

    Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP(Q4_K_M,已移除拒绝回复)以 NInfer v3 格式发布,单个 .ninfer 文件 15.88 GiB,逐字节保留原 GGUF 块、不重新量化,并用随附的 MTP draft 头做投机解码。模型为文本模型,支持最多 8 个并发请求、提示词前缀复用、结构化输出、OpenAI 格式工具调用与可选思考模式;在 RTX 3090 上开发测量,权重占 15.6 GiB 显存。

10月9日周五
  1. GitHub · 去对齐工具与仓库57

    cYHBer Console 发布:连接 Ollama 的本地 ChatGPT 风格界面,支持 abliterated 模型与 Agent 工具调用

    DevCop95 在 GitHub 发布 cYHBer Console,一个零依赖的本地 ChatGPT 风格 Web 界面,通过 Ollama 支持 abliterated(无审查)模型、实时流式输出与 Agent 工具调用,默认模型为 richardyoung/qwen2.5-3b-instruct-abliterated。工具含 web_fetch、web_search、文件读写、PowerShell 命令执行及 DNS、端口扫描等红队侦察助手,文件操作限制在项目目录内,web_fetch 阻断 IPv4/IPv6 SSRF 目标,侦察工具限单一目标并封顶端口与并发;项目内置 74 项测试,采用 MIT 许可证,声明仅限授权红队、研究与教育用途。

    推荐理由:项目只用原生 Node 模块零依赖运行,并给出了目录沙箱、SSRF 阻断等安全设计细节,适合想本地部署带工具调用的去审查模型界面的读者参考。

10月8日周四
  1. GitHub · 去对齐工具与仓库55

    Cyberbatman 发布可装进 U 盘的 Windows 本地 LLM 便携包

    sOuL2000s 在 GitHub 发布 AI Pendrive,一个基于 llamafile 0.10.5 的 Windows 本地 LLM 便携包,双击 start_4gb_gpu.bat、start_6gb_gpu.bat、start_8gb_gpu.bat 或 start_no_gpu.bat 即可在 127.0.0.1:8080 启动本地服务器和浏览器 UI。模型使用 HauhauCS 的 Qwen3.5 2B/4B/9B Uncensored GGUF 权重,需手动下载,不自动检测硬件;默认上下文 256K tokens、KV cache q4_0 量化,并默认启用内置 agent 工具(读写文件、shell 命令等),status.bat 提供每五秒刷新的终端仪表盘。

    推荐理由:原文详细给出了各硬件档位的启动脚本、上下文与 KV cache 配置,读者可以照着在 U 盘或移动 SSD 上复现这套本地部署。

10月7日周三
  1. GitHub · 去对齐工具与仓库73

    Keys 发布 vLLM 0.27 上 Qwen3.8-27B 消融版 NVFP4 推理栈,单台 DGX Spark 跑通 1M 上下文

    Keys(drowzeys)在 GitHub 发布完整 4-bit 推理配方,将 abliterated 版 aday777/Qwen3.8-27B-ARA 通过 eugr vLLM 0.27 GB10 构建部署在单台 NVIDIA DGX Spark(121 GB UMA)上。核心是把 vLLM PR #49891 的 FA2 NVFP4-KV 路径回移植到 sm_121a,使 KV 池从约 2.1M token 翻倍到 4.34M,实现 1M 上下文约 4.14× 并发;A4Q 原生 fp4-QKᵀ 带来 48–96K 下 prefill +8–10%、TTFT −7–9%,decode 中性(同模型 A/B 实测)。

    推荐理由:原文给出单卡 DGX Spark 跑通 1M 上下文的完整方法、逐项实测日志和未奏效的记录,可作为 GB10 量化推理栈的可复现参考。

10月6日周二