跳到正文
  1. GitHub · 灵魂体仓库62

    Heretic Directory 上线:可浏览的 Hugging Face abliteration 模型索引

    instax-dutta 发布 Heretic Directory,一个可浏览的 Heretic abliteration 结果索引站,快照收录 8,388 个仓库、6,320 个已验证、1,066 个上游基座模型、1,014 条消融配方,覆盖 64.8M 下载。站点通过爬取 README 卡片提取 KL 散度与拒绝数,按基座链路归类分组,得分 = 100 × (0.5 × (1 − 拒绝率) + 0.5 × 1/(1+KL));未上传权重的 unverified 卡片不得排第一,KL 低于 1e-4 的 27 条配方标记为不可信。所有指标均为自报、未复测,每日自动刷新,以静态导出部署在 Netlify,代码 MIT 许可。

    推荐理由:原文说明了如何把 Hub 上数千个 abliteration 仓库去重、验证并按 KL 与拒绝率排名,并写明所有数字均为自报未复测。

  1. Reddit · r/LocalLLaMA60

    Xolotl 推理引擎在单张 RTX 4090 上以约 27 tok/s 运行 DeepSeek-V4.1-Flash 552B

    开发者 /u/indrasmirror 发布了基于 Strata 的推理引擎 Xolotl,可在单张 RTX 4090(24GB)加 90GB DDR4 和 NVMe 的游戏 PC 上运行 552B 的 DeepSeek-V4.1-Flash,权重分布在 VRAM、锁定内存和 NVMe 中并按 token 按需拉取专家。实测 27 tok/s 解码、180-320 tok/s 预填充、512K 上下文、HumanEval 21/21、工具调用 10/10、agentic 修 bug 3/3,同一引擎还能跑 GLM-5.3-Flash、Qwen3.8-Flash-Next 和 Qwen3.8-27B。

    推荐理由:作者给出了单张 RTX 4090 跑 552B 模型的具体配置和实测吞吐数据,方案可直接复现。

  1. GitHub · 去对齐工具与仓库57

    cYHBer Console 发布:连接 Ollama 的本地 ChatGPT 风格界面,支持 abliterated 模型与 Agent 工具调用

    DevCop95 在 GitHub 发布 cYHBer Console,一个零依赖的本地 ChatGPT 风格 Web 界面,通过 Ollama 支持 abliterated(无审查)模型、实时流式输出与 Agent 工具调用,默认模型为 richardyoung/qwen2.5-3b-instruct-abliterated。工具含 web_fetch、web_search、文件读写、PowerShell 命令执行及 DNS、端口扫描等红队侦察助手,文件操作限制在项目目录内,web_fetch 阻断 IPv4/IPv6 SSRF 目标,侦察工具限单一目标并封顶端口与并发;项目内置 74 项测试,采用 MIT 许可证,声明仅限授权红队、研究与教育用途。

    推荐理由:项目只用原生 Node 模块零依赖运行,并给出了目录沙箱、SSRF 阻断等安全设计细节,适合想本地部署带工具调用的去审查模型界面的读者参考。

  1. GitHub · 去对齐工具与仓库55

    Cyberbatman 发布可装进 U 盘的 Windows 本地 LLM 便携包

    sOuL2000s 在 GitHub 发布 AI Pendrive,一个基于 llamafile 0.10.5 的 Windows 本地 LLM 便携包,双击 start_4gb_gpu.bat、start_6gb_gpu.bat、start_8gb_gpu.bat 或 start_no_gpu.bat 即可在 127.0.0.1:8080 启动本地服务器和浏览器 UI。模型使用 HauhauCS 的 Qwen3.5 2B/4B/9B Uncensored GGUF 权重,需手动下载,不自动检测硬件;默认上下文 256K tokens、KV cache q4_0 量化,并默认启用内置 agent 工具(读写文件、shell 命令等),status.bat 提供每五秒刷新的终端仪表盘。

    推荐理由:原文详细给出了各硬件档位的启动脚本、上下文与 KV cache 配置,读者可以照着在 U 盘或移动 SSD 上复现这套本地部署。

  1. GitHub · 去对齐工具与仓库73

    Keys 发布 vLLM 0.27 上 Qwen3.8-27B 消融版 NVFP4 推理栈,单台 DGX Spark 跑通 1M 上下文

    Keys(drowzeys)在 GitHub 发布完整 4-bit 推理配方,将 abliterated 版 aday777/Qwen3.8-27B-ARA 通过 eugr vLLM 0.27 GB10 构建部署在单台 NVIDIA DGX Spark(121 GB UMA)上。核心是把 vLLM PR #49891 的 FA2 NVFP4-KV 路径回移植到 sm_121a,使 KV 池从约 2.1M token 翻倍到 4.34M,实现 1M 上下文约 4.14× 并发;A4Q 原生 fp4-QKᵀ 带来 48–96K 下 prefill +8–10%、TTFT −7–9%,decode 中性(同模型 A/B 实测)。

    推荐理由:原文给出单卡 DGX Spark 跑通 1M 上下文的完整方法、逐项实测日志和未奏效的记录,可作为 GB10 量化推理栈的可复现参考。

已经到底了