跳到正文
10月9日周五
  1. Reddit · r/LocalLLaMA30

    llama.cpp PR#29887 MoE 专家主机内存 GPU 缓存实测:用户在 8GB VRAM 上未获预期速度提升

    一位 Reddit r/LocalLLaMA 用户在 8GB VRAM(RTX 4060)+ 32GB DDR5 平台上测试 llama.cpp PR#29887(为主机内存中的 MoE 专家增加 GPU 缓存),使用 Qwen3.6-35B-A3B-IQ4_XS 模型,分别尝试 `-cmoe` 与 `--moe-cache-mib` 1536/2048/4096/8192 等参数组合。实测开启 `-cmoe` 后生成速度仅约 12-23 t/s,而不开启该功能时可达约 24 t/s、prompt eval 约 65 t/s,未达预期。作者求助原因并邀请其他低显存用户分享各自 t/s 数据。

  2. GitHub · 去对齐工具与仓库44

    Raina-Xin/PA_Score:面向 LLM 不确定性量化的保形预测 Paraphrase-Aware 评分开源实现(NeurIPS 2026 Poster)

    Raina-Xin 开源 PA_Score,这是 NeurIPS 2026 poster 论文《Conformal Prediction with Paraphrase-Aware Scoring for LLM Uncertainty Quantification》的官方实现。该方法在 LLM 隐藏表示上训练轻量 proxy 模型并聚合多个改写问题的预测分数,与保形校准结合以降低语义等价改写带来的预测集波动。主流程以 Qwen3-8B 作为答案模型,跨 LLM 实验还使用 Llama-3.1-8B-Instruct 和 Phi-3-small-8k-instruct,在多个 UQ 基准上预测集更紧凑且经验覆盖率接近名义目标。

  3. Hugging Face · 新模型:abliterated47

    Huihui-Qwen3.8-27B-abliterated GGUF 版本发布

    huihui-ai 基于 Qwen/Qwen3.8-27B 发布经 abliteration 处理的去审查 GGUF 版本 Huihui-Qwen3.8-27B-abliterated-GGUF,MTP 与视觉部分未修改。多个系列(UD、GSQ-RCO、UD-DW、Ternary、Swift)仅对第 22-52 层(0 起始索引)做 abliteration,其余层保留原样;Q2_K_L-Q6_K_L 等版本将需 abliteration 的权重转为 Q8_0 以提升回复质量。该模型安全过滤大幅降低,仅建议用于研究与测试,可在最新版 ollama 和 llama.cpp 中运行。

  4. Hugging Face · 新模型:abliterated34

    huihui-ai 发布 Huihui-Qwen3.8-Flash-Next-abliterated-GGUF 去审查模型

    huihui-ai 基于 Qwen/Qwen3.8-Flash-Next 发布去审查版 Huihui-Qwen3.8-Flash-Next-abliterated-GGUF,用 abliteration 技术移除模型拒绝行为。新增 Unsloth 与 Swift 系列 GGUF,支持最新版 Strata 和 llama.cpp,Strata 提供 SHA256 校验,llama.cpp 可运行 UD-Q4_K_XL 量化版本并设置 -c 262144 上下文。模型安全过滤被大幅削弱,建议仅用于研究和受控环境,使用者需自行承担法律与伦理责任。

  5. GitHub · 灵魂体仓库67

    PegaInfer 开源无 PyTorch 的 LLM 推理引擎,支持 Qwen3 等多模型

    PegaInfer 项目在 GitHub 开源了一个用 Rust 编写、不依赖 PyTorch 或 Python 运行时的 LLM 推理服务引擎,通过 OpenAI 兼容 API 提供服务,每个模型拥有独立的调度器和内核。预编译版本内置 CUDA 13 与 cuBLAS,默认支持 Qwen3,需 Linux x86_64、算力 8.x–12.x 的 NVIDIA GPU 和 580+ 驱动。

  6. Hugging Face · 趋势模型63

    NVIDIA 发布 Qwen3.8-Flash-Next-FP4-Local 量化版,支持单卡本地部署

    NVIDIA 在 Hugging Face 发布 Qwen3.8-Flash-Next-FP4-Local,是用 Model Optimizer 量化感知蒸馏(QAD 1.0,nvidia-modelopt v0.47.0)制作的 Qwen3.8-Flash-Next FP4 量化版,checkpoint 约 96 GiB。模型总参数 125B、激活 6B,另有 51B n-gram embedding 和 4B MTP,原生上下文 262K 可扩展至 1M tokens;精度上 GPQA Diamond 从 BF16 的 92.2% 降至 91.5%,ToolEvalBench 从 89.4% 降至 88.7%。

    推荐理由:官方模型卡给出了 FP4 量化方法、精度损失对照和两套本地硬件的部署方案,量化细节可参考。

  7. GitHub · 灵魂体仓库61

    Undertone 开源:macOS 浮窗用本地 Qwen 3.5 4B 为中文用户解读英语潜台词

    作者开源了 Undertone,一款 macOS 浮窗工具,通过 ScreenCaptureKit 截屏加 OCR 读取聊天窗口,用本地 Qwen 3.5 4B 模型(经 Ollama 运行)把英语消息的真实含义以中文解释出来,将消息分为 11 类识读并建议回复,还可检查草稿语气。默认全本地运行,可选用云模型。自建评测集显示本地模型识读开发集 80%、held-out 集 68%,草稿检查 23/26;另用 QLoRA 微调实验把 base 模型从 31% 提升到与提示版相当的水平并快约 35%。内置关键词安全网提醒外贸换账户诈骗等风险,项目以 Apache License 2.0 发布。

    推荐理由:作者公开了完整的识读流程、评测集和微调对比数据,读者能据此评估本地小模型做英语潜台词解读的真实水平。

10月8日周四
  1. GitHub · 灵魂体仓库30

    JP-BX/AI-LLM-Security-Testing-Lab:基于 Qwen3:8B 的提示词注入攻防实验项目

    一个开源实验项目用 Python 和 Ollama 本地部署的 Qwen3:8B 模型构建了易受攻击的模拟应用 SecureBot,并开发提示词注入检测层,通过 `security.py` 拦截恶意请求并记录到 security.log。项目共设 11 个自动化测试用例,覆盖良性提示、误报和检测绕过尝试,最终全部通过,在定义测试集上准确率 100%。作者强调该结果仅针对选定提示词,基于关键词的过滤是教学原型,不能替代生产级 LLM 安全防护。

  2. GitHub · 去对齐工具与仓库66

    support-agent 开源韩语客服 LLM 智能体与规则化评测环境

    hyeonbin123 在 GitHub 开源了用工具调用处理韩语虚拟购物客服的 LLM 智能体,并配套可复现的规则化评测环境(开发用 24 题、测试用 40 题,pass^k 与无 LLM 的 DB 状态判定,遵循 τ-bench 方法但任务自建)。本地 4~14B 模型实测中,qwen3.5:4b 将测试集 pass^1 从 18.1% 提到 55.6%;语音通道使 pass^1 从 16.2% 跌至 1.9%,规则化正则化挽回约一半至 8.8%;改用发信号码加姓名精确核验后身份核验从 53.1% 升至 80.2%。项目含 FastAPI 聊天服务、MCP 服务器、审批队列与审计日志,全部指标可从 reports/ 记录重新计算。

    推荐理由:作者用 pass^k 与无 LLM 的规则化判定量化了语音通道、模型升级和小型模型对客服智能体成功率的影响。

  3. Hugging Face · 新模型:uncensored43

    Qwen-Image-2.1 Uncensored GGUF 量化版发布:支持 ComfyUI 本地图像生成

    用户 Kikik3636 基于 Qwen/Qwen-Image-2.1 上游原始权重发布 GGUF 量化版本,提供 BF16、Q8_0、Q6_K、Q4_K_M 等多档量化文件,体积从 4.15 GB 到 14.23 GB 不等,其中 Q4_K_M 被推荐为体积与质量的最佳平衡。该版本内置 ComfyUI 配套的 text encoder(qwen3vl_8b)与 VAE 文件,可在 ComfyUI 中通过 ComfyUI-GGUF 节点运行。此版本无内置安全检查器或内容过滤,可直接生成 NSFW 内容,采用 Qwen Research License 授权。

  4. Reddit · r/LocalLLaMA64

    192 次本地实测:即使表现良好的模型也不应自行授权工具调用,作者发布 CLIM Agent Guard

    作者 /u/Slight_Analysis_5414 在 RTX PRO 6000 上用 vLLM 0.29.1rc1 nightly + Qwen2.5-1.5B-Instruct 与 Ollama 0.40.1 + qwen2.5:7b(Q4_K_M)各跑 96 次,共 192 次 live 测试,验证其确定性执行守卫 CLIM Agent Guard。结果为 80/80 未授权操作被拦截、16/16 合法删除被执行并验证,无守卫时伪造授权等场景 32/32 全部执行。守卫不读提示词、不用第二个 LLM 评审,只对照宿主状态检查工具调用的授权、目标和重复提交。

    推荐理由:作者用 192 次本地实测给出确定性行为守卫的前后对照数据,还记录了 vLLM 与 Ollama 在 tool_choice 上的行为差异,可作工程参考。

  5. Hugging Face · 新模型:uncensored51

    Qwen3.8-27B TURBO 微调版发布:Heretic 去审查并压缩思考 token

    作者发布基于 Qwen3.8-27B 的多阶段微调 GGUF 模型,称 8bit ARC-C 达 0.735、ARC-E 达 0.882,并宣称将思考 token 压缩至原版的 1/2 到 1/10。去审查采用 Heretic v1.2.0+ 的 Arbitrary-Rank Ablation 方法,阶段1拒绝率从 99/100 降至 0/100(KL 0.0535),阶段2后为 11/100(KL 0.0025);提供常规与 MTP 两类量化,4bit Q4_K_S 下约 75 t/s,MTP 可超 90 t/s(5090 实测)。

  6. Hugging Face · 新模型:uncensored56

    Qwen3.8-Flash-Next 的 MLX 量化包发布,4-bit 混合精度约 63 GB 可在 128 GB Mac 上运行

    作者发布了 Qwen/Qwen3.8-Flash-Next 的 mlx-serve 4-bit 混合量化包(4-bit experts、8-bit 其余),该模型为 Qwen4 preview 架构(model_type: qwen4_exp),全量 checkpoint 为 125B trunk + 51B n-gram + 4B MTP,共 180B(bf16 360 GB)。实测在 M4 Max 128 GB 上常驻约 67-69 GB,decode 29-34 tok/s,25k token prompt prefill 约 400 tok/s。n-gram 表以单独 4-bit 文件 mmap 方式按需反量化,不占常驻显存;MTP 头可加载但当前比串行 decode 慢,默认关闭。

    推荐理由:作者在 M4 Max 上给出了显存占用、decode 与 prefill 速度等实测数据,读者可以据此评估这个 180B 模型能否在自己机器上跑。

  7. GitHub · 灵魂体仓库69

    AINode 开源决策模型 Jebadiah 系列,27B 五个零样本集宏观准确率 78.95

    AINode 开源了 System One 决策模型 Jebadiah,基于 Qwen3.5 和 Qwen3.8 做 LoRA 微调,从单个 label token 的 logits 直接输出校准概率而非生成文本,权重发布在 Hugging Face 的 frontier-infra 集合下。完整仓库包含训练器、数据构建器、评测器与每个 run 的结果记录,全部基于公开许可数据训练;27B 版在五个零样本集上宏观准确率 78.95,JevBench 公开项 0.866 与 Jev 1.13.0 持平,并提供 GGUF、MLX 量化与本地部署方案,代码采用 Apache License 2.0。

    推荐理由:原文完整公开了训练配方、消融记录与逐项评测数据,读者可以据此复现这个决策模型并判断各版本取舍。

  8. Hugging Face · 新模型:abliterated66

    Ostrich-27B-261008-Qwen3.8-Abliterated 发布,基于 Qwen 3.8 27B 去除拒绝行为

    etemiz 发布 Ostrich-27B-261008-Qwen3.8-Abliterated,基于 Qwen 3.8 27B 做 abliterated 处理移除拒绝行为。自评显示总体对齐分从原版 Qwen 3.8 的 37%(几何平均)提升到 82%,消融测试拒绝率很低。相比 260903 版本新增 Agentic RAG 训练、-100..100 真值打分适配器、9 项自动化拟人测试(总分 0.928),并开始提供 EXL3 量化(3.0 至 6.0 bpw)与 GGUF 下载,可在约 18 GB 显存的消费级 GPU 上 4-bit 运行。

    同一新闻,精选展示《etemiz 发布 Ostrich-27B-261008-Qwen3.8-Abliterated EXL3 量化版》

  9. Hugging Face · 新模型:abliterated69

    etemiz 发布 Ostrich-27B-261008-Qwen3.8-Abliterated EXL3 量化版

    etemiz 在 Hugging Face 发布基于 Qwen 3.8 27B 的 Ostrich-261008 abliterated 版本,提供 3.0 至 6.0 bpw 四档 EXL3 量化(13 到 22 GB),可通过 ExLlamaV3 / TabbyAPI 在消费级 GPU 本地运行。该版本经 abliteration 移除拒绝行为,官方数据显示整体对齐率从基座的 37% 升至 82%,并新增了 Agentic RAG 训练、真值打分适配器和 0.928 分的自动化 9 项人格化测试;训练采用进化搜索管线,累计 841 代、9500 条谱系,蒸馏领域覆盖健康、宗教、比特币等。

    推荐理由:原文给出了按领域的对齐率对比和拒绝率数据,读者可以据此判断这个 abliterated 版本的实际去对齐程度和量化选择。

  10. GitHub · 去对齐工具与仓库56

    180DC Bristol × BDSS Datathon 项目:用双胞胎简历检测并缓解 Qwen2.5 简历筛选模型的种族偏见

    作者为 180DC Bristol × BDSS Datathon 构建了 672 对仅姓名不同的双胞胎简历,测试 Qwen2.5-Instruct(0.5B 和 1.5B)作为简历筛选器,发现 3.9% 的决策因换名翻转(p < 0.001),末层隐藏状态可用线性分类器以 99.9% 准确率预测种族。阈值均衡等输出修复把决策差归零但内部偏见保持 100%,逐层消除后偏见仍以新方向重现;最佳方法在最偏层消除种族方向后决策差不显著且准确率不降,但未消除内部偏见。代码在 GitHub 开源,可在 MacBook(Apple M3, 16 GB)上运行,1.5B 模型单次条件约 16 分钟。

    推荐理由:原文给出名字交换双胞胎简历实验和逐层去偏的完整数据,读者可以看到输出公平不等于内部公平的可复现检验方法。

  11. GitHub · 去对齐工具与仓库57

    Jyk-122 开源 MoE-Compressors:面向 MoE 大模型的免训练剪枝与专家跳过工具库

    Jyk-122 在 GitHub 发布 MoE-Compressors 仓库,实现面向 Mixture-of-Experts 架构 LLM 的免训练剪枝与专家跳过算法。剪枝含 frequency、ean、reap、camera、moei2 五种方法,skipping 含 topk_skip、topp_skip、sere_skip、modes_skip 四种,统一通过 run.py 的 calib 与 eval 两阶段调用,支持按 prune_ratio 或 k、threshold 等 JSON 参数配置,默认示例模型为 Qwen/Qwen3-30B-A3B-Instruct-2507,并可用 lm_eval 输出 runtime_routing 路由统计。

    推荐理由:仓库统一封装了多种免训练 MoE 剪枝与专家跳过算法的校准和评测流程,想在本地压缩 MoE 模型可以直接复用。

  12. Reddit · r/LocalLLaMA22

    LocalLLaMA 用户用 airbench.ai 测试 harness × 模型组合并公开数据

    一位 r/LocalLLaMA 用户搭建了 airbench.ai 网站,供大家测试并分享本地 harness 与模型组合的最佳结果。已有陌生人用 3090 24GB、80GB 系统内存、上下文设为 256,通过 pi 和 Strata 运行 qwen3.8-flash-next-iq3_s 击败了他用 5090 的基线。网站新增"contributor"板块,登录才能投稿,但所有人无需登录即可查看全部结果。

  13. Reddit · r/LocalLLaMA76

    Hirundo 用机器遗忘去除 Qwen3.6-35B-A3B 的 CCP 对齐并开放权重

    Hirundo 研究者用机器遗忘方法去除 Qwen3.6-35B-A3B 和 Qwen3.5-4B 中的 CCP 政治对齐,发布 Qwen3.6-35B-A3B-Westernized 与 Qwen3.5-4B-Westernized 开放权重。35B 版在 CCPC-500 上被标记比例从 89.8% 降到 2.8%,DECCP 拒答从 65.26% 降到 3.16%,ChinaBench 不合规从 96.67% 降到 6.67%;GPQA、IFBench、LiveCodeBench、MMLU-Pro 平均变化 0.72 分,最大 1.83。方法为三步:收集触发目标行为的回复、用行为遗忘目标训练 LoRA 并以 retain set 锚定其他行为、再合并进基础权重。

    推荐理由:作者给出 CCPC-500、DECCP 等去对齐前后数据,并解释与 abliteration 的差异和三步方法,可据此判断改动范围。

  14. GitHub · 去对齐工具与仓库64

    MedAdapt Lab 发布五项实验报告:小模型继续训练 Qwen3 Base 读 2026 年 ADHD 论文的记忆与遗忘

    MedAdapt Lab 完成了 ADHD-01 至 ADHD-05 五项实验,在单台 Apple M2 Max 上用手写 MLX 训练循环和 LoRA 继续训练 Qwen3 Base 模型,数据为 269 篇模型发布后出现的 CC 许可 ADHD 论文及 400 个虚构试验。主要发现包括:约 1.65 遍训练后,已训练论文题目准确率比未训练论文多提升 3.8-5.0 个百分点;1.7B 模型在 3.3 遍时额外增益达 +8.7;真实论文训练使通用文本困惑度上升 7%-123%;虚构事实在约 4-8 遍后从 25% 几率突升到 44%-51%;同 exposure 下四份不同文本比一份重复四遍高 +4.5 到 +7.6 分;无 replay 的窄域新事实训练使通用困惑度升 37-94 倍。

    推荐理由:原文用训练前冻结的考题和对照实验,量化了小模型读新论文能记住多少、忘掉多少,方法可复现可迁移。

  15. GitHub · 灵魂体仓库55

    chendi-Shi/llm-posttraining:无 GPU 本机跑通 Qwen2.5-0.5B-Instruct 的 QLoRA SFT/DPO 后训练

    作者在约 16 GB 内存、无独立 GPU 的本机上对 Qwen2.5-0.5B-Instruct 做 4-bit QLoRA SFT/DPO,完成中文结构化抽取与意图分类实验,数据采用 MASSIVE 中文子集。v6 混合系统严格实体 F1 为 62.59%,首次达到预设绝对 F1 ≥60% 门槛,但相对旧 v5 混合的配对 95% 区间为 −3.58 至 +7.19,未通过相对收益门槛;v3 DPO 将无槽失败从 126/167 降至 28/167 但阳性句 F1 下降。仓库公开复现命令、选择锁与失败报告,不含权重和逐题预测,结果定位为后训练研究而非可自动上线服务。

    推荐理由:作者在 16 GB 无 GPU 本机上完整跑通 QLoRA SFT/DPO 并公开预设门槛、配对区间和失败记录,方法与边界都可复用。

  16. GitHub · 去对齐工具与仓库25

    Outwise 离线 AI 户外伴侣:基于 Qwen3.5-2B 的本地 RAG 项目进展与安全评估

    Outwise 是一个本地优先的开源项目,用 Qwen3.5-2B(Q4_K_M、GGUF)加本地 RAG 在无网络环境下提供急救、失温、迷路等户外指导,MVP 在 Windows 上本地运行。Milestone 1 已完成,M2-05 完成后,M2-06 集成虽已实现,但质量检查发现检索上下文不相关、挪威语建议错误或无依据,尚不适合真实户外决策。项目计划三个里程碑,安全政策与发布审批仍是后续独立检查点。

  17. Hugging Face · 新模型:uncensored37

    Qwen3.6-35B-A3B Uncensored Genesis Hermes GGUF 版本发布

    burningfeet 发布基于 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 的 Genesis Hermes GGUF 模型,基础模型 refusal 记录为 0/465。该模型总参数 35B,每次前向激活约 3B(MoE,256 专家、8 路由 + 1 共享),采用 Gated DeltaNet 线性注意力与全 softmax 混合架构(3:1),40 层,原生 262K 上下文(YaRN 可扩展至 1M),本地多模态。作者使用 Genesis 后训练算法通过 Marchenko–Pastur 定律修复 tensor 中的训练噪声,不涉及训练或微调。

  18. GitHub · 去对齐工具与仓库29

    DSP-LLM-Fusion:文档结构解析与 LLM 信息融合的海事事故报告抽取框架

    DSP-LLM-Fusion 框架将文档结构解析与 LLM 信息融合结合,用于从 NTSB 海事事故调查报告中自动抽取结构化信息:先把 PDF 转 JSON 布局表示,再通过表格结构引导抽取与文档结构引导的段落抽取两条分支处理,最后用置信度回退融合策略消解冲突。基于 Qwen2.5-7B-Instruct 的版本在独立测试集上 Overall-F1 与 Avg-field-F1 达 87.08%,Avg-similarity 达 89.70%,性能与 ChatGPT-5.2、ChatGPT-5.4 相当,且在本地部署、可复现性和隐私保护方面更具优势。

  19. Hugging Face · 新模型:abliterated28

    abliterated 模型 k8scert/Qwen3.8-27B-ABLITERATED-Q8_0 上架 Hugging Face

    用户 k8scert 在 Hugging Face 发布 abliterated 版模型 Qwen3.8-27B-ABLITERATED-Q8_0,采用 Q8_0 量化。页面给出通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具运行该模型的命令,并附 Pi、Hermes Agent、OpenClaw 等接入本地 llama.cpp 服务器的配置示例。

  20. GitHub · 去对齐工具与仓库51

    mac-llm-finetuning-lab 教程:在 Apple Silicon Mac 上用 LoRA 微调 Qwen2.5-0.5B-Instruct

    ssganiger 在 GitHub 发布 mac-llm-finetuning-lab 动手实验仓库,用 Hugging Face Transformers + TRL + PEFT/LoRA 在 M3 Pro Mac 上微调 Qwen2.5-0.5B-Instruct 做笔记分类。实测用 18 条训练数据、3 条保留测试,格式完全匹配从基座模型的 0/3 提升到挂载 LoRA 适配器后的 3/3,训练仅更新 0.1093% 的参数。仓库涵盖下载模型、查看 token 化、记录基线、SFTTrainer 训练与前后对比全流程,并计划后续加入基于 MLX 的 gpt-oss-20b 练习,目前尚未包含。

  21. Hugging Face · 新模型:uncensored27

    Qwen3.6-35B-A3B-Uncensored-Genesis-Final GGUF 发布

    burningfeet 在 Hugging Face 发布 Qwen3.6-35B-A3B-Uncensored-Genesis-Final 的 GGUF 版本,基于 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive,拒答数为 0/465。该模型经 Genesis 张量修复处理,基于 Marchenko–Pastur 分布做自定义 SVD 降噪,不改变已学知识。模型总参数 35B,每次前向激活约 3B(MoE,256 专家、每 token 8 路由+1 共享),原生 262K 上下文(YaRN 可扩展至 1M),兼容 llama.cpp、LM Studio 等 GGUF 运行时。

  22. GitHub · 去对齐工具与仓库50

    165hh 开源 llm-inference-lab:基于 llama.cpp 的 Qwen3-4B 推理性能优化实验仓库

    作者公开了 llm-inference-lab 仓库,做基于 llama.cpp 的端到端推理部署、性能分析与优化,固定基线为 Qwen3-4B / Q4_K_M、单卡 RTX 3090 24G(恒源云 ¥0.98/h)。仓库提供一键环境准备、llama-bench 基准矩阵、SSE 服务压测(TTFT/TPOT)等脚本与 runbook、实验纪律文档,当前 M0 基线尚未跑完,nsys 可用而 ncu counters 受宿主限制无法使用。

  23. GitHub · 灵魂体仓库55

    mini-rsglang:受 mini-sglang 启发的 Rust 推理引擎,支持 Qwen3 与 GPT-OSS

    mirthfulLee 发布 mini-rsglang,一个用 Rust 和 CUDA 从零实现的推理引擎,受 mini-sglang 启发,支持 Qwen3 dense/MoE 与实验性 GPT-OSS 模型,提供单 GPU 和 NCCL 张量并行执行、离线生成及 OpenAI 风格 HTTP API。项目支持连续批处理、chunked prefill、radix 前缀共享和分页 GQA,BF16 权重与 KV,实测 Qwen3-30B-A3B 在 TP 8、gpt-oss-120b 在单卡和 TP 2 上运行。

    推荐理由:受 mini-sglang 启发的纯 Rust 推理引擎,给出 Qwen3 与 GPT-OSS 的 TP 支持和诚实的验证状态,想读引擎实现细节可以看。

  24. GitHub · 灵魂体仓库69

    bethehand 开源 lab1:从零预训练到 aha moment 到编码 Agent 的十五个实验

    作者开源 lab1 仓库,在四张 RTX 4090 上完成十五个实验:95M/201M 从零预训练(FineWeb-Ede 困惑度 30.2/18.1)、GSM8K 上 GRPO 使 Qwen2.5-1.5B-Instruct pass@1 提升 0.21、Countdown pass@1 从 0.02 提至 0.98,以及四阶段编码 Agent 课程。报告给出每个实验的完整设置、表格与预测账本,bench_observation_price.py 可在一小时内测量任意 Hugging Face 模型移除可见测试后的性能损失(RL 模型损失 0.16 且全部落在修复环节)。

    推荐理由:作者在四张 RTX 4090 上跑通十五个实验并开放全部脚本与预测账本,读者可逐条对照复现 RL 与 SFT 的真实增益。

  25. GitHub · 去对齐工具与仓库41

    AzureGo:由 KataGo、大模型与 CosyVoice 驱动的 3D AI 少女围棋陪练程序开源

    开发者开源了 AzureGo,一个 Godot 4 打造的 3D 围棋陪练程序,玩家执黑、由 KataGo 驱动的 AI 少女 Azure 执白,并配讲解与闲聊。大模型与 TTS 走 OpenAI 兼容 API(本地部署采用 CosyVoice 3 与 Qwen3.5 35B),语音默认 Windows 系统语音零配置,源码采用 Apache License 2.0,模型权重等大文件在 GitHub Releases 下载。

  26. Hugging Face · 新模型:abliterated20

    mradermacher 发布 Qwen2.5-0.5B-Instruct-3MPER0RR-abliterated-i1-GGUF 量化模型

    mradermacher 在 Hugging Face 上提供 Qwen2.5-0.5B-Instruct-3MPER0RR-abliterated 模型的 GGUF 量化版本,包含 imatrix 量化及约 0.1GB 的 imatrix 文件供用户自行创建量化。静态量化版本另行提供,使用方法可参考 TheBloke 的 README 说明。作者感谢 nethype GmbH 提供服务器及 @nicoboss 提供私有超算支持。

  27. Hugging Face · 新模型:abliterated76

    Blackfrost 发布 Qwen3.8-27B-ABLITERATED GGUF 量化版,残留拒绝率2.4%

    Blackfrost 发布了 Qwen3.8-27B 的 abliterated 版本 GGUF 量化包,权重级降低拒绝行为,附完整 K-quant 阶梯(Q2_K 至 Q8_0)和视觉投影文件。450例拒绝基准(150 AdvBench、150 StrongREJECT、150 XSTest)经人工复核后残留11例真拒绝,占2.4%;W4A4 NVFP4 衍生版的 WikiText-2 词困惑度为9.3677,上游 BF16 为8.4764。每个主量化内嵌 MTP 投机头,可单文件在 llama.cpp 运行;可选 BF16 DFlash2 sidecar 在 RTX PRO 6000 上配 Q4_K_M 达到109.31 tok/s 中位解码速度,需固定实验性 llama.cpp 实现。

    推荐理由:原文给出450例拒绝基准的分阶段残留数据和量化档位清单,读者可据此判断该去对齐版本的拒绝率与部署成本。

  28. GitHub · 灵魂体仓库72

    LLM-Inference-Engine:在单张 24GB GPU 上从零手写 Qwen3-8B 推理引擎并逐层实测

    作者开源了 LLM-Inference-Engine 项目,在单张 A10G 上从零构建 Qwen3-8B 推理引擎,容量较朴素服务提升 17.2 倍(0.33 到 5.70 req/s),p95 首 token 延迟从 25.1 秒降到 336 毫秒。项目先写预测再实测,约三分之一预测出错;核心发现是每个优化没有固定加速比,同一量化标记在短请求上值 1.07 倍、长请求上值 2.35 倍,prefix cache 在唯一提示上无收益、对话中达 35 倍,并用 Nsight 定位与 vLLM 的 6 毫秒差距主要来自 2,079 次未融合的 kernel 启动。

    推荐理由:作者把每个优化都给出预测、实测和误差解释,量化或缓存的收益取决于工作负载这一点有对照数据支撑,方法可直接迁移到自己的推理项目。