跳到正文
我的

方向

本地部署与推理 最新动态

把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。

1,767 条精选近 30 天 1,565 条共收录 6,847 条

更新

精选归档 · 第 87 页

10月5日周一第 1721–1740 条

  2. NVIDIA 开放 Nemotron-3-Diarization 说话人分离模型权重

    NVIDIA 在 Hugging Face 发布开放权重模型 Nemotron-3-Diarization，用于判断真实音频中谁在何时说话，支持流式与离线推理，最多处理 8 个说话人。

    推荐理由：模型卡给出与 diar_streaming_sortformer_4spk-v2.1 在多个基准和延迟档位下的 DER、SCA 与 RTFx 对比，读者可据此评估升级收益。

  3. Contrastive-LM 发布开放权重模型 CLM-v0.1-8B（Apache 2.0）

    Contrastive-LM 开源了 CLM-v0.1-8B 权重（Apache 2.0），这是一个基于冻结 Qwen3-8B 编码器加状态头与动作头的 System One 对比学习模型，用于快速决策打分。

    推荐理由：原文给出了与 Jev 的延迟对比和 DeepSWE、Terminal-Bench 具体分数，读者可据此评估该快速决策模型的实际性价比。

  5. Qwen3.8-27B 开放权重发布：原生视觉语言稠密模型

    千问（Qwen）在 Hugging Face 开放 Qwen3.8-27B 后训练权重，称其为 Qwen 开放模型家族迄今最强一代，基于 Qwen3.5 架构、27B 参数稠密模型，原生支持图像与视频理解。

    推荐理由：原文给出与 Qwen3.6-27B、Qwen3.7-Plus、Muse Glimmer-30B、Opus4.6 Max 在编码、Agent 和视觉任务上的完整对照数据，读者可据此评估这个 27B 稠密模型在自家工作流中的实际取舍。

  6. Aleph Alpha 发布 MoE 推理模型 Kolibri 1，开放 Apache 2.0 权重

    Aleph Alpha 开源了 MoE 推理模型 Kolibri 1，总参数 78B、每 token 激活 3.46B，专注德语和英语，支持显式推理模式与工具调用，原生上下文 262,144 tokens，可外推至 1,048,576 tokens，权重采用 Apache 2.0 许可。

    推荐理由：模型卡附完整技术报告，给出训练配置、能耗数据与同设置下的德英双语评测对比，可据此评估其实际水平。

  7. Lightricks 开放 LTX-2.5 音视频生成模型权重

    Lightricks 在 Hugging Face 开放 LTX-2.5 权重，这是一个可本地执行与微调的开放世界模型，可从文本、图像和视频输入生成同步的高保真视频与音频。

    推荐理由：官方模型卡完整列出了各组件权重文件、量化变体与运行约束，读者可直接比对 22B 蒸馏与完整版的使用路径和 ComfyUI 兼容性。

  8. STAIxBWLB/agent-hub v0.12.2 发布，支持多智能体协作与本地 LLM worker

    STAIxBWLB/agent-hub 发布 0.12.2 版（控制协议 11），是面向单开发者机器的原生多智能体协作枢纽，让 Claude Code、Codex、Kimi Code、Pi 与本地 LLM worker 在独立项目目录中协作，前置任务感知模型路由 Switchyard 和自托管网关 OmniRoute。

    推荐理由：原文给出多智能体协作的完整安装命令、路由模板与本地模型配置，还说明了升级步骤与恢复机制，可直接照搬部署。

  9. Cortex 编码 harness 开源：上下文窗口当缓存用，面向本地小模型长会话

    dereksantos 开源了 Cortex，一个面向小型本地模型的编码 harness，核心思路是把上下文窗口当缓存而非日记：近期轮次原样保留，旧轮次折叠为带引用的简明大纲，需要时通过 recall 从磁盘上的完整 transcript 精确取回；值得保留的决策由模型自己写成具名笔记，后台学习过程 cortex learn 会挖掘逐轮日志补写笔记。

    推荐理由：原文讲清了这套 harness 把上下文当缓存的具体分层机制和记忆策略，且作者自用并公布了已验证与未验证的边界。

  10. Qwen3.8-Flash-Next GSQ-RCO 消融版 GGUF 发布：144 个张量移植保留上游量化布局

    SC117（0xSojalSec）在 Hugging Face 发布 Qwen3.8-Flash-Next 的 GSQ-RCO 消融版 GGUF，通过对已量化模型直接移植张量来移除拒绝方向：48 层中 144 个写入残差流的投影张量替换为 orcarouter 的消融权重，其余 1079 个张量逐字节不变。

    推荐理由：原文给出逐张量 blake2b 校验和体积、速度代价核算，展示了在已量化模型上做消融移植而不重算张量的完整流程。

  11. Ling-3.0-tiny-Abliterated GGUF 发布：拒绝率从44/44降至12/44且GSM8K无损

    作者alexwkleung用Heretic制作并经llama.cpp量化的inclusionAI/Ling-3.0-tiny（8B总参/约1B激活MoE）abliterated版本，提供Q4_K_M至Q8_0共4个GGUF文件。作者用Heretic优化器未见过的44条测试提示实测，拒绝率从思考关闭43/44、开启44/44降至11/44、12/44；思考关闭下GSM8K n=100与原版同为93/100。作者强调这是针对过度拒绝的escape hatch而非无审查模型，不增加任何知识，且思考与非思考路径的拒绝均被去除；方向性消融共修改1692个张量，集中在第8至23层。

    推荐理由：作者用未见过的44条测试题和GSM8K对照给出拒绝率与能力变化的实测数据，读者可以自己判断这个去对齐版本的实际效果。

  12. SPOPI：围绕 Pi 的可自改 UI 编辑器开源

    作者 /u/spongioblast 发布 SPOPI，一个围绕 Pi 的本地 UI 和编辑器，用 Tauri 2 与 Rust 实现，UI 为系统 webview 内的纯 JavaScript，Pi 可直接修改应用界面而无需重新构建。

    推荐理由：作者自述用 Tauri 替代 Electron 让 Pi 能直接修改自身 UI，且与终端共用同一套设置和包，思路可复用。

  13. GLM-4.7-Flash 三种量化格式在 Radeon 680M 核显上的 llama.cpp 实测对比

    作者用 llama.cpp Vulkan 版在搭载 AMD Ryzen 7 6800H 与 Radeon 680M 核显、64GB DDR5 的 Acemagic miniPC 上，实测 GLM-4.7-Flash 的 MXFP4、Q4_K_M、Q4_K_XL 三种量化（内部 GGUF 头均报告为 deepseek2 30B.A3B MoE）。

    推荐理由：作者在 AMD 680M 核显上实测三种量化的速度差异，给出了聊天与长上下文场景各自该选哪个格式的具体依据。

  14. 作者为 Jev 搭建本地 kNN 语义缓存并公布实测数据

    作者 Mahmoud（GitHub: ghraibeh）发布 MIT 协议的 Python 库 jev-saver，在 Jev 前加本地 kNN 语义缓存，用 bge-small-en-v1.5 本地嵌入，最近邻相似度达 0.90 且 5 个邻居一致时本地作答。

    推荐理由：作者直接给出冷热两种缓存命中率、准确率与延迟对比，还如实标注未跑过 Jev 实测的局限。

  15. shamidk 发布 Apex Flash 1 abliterated 的 DS4 混合 Q2 GGUF 量化版

    shamidk 在 Hugging Face 上发布了 Apex Flash 1 abliterated 的纯文本 GGUF 转换版，采用 IQ2_XXS 与 Q2_K 混合量化配方，文件 89.88 GiB、含 1,412 个张量，省略视觉权重。作者在 128 GiB 内存的 Apple M5 Max MacBook Pro 上用 DS4 runtime 实测，解码速度中位数 11.13 tokens/s，有界质量测试 3/4 通过、严格类型化工具测试 34/36 通过；作者明确说明 abliteration 只针对拒绝行为，不代表能力提升，Agent 编码交付、视觉权重、更大上下文和与 BF16 的质量对等均未验证。转换版以 MIT 许可分发。

    推荐理由：这是一次量化转换加实测记录，作者给出了具体推理速度、质量测试结果和明确的未验证范围，便于读者自行评估可用性。

  16. vaultai 发布 Qwen3.8-27B 的 abliterated 去拒绝 MLX 量化版

    vaultai 发布 Qwen3.8-27B-Uncensored-MLX，通过 abliteration（对拒绝方向做正交化）移除安全对齐，并提供 2/4/6/8-bit MLX 量化用于 Apple Silicon。4/6/8-bit 版本拒绝探针零拒绝、数值保真度 cos 0.996 至 0.9997，视觉和 262K 上下文保留；2-bit 生成严重退化仅供存档。仓库已门控，附 mlx-vlm、LM Studio 和 MTP 投机解码用法。

    推荐理由：发布方给出了各精度量化的数值保真度、拒绝探针零拒绝和视觉能力实测，读者可以据此评估每个档位是否可用。

10月4日周日

  1. vaultai 发布 GLM-5.3-Flash-Abliterated MLX 4bit 量化版，上游拒绝率约 1.3%

    vaultai 在 Hugging Face 发布 GLM-5.3-Flash 的 abliterated 4bit 量化版（oQ4e，173 GiB，35 个分片），基于 Blackfrost-Research 的去对齐 BF16 权重，面向 Apple Silicon 的 oMLX 运行时。去对齐在上游权重层完成，Blackfrost-Research 用 R1-HARMFUL-BENCH-450 测得有害提示拒绝率 1.3%（4/300），本 4bit 版仅做了抽查未系统复测。视觉塔与 MTP 草稿头均保留并经真实请求验证，M3 Ultra（256 GB）实测短上下文 DFlash2 解码最高 51.2 tok/s，附带的前缀缓存补丁把多轮长上下文 TTFT 从约 46 s 降到 0.26 s。

    推荐理由：模型卡附上了上游拒绝率实测与 Apple Silicon 上的逐档解码速度和 TTFT 数据，读者可以对照判断量化后的行为和性能。

  2. TokenTinkerer 发布 Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 十档 GGUF 量化集

    TokenTinkerer 基于 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 发布了 TTQ 十档 GGUF 量化集，从 3.33 bpw 到 6.72 bpw，全部从上游 Q8_K_P 用自建 imatrix 重量化。每档以同一机器同一协议实测 KLD/RMS 与 llama-bench 速度，每档 KLD 均优于上游仓最接近尺寸的量化 1.26× 到 3.51×，同质量档位小 1.44 到 7.90 GiB，匹配对比下 decode 快 6% 到 19%、prefill 快 28% 到 80%。

    推荐理由：作者用同一协议实测十档量化的KLD、体积与速度，并给出与上游仓位的逐项对照，读者可按显存和用途挑选合适的档位。

  3. nerkyor 发布 Qwen3.8-27B-Coder390 微调版，修复不停止推理问题并放出十余档量化权重

    nerkyor 在 Hugging Face 发布基于 Qwen3.8-27B-EfficientThink 的多轮 SFT 与 RLOO 后训练模型 Qwen3.8-27B-Coder390-EfficientThink，目标是修复原模型已有答案却反复推导直至撞上 94K 上限导致空答案的习惯。GPQA 178/198、MMLU 450/500、LCB 90/100（静态 FP8，原模型为 177/444/83），94K 截断从 GPQA 4 降到 1、LCB 13 降到 3。仓库提供 BF16、静态 FP8、NVFP4、INT8、INT4、GGUF Q2 至 Q8_0 等多档权重，均含内置 MTP，支持 SGLang 免补丁加载，并给出 DFlash2 与 MTP 两种投机解码的测速建议。

    推荐理由：从模型卡给出多档量化的完整三套评测与截断对比，读者可据此判断修复后模型在精度和速度上的实际表现。