方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,567 条精选近 30 天 1,557 条共收录 5,742 条
Viggle 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的少步蒸馏版本 Qwen-Image-2.1-viggle-turbo，以 LoRA 形式实现 6 步生成替代 40 步，无需 CFG，端到端约快 5 倍，质量与基座接近。
推荐理由：原文给出蒸馏步数、速度倍数、各量化格式的 LPIPS 对比和已知短板，读者可据此判断该 LoRA 是否适合自己的部署场景。
ISTA-DASLab 发布 Qwen3.8-Flash-Next 的 GSQ-RCO 非均匀量化 GGUF，提供 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 四档及多模态 mmproj 文件。
推荐理由：原文给出四个量化档位的实测跑分、吞吐与显存占用数据，读者可按内存预算与质量需求直接选型。
NVIDIA 在 Hugging Face 发布开放权重模型 Nemotron-3-Diarization，用于判断真实音频中谁在何时说话，支持流式与离线推理，最多处理 8 个说话人。
推荐理由：模型卡给出与 diar_streaming_sortformer_4spk-v2.1 在多个基准和延迟档位下的 DER、SCA 与 RTFx 对比，读者可据此评估升级收益。
Contrastive-LM 开源了 CLM-v0.1-8B 权重（Apache 2.0），这是一个基于冻结 Qwen3-8B 编码器加状态头与动作头的 System One 对比学习模型，用于快速决策打分。
推荐理由：原文给出了与 Jev 的延迟对比和 DeepSWE、Terminal-Bench 具体分数，读者可据此评估该快速决策模型的实际性价比。
Venastine-Research 在 Hugging Face 发布 Xing4.0-29B-A4B 的 GGUF 权重与配置文件。
推荐理由：该 GGUF 仓库提供了 Xing4.0-29B-A4B 的权重与配置，兼容 vLLM、SGLang 等主流推理框架，部署参考价值具体。
千问（Qwen）在 Hugging Face 开放 Qwen3.8-27B 后训练权重，称其为 Qwen 开放模型家族迄今最强一代，基于 Qwen3.5 架构、27B 参数稠密模型，原生支持图像与视频理解。
推荐理由：原文给出与 Qwen3.6-27B、Qwen3.7-Plus、Muse Glimmer-30B、Opus4.6 Max 在编码、Agent 和视觉任务上的完整对照数据，读者可据此评估这个 27B 稠密模型在自家工作流中的实际取舍。
Aleph Alpha 开源了 MoE 推理模型 Kolibri 1，总参数 78B、每 token 激活 3.46B，专注德语和英语，支持显式推理模式与工具调用，原生上下文 262,144 tokens，可外推至 1,048,576 tokens，权重采用 Apache 2.0 许可。
推荐理由：模型卡附完整技术报告，给出训练配置、能耗数据与同设置下的德英双语评测对比，可据此评估其实际水平。
Lightricks 在 Hugging Face 开放 LTX-2.5 权重，这是一个可本地执行与微调的开放世界模型，可从文本、图像和视频输入生成同步的高保真视频与音频。
推荐理由：官方模型卡完整列出了各组件权重文件、量化变体与运行约束，读者可直接比对 22B 蒸馏与完整版的使用路径和 ComfyUI 兼容性。
STAIxBWLB/agent-hub 发布 0.12.2 版（控制协议 11），是面向单开发者机器的原生多智能体协作枢纽，让 Claude Code、Codex、Kimi Code、Pi 与本地 LLM worker 在独立项目目录中协作，前置任务感知模型路由 Switchyard 和自托管网关 OmniRoute。
推荐理由：原文给出多智能体协作的完整安装命令、路由模板与本地模型配置，还说明了升级步骤与恢复机制，可直接照搬部署。
dereksantos 开源了 Cortex，一个面向小型本地模型的编码 harness，核心思路是把上下文窗口当缓存而非日记：近期轮次原样保留，旧轮次折叠为带引用的简明大纲，需要时通过 recall 从磁盘上的完整 transcript 精确取回；值得保留的决策由模型自己写成具名笔记，后台学习过程 cortex learn 会挖掘逐轮日志补写笔记。
推荐理由：原文讲清了这套 harness 把上下文当缓存的具体分层机制和记忆策略，且作者自用并公布了已验证与未验证的边界。
SC117（0xSojalSec）在 Hugging Face 发布 Qwen3.8-Flash-Next 的 GSQ-RCO 消融版 GGUF，通过对已量化模型直接移植张量来移除拒绝方向：48 层中 144 个写入残差流的投影张量替换为 orcarouter 的消融权重，其余 1079 个张量逐字节不变。
推荐理由：原文给出逐张量 blake2b 校验和体积、速度代价核算，展示了在已量化模型上做消融移植而不重算张量的完整流程。
作者alexwkleung用Heretic制作并经llama.cpp量化的inclusionAI/Ling-3.0-tiny（8B总参/约1B激活MoE）abliterated版本，提供Q4_K_M至Q8_0共4个GGUF文件。作者用Heretic优化器未见过的44条测试提示实测，拒绝率从思考关闭43/44、开启44/44降至11/44、12/44；思考关闭下GSM8K n=100与原版同为93/100。作者强调这是针对过度拒绝的escape hatch而非无审查模型，不增加任何知识，且思考与非思考路径的拒绝均被去除；方向性消融共修改1692个张量，集中在第8至23层。
推荐理由：作者用未见过的44条测试题和GSM8K对照给出拒绝率与能力变化的实测数据，读者可以自己判断这个去对齐版本的实际效果。
作者 /u/spongioblast 发布 SPOPI，一个围绕 Pi 的本地 UI 和编辑器，用 Tauri 2 与 Rust 实现，UI 为系统 webview 内的纯 JavaScript，Pi 可直接修改应用界面而无需重新构建。
推荐理由：作者自述用 Tauri 替代 Electron 让 Pi 能直接修改自身 UI，且与终端共用同一套设置和包，思路可复用。
作者用 llama.cpp Vulkan 版在搭载 AMD Ryzen 7 6800H 与 Radeon 680M 核显、64GB DDR5 的 Acemagic miniPC 上，实测 GLM-4.7-Flash 的 MXFP4、Q4_K_M、Q4_K_XL 三种量化（内部 GGUF 头均报告为 deepseek2 30B.A3B MoE）。
推荐理由：作者在 AMD 680M 核显上实测三种量化的速度差异，给出了聊天与长上下文场景各自该选哪个格式的具体依据。
作者 Mahmoud（GitHub: ghraibeh）发布 MIT 协议的 Python 库 jev-saver，在 Jev 前加本地 kNN 语义缓存，用 bge-small-en-v1.5 本地嵌入，最近邻相似度达 0.90 且 5 个邻居一致时本地作答。
推荐理由：作者直接给出冷热两种缓存命中率、准确率与延迟对比，还如实标注未跑过 Jev 实测的局限。
shamidk 在 Hugging Face 上发布了 Apex Flash 1 abliterated 的纯文本 GGUF 转换版，采用 IQ2_XXS 与 Q2_K 混合量化配方，文件 89.88 GiB、含 1,412 个张量，省略视觉权重。作者在 128 GiB 内存的 Apple M5 Max MacBook Pro 上用 DS4 runtime 实测，解码速度中位数 11.13 tokens/s，有界质量测试 3/4 通过、严格类型化工具测试 34/36 通过；作者明确说明 abliteration 只针对拒绝行为，不代表能力提升，Agent 编码交付、视觉权重、更大上下文和与 BF16 的质量对等均未验证。转换版以 MIT 许可分发。
推荐理由：这是一次量化转换加实测记录，作者给出了具体推理速度、质量测试结果和明确的未验证范围，便于读者自行评估可用性。
vaultai 发布 Qwen3.8-27B-Uncensored-MLX，通过 abliteration（对拒绝方向做正交化）移除安全对齐，并提供 2/4/6/8-bit MLX 量化用于 Apple Silicon。4/6/8-bit 版本拒绝探针零拒绝、数值保真度 cos 0.996 至 0.9997，视觉和 262K 上下文保留；2-bit 生成严重退化仅供存档。仓库已门控，附 mlx-vlm、LM Studio 和 MTP 投机解码用法。
推荐理由：发布方给出了各精度量化的数值保真度、拒绝探针零拒绝和视觉能力实测，读者可以据此评估每个档位是否可用。
vaultai 在 Hugging Face 发布 GLM-5.3-Flash 的 abliterated 4bit 量化版（oQ4e，173 GiB，35 个分片），基于 Blackfrost-Research 的去对齐 BF16 权重，面向 Apple Silicon 的 oMLX 运行时。去对齐在上游权重层完成，Blackfrost-Research 用 R1-HARMFUL-BENCH-450 测得有害提示拒绝率 1.3%（4/300），本 4bit 版仅做了抽查未系统复测。视觉塔与 MTP 草稿头均保留并经真实请求验证，M3 Ultra（256 GB）实测短上下文 DFlash2 解码最高 51.2 tok/s，附带的前缀缓存补丁把多轮长上下文 TTFT 从约 46 s 降到 0.26 s。
推荐理由：模型卡附上了上游拒绝率实测与 Apple Silicon 上的逐档解码速度和 TTFT 数据，读者可以对照判断量化后的行为和性能。
TokenTinkerer 基于 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 发布了 TTQ 十档 GGUF 量化集，从 3.33 bpw 到 6.72 bpw，全部从上游 Q8_K_P 用自建 imatrix 重量化。每档以同一机器同一协议实测 KLD/RMS 与 llama-bench 速度，每档 KLD 均优于上游仓最接近尺寸的量化 1.26× 到 3.51×，同质量档位小 1.44 到 7.90 GiB，匹配对比下 decode 快 6% 到 19%、prefill 快 28% 到 80%。
推荐理由：作者用同一协议实测十档量化的KLD、体积与速度，并给出与上游仓位的逐项对照，读者可按显存和用途挑选合适的档位。
nerkyor 在 Hugging Face 发布基于 Qwen3.8-27B-EfficientThink 的多轮 SFT 与 RLOO 后训练模型 Qwen3.8-27B-Coder390-EfficientThink，目标是修复原模型已有答案却反复推导直至撞上 94K 上限导致空答案的习惯。GPQA 178/198、MMLU 450/500、LCB 90/100（静态 FP8，原模型为 177/444/83），94K 截断从 GPQA 4 降到 1、LCB 13 降到 3。仓库提供 BF16、静态 FP8、NVFP4、INT8、INT4、GGUF Q2 至 Q8_0 等多档权重，均含内置 MTP，支持 SGLang 免补丁加载，并给出 DFlash2 与 MTP 两种投机解码的测速建议。
推荐理由：从模型卡给出多档量化的完整三套评测与截断对比，读者可据此判断修复后模型在精度和速度上的实际表现。