跳到正文

方向

本地部署与推理 最新动态

把模型跑在自己机器上:量化、推理引擎、显存优化、微调与蒸馏,以及让更大的无对齐模型跑得起来的工程进展。

2,011 条精选近 30 天 538 条共收录 7,883 条

更新

精选归档 · 第 99 页

10月5日周一第 1961–1980 条
  1. Hugging Face · 趋势模型78

    Prism ML 发布 Ternary-Bonsai-2-27B 三值量化 GGUF 模型

    Prism ML 在 Hugging Face 发布 Ternary-Bonsai-2-27B-gguf,将 Qwen3.8-27B 转为三值权重(1.72 bits/weight),语言模型体积从约 54 GB FP16 降至 5.95 GB(PTQ1_0)或 7.21 GB(PQ2_0)。

    推荐理由:原文给出三值权重格式、14 项基准对比和跨平台吞吐数据,读者可以据此评估 1.72 bits/weight 量化在本地部署中的实际取舍。

  2. Hugging Face · 趋势模型61

    TaichuAI 发布 9B 多模态基础模型 ZDTaichu5.0-9B

    TaichuAI 在 Hugging Face 开放 ZDTaichu5.0-9B 权重,这是一个面向视觉理解、空间推理、Agent 工具调用与具身智能研究的多模态基础模型,采用 Qwen3.5-9B 语言骨干加 C-RADIOv4-H 视觉编码器,支持文本、单图、多图和视频输入,任意分辨率,上下文最长 128K tokens。

    推荐理由:模型卡附完整基准表,把该模型与同规模开源及闭源 VLM 在空间、具身和 Agent 任务上逐项对比,便于按需选型。

  3. Hugging Face · 趋势模型72

    Viggle 发布 Qwen-Image-2.1 蒸馏加速版 turbo,6 步生成比 40 步基座快约 5 倍

    Viggle 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的少步蒸馏版本 Qwen-Image-2.1-viggle-turbo,以 LoRA 形式实现 6 步生成替代 40 步,无需 CFG,端到端约快 5 倍,质量与基座接近。

    推荐理由:原文给出蒸馏步数、速度倍数、各量化格式的 LPIPS 对比和已知短板,读者可据此判断该 LoRA 是否适合自己的部署场景。

  4. Hugging Face · 趋势模型52

    NVIDIA 开放 Nemotron-3-Diarization 说话人分离模型权重

    NVIDIA 在 Hugging Face 发布开放权重模型 Nemotron-3-Diarization,用于判断真实音频中谁在何时说话,支持流式与离线推理,最多处理 8 个说话人。

    推荐理由:模型卡给出与 diar_streaming_sortformer_4spk-v2.1 在多个基准和延迟档位下的 DER、SCA 与 RTFx 对比,读者可据此评估升级收益。

  5. Hugging Face · 趋势模型68

    Contrastive-LM 发布开放权重模型 CLM-v0.1-8B(Apache 2.0)

    Contrastive-LM 开源了 CLM-v0.1-8B 权重(Apache 2.0),这是一个基于冻结 Qwen3-8B 编码器加状态头与动作头的 System One 对比学习模型,用于快速决策打分。

    推荐理由:原文给出了与 Jev 的延迟对比和 DeepSWE、Terminal-Bench 具体分数,读者可据此评估该快速决策模型的实际性价比。

  6. Hugging Face · 趋势模型75

    Qwen3.8-27B 开放权重发布:原生视觉语言稠密模型

    千问(Qwen)在 Hugging Face 开放 Qwen3.8-27B 后训练权重,称其为 Qwen 开放模型家族迄今最强一代,基于 Qwen3.5 架构、27B 参数稠密模型,原生支持图像与视频理解。

    推荐理由:原文给出与 Qwen3.6-27B、Qwen3.7-Plus、Muse Glimmer-30B、Opus4.6 Max 在编码、Agent 和视觉任务上的完整对照数据,读者可据此评估这个 27B 稠密模型在自家工作流中的实际取舍。

  7. Hugging Face · 趋势模型67

    Aleph Alpha 发布 MoE 推理模型 Kolibri 1,开放 Apache 2.0 权重

    Aleph Alpha 开源了 MoE 推理模型 Kolibri 1,总参数 78B、每 token 激活 3.46B,专注德语和英语,支持显式推理模式与工具调用,原生上下文 262,144 tokens,可外推至 1,048,576 tokens,权重采用 Apache 2.0 许可。

    推荐理由:模型卡附完整技术报告,给出训练配置、能耗数据与同设置下的德英双语评测对比,可据此评估其实际水平。

  8. Hugging Face · 趋势模型67

    Lightricks 开放 LTX-2.5 音视频生成模型权重

    Lightricks 在 Hugging Face 开放 LTX-2.5 权重,这是一个可本地执行与微调的开放世界模型,可从文本、图像和视频输入生成同步的高保真视频与音频。

    推荐理由:官方模型卡完整列出了各组件权重文件、量化变体与运行约束,读者可直接比对 22B 蒸馏与完整版的使用路径和 ComfyUI 兼容性。

  9. GitHub · 去对齐工具与仓库55

    STAIxBWLB/agent-hub v0.12.2 发布,支持多智能体协作与本地 LLM worker

    STAIxBWLB/agent-hub 发布 0.12.2 版(控制协议 11),是面向单开发者机器的原生多智能体协作枢纽,让 Claude Code、Codex、Kimi Code、Pi 与本地 LLM worker 在独立项目目录中协作,前置任务感知模型路由 Switchyard 和自托管网关 OmniRoute。

    推荐理由:原文给出多智能体协作的完整安装命令、路由模板与本地模型配置,还说明了升级步骤与恢复机制,可直接照搬部署。

  10. GitHub · 灵魂体仓库70

    Cortex 编码 harness 开源:上下文窗口当缓存用,面向本地小模型长会话

    dereksantos 开源了 Cortex,一个面向小型本地模型的编码 harness,核心思路是把上下文窗口当缓存而非日记:近期轮次原样保留,旧轮次折叠为带引用的简明大纲,需要时通过 recall 从磁盘上的完整 transcript 精确取回;值得保留的决策由模型自己写成具名笔记,后台学习过程 cortex learn 会挖掘逐轮日志补写笔记。

    推荐理由:原文讲清了这套 harness 把上下文当缓存的具体分层机制和记忆策略,且作者自用并公布了已验证与未验证的边界。

  11. Hugging Face · 新模型:uncensored69

    Qwen3.8-Flash-Next GSQ-RCO 消融版 GGUF 发布:144 个张量移植保留上游量化布局

    SC117(0xSojalSec)在 Hugging Face 发布 Qwen3.8-Flash-Next 的 GSQ-RCO 消融版 GGUF,通过对已量化模型直接移植张量来移除拒绝方向:48 层中 144 个写入残差流的投影张量替换为 orcarouter 的消融权重,其余 1079 个张量逐字节不变。

    推荐理由:原文给出逐张量 blake2b 校验和体积、速度代价核算,展示了在已量化模型上做消融移植而不重算张量的完整流程。

  12. Hugging Face · 新模型:abliterated69

    Ling-3.0-tiny-Abliterated GGUF 发布:拒绝率从44/44降至12/44且GSM8K无损

    作者alexwkleung用Heretic制作并经llama.cpp量化的inclusionAI/Ling-3.0-tiny(8B总参/约1B激活MoE)abliterated版本,提供Q4_K_M至Q8_0共4个GGUF文件。作者用Heretic优化器未见过的44条测试提示实测,拒绝率从思考关闭43/44、开启44/44降至11/44、12/44;思考关闭下GSM8K n=100与原版同为93/100。作者强调这是针对过度拒绝的escape hatch而非无审查模型,不增加任何知识,且思考与非思考路径的拒绝均被去除;方向性消融共修改1692个张量,集中在第8至23层。

    推荐理由:作者用未见过的44条测试题和GSM8K对照给出拒绝率与能力变化的实测数据,读者可以自己判断这个去对齐版本的实际效果。

  13. Reddit · r/LocalLLaMA62

    SPOPI:围绕 Pi 的可自改 UI 编辑器开源

    作者 /u/spongioblast 发布 SPOPI,一个围绕 Pi 的本地 UI 和编辑器,用 Tauri 2 与 Rust 实现,UI 为系统 webview 内的纯 JavaScript,Pi 可直接修改应用界面而无需重新构建。

    推荐理由:作者自述用 Tauri 替代 Electron 让 Pi 能直接修改自身 UI,且与终端共用同一套设置和包,思路可复用。

  14. Reddit · r/LocalLLaMA62

    GLM-4.7-Flash 三种量化格式在 Radeon 680M 核显上的 llama.cpp 实测对比

    作者用 llama.cpp Vulkan 版在搭载 AMD Ryzen 7 6800H 与 Radeon 680M 核显、64GB DDR5 的 Acemagic miniPC 上,实测 GLM-4.7-Flash 的 MXFP4、Q4_K_M、Q4_K_XL 三种量化(内部 GGUF 头均报告为 deepseek2 30B.A3B MoE)。

    推荐理由:作者在 AMD 680M 核显上实测三种量化的速度差异,给出了聊天与长上下文场景各自该选哪个格式的具体依据。

  15. Reddit · r/LocalLLaMA58

    作者为 Jev 搭建本地 kNN 语义缓存并公布实测数据

    作者 Mahmoud(GitHub: ghraibeh)发布 MIT 协议的 Python 库 jev-saver,在 Jev 前加本地 kNN 语义缓存,用 bge-small-en-v1.5 本地嵌入,最近邻相似度达 0.90 且 5 个邻居一致时本地作答。

    推荐理由:作者直接给出冷热两种缓存命中率、准确率与延迟对比,还如实标注未跑过 Jev 实测的局限。

  16. Hugging Face · 新模型:abliterated56

    shamidk 发布 Apex Flash 1 abliterated 的 DS4 混合 Q2 GGUF 量化版

    shamidk 在 Hugging Face 上发布了 Apex Flash 1 abliterated 的纯文本 GGUF 转换版,采用 IQ2_XXS 与 Q2_K 混合量化配方,文件 89.88 GiB、含 1,412 个张量,省略视觉权重。作者在 128 GiB 内存的 Apple M5 Max MacBook Pro 上用 DS4 runtime 实测,解码速度中位数 11.13 tokens/s,有界质量测试 3/4 通过、严格类型化工具测试 34/36 通过;作者明确说明 abliteration 只针对拒绝行为,不代表能力提升,Agent 编码交付、视觉权重、更大上下文和与 BF16 的质量对等均未验证。转换版以 MIT 许可分发。

    推荐理由:这是一次量化转换加实测记录,作者给出了具体推理速度、质量测试结果和明确的未验证范围,便于读者自行评估可用性。

  17. Hugging Face · 新模型:uncensored56

    vaultai 发布 Qwen3.8-27B 的 abliterated 去拒绝 MLX 量化版

    vaultai 发布 Qwen3.8-27B-Uncensored-MLX,通过 abliteration(对拒绝方向做正交化)移除安全对齐,并提供 2/4/6/8-bit MLX 量化用于 Apple Silicon。4/6/8-bit 版本拒绝探针零拒绝、数值保真度 cos 0.996 至 0.9997,视觉和 262K 上下文保留;2-bit 生成严重退化仅供存档。仓库已门控,附 mlx-vlm、LM Studio 和 MTP 投机解码用法。

    推荐理由:发布方给出了各精度量化的数值保真度、拒绝探针零拒绝和视觉能力实测,读者可以据此评估每个档位是否可用。