跳到正文

方向

本地部署与推理 最新动态

把模型跑在自己机器上:量化、推理引擎、显存优化、微调与蒸馏,以及让更大的无对齐模型跑得起来的工程进展。

2,011 条精选近 30 天 538 条共收录 7,883 条

更新

精选归档 · 第 97 页

10月5日周一第 1921–1940 条
  1. GitHub · 去对齐工具与仓库62

    sebastianrcnt 开源终端编码工具 atto

    sebastianrcnt 在 GitHub 发布 atto,一个自带 API key 或模型服务器的终端编码 harness,支持 macOS、Linux 和 Windows 安装。

    推荐理由:原文完整给出了安装方式、模型接入配置和会话管理机制,读者可以据此评估这个终端编码工具是否适配自己的工作流。

  2. GitHub · 去对齐工具与仓库58

    MASC 开源多智能体共享上下文框架,支持终端 UI 与 MCP 接入

    jeong-sik 发布 MASC(Multi-Agent Shared Context),一个在本地组装多个带角色和人格的 Agent 协作完成目标的工具,Keeper 之间共享上下文、分工、讨论并验证结果。

    推荐理由:原文详细说明了 Goal、Task、Board 和验证机制的设计,读者可以据此评估这套多智能体协作框架是否适合本地工作流。

  3. Hugging Face · 新模型:uncensored56

    Kimi K3 消融版 GGUF 量化发布,附 74 条提示的三率拒绝行为实测

    AzynTT 在 Hugging Face 发布 Kimi K3(2.8T 参数 / 104B 激活 / 896 experts top-16)的 abliterated GGUF 量化 IQ1_S-XS,共 539.7 GiB、34 分片,将拒绝方向从写入残差流的 279 个张量中正交化移除。

    推荐理由:原文给出拒绝率、过度拒绝、答非所问三率实测和完整消融方法,还如实标注样本量不足的统计局限。

  4. Reddit · r/LocalLLaMA72

    airbench.ai 榜单实测:本地模型搭配哪个 harness 差别巨大

    /u/dh7net 发布自建基准 airbench.ai 榜单,用真实任务(数学、视觉、电脑操作、编码)实测本地模型与 harness 搭配的能力和速度,参考基准为 Claude Code Opus 5.5 的 100%(14 分 26 秒),本地 zcode/4xRTX6k/glm-5.3-flash-NVFP4 同样可达 100%(31 分 13 秒)。

    推荐理由:作者用自建基准实测了多组模型与 harness 的本地搭配,给出同一模型在不同 harness 下得分差距可达 22% 到 96% 的数据。

  5. Hugging Face · 趋势模型65

    Liquid AI 发布基于 LFM2.5-VL-3B 的决策模型 d1-3B

    Liquid AI 发布 3.1B 参数的多模态决策模型 d1-3B,基于 LFM2.5-VL-3B 后训练,对状态(文本、JSON 或图片)中的一组问题一次前向返回带置信度的类型化答案,零输出 token。Decision Index 0.2.1 得分 48.57,高于所有 4B 和 9B 模型及 Decider 35B-A3B(47.11);RTX 4090 上单次决策 8 ms,AMD MI325X 上打包 64 个状态吞吐达 1,106/s。它不是聊天模型,适用于路由、分类、审核、reranking、LLM-as-a-judge 等场景。模型卡:https://huggingface.co/LiquidAI/d1-3B

    推荐理由:官方给出了完整基准表和各硬件实测延迟,读者可以据此判断这个 3B 决策模型在自己的部署场景里是否划算。

  6. Hugging Face · 新模型:uncensored58

    Qwen3.8-Flash-Next 无对齐量化版发布:4-bit 专家码本 + int8 主干

    StillDeadcode 发布 Qwen3.8-Flash-Next 的无对齐版本,消融了原模型的拒绝方向,打包为单一 .rad 容器用于 radiance 推理引擎(AMD RDNA4、ROCm)。

    推荐理由:模型卡不仅宣布去对齐,还给出与 bf16 原始权重的全词表 KL 散度和 top-1 一致率数据,可据此评估量化误差。

  7. GitHub · 去对齐工具与仓库76

    PXA v2026.10.2 发布:面向 P100/V100 的推理引擎与 PXQN 量化格式

    poisonxa16 发布 PXA v2026.10.2,为 Tesla P100、V100 和 GTX 10 系列提供 PXQN 量化格式、tensor split、MTP 投机解码与一键 PXA Control 网页控制台。

    推荐理由:原文给出了 PXQN 各档位与 K-quant 的 KL 散度对比和 P100/V100 实测速度表,可据此评估老卡部署 27B 的收益。

  8. GitHub · 去对齐工具与仓库58

    ForgeLLM 开源:面向开放大模型的微调与 MLOps 控制平面

    作者发布开源项目 ForgeLLM,提供管理大模型生命周期的控制平面与开发平台,统一覆盖数据准备、LoRA/QLoRA SFT、评测、MLflow 追踪、回归质量门控与模型注册管理。

    推荐理由:开源的 LLM 微调控制平面项目,覆盖数据、训练、评测与回归门控全流程,并附在 4GB 消费级 GPU 上的完整实验数据与复现产物。

  9. GitHub · 去对齐工具与仓库60

    CourseRaptor 开源本地教务 Agent:三端入口、30+ 工具与 SchoolAdapter 适配层

    Health-525 在 GitHub 开源 CourseRaptor,一个本地优先的大学教务对话 Agent,覆盖课表、成绩、考试、学籍、通知、待办与记忆,提供终端 TUI、本地网页和 QQ 机器人三个入口。项目基于 Vercel AI SDK v7 ToolLoopAgent 组织 30+ 工具,用 SchoolAdapter 端口-适配器架构隔离学校差异,目前已全量适配南京工业大学、河北农业大学,其他学校可用手动课表模式;支持 11 家国内厂商模型 API,凭证 AES-256-GCM 加密、无遥测,另附无头 CLI 不经 LLM 直查教务。

    推荐理由:正文给出了端口适配器架构、多轮工具循环和多厂商模型层的完整源码位置,可当 Vercel AI SDK 的生产级参考实现来读。

  10. GitHub · 去对齐工具与仓库56

    开源工具 unlimited 发布:统一追踪 Claude、Codex、GLM、Kimi 等订阅用量

    GitHub 开源工具 unlimited 发布,可按用量窗口读取本机所有账号在 Claude、Codex、Z.ai GLM、Kimi Code、OpenCode Go、Grok、Neuralwatt 和 Command Code 上的已用比例与重置时间。

    推荐理由:开源工具统一读取 Claude、Codex、GLM、Kimi 等多个订阅的用量窗口并给出外推预测,适合在多账号间做负载分配的读者参考。

  11. GitHub · 去对齐工具与仓库63

    letibot:本地优先的 LLM agent harness 在 GitHub 开源

    deadtrickster 在 GitHub 发布 letibot,一个本地优先的 LLM agent harness,核心是单一会话日志读取者规则(§13.2)、工具调用前的门控与分级上下文压缩。

    推荐理由:原文讲清了单读者会话协议、分级压缩与工具门控的设计取舍,以及安装依赖与模型接入的实际边界。

  12. GitHub · 灵魂体仓库66

    开源项目 Day0 发布:空部署的自主 Agent 通过入职对话自己写章程、找工作和造技能

    GitHub 开源项目 Day0(BrianIsaac/day0)部署一个不带角色、技能和范围的自主 Agent,一切能力来自与雇用者的入职对话:Agent 主持 Day-1 一对一、自己起草章程并等待人工批准,再自行发现工作项、审批计划后才执行,缺技能时自己编写并经本地沙箱冒烟验证后注册。README 记录了一次 3 September 2026 的真实模式完整运行,5 min 8 s 获得首个批准章程,7 次批准、1 次拒绝,撤销 linear:write 后下一次写入被拒,审计轨迹 41/41 完整;支持云端模型、本地 qwen3:8b 无账号路线和托管演示 dayzer0.dev。

    推荐理由:原文用一次完整真实模式运行记录了从入职对话到章程批准的全程数字,读者可以照着判断这种自主 Agent 的实际可控程度。

  13. Reddit · r/LocalLLaMA62

    DecisionTune 1.0 发布:395M 决策模型可离线从给定选项中挑选,MLX 上约 10 毫秒完成短决策

    作者 /u/Abe238 发布 DecisionTune 1.0,一个基于 ModernBERT-large 加 4 KB 评分头的 395M 决策模型(Apache-2.0),输入状态、问题和选项列表后单次编码即输出各选项概率或 yes/no 的 P(yes),不生成文本。

    推荐理由:作者给出了自家机器上的延迟、显存和 Decision Index 分数等实测数字,便于评估是否将其嵌入本地 Agent 决策环节。

  14. Hugging Face · 趋势模型74

    humanizer-12B v2 发布:将 AI 稿改写为人类风格,支持中英文本地运行

    jialinyyzz 在 Hugging Face 发布 12B 改写模型 humanizer v2(微调自 google/gemma-4-12B,Apache 2.0),用于把 AI 生成的邮件、论文、报告等草稿改写成人类风格,支持中英文并可本地运行。

    推荐理由:作者给出与上一版在同一批草稿上的对照数据和分体裁检出率,可据此评估这版改写在事实保真和检测表现上的实际变化。

  15. Hugging Face · 趋势模型76

    Unsloth 发布 Qwen3.8-27B Dynamic v3.0 GGUF 量化版

    Unsloth 在 Hugging Face 发布 Qwen3.8-27B 的 Dynamic V3.0 GGUF 量化版本,称同等体积下精度比其他所有 GGUF 提供方高出逾 10%。

    推荐理由:原文给出了 Dynamic v3.0 量化在同等体积下与其他 GGUF 提供方的精度对比,以及 27B 密切模型的完整架构与部署参数。