方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,761 条
KilltheSniper 发布 Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF，在已量化的 ISTA-DASLab GSQ-RCO 权重内直接移植 144 个张量（覆盖全部 48 层）实现去对齐，不重算任何 GSQ 学到的量化值，消融源为 orcarouter 的 Uncensored 版本。
推荐理由：原文给出逐张量 blake2b 校验和 Strata 实测速度对比，读者可以据此判断这种免重量化的张量移植方案损失了多少。
jessedye90 发布 qwen3.8-27b-swift-uncensored，在 UkisAI 的 Swift 1.5 对 Qwen3.8-27B 的 NVFP4/FP8 量化微调基础上，将 OrcaRouter 消融得到的拒绝方向从权重中投影移除，编辑在原量化网格内完成，文件布局、大小和推理速度与基座一致。
推荐理由：原文给出消融方向、量化网格内编辑方法和 AdvBench 拒绝率 100% 到 0% 的实测对比，可据此评估该去对齐版本的实际改动幅度。
作者发布开源中间件 OntoPrune（MIT 协议，https://github.com/vigmarcarlo/OntoPrune），通过把源码转为内存知识图谱、用 SPARQL 提取所编辑函数的 1-hop 闭包并渲染成类型化 Python stub，压缩上下文并校验生成代码。
推荐理由：作者给出完整基准数据，展示用神经符号上下文剪枝在本地 CPU 上把 TTFT 从 22.4 秒降到 3.3 秒的可复现做法。
geistlib 是一个零依赖的 C23 推理引擎，提供单文件二进制，可在 4 GB Raspberry Pi 5 上本地运行 Microsoft BitNet b1.58 2B-4T，无需 Python、模型配置或云端。
推荐理由：给出 Pi 5 上 15–18 t/s 的实测数据，并与 bitnet.cpp、llama.cpp 在同机同 GGUF 下对比，性能判断有据可查。
sebastianrcnt 在 GitHub 发布 atto，一个自带 API key 或模型服务器的终端编码 harness，支持 macOS、Linux 和 Windows 安装。
推荐理由：原文完整给出了安装方式、模型接入配置和会话管理机制，读者可以据此评估这个终端编码工具是否适配自己的工作流。
jeong-sik 发布 MASC（Multi-Agent Shared Context），一个在本地组装多个带角色和人格的 Agent 协作完成目标的工具，Keeper 之间共享上下文、分工、讨论并验证结果。
推荐理由：原文详细说明了 Goal、Task、Board 和验证机制的设计，读者可以据此评估这套多智能体协作框架是否适合本地工作流。
AzynTT 在 Hugging Face 发布 Kimi K3（2.8T 参数 / 104B 激活 / 896 experts top-16）的 abliterated GGUF 量化 IQ1_S-XS，共 539.7 GiB、34 分片，将拒绝方向从写入残差流的 279 个张量中正交化移除。
推荐理由：原文给出拒绝率、过度拒绝、答非所问三率实测和完整消融方法，还如实标注样本量不足的统计局限。
/u/dh7net 发布自建基准 airbench.ai 榜单，用真实任务（数学、视觉、电脑操作、编码）实测本地模型与 harness 搭配的能力和速度，参考基准为 Claude Code Opus 5.5 的 100%（14 分 26 秒），本地 zcode/4xRTX6k/glm-5.3-flash-NVFP4 同样可达 100%（31 分 13 秒）。
推荐理由：作者用自建基准实测了多组模型与 harness 的本地搭配，给出同一模型在不同 harness 下得分差距可达 22% 到 96% 的数据。
Liquid AI 发布 3.1B 参数的多模态决策模型 d1-3B，基于 LFM2.5-VL-3B 后训练，对状态（文本、JSON 或图片）中的一组问题一次前向返回带置信度的类型化答案，零输出 token。Decision Index 0.2.1 得分 48.57，高于所有 4B 和 9B 模型及 Decider 35B-A3B（47.11）；RTX 4090 上单次决策 8 ms，AMD MI325X 上打包 64 个状态吞吐达 1,106/s。它不是聊天模型，适用于路由、分类、审核、reranking、LLM-as-a-judge 等场景。模型卡：https://huggingface.co/LiquidAI/d1-3B
推荐理由：官方给出了完整基准表和各硬件实测延迟，读者可以据此判断这个 3B 决策模型在自己的部署场景里是否划算。
StillDeadcode 发布 Qwen3.8-Flash-Next 的无对齐版本，消融了原模型的拒绝方向，打包为单一 .rad 容器用于 radiance 推理引擎（AMD RDNA4、ROCm）。
推荐理由：模型卡不仅宣布去对齐，还给出与 bf16 原始权重的全词表 KL 散度和 top-1 一致率数据，可据此评估量化误差。
IPSupport LLC 开源了 LLMTray，一款基于 mlx-lm 自研 fork 的 macOS 菜单栏本地大模型 GUI，面向 Apple Silicon。
推荐理由：作者附上了在 M5 机型上逐个模型实测的峰值内存表和采样速度，可以据此判断自己的 Mac 跑哪些本地模型不会爆内存。
poisonxa16 发布 PXA v2026.10.2，为 Tesla P100、V100 和 GTX 10 系列提供 PXQN 量化格式、tensor split、MTP 投机解码与一键 PXA Control 网页控制台。
推荐理由：原文给出了 PXQN 各档位与 K-quant 的 KL 散度对比和 P100/V100 实测速度表，可据此评估老卡部署 27B 的收益。
作者发布开源项目 ForgeLLM，提供管理大模型生命周期的控制平面与开发平台，统一覆盖数据准备、LoRA/QLoRA SFT、评测、MLflow 追踪、回归质量门控与模型注册管理。
推荐理由：开源的 LLM 微调控制平面项目，覆盖数据、训练、评测与回归门控全流程，并附在 4GB 消费级 GPU 上的完整实验数据与复现产物。
Health-525 在 GitHub 开源 CourseRaptor，一个本地优先的大学教务对话 Agent，覆盖课表、成绩、考试、学籍、通知、待办与记忆，提供终端 TUI、本地网页和 QQ 机器人三个入口。项目基于 Vercel AI SDK v7 ToolLoopAgent 组织 30+ 工具，用 SchoolAdapter 端口-适配器架构隔离学校差异，目前已全量适配南京工业大学、河北农业大学，其他学校可用手动课表模式；支持 11 家国内厂商模型 API，凭证 AES-256-GCM 加密、无遥测，另附无头 CLI 不经 LLM 直查教务。
推荐理由：正文给出了端口适配器架构、多轮工具循环和多厂商模型层的完整源码位置，可当 Vercel AI SDK 的生产级参考实现来读。
GitHub 开源工具 unlimited 发布，可按用量窗口读取本机所有账号在 Claude、Codex、Z.ai GLM、Kimi Code、OpenCode Go、Grok、Neuralwatt 和 Command Code 上的已用比例与重置时间。
推荐理由：开源工具统一读取 Claude、Codex、GLM、Kimi 等多个订阅的用量窗口并给出外推预测，适合在多账号间做负载分配的读者参考。
deadtrickster 在 GitHub 发布 letibot，一个本地优先的 LLM agent harness，核心是单一会话日志读取者规则（§13.2）、工具调用前的门控与分级上下文压缩。
推荐理由：原文讲清了单读者会话协议、分级压缩与工具门控的设计取舍，以及安装依赖与模型接入的实际边界。
GitHub 开源项目 Day0（BrianIsaac/day0）部署一个不带角色、技能和范围的自主 Agent，一切能力来自与雇用者的入职对话：Agent 主持 Day-1 一对一、自己起草章程并等待人工批准，再自行发现工作项、审批计划后才执行，缺技能时自己编写并经本地沙箱冒烟验证后注册。README 记录了一次 3 September 2026 的真实模式完整运行，5 min 8 s 获得首个批准章程，7 次批准、1 次拒绝，撤销 linear:write 后下一次写入被拒，审计轨迹 41/41 完整；支持云端模型、本地 qwen3:8b 无账号路线和托管演示 dayzer0.dev。
推荐理由：原文用一次完整真实模式运行记录了从入职对话到章程批准的全程数字，读者可以照着判断这种自主 Agent 的实际可控程度。
作者 /u/Abe238 发布 DecisionTune 1.0，一个基于 ModernBERT-large 加 4 KB 评分头的 395M 决策模型（Apache-2.0），输入状态、问题和选项列表后单次编码即输出各选项概率或 yes/no 的 P(yes)，不生成文本。
推荐理由：作者给出了自家机器上的延迟、显存和 Decision Index 分数等实测数字，便于评估是否将其嵌入本地 Agent 决策环节。
Microsoft 在 Hugging Face 发布 FrogNano-4B-2609，基于 Qwen3.5-4B 纯强化学习后训练的仓库级编程 Agent。
推荐理由：微软以约 1500 个合成任务做纯强化学习，把 4B 模型的 SWE-bench Verified 分数从 39.4% 提到 61.5%，未依赖更强模型的轨迹。
jialinyyzz 在 Hugging Face 发布 12B 改写模型 humanizer v2（微调自 google/gemma-4-12B，Apache 2.0），用于把 AI 生成的邮件、论文、报告等草稿改写成人类风格，支持中英文并可本地运行。
推荐理由：作者给出与上一版在同一批草稿上的对照数据和分体裁检出率，可据此评估这版改写在事实保真和检测表现上的实际变化。