方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,761 条
Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 对 MPS 后端的改进：新增 float8_e4m3fn 张量与 F.scaled_mm，MoE 模型解码比 2.14 提速 5 到 6.5 倍，M3 Ultra 上 Qwen3.6-35B-A3B 从 9.4 升到 61.3 tokens/s，LFM2.5-8B-A1B 从 23.6 升到 123.6 tokens/s。线性层走专用 GEMV 内核（几何平均 1.23 倍），词表 softmax 约 8 倍加速；Wan2.2 视频 VAE 解码的驱动内存峰值从约 270 GiB 降到 8 GiB，并修复了 Qwen-Image-2.1 VAE 编码器在 MPS 上损坏图像的问题。
推荐理由：Hugging Face PyTorch 团队亲述 MPS 后端改进细节，给出各模型的实测吞吐数字，Mac 上跑模型的读者可以对照评估升级收益。
GitHub 项目 agent-on-a-budget 构建了一个客服 AI Agent，用 LLM 标注 1,080 条消息训练小 ML 模型，并按置信度把消息路由到最便宜的助手：ML 模型答简单问题、本地 Ollama 上的 3B 模型答政策问题、云端 LLM 处理退款等工具调用、高额退款转人工。基于 OpenAI gpt-5.4-mini 的 60 条消息实测显示，分层路由比只用云端专家便宜 1.9 倍、快 1.6 倍，55% 消息零成本处理，标注全部消息仅花 $0.07。项目支持 Mac、Windows 和 Linux，内置离线测试、答案缓存重放机制，并提供逐章 Notebook 和 Streamlit 演示应用。
推荐理由：给出实测的成本、延迟和准确率分层路由数据，读者可以参考这套便宜模型处理简单消息、云端大模型兜底的省成本思路。
lodestones 在 Hugging Face 发布 Kromoss，是对 MOSS-Image-Base 的全参微调（1024 px，704k 训练图，发布 EMA 权重），架构与 MOSS-Image-SFT 相同、可直接替换，主要修复 Base 模型的模糊问题。仓库同时提供 8-steps-dmd-lora.safetensors（8 步、CFG 1、无负分支的 DMD 蒸馏 turbo LoRA）、int8 ConvRot 量化单文件（5.4 GB）、ComfyUI 原生支持与转换脚本，权重采用 Apache 2.0 许可。PartiPrompts（100 提示词，CLIP ViT-L/14）显示 Kromoss + LoRA 得分 27.82，高于 MOSS-Image-Base 的 27.19。
推荐理由：这是官方模型卡，给出了完整采样设置、ComfyUI 与 diffusers 用法以及 PartiPrompts 对比数字，便于直接上手和评估效果。
DeepSeek 开源高性能大规模推理框架 DeepInfer，采用 Apache-2.0 许可，仓库地址 https://github.com/deepseek-ai/DeepInfer。框架支持优化 kernel、模型与 sampler 运行时，包含 Attention DP、平衡 CP、MoE EP + EPLB 等并行方案，以及零开销异步批量调度、batch-invariant 推理、确定性采样和结构化输出。
推荐理由：原文列出了该推理框架的核心并行方案与调度特性，读者可以据此评估它在本地部署和大批量推理场景中的适用性。
alesha-pro 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated Strata GGUF 量化包，含 S 和 S-small 两种规格，基于 Mirai 的 2-bit trellis 构建，用 huihui-ai 的拒绝方向向量去除拒绝行为。实测 AdvBench 64 条提示中 stock 版拒绝 64 次、加向量后仅 1 次，Alpaca 无害提示基本不受影响。可在 1-2 张 RTX 3090 上运行，S 版解码 82-113 tok/s，支持最高 262144 上下文，需 Linux、CUDA 12.8+ 和约 64 GB 内存。
推荐理由：作者实测了加拒绝向量前后的拒绝数和各档速度内存数据，读者可以据此判断这个去对齐量化包的实际表现。
hcd233 开源 Aris，一个面向个人大模型使用的 MaaS 聚合网关、数据治理与 Agent 调用链分析平台，采用 Go + Next.js，Apache 2.0 协议。它统一接入多平台模型与 API 协议，提供 OpenAI/Anthropic 兼容入口与跨协议翻译、模型别名、订阅账号 OAuth（Claude Code/Codex）、会话持久化与 ShareGPT JSONL 导出、调用审计与熔断限流，并通过 aris CLI 采集 Codex/Claude Code hook 事件重建可读调用链。
推荐理由：作者给出与 new-api、LiteLLM 等四个主流网关的逐项对比表，会话持久化与 SFT 导出等结构性差异可直接用于选型参考。
laffy-999 发布 Open Grammar 插件，在 Obsidian 1.14.4 和 Logseq 0.10.15 内用本地 Ollama 模型提供英语和德语拼写语法建议，不依赖云模型和外部检查服务，仅接受 loopback 地址并拒绝云端模型。默认模型为 qwen3.5:4b，在 63 段合成基准中修复 32/39 处错误且保留全部 24 个对照段落，约需 3 GiB GPU 显存或可回退 CPU 运行；正文还给出十余个候选模型的对比数据和保护链接、代码等笔记语法不被改动的实现细节。
推荐理由：README 附带 12 个候选模型在 63 段合成样本上的实测对比和筛选逻辑，读者可以照着按内存与语言需求选型复现。
ZQM Computing 在 GitHub 开源 ollama-fleet-patterns 仓库，提供用 Ollama 把本地大语言模型按多机舰队而非单机运行的运维模式。内容包括 fleet_health.sh 主机健康检查、model_sync.sh 基于模型 manifest 的同步、单文件 RAG 参考实现 rag_minimal.py（仅依赖 Python + numpy，含离线 --self-test），以及拓扑、VRAM 预算、模型管理和运维文档；面向已有单机 Ollama 并想扩展到多台主机的开发者和 homelab 用户，采用 MIT 许可。
推荐理由：仓库作者从生产自托管经验提炼多机 Ollama 舰队运维模式，健康检查、manifest 同步和单文件 RAG 都可直接复用。
sysop1122 在 Hugging Face 发布 Qwen3.8-Flash-Next-Uncensored 的 NVFP4 量化版，将 OrcaRouter 的消融 BF16 权重按 Primitive 的 experts-only RTN 方案打包，路由专家为 NVFP4 group 16，51B PLE n-gram 表保持 BF16 以支持 VLLM_PLE_CPU_OFFLOAD。消融沿用 Arditi et al. (2024) 的拒绝方向移除，仅编辑 149 个残差写入张量，未改动视觉塔、MoE 路由和 gate_up_proj；该版本未重跑 AdvBench/HarmBench 评分，仅做了文本、视觉 OCR 和工具调用解析的抽查。
推荐理由：模型卡给出了消融编辑的具体张量清单和 DGX Spark 实测吞吐数据，读者可据此判断去对齐程度与单卡部署成本。
zexadev 在 GitHub 发布 gemini-web2api-go v4.0.0，单 Go 二进制把 gemini.google.com 网页端反代成 /v1/chat/completions，无需 Google API Key。匿名可用 gemini-3.6-flash 和 gemini-3.5-flash-lite 含联网搜索，挂 cookie 解锁 gemini-3.1-pro、扩展思考、生图/音乐/画布，付费号 cookie 可用 gemini-4-argon 和 /v1/videos 生视频。
推荐理由：README 给出被拦阈值、连接复用收益和限速对照的一手实测数据，部署前可据此评估限流与代理池策略。
neko-legends 发布 DeepSeek-V4.1-Flash-1017 的无对齐 EXL3 2.9bpw 打包，基于 dealignai 的 abliterated 版本，将 54 个稠密 BF16 矩阵重编码为 EXL3 trellis 以适配 TensorFold Zig TP4 引擎，可在 4× NVIDIA DGX Spark 上运行。评测显示去对齐代价集中在道德判断，moral_scenarios 从 95.5% 降至 40.9%，而 HumanEval chat 成绩 92.68% 反高于官方版；另提供 3.5bpw 兄弟版本，moral_scenarios 略高但解码慢约 10%。
推荐理由：原文给出 MMLU 与 HumanEval 的前后对照，显示去对齐的代价集中在道德判断而非知识或编码能力。
FastVideo 在 Hugging Face 发布 FastH3 Omni 最终版的 ComfyUI 就绪权重，提供 BF16 和 INT8 ConvRot 两种扩散模型，可从提示词与有序图像、视频、音频参考生成视频及同步音频。部署需搭配 qwen3vl_32b 文本编码器和视频、音频 VAE，采样 8 步、guidance 1.0、视频 shift 12.0、音频 shift 3.0，参考输入用 <Picture 1> 等标签；NVFP4 文本编码加速需 Blackwell 硬件。模型由 FastVideo 与 Nuva Lab 合作开发，权重遵循 MiniMax-H3 Community License Agreement。
推荐理由：原文给出完整文件清单、采样参数和不同硬件的部署路径，想本地跑 ComfyUI 视频加音频生成可以直接照做。
hchen3807 在 GitHub 发布 LlamaServerLauncherAvalonia，一个基于 Avalonia UI 和 .NET 8 的跨平台桌面应用，用于启动和管理 llama.cpp 服务器实例。功能包括多实例管理、基于 GGUF 张量表的 VRAM 占用估算（与实际加载对比）、HuggingFace 下载、基准测试对比、MCP 服务器挂载、OpenAI 兼容的按需模型代理、ComfyUI 显存释放集成及硬件监控。项目地址：https://github.com/hchen3807/LlamaServerLauncherAvalonia
推荐理由：这个 llama.cpp 图形启动器把 VRAM 估算拆到每个张量块，并在加载后与实际占用对比，读者可以据此判断估算是否可信。
OVO v0.0.6 发布，这是一个跑在 Apple Silicon Mac 上的本地 Claude Code 式编码智能体，MLX 原生、兼容 Ollama 与 OpenAI API、无需 API key，数据不出本机。新版加入 PPTX/HWP/HWPX 文档解析与 RAG、LoRA 微调、SLERP/Linear/TIES/DARE 模型合并，Code 模块含 Monaco 编辑器、文件浏览器、Git 面板、PTY 终端和带文件读写搜索执行工具及 MCP 集成的 Agent Chat；另有聊天、diffusers 本地文生图、BM25+语义搜索的 Wiki 持久知识库，自动识别 HuggingFace 与 LM Studio 缓存。
推荐理由：README 详列了硬件适配评分、端口分工和 16GB 内存的降级建议，可据此判断这台地端 Claude Code 替代品是否跑得动自己的 Mac。
ferrum-infer-rs 发布 Rust LLM 推理引擎，单个二进制内置 OpenAI 兼容服务器，无需 Python 运行时，目标是满足 TTFT、TPOT、ITL 尾延迟 SLO 下最大化输出吞吐。支持 macOS Metal、Windows CUDA sm89、Linux CUDA，支持 Llama、Mistral、Qwen2/Qwen3/Qwen3.5、Gemma 3 等 GGUF 与 SafeTensors 权重。RTX 5090 实测 Qwen3.8-27B GGUF Q4_K_M 32 并发下达 666.24 tok/s，为 llama.cpp 的 152.96%；compressed-tensors INT4 相比 vLLM 0.31 为 80.84%，部分测试格未过延迟 SLO。
推荐理由：作者给出了与 llama.cpp 和 vLLM 在 RTX 5090 上的吞吐对比数据，也坦承部分延迟 SLO 未达标，读者可据此自行评估。
TokenGate 是一个即插即用的小组件，通过受 MoE 启发的 token-gated attention 实现端到端可学习的 token 剪枝，用于快速、省内存的 prefill。在多类任务上 TTFT 提速 1.4 到 11.3 倍、峰值内存降低 1.5 到 3.4 倍且无精度损失，较此前最优 token 剪枝方法 prefill 最快 6.4 倍、内存低 2 倍，可扩展至 Qwen3 等标准 transformer 和 Qwen3.5 等混合注意力模型，代码已开源。
推荐理由：论文给出可学习的 token 剪枝方法及其提速与峰值内存的量化对比，适合关注长上下文 prefill 效率的读者参考。
arXiv 论文 2610.26830 揭示混合架构语言模型中的竞争学习现象：不同 mixer 层竞争学习同一函数，胜者会抑制其他层的学习信号。层级归因显示现代循环层比 softmax attention 更快学会检索函数，导致 attention 多数情况下学不到检索；在训练中途停止循环层的权重更新可帮助 attention 学会检索。据此提出的分阶段预训练方法在最高 1B 参数模型上显著改善语言建模损失、常识推理和多种上下文长度下的检索任务。
推荐理由：论文指出现代循环层与 softmax attention 在训练中竞争学习检索函数并互相抑制，提出的分阶段训练方法在 1B 参数规模上验证有效。
Rui Shi 等发布 arXiv 论文 WeAct，在冻结骨干上训练能力专属 LoRA 适配器，并把适配器选择加入 Agent 动作空间，用原生 tool-calling 接口按需组合能力。在 8 个 deep-research 基准上，Qwen3-32B 加 WeAct 比全量微调平均准确率高 6.2% 且计算更少，比最强静态 LoRA 合并方法高 27.5%，并支持不改动骨干的模块化持续扩展。
推荐理由：把适配器选择纳入 Agent 动作空间来缓解灾难性遗忘，在 8 个 deep-research 基准上给出了与全量微调的对比数字。
Recursive 发布了面向编码智能体的 MoE 语言模型 Flint，总参数 39.8B、每 token 激活约 2.5B，在 Terminal-Bench 2.1 得 54.9%、SWE-bench Pro v2 得 89.7%、SWE-bench Verified 得 74.2%。模型采用 256 路由专家加共享专家、49 层（2 稠密 + 47 MoE）、262,144 token 上下文，以 Apache 2.0 许可发布，附 BF16 检查点、SGLang 服务套件及面向 NVIDIA 和 Apple Silicon 的量化版本，unsloth 提供 GGUF 格式和运行指南。
推荐理由：官方模型卡给出了架构细节、评测设置和基准分数来源标注，读者可以据此了解这款小激活参数编码智能体模型的实际规格。
Cloudflare 的 27B 多模态决策模型 Clef 已在 Ollama 上线，用户可本地运行或使用 Ollama 云端。该模型从 Qwen3.8-27B 微调而来，以 Apache 2.0 协议开源，支持文本、JSON 与图像输入，可一次读取输入并同时对所有问题的答案打分，兼容 Jev 和 System One API。官方称其登顶 Cloudflare 的 Decision Index，在 Jev benchmark 套件多数项目上超过 Jev，例如 BFCL case exact 98.47 对 95.75；43 个评测的延迟中位数为 209.3ms（Clef-flash 为 38.8ms）。
推荐理由：官方发布了多模态决策模型 Clef 的完整基准与延迟数据，读者可以直接对比它和 Jev 等模型在各场景的实际表现。