方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,761 条
NVIDIA 发布预训练关系型基础模型 Kumo Relational，直接在企业数据库上做预测，无需任务训练、特征工程或表拼接，单次前向传播即可预测流失、需求、欺诈等结果，权重已开放下载。模型通过 in-context learning 读取最多 10,000 个历史样本，在 15 个数据库的 41 个任务上超过监督式关系深度学习和梯度提升树流水线，在 SAP SALT 企业基准上 MRR 领先 AutoGluon 集成 8%，微调后领先 16%；预训练使用基于 PluRel 方法的合成关系数据。模型可在 RelArena-α 榜单上以约 17 秒/千样本的速度达到 Elo 1,842，比最高分条目快约 430 倍。
推荐理由：原文给出了跨 41 个任务的基准对比和架构细节，可以了解结构化数据基础模型这条路线的实际水平与用法。
Dharma AI 在 Hugging Face 博客预览 VocabX 论文结果：按每个 token 的成本而非频率重建词表，在不改基座模型、数据和训练配方的前提下，将基于 Qwen3-4B 的葡萄牙语作文自动批改器实测推理成本降低 77.0%。响应平均从 350 降到 101 个 token，bench 分数从 0.703 升到 0.810，LM head 从约 152,000 行缩到约 65,000 行；在 5 个公开领域和 Qwen3、Llama-3.1、Gemma-3 三个模型族的 15 种组合中，压缩率和估算推理成本均领先 FVT、MWT 和 in-place BPE 三个参照方法。
推荐理由：作者用同一基座、同一训练配方做对照实验，把成本按读写分别计价，方法思路可迁移到其他单一领域的专用模型。
Reizxn 在 Hugging Face 发布 abenzerps/Qwen-Image-2.1-Uncensored-Quantized 的逐层混合精度 GGUF 量化版，体积 4.391 GB、4.94 bits/weight，相对权重误差 0.0636。297 个张量独立量化并按最小化重构误差分配格式，组成 Q4_K×126、Q5_K×105、F16×66；实测平均 PSNR 24.25 dB，高于统一 Q4_K 的 22.44 dB，4 个测试主体中 3 个胜出，可用 stable-diffusion.cpp 或 ComfyUI-GGUF 加载，需搭配 Qwen-Image-2.1 VAE 和 Qwen3-VL-8B 文本编码器。注意仅适合 1024 及以上分辨率。
推荐理由：作者给出了逐层混合精度分配方法与逐张渲染的 PSNR 对比数据，读者可以按需判断该 4.39 GB 量化版相对统一 Q4_K 的保真度收益。
作者 AryThakar 发布 Zen-harness，一个通过 llama.cpp 运行 Qwen 3.6 35B-A3B 的本地个人 Agent 框架，可在自有 GPU（约 24 GB 显存）或 Kaggle 免费 T4 x2 上运行。主 Agent 调度网页研究、文档检索和数据分析三个助手，关键事实和数字由代码校验而非模型自证，含 664 项测试、Windows 免安装包，采用 PolyForm Noncommercial 1.0.0 许可，非商业免费。
推荐理由：作者公开了完整架构文档、664 项测试和分阶段实测记录，可据此了解一个本地 Agent 系统如何用代码校验约束模型输出。
yago-mendoza 发布 apu-llm 仓库，让 GPU 共享系统内存的 APU 笔记本一条命令完成本地大模型安装、问答与基准测试，并通过内置 MCP 服务器让 Claude Code 把批量文本工作交给本地模型。在 Ryzen AI 7 PRO 450、64GB LPDDR5X 参考机上，Qwen3.6 35B-A3B（MoE，3B 激活）经 Ollama 跑在 iGPU 上写入 11.7 tok/s、读长输入 93 tok/s，加载占 20.6GB；Qwen3.8 27B 稠密模型更聪明但写入仅 2.6 tok/s。
推荐理由：作者在一台 64GB 无独显的 ThinkPad 上实测了 APU 跑 35B 模型的真实速度与智能水平，并给出按内存选型的对照表。
RA-King 在 GitHub 发布 IntelliJ IDEA 插件 llm-copilot-intellij 0.0.01，为任意 LLM 提供 ghost text 行内补全、编辑器内聊天面板和代码操作，支持包括本地 Ollama 在内的 13 个提供商，MIT 许可。补全具备结构感知与意图推断，后台构建全项目符号表和双向 import 图以提供真实声明签名，并含去重守卫、next edit 建议和错误分析功能；要求 IntelliJ IDEA 2026.1+，默认按 Ollama 本地部署配置。
推荐理由：README 详细写清了补全触发门槛、项目索引和去重逻辑，读者能据此评估这款可接任意 LLM 的 IntelliJ 插件是否值得试。
Cheurteen 在 Hugging Face 发布了 Hikari07jp 消融版 Ternary-Bonsai-2 27B 的重打包 GGUF：把三值权重从 2.125-bit 编码重新量化到 Prism 的 1.75-bit PTQ1_0 格式，并将 PrismML 的 MTP 草稿头以 Q4_0 重新量化合并。实测在 RTX 3070 8 GB 上，带草稿头的文件达 69.3 tok/s，无头版本 50.8 tok/s；困惑度 8.2894 优于 2.125-bit 版的 8.4593，MMLU 76.07%、HumanEval pass@1 75.00%，重打包仅改变 0.0943% 的权重、MMLU 差 0.14 点。
推荐理由：作者不仅重打包了消融权重，还给出困惑度、tok/s 和 MMLU 等前后对照数据，可以看清 1.75-bit 格式相对 2.125-bit 的实际收益。
IBM 在 Hugging Face 发布 Granite Speech 5.0 系列：新增 granite-speech-5.0-2b 语音语言模型，并更新 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。2B 版支持六语种转录与翻译、2000 词关键词偏置，英文平均 WER 5.06%，在开源权重 ASR 模型中排名第 2；Turbo CTC 版扩展至七语种并提速约 1.6 倍至 19,870 RTFx；4.1 2B Plus 说话人归因与时间戳更准，长语音 WER 降 24%。三款模型均为 Apache 2.0 许可，支持 Transformers、vLLM、llama.cpp 等。
推荐理由：官方给出各模型在 Open ASR Leaderboard 上的 WER、RTFx 和说话人归因误差对比数据，读者可据此挑选适合的语音模型。
/u/No-Dragonfly6246 发布了优化版 Cosmos3-Edge，用 INT4 量化让 BF16 装不下的 8GB Orin Nano 也能运行。Orin Nano Super 8GB 解码速度 152.5 tok/s，VLM 峰值内存低至 3.3GB；五个 VLM 基准分数从 65.56 降至 65.20，当前已发布 VLM 部分，扩散模型与 robot policy 部分即将添加。试用地址 https://embedl.com/nvidia/cosmos3-edge/orin-nano-super
推荐理由：作者给出了量化后各设备的解码速度、峰值内存和五个 VLM 基准的前后分数，部署收益可直接对照验证。
作者开源了一个基于 LangGraph.js 的 GitLab 代码审查 agent，用 sglang 在两块 4090（PCIe、TP=2）上跑 Qwen3.6-35B-A3B（QuantTrio AWQ 4-bit）。单流解码约 180 tok/s（~50k 上下文）、prefill 9-10k tok/s，8 并发共 985 tok/s；单次审查平均 26 次 LLM 调用、2.3M tokens，已累计 1300+ 次审查，约 70% 的评论被作者采纳解决，约 7% 的运行因模型自我循环而终止。
推荐理由：作者给出双 4090 跑 Qwen3.6-35B-A3B 做代码审查的完整吞吐数据和 1300+ 次实测结果，可复用到自己的本地部署。
AtomicChat 发布 DeepSeek-V4.1-Flash-1017 的 DwarfStar（ds4）Q2 版 GGUF，把 DeepSeek 的拒绝方向从权重中投影移除，仅替换写入残差流的 122 个张量，其余字节与原文件一致，文件大小 365.7 GB，MIT 许可。同一编辑在 llama.cpp 实测中，JailbreakBench 英文拒绝率从 91.4% 降到 0.0%，XSTest 安全拒绝率从 8.0% 降到 0.4%，MMLU 变化在约 2 分内；该文件本身尚未在 DwarfStar 上测得数据，适用 Metal（Apple Silicon）、单张 CUDA GPU 或 ROCm。
推荐理由：原文给出同编辑在 llama.cpp 上的 JailbreakBench 等前后实测数据，读者可以据此估算该 Q2 版本的去对齐收益与 MMLU 代价。
AtomicChat 将 DeepSeek-V4.1-Flash-1017 中的拒绝方向从权重中投影移除，发布 GGUF 量化版和 rank-1 LoRA 适配器。实测 JailbreakBench 英文拒绝率从 88.9%/91.4% 降至 0.0%，3.58bpw-Q2_K 档 MMLU 86.0%→86.6%，2.67bpw-IQ1_M 档 MMLU 降至 81.8% 未通过门槛；需支持 DeepSeek-V4.1 的 llama.cpp 构建（如 Unsloth 的 commit 9d907b7cfe0e），Engram n-gram 表可留在 SSD 上分页读取。
推荐理由：原文给出拒绝率、KLD 和 MMLU 的前后对照数据，还说明各量化档的取舍，读者可据此选择合适的版本。
一篇 arXiv 论文提出用 16 MB 冻结 512-bit 编码表替代可训练嵌入层，经主成分投影和符号二值化得到，无任何可训练参数。在 Gemma 3 270M 形状模型上，可学习词表花 2.6 倍可训练参数只换来 0.20 nats 验证损失改善，而冻结词表模型在 LAMBADA、HellaSwag、PIQA 上持平或更好，仅 ARC-Easy 落后；在罕见词上反超 1.7 到 2.3 nats，训练后新增 10,000 词仅损失 3%，可学习词表则崩掉 43%。配合 ternary BitNet b1.58 主体，整个模型仅 46 MB，在笔记本 CPU 上以 62 MB 内存生成 615 到 740 tokens 每秒，速度是 float 模型 8-bit GGUF 的五到六倍、内存为其七分之一。
推荐理由：论文用同一训练设置对照验证冻结 16 MB 词表的效果，并给出 LAMBADA、PIQA 等基准与 CPU 生成速度数据，权重和评测全部开放。
AtomicChat 放出 BFL 的 FLUX 3 Image Klein 提示词扩展器去拒绝版本，通过投影移除拒绝方向，以 GGUF 和 3MB LoRA 两种形式提供。作为对话模型，英语拒绝率从 63% 降到 0%，俄语从 29% 降到 1%，MMLU 仅从 74.15% 降到 73.95%；在 Klein 文生图管线中未观察到去审查效果，因原始图像模型本身已能画出敏感类别。
推荐理由：发布方给出拒绝率、MMLU 和量化损失的完整实测数据，读者可据此判断这个去对齐版本的实际代价。
OpenBMB 的技术文章介绍 MiniCPM-V 4.7 通过 Lookahead Expert Scheduling（LES）在本地运行 35B-A3B MoE，不改变路由或跳过专家。该方法预测下一层所需专家并提前从闪存预加载权重，配合优化的权重布局、混合精度量化和 DSpark 投机解码，在 iPhone 18 Pro Max 达到 20.51 tok/s，是 3.38 tok/s 基线的 6.07 倍；专家权重缩小 26.7% 且五个基准仅降 0.16 分，低内存配置峰值内存约 3 GB。实现已开源在 llama.cpp-omni。
推荐理由：原文转述了 LES 预加载专家权重、不改路由的思路，并给出 tok/s、体积和内存等实测数字，可作本地跑大 MoE 的参考。
pottokao 在 Hugging Face 发布 LiquidAI/LFM2.5-24B-A2B 的去对齐 GGUF 量化版，用 Heretic ARA 去审查后拒绝率从 89/100 降到 0/100，BF16 权重上 KL 为 0.260。所有 attn_output 张量保持 Q8_0，去对齐修改集中在 blk.38.attn_output；IQ3_M 档可在 16 GB 显存单卡运行，模型回答前会先思考，需留较大输出预算。
推荐理由：作者给出了用 Heretic ARA 去对齐前后的拒绝率对比和 KL 数值，并说明各量化档的显存取舍。
Vipera 团队在 GitHub 发布本地 AI 网关 Vipera（PyPI 包名 vipera-ai，MIT 协议），读取 .gguf 模型后提供 OpenAI 兼容的 HTTP 接口，默认监听 http://127.0.0.1:8686/v1。核心特性是硬件感知 planner，根据硬件探测结果生成 gpu_layers、KV cache 类型、n_batch、mlock 和 KQV offload 配置，GPU 加载失败时逐阶段回退到 CPU 安全方案并打印变更；CLI 与 API 共享同一引擎实例，内置 system doctor 诊断、HuggingFace 模型搜索和 bench 吞吐测试。
推荐理由：作者给出 planner 逐层分配 gpu_layers 与 KV cache 类型的具体机制，并在硬件溢出场景下说明了适用边界和基准数据。
开发者 kruzif-x 发布 LM Switcher v0.9.15b（beta），一款仅支持 macOS Apple Silicon 的菜单栏应用加 CLI 加 MCP，用于发现、加载和卸载本地 GGUF 与多种 MLX 系后端模型，各模型独立端口并行运行。核心功能包括 mmproj 视觉投影文件自动配对、mtp/dflash 文件自动排除与挂载、DFlash 投机解码（默认开启）、聊天模板覆盖以修复 Gemma 4 在 opencode 等 agentic 工具下的多轮调用问题，以及独立的 MCP 服务器让 Hermes 等 agent 按需加载卸载模型（默认关闭）。
推荐理由：作者是开发者本人，给出了各引擎端口、CORS 兼容表和 Muse Glimmer 实测吞吐数据，读者可对照自己的硬件与工作流判断是否适用。
veildawn 在 GitHub 开源了 Go 库 ai-protocol，可在 OpenAI Chat Completions、Anthropic Messages、OpenAI Responses、Gemini generateContent 及图像生成 wire 格式之间互转请求、响应与 SSE 流。库仅依赖标准库、无 I/O 与网络，所有映射为纯函数，无法保留的协议事实通过 BodyLosses 和类型化错误显式报告；映射语义基于 LiteLLM v1.100.1 的 MIT 协议映射校验，当前处于 v0.8.x 的 Pre-1.0 阶段。
推荐理由：把 OpenAI、Anthropic、Gemini 等多种 LLM 接口格式的互转抽成无依赖纯函数库，转换丢失的参数会显式报告，适合自建网关的人参考。
Hugging Face 联合 Zhongguancun Academy 与 Telethon 遗传学研究所发布开源 14.8B 模型 Carbon-X，基于 Qwen3-14B，用混合 tokenizer 在单一 decoder 中联合建模 DNA 序列与自然语言。五项 DNA 基准平均 66.7%（关闭思考），比起点 Qwen3-14B 高 27 分，接近 GPT-6.1 Sol 的 67.5% 而推理成本约为其 1/1800，分析 ClinVar 全部 240 万意义不明变异约花 $300。权重以 bfloat16 适配单张 80 GB GPU，可用 vLLM 部署，支持作为 agent 工具调用，未做临床验证、不可用于医疗决策。
推荐理由：原文给出五项 DNA 基准得分、成本对比和完整训练配方，读者可以据此评估这个 DNA 语言模型的实际水平与用法。