方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
fulloffload.com 收集本地 LLM 的真实 tokens-per-second 实测数据：用户提交设备、所用命令（llama.cpp、Ollama、vLLM、MLX、LM Studio 等）及其输出的生成与 prompt 处理速度，访客按 GPU 或 Mac 查看各 runtime、模型、量化和设备数量的中位速度，每个数字都附原始命令。
推荐理由：原文完整公开了众包本地推理测速站点的架构与部署细节，读者可以照着复现或提交自己的硬件数据。
论文提出 LoGRA，一种通过低秩梯度草图保留学习信号的 RL 后训练方法，可将平均训练内存最多降低 45.7% 且不损失性能。该方法配合 predicted-KL 步长控制防止更新过大，并支持在单个八 GPU 节点上稳定训练 27B 参数模型超过 1,100 步，而 dense Adam 在此场景下会内存溢出。代码开源于 Molt 库。
推荐理由：原文给出了 LoGRA 的内存压缩幅度和 27B 模型单节点训练步数等具体数据，可据此评估该方法对 RL 训练内存瓶颈的缓解程度。
arXiv 论文 2610.06666 提出 FLaRe（Flow-based Latent Reasoning），一种基于流匹配在习得潜空间中进行推理的训练配方，涵盖潜空间编码内容与塑形方式、流的训练位置、答案读出方式，以及在模型自身经验证思维上的最终训练阶段。
推荐理由：论文提出 FLaRe 训练配方，用流匹配在潜空间做推理，给出五项要求的逐项探针验证和与显式 CoT 的精度延迟对比。
作者将开源 TTS 模型 Kokoro-82M 蒸馏为 8.07M 参数的单音色模型 Paradee，参数量减少 10 倍、计算量减少 15 倍。方法先用教师模型合成语料并保留时长、音高、能量和音素特征，分别训练文本侧与解码器后拼接，并量化为 int8；int8 版本仅 8.5 MB，单 CPU 线程下 25 倍实时速度，UTMOS 得分 4.41（教师为 4.52）。
推荐理由：论文给出了蒸馏各阶段、UTMOS 对比和相位问题的排查过程，方法无需对齐学习，可在单 CPU 上复现部署。
arXiv 论文（arXiv:2610.06851）研究训练数据如何在 base 模型回复的起始 token 与后续推理行为之间建立关联，发现固定特定起始 token 线索即可让 base 模型在数学和编码上接近其 RL 训练版本。
推荐理由：论文用因果数据干预把推理行为追溯到训练数据，并给出固定起始 token 即可逼近 RL 版本性能的具体数字。
grunion-ai 发布开源自托管工作平台 weave，定位为 Airtable、Fibery、Notion 数据库和 ClickUp 的替代品，将 AI 智能体作为一等用户。
推荐理由：原文给出了与 Airtable、NocoDB、Grist 等产品的逐项对比和部署要求，读者可以据此判断它是否适合替代现有工作管理工具。
GitHub 项目 little-chits 发布，这是一个可观看的人工小文明模拟：AI 小人（chits）在岛上从几乎一无所知开始，通过实验发现配方、建造房屋与工坊、互相教学、繁衍并留下记忆的世界。
推荐理由：原文给出了完整的部署命令、双模型对战与文化实验模式，读者可以直接在本地复现这个可观测的 AI 文明模拟。
Carlos Galarza 发布开源引擎 Slotstream，可将 125B 参数的 Qwen3.8-Flash-Next（约 105 GB）运行在 16-64 GB 内存的 Apple Silicon Mac 上，原理是把共享权重留在内存、按需从 SSD 读取 MoE 专家到缓存。
推荐理由：作者给出了各内存档位的实测速度区间和 0.2.23 版本的 prompt 处理对比数据，读者可以据此判断自己的 Mac 能跑到什么水平。
trillion-labs 在 GitHub 开源 trida-stack，一个把自回归 LLM 转换为 block-diffusion LLM 并提供推理服务的仓库，训练与推理两个栈相互独立。
推荐理由：原文给出了从 AR 到 block-diffusion 的转换方法、损失设计和双后端部署细节，读者可以照着复现训练与推理。
retronym 开源 mlx-lm-setup，在 localhost:8090 部署一个网关，按需在 Apple silicon 上以 MLX 启动开放权重模型、空闲时卸载，并把内存控制在 28 GB 预算内，数据不出本机。
推荐理由：作者给出了各模型的内存占用、加载策略和选型实测数据，读者可以据此评估在单台 Mac 上跑多模型本地网关的可行性。
GitHub 项目 Poster-chan AI 发布，把个人云、Jellyfin 兼容媒体服务器和本地 AI 推理整合进一个自托管节点，数据以加密 Nostr 事件存在自建 relay 上，支持网页、桌面、Android 和 CalDAV/CardDAV 客户端。
推荐理由：把个人云、Jellyfin 兼容媒体服务器和本地 llama.cpp 推理整合进一个自托管节点，数据以加密 Nostr 事件存储，适合想替换云服务又保留 GPU 能力的读者。
ishan-parihar 发布 Rust 编写的 artificial-route 网关，以单个静态二进制提供覆盖 276 家提供商、1559 个模型的 OpenAI 兼容端点，空闲 RSS 约 28.3 MiB，对比同机运行的 OmniRoute v16.3.1 约 1003 MiB。
推荐理由：作者给出与 OmniRoute 同机同刻的内存对比和逐项差异清单，连已知缺口都写明，读者可据此评估是否替换现有网关。
Nib 是一款 macOS 本地优先的语法与写作助手，通过 Accessibility API 监控任意应用中的文本框，结合 Harper 规则引擎与本地 LLM 提供点击纠错和整句 AI 改写，100% 端侧运行、无网络请求、无需账号。
推荐理由：原文给出各档本地模型的实测分数与逐应用兼容策略，可对照评估纯离线写作助手的可行方案。
AMD 发布开源项目 ROCm Hyperloom，一个在 AMD Instinct GPU（MI300X/MI325X/MI355X）上自动优化推理的多智能体 harness，支持 vLLM、SGLang 和 xDiT 上的文本生成、图像生成及自定义流水线。
推荐理由：AMD 官方开源的多智能体推理优化工具，把基准测量、验证和知识库复用都收进闭环，读者可据此了解自动化调优的工程做法。
midagedev 发布 bloomery 0.2.1，一个用 Rust 从 HTTP 服务器写到 CUDA kernel 的 MoE 推理引擎，兼容 llama-server 的 HTTP API 与 GGUF 文件，OpenAI 客户端无需改动。
推荐理由：原文给出了各模型在具体硬件上的实测吞吐和与 llama.cpp 等引擎的同卡对比，读者可据此评估这套 MoE offload 方案是否适合自己的配置。
GitHub 开源项目 yt-llm-service 提供基于 FastAPI 的 YouTube 音频转写服务，用 WhisperX large-v3-turbo 做转写和说话人分离，并经 llama.cpp 侧车调用本地 gpt-oss-20b MXFP4 生成结构化 Markdown 笔记。
推荐理由：原文给出完整的部署参数、VRAM 管理机制和实测速度数据，读者可以按自己的显卡配置直接复用这套本地转写方案。
论文提出 BudgetAPO，一种面向紧预算场景的单阶段自动提示词优化方法，解决 GEPA、OPRO 等方法依赖数百到数千次模型调用、难以用于付费限流 API 的问题。
推荐理由：论文针对付费限流 API 下提示词优化预算受限的场景，给出了按任务噪声自适应分配评估调用的具体方法与跨基准对比数据。
论文提出 SO-RSI 框架，将递归自我提升（RSI）从一阶参数修补升级为二阶诊断，先调查失败原因再进行结构性修改。该框架通过监控执行轨迹中的复现、反向编辑和预期不匹配三类结构异常触发诊断，并在多轮间维护持久 inquiry memory。
推荐理由：论文给出 SO-RSI 在 Lean 4 与 Verus 上相对 Naive RSI 的提升幅度和失败复发分析，方法可迁移到工作流自优化场景。
论文提出 Universal Test-Time Training（uTTT），让所有层读写同一份在线更新的共享记忆，使记忆在时间与深度两个维度上循环，并给出 uTTT-MoE 与 uTTT-Dense 两种实现。
推荐理由：论文提出让各层共享同一测试时记忆的 uTTT 架构，并给出 RULER 与新视角合成数据，可对照层私有记忆方案评估收益。
arXiv 论文（arXiv:2610.05564）提出 Attention Relay 方法，将指令微调 LLM 产生的注意力权重传递给 Transformer 嵌入模型自身的注意力，使嵌入模型无需训练即可遵循任务指令。
推荐理由：论文提出无需训练的 Attention Relay，把 LLM 注意力权重传给嵌入模型，并在多个模型族组合上验证了指令感知效果。