方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,761 条
腾讯混元发布 Hy-Memory-30B-A3B，一个约 3B 激活参数的长期记忆写入模型，可直接替换 Mem0、MemOS、Hy-Memory 等外部记忆框架中的通用 LLM。训练分两阶段，先做 Memory On-Policy Distillation 再做归因记忆强化学习，可零改动迁移到未参与训练的 EverMemOS。在固定 20% 基准子样本的四框架宏观平均分上得 55.49，超过 Claude Opus 5（54.62）和 DeepSeek V4.1 Flash（53.64）。权重、框架代码和技术报告均已开源。
推荐理由：原文给出了固定基准矩阵上与多个通用大模型的横向对比，可以评估这个小模型在记忆写入上的性价比。
RomTranslate Studio 在 GitHub 开源，可在本地用 AI 翻译复古游戏 ROM，支持 11 种文件格式检测、逐行校验与 IPS/BPS 补丁导出，ROM 不离开本机。实测一个商业 GBA 游戏回写 10,705 段文本，控制码 3,699/3,699 字节级一致，经 Codex CLI 的 AI 译文 199/200 通过校验，4 批并行 86 秒译 200 行。支持 Ollama、ChatGPT 订阅、Claude API 及任意 OpenAI 兼容端点，GBA/DS/NES/SFC 等平台均为实验性，压缩文本与日语回写仍是短板，软件处于 alpha 阶段，MIT 许可。
推荐理由：原文给出了在真实 GBA 游戏上的实测数据与各平台支持矩阵，读者可据此判断这个本地 AI 汉化工具目前能做什么、还差什么。
shank15217 在 GitHub 发布 minicpm-webapp，一个用本地 llama.cpp 运行 MiniCPM-V-4.7-1B 多模态模型的 FastAPI 应用，可描述分类图像并通过与基线截图比对检测网页篡改。判定由确定性的 dHash64+MAE 像素比对拥有，VLM 只对被标记的波段做单图旁白；支持 detail（f16，640×480 约 832 token）和 fast（-4x 下采样，约 223 token）双视觉模式，附 U1–U6 测试计划和 W1–W11 已知弱点清单（如亚 1% 面积改动可过阈值、存在 SSRF 缺陷建议仅限局域网部署）。
推荐理由：用确定性像素比对拥有判定权、VLM 仅做旁白的架构做网站篡改检测，还公布了已知弱点清单和实测 token 数，部署细节可迁移。
davidcristian 在 GitHub 开源了个人本地优先 AI 助手 Cortex，由宿主原生 Rust/Tauri 外壳（全局热键 Ctrl+Alt+Space、悬浮层、屏幕捕获、OS 操作）通过 gRPC 连接 dockerized Python 大脑（llama.cpp 推理、Postgres+pgvector 语义记忆、MCP 工具、子智能体）。所有状态存在本地 Redis 和 Postgres 中，模型可随时热替换而不丢状态；不可逆操作如发邮件需在悬浮层审批卡确认；三层模型包括常驻的 gemma-4-12B 多模态 QAT Q4、2-4B 子智能体阵容和按需加载的 31B 级推理模型，按 14 GB 软 VRAM 预算调度。
推荐理由：架构文档写得相当完整，三层模型调度、pgvector 记忆和不可逆操作审批机制都有具体设计，适合研究本地助手工程的人参考。
hokanosekai 发布 llama.kt，一个 Kotlin/Android JNI 绑定，可在设备端加载任意 GGUF 模型运行推理，无需服务器或云端，原生 C++ 引擎提取自 llama.rn 并以纯 Kotlin API 重新暴露。在 OPPO（MediaTek Dimensity 900）上验证，Qwen2.5-0.5B（q4_K_M）CPU 约 20 tok/s；实测显示稠密模型在大核 CPU 上最快，Vulkan 仅对 Gemma 3n/4 更优，8GB 级设备可用上限约 4B 量化模型。多轮对话通过 KV cache 前缀复用，4 轮后 TTFT 保持 1.7–2.4s，而完整重预填充约需 48s。
推荐理由：作者在真机上给出多款模型的 CPU 与 Vulkan 后端实测数据，读者可据此判断这类端侧 GGUF 推理方案的实际可用规模。
tatekuperus 在 Hugging Face 发布基于 Qwen/Qwen3.6-27B 的多阶段微调与合并模型 Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic GGUF 量化版，作者称其为首个在 8bit 和 4bit 下 ARC-C 超过 700 的该规模微调。去审查由 trohrbaugh 用 Heretic v1.2.0+custom 的 Arbitrary-Rank Ablation 方法完成，拒绝率从原版 99/100 降至 4/100，KL 散度 0.0469；作者给出的基准显示该模型在 7 项基准中 6 项超过 Qwen3.6-27B 基座。
推荐理由：作者给出 Heretic 消融方法与去审查前后拒绝率对比，并附多组基准和第三方实测数据，可核对去对齐是否损伤模型能力。
Reddit 用户 /u/Sanbi_Ai 复盘 Kimi K3 发布三个月后的实际使用状况：全模型 1.56 TB，Unsloth 推荐的最小量化为 594 GB，需约 610 GB RAM+VRAM，装不进 512 GB；1-bit 量化与全模型下一 token 一致率 79%，2-bit 达 90% 但需 861 GB。其在 Artificial Analysis 指数已从 57 降至 44，GLM-5.3（753B）得 45，Step 5 Preview（600B）以 44 追平；自家 API 仅 43 tok/s，AA agentic 基准平均每任务近一小时、超 $10。许可证非 MIT，公司若 12 个月内总收入超 $20M 需与 Moonshot 另行签约。
推荐理由：作者用 Unsloth 量化文档和 AA 数据逐项核算了 Kimi K3 的本地运行门槛、API 速度和许可证限制，信息可直接用于部署决策。
团队发布 ORL（On-Policy Residual Learning）研究并全量开源，用 on-policy 残差学习和 Adjacent Entropy Contraction 让扩散语言模型在更少前向传播内收敛更多 token。配合自研推理引擎 dlmrt，LLaDA-2.1-mini + ORL 在单张 RTX 5090 上达 2,788 tokens/s（NVFP4），DiffusionGemma 26B MoE 达 7,708 tokens/s（8× B200）；QwenDLM-4B 端到端吞吐提升约 6.9×，HumanEval pass@1 从 82.9% 升至 89.6%，单 H100 上 1,298 tokens/s，快于 DFlash 的 746 和 EAGLE3 的 405。
推荐理由：原文给出各模型吞吐、HumanEval 前后对比和与 DFlash、EAGLE3 的同精度对照，可复现的代码和权重也已开放。
GitHub 上的 elitza-code 仓库发布 Elitza，一个定位为“与你一起成长”的 AI 伴侣终端 Agent，是 OpenCode 终端 Agent 的分支，MIT 协议开源。它使用 OpenRouter :free 免费模型或用户自带密钥（BYOK），不内置任何 key；记忆基于 SQLite 的 soul.db，含 persona 和自写技能，核心身份存于 ~/.elitza/SOUL.md 可编辑；提供带 sessions、subagents、LSE、diffs 和插件系统的全屏 TUI，数据全部保留本地。安装命令为 curl -fsSL https://elitza.life/install.sh | bash，源码运行需 Bun 1.4.2+。
推荐理由：这是一个可本地运行的伴侣型终端 Agent，README 讲清了记忆存储、人格文件和 BYOK 的具体构造，可按需取用。
NVIDIA 在 Hugging Face 发布 4B 参数的循环（latent-recurrent）模型 NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16，采用 normalized-GPT 架构，通过重复应用共享 Recurrent 块（8 层输入、20 层循环、8 层输出）让每个 token 获得更多计算。单一 checkpoint 可设 1-4 个循环，无需重训即可权衡算力与精度，官方推荐默认 2 循环，并支持 last-loop KV caching 使 KV cache 开销保持在一循环大小。
推荐理由：同一个 checkpoint 可调循环次数换精度，作者还给出各 loop 数的实测对比与 KV cache 省显存方案，适合关注小模型推理成本的人。
Wei Wang 在 arXiv 发布 FUTRANSFORMER，一个面向 NVIDIA Hopper GPU 的 Llama 风格 Transformer 推理 CUDA 实现，prefill 用 FP8、decode 用 INT4 权重和 INT4 KV-cache，并采用块对角 Hadamard 变换降低缓存量化误差。
推荐理由：论文给出 Llama 推理在 H100 上 FP8 prefill 与 INT4 decode 的具体实现和量化精度代价，数字可核对、方法可参考。
edp1096 在 Hugging Face 发布 Huihui-Qwen3.8-Flash-Next-abliterated-FP4-Local，将经审计的 Huihui v2 修改从匹配的 Unsloth/Huihui Q8_0 权重迁移到 NVIDIA FP4-Local 检查点，变更投影重建后取整为 BF16 并编码为 MXFP8，NVFP4 专家、PLE、MTP、视觉与 tokenizer 保留 NVIDIA 原始字节。
推荐理由：原文给出了量化 delta 迁移的具体做法和 DGX Spark 上的运行测试记录，读者可以据此判断该检查点的实际可用状态。
slavabars 在 GitHub 发布开源项目 decision-cascade，一个本地运行的机器原生决策引擎，不生成文本而是让 state 经编码器后由 Noul、Choice、Score 三类决策头返回带置信度的类型化概率结果，无 token 生成、延迟确定。支持 SFT 训练与 RLCD 校准（GRPO 式），内置 ECE/Brier 校准、延迟剖析与级联路由：本地头部先答，低置信度问题按阈值或错误预算升级到外部 SystemOne 兼容服务（如 Cloudflare Clef、Perplexity Decider）。
推荐理由：仓库给出从 SFT 训练、ECE/Brier 校准到延迟剖析的完整闭环和诚实数字，适合想本地化决策引擎的读者参考其评测方法。
BitRun 发布 v0.2.0-beta，新增 BitRun Cockpit 分屏界面，左侧流式输出 token，右侧实时显示 CPU 功耗、每 token 焦耳、P/E-core 负载与首 token 延迟。模型侧脱离 Microsoft 冻结子模块、基于新版 llama.cpp 重构，解决 GGUF Type 42 冲突，使 PrismML 的 8B 三值模型 bonsai-8b 可在约 2 GB 内存中纯 CPU 运行。
推荐理由：作者给出了多款 CPU 上的实测功耗与生成速度数据，1-bit 模型在纯 CPU 上的瓦数表现可直接对照自己的硬件参考。
Reflection 新实验室的首个模型 Beam 在 Hugging Face 开源，为 501B 参数 MoE（每 token 激活 23B），支持 1M token 上下文，采用 Apache 2.0 许可，主打编码与智能体场景。提供 BF16、FP8、NVFP4 三种检查点，transformers、vLLM、SGLang 均已 day-0 支持，并附 LoRA SFT 与 Miles GRPO 训练配方；Hub 上分享用 Beam 构建的项目可竞争 10,000 美元额度。
推荐理由：官方博客给出架构细节、三档精度的实测跑分和从推理到 SFT、RL 的完整部署与训练配方，便于评估上手成本。
Reflection 首个开放权重模型 Beam 于10月16日发布，Ollama 作为 day-zero 合作伙伴限时免费提供，Beam 端点全程零数据保留（ZDR）。Beam 是 MoE 模型，总参数约501B、每 token 激活23B，上下文窗口100万 token，采用 Apache 2.0 许可，面向软件工程、推理和长程 Agent 任务，可通过 ollama run beam:cloud 或 Claude Code、Codex、OpenCode 调用。
推荐理由：官方公告同时给出与 Kimi K3、GLM 5.3 等模型的 Agent Coding 跑分对照表，读者可直接比较 Beam 在各编码基准上的位置。
arXiv 论文 2610.23255 提出 SPLIT，用小规模标注试点通过经验贝叶斯拟合精确公式，在固定预算下规划采样数量、模型选择与验证开销，覆盖接受/拒绝和最高分选择两类验证方式。在七个基准、26 个模型、175 个智能体系统和六类真实验证器上，SPLIT 距事后最优分配仅差 0.02-0.8 个百分点，而所有测试的固定规则在部分场景至少损失 2.5 个百分点；该公式还解释了何时增加 LLM judge 反而降低精度，代码将发布。
推荐理由：论文提出用小规模标注试点来规划测试时算力分配，覆盖26个模型和六类真实验证器的实验规模可作方法参考。
Reddit 用户 /u/Aroochacha 在自己的 4x DGX Spark 上复测 DeepSeek-V4.1-Flash，并与 Wccftech 报道的 Patrick Moorhead 结果对比。他指出 Wccftech 所列 476 GB 内存占用实为磁盘上的 476 GiB（511 GB），模型权重本身 511 GB，实际只能用每台 Spark 约 80%-92% 的内存，模型无法完整驻留内存，需用 SGLang TP4 加从各节点本地 NVMe 流式读取的约 196 GB Engram 表（带约 4 GB row cache）才能跑起来。
推荐理由：作者在自建 4x DGX Spark 上复测 DeepSeek V4.1 Flash，给出逐档 prompt 的完整数据，并指出 Wccftech 把磁盘占用误报为内存需求。
ornith-ai 发布 Ornith-1.5-122B，一个 122B MoE 模型，将 Ornith-1.0 的自我改进循环扩展到联合优化任务生成、scaffold 构建和解题 rollout，通过强化学习持续生成训练任务并改进策略。模型支持 262,144 tokens 上下文（YaRN 缩放后约 1M），可单张 80GB GPU 部署，并提供量化 Mobile 变体。基准中 SWE-bench Verified（non-hack）84.5、TerminalBench 2.1 为 81.2，评测采用防 reward hacking 措施并以 Claude Opus 作为 judge。
推荐理由：模型卡同时给出多基准成绩与防 reward hacking 的评测细节，读者可对照同参数量级模型比较编码与智能体表现。
candor-lab 用自研权重编辑工具 Candor 移除 Qwen3.5-9B 的拒绝行为，以 rank-1 编辑每层 attention 与 MLP 输出矩阵，发布单个 Q4_K_M GGUF 文件（5.78 GB）。实测 288 条 StrongREJECT 有害提示拒绝数从 279 降到 0，无害提示拒绝 5 降到 2，GSM8K 正确数与原模型差异在噪声内；与 heretic 最佳试验相比，有害提示中位思考 token 为 996 对 1648，数学超预算次数也更少。基于 Qwen/Qwen3.5-9B 原始 16 位权重，不含视觉编码器，Apache 2.0 协议，仅用 llama.cpp b11524 在思考开启下实测，LM Studio 和 Ollama 等未验证。
推荐理由：原文给出与原模型和 heretic 对照的拒绝率、KL 散度和 GSM8K 数据，可据此判断这次权重编辑的代价与效果。