方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
/u/asfbrz96 在 Strix Halo（Radeon 8060S、128 GB）上为 llama.cpp fork strix-llama.cpp 开出 rdna35-perf 分支（10 commits，仅 ROCm/HIP）。prompt processing 比 Vulkan 快 21–54%、比原版 ROCm 快 8–174%，领先幅度随上下文深度扩大；生成速度与 Vulkan 打平或落后 2–3%。作者用 KL 散度和 32k 困惑度验证输出质量不变，主要改动包括 RDNA3.5 flash attention kernel、量化 GEMM 调优、MoE 与 Gated DeltaNet 的 decode 融合。
推荐理由：作者给出三种模型在 0k 到 128k 多档深度下的完整实测表，并用 KL 散度和困惑度验证输出未变，数据可直接复现。
Hunter174 发布面向 Godot 4.4 的 GDExtension SaLMoN，通过 llama.cpp 本地运行 GGUF 模型，提供聊天、SemIf 风格语义决策和嵌入向量三类能力，运行时无需 Python、云推理、API 密钥或网络。目前为开发预览版，需从源码构建；Windows 上 Godot 4.4.1 全新导入已通过实测，Godot 4.5+ 全新 headless 导入因上游回归暂不支持（issue #11）。异步加载与推理每节点最多 32 个未完成请求、8 个已加载模型；AVX2 测试机上 native 调优把 Qwen3-0.6B 语义演示从约 16 秒降到 2 秒以内。
推荐理由：原文给出了完整 API 契约、构建步骤与实测数字，开发者可据此评估在 Godot 4.4 本地跑 GGUF 模型的可行性。
GitHub 用户 krazyfencerfrog 发布 Stratum，一个房间制、第二人称交互小说的端到端生成与运行系统。
推荐理由：这个项目把叙事生成与确定性运行时分开，生成本地跑在27B级模型上，对想做LLM结构化生成流水线的读者有可借鉴的工程做法。
fumetodev 在 GitHub 开源 FumetoReaderPlus，一款 Android 漫画翻译阅读器，GPL-3.0 协议，免费无广告无账号。它检测语音气泡并用 PP-OCR 加针对漫画微调的 Hy-MT2 1.8B 模型（ONNX Runtime + llama.cpp）在设备本地完成识别与翻译，旗舰机约每页 6–16 秒，也可接 OpenRouter 或本地 OpenAI 兼容端点；译文由确定性排版引擎回填气泡内，支持连体气泡切分、编辑持久化、整卷批量翻译、翻译后 CBZ 导出，支持 CBZ/CBR/PDF/EPUB 及 Komga/Kavita 服务器，可通过 Obtainium 跟踪更新。
推荐理由：这是一个功能完整的开源漫画翻译阅读器，给出端侧 OCR 加专用翻译模型的具体方案和速度数据，方案可参考。
thehiddenone 在 GitHub 发布 Kōdo，一个把自然语言转为可运行代码的 AI 编码助手，采用多智能体 LLM 工作流，以 VS Code 扩展加本地 Python 服务器形式运行，支持 llama.cpp 下运行 GGUF 本地模型，也支持 Anthropic、OpenAI、DeepSeek、OpenRouter、AWS Bedrock 等云模型。内置约二十多个模型条目的目录、按显存与内存的硬件适配检测、可断点续传的下载管理器，以及 grammar 约束的工具调用解析等本地可靠性加固。
推荐理由：README 直言引导模式尚未完整验证、本地小模型仍逊于前沿模型，读者可以据此判断项目的真实成熟度而非宣传口径。
gdeyoung 发布了 huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated 的 EXL3 3.05bpw 整数量化包，LM 层已消融，n-gram 嵌入表、MTP 头和视觉塔与基座逐字节一致。包内 75,277 个张量为 3bpw、472 个为 5bpw、2 个为 4bpw，大小 84 GB，可在单块 GB10（128GB 统一内存）上以 262,144 token 上下文运行，实测拒绝筛查 20/20 无拒绝、thinking-off 解码约 65 tok/s、226k token 海针测试可召回。模型继承 Qwen Community License 1.0，安全过滤显著减弱，输出责任由使用者承担。
推荐理由：作者给出消融层的说明、拒绝率实测与完整量化配方，读者可据此复现这个 DGX Spark 上的去对齐部署方案。
balkhaisi9 发布 Qwen3.8-27B-Uncensored-Cyber 的 GGUF 量化，用真实 agent 编码会话日志构建重要性矩阵，而非通用英文语料，保留 MTP 头与视觉塔。提供 IQ4_XS（含/不含 MTP，14.96/15.38 GiB）与校准矩阵文件，配对评测显示 IQ4_XS 相对 Q5_K_M 的 PPL 代价为 +0.417%±0.187%，在单卡 V100 上端到端速度为 Q5_K_M 的 1.20x，逐字抄写保真 7/7。该仓库只做量化，无微调或行为改动，上游为 philbert440 的 abliterated 去拒绝模型。
推荐理由：作者给出基于真实agent流量的imatrix校准语料构造方法与配对评测数据，做法可复现，对低比特量化部署有可迁移价值。
/u/human_in_the_looop 在 AMD 7900 XTX 上本地运行 Qwen3.8-Flash-Next，实测上下文上限 506,849 tokens，decode 105–160 tok/s。排查出此前回声问题源自 `preserve_thinking: true` 把先前推理反复喂回 prompt，关闭后消失；质量在 thinking 关闭时 81–84%、开启时 88–94%，深度到 256k 时 decode 下降 18%，已设为日常主力配置。
推荐理由：作者用约1.3万轮对话定位回声触发条件，并给出AMD上500k上下文的实测吞吐与质量数据，方法与配置可迁移。
/u/Chida82 分享在其 sf-ds4-1flash（antirez ds4 的单模型 Metal 后端分支）上流式运行 341 GB Q2 GGUF 于 128 GB M5 Max 的两个 macOS 修复。修复 F_NOCACHE 在 APFS 上 16 KB 页边界外仍部分缓存的问题后，8K prompt 后首 token 从 1.23 s 降到 0.15 s；改用轮询共享邮箱而非等待 command buffer 后 decode 再提速 5.5%-6.2%。相比上游 ds4，prefill +45% 到 +99%，decode 约 30 tok/s（2K 上下文），输出经逐位校验保持一致。
推荐理由：作者给出两个 macOS 底层修复的具体方法与前后数据，流式从 SSD 跑大模型的本地部署场景可以直接对照排查。
shefowl 发布 Qwen3.8-Flash-Next 的 abliterated GSQ-RCO GGUF 剪枝版，每层保留 512 个路由专家中的 352 个，未重量化或重训，基于 IST-DASLab 的 RCO 专家搜索。在 RTX 4050 6GB 加 16GB 内存的笔记本上以 Strata 0.1.42 达到 10.8 tokens/s，全量 512 专家版为 9.0；代价是事实问答 NQ-open 得分 28.4%（全量 33.1%），greedy 代码答案循环次数明显增多。与 dense Qwen3.8-27B 在事实和代码上打平；相比专注代码的 ISTA Coder 速度更快且可在代码外使用。文件共约 56.5 GB，附带 Strata 运行配置和专家档位文件。
推荐理由：原文给出完整速度与基准对照数据，读者可以直接判断这版 352 专家剪枝文件在自己的显存预算下值不值得用。
KaletoAI 在 GitHub 开源了 anima-verse，一个 LLM 驱动的角色模拟器，AI 角色可聊天、按米制地图旅行、更换服装和活动，场景经图像生成后端渲染，并可在 Three.js 3D 客户端中行走。项目采用 Python/FastAPI 后端与 React 前端，支持多提供商 LLM 路由、分层记忆整合、意图系统、LoRA 库和 XTTS v2 等语音后端。项目处于 Alpha 阶段，由单人开发者以 vibe coding 方式构建，含成人内容能力但 NSFW 包单独分发，采用 source-available 非商业许可证。
推荐理由：原文详细描述了把 LLM 对话与图像生成作为一等机制整合的架构与路由设计，读者可以借它了解这套活世界模拟器的搭建方法。
robertn702 在 GitHub 发布 reasoning-router（alpha），用分类器为编码会话每一步选择推理努力，让单一强模型兼顾快速编辑与高难调试，支持 OpenCode、Pi 和 Codex CLI 等客户端。在 GPT-6 Astra 的 SWE-bench Verified 少量示例任务中，简单 Flask 修复少用 52% 输出 token、耗时约减半，较难任务仅省 5-7%；默认分类器为 TypeSafe 的 Jev，也可换 Cloudflare Clef、自托管的 Laya、Kev、CLM 或 OpenAI Decisions。
推荐理由：原文给出按步路由推理努力的具体架构和多分类器选择，还附了少数任务的 token 节省示例，方便读者自行评估适用性。
JawadulHadi 在 GitHub 发布 llm-provider-gateway，一个零运行时依赖（仅 zod）的 TypeScript 网关层，统一对接 Ollama、OpenAI 兼容服务（OpenAI、Groq、OpenRouter、LM Studio 等）和 Anthropic。特性包括统一 ProviderError 错误类型、等抖动指数退避重试、基于 Promise.race 与 AbortSignal 的超时、熔断器、按价格表计算 costUsd，以及用 zod 校验 JSON 并给模型一次修复机会。设计上 400 快速失败不回退、认证错误不重试但回退、价格作为配置而非代码；已知限制是无流式输出、无工具调用透传、熔断状态仅存进程内存。
推荐理由：作者讲清了多提供商网关的容错设计取舍，包括错误归一、退避抖动与熔断策略，适合部署参考。
Reddit 用户分享 Project Maya，可在自有 GPU 上本地运行 GLM-5.3-Flash（321B 参数、每 token 约 18B 激活、最高 1M token 上下文，MIT 许可）。作者从原方案的约 10 tokens/s 提升到 30 tokens/s；项目称四张 RTX 4090 上可达 118 tokens/s，单张 RTX 5090 达 30+，自有量化保留 FP8 模型 97.7-99.2% 的 zero-shot 精度，并提供 OpenAI 与 Anthropic 兼容 API。项目地址 https://github.com/mw00/project-maya。
推荐理由：作者给出单卡与多卡的具体 token 速度和量化精度数据，想本地跑 GLM-5.3-Flash 的读者可以据此估算自己的硬件门槛。
mustafa-ozen95 在 GitHub 发布 Nedese Studio，一个 Windows 本地 AI 媒体工作室，覆盖图像、视频、语音、音乐、3D 模型、单片短片生成、口型同步、模型训练与数据采集，全部在本机运行、不外发数据。
推荐理由：原文完整列出了各子系统的模型选型、12 GB 显存实测环境和部署细节，可作为在本地搭全套媒体生成流水线的可复用参考。
GitHub 项目 turnstyle 发布，通过 LogitsProcessor 在 token 采样前介入生成，用算术、日期、单位、WASM Python 沙箱等 oracle 计算答案并偏置正确数字。每次干预写入 DigitAudit 审计轨迹，解析失败时模型自由生成；支持自定义 Turnstyle 子类和 DispatchTurnstyle 自动路由，pip install turnstyle 即可安装，适配任意 HuggingFace causal LM。
推荐理由：项目给出了完整的 token 级 logit 偏置实现与审计机制，读者可以直接复用这套符号约束解码方法来抑制模型幻觉。
HUPI 发布了一个自托管记忆网关，以 OpenAI Chat Completions API 兼容接口架在现有 AI 客户端与 LLM 供应商之间，每轮对话前注入相关记忆、之后持久记录，支持加密、多租户、供应商无关切换与审计。每条记忆独立对照来源核实，所有检索决策可事后查验；Tier 1/2（单用户网关、检索、整合、加密、管理 UI 与 CLI）MIT 开源，Tier 3 团队共享版另行商业授权，项目仍在开发中并附 LoCoMo/LongMemEval 基准。
推荐理由：原文交代了记忆网关的架构、供应商无关设计和三层授权划分，读者可以评估这套自托管记忆方案是否适配现有客户端。
Postward 开源 postward-creative-mcp，一个完全本地运行的 MCP 服务器，通过 Docker 提供 23 个工具，让 Claude、Cursor、Codex 等助手用自然语言完成视频与图片编辑。底层是 ffmpeg（16 个视频工具）和 ImageMagick（4 个图片工具），全程零网络调用、无需 API key 或账号、无水印无上传，输出附带 filePath、MIME、bytes 和 SHA-256。另有可选的 prepare_for_postward 工具为 Postward 托管版生成、审核与发布流程做元数据交接。
推荐理由：一个零联网的本地媒体编辑 MCP 服务器，用自然语言驱动 ffmpeg 和 ImageMagick，适合关心隐私和本地部署的用户。
CCSSNE 在 Hugging Face 发布基于官方 QAT 权重的 HauhauCS 去对齐版 Gemma4-31B，实测 0/465 拒绝，数据集和能力不变。提供 Q4_K_M 主模型（18.7 GB）、mmproj 视觉文件（1.2 GB）和来自 Unsloth 的 MTP 投机解码头（280 MB），经 llama.cpp 测试生成速度约快 53% 且输出一致；支持 256K 上下文与图像输入，兼容 llama.cpp、LM Studio、Jan、koboldcpp 等 GGUF 运行时。
推荐理由：原文给出拒绝率实测结果和 llama.cpp 部署命令，还说明 QAT 4-bit 量化选型理由，可作为去对齐模型的参考样本。
CCSSNE 在 Hugging Face 发布基于 Google DeepMind Gemma4 26B-A4B 官方 QAT 权重的去对齐 GGUF 版本，作者实测 0/465 拒绝，数据集与能力不变。推荐 Balanced 变体面向 agentic coding、推理与创作场景；附带 Unsloth 的 MTP 投机解码头，经作者在 llama.cpp 中测试生成速度约快 35% 且输出不变，支持 256K 上下文与 mmproj 视觉输入。
推荐理由：作者给出了拒绝率实测结果和消融思路，还附 MTP 投机解码速度对比，读者可自行评估这个去对齐版本的实际可用性。