新闻、仓库与研究，按时间排列。
Hunter174 发布面向 Godot 4.4 的 GDExtension SaLMoN，通过 llama.cpp 本地运行 GGUF 模型，提供聊天、SemIf 风格语义决策和嵌入向量三类能力，运行时无需 Python、云推理、API 密钥或网络。目前为开发预览版，需从源码构建；Windows 上 Godot 4.4.1 全新导入已通过实测，Godot 4.5+ 全新 headless 导入因上游回归暂不支持（issue #11）。异步加载与推理每节点最多 32 个未完成请求、8 个已加载模型；AVX2 测试机上 native 调优把 Qwen3-0.6B 语义演示从约 16 秒降到 2 秒以内。
推荐理由：原文给出了完整 API 契约、构建步骤与实测数字，开发者可据此评估在 Godot 4.4 本地跑 GGUF 模型的可行性。
该研究将 LLM 自回归解码的累积预测误差过程证明为鞅，其条件一阶矩恒为零，并给出二阶行为的闭式表达：可预测二次变差等于各步 (1-p(y_t|y_<t)) 之和，仅由已实现的 token 概率即可计算。在 Llama-3.x 与 Qwen2.5（1B 至 72B 参数）上的白盒实验验证了理论预测，为 LLM 生成文本检测与不确定性量化奠定数学基础。
BeCloudReady（Databricks 注册合作伙伴）在 GitHub 开源四套动手实验仓库，涵盖 AWS 数据湖、Databricks AI/BI Genie 会话式智能体、React + FastAPI + Terraform 全栈 AWS，以及基于 vLLM 和 LiteLLM 的 LLM Ops。每个实验自带 IAM 预设权限、分步指南和示例数据，其中全栈课程含 7 章 4 个可部署项目，LLM Ops 涵盖 GPU 实例上的推理部署、Prometheus/Grafana 监控与成本追踪。项目采用 Apache License 2.0。
Reddit 用户 /u/Distinct-Pie2389 发布了自研工具 Berth，用于解决多引擎同跑一张 RTX 4090 时的 CUDA out of memory 问题。每个引擎通过 berth run 启动并向 daemon 申请显卡，高优先级引擎请求时按 llama-swap unload URL、SIGTERM、SIGKILL 顺序卸载当前占用者，并用 nvidia-smi 确认显存释放后才交接。
balkhaisi9 发布 Qwen3.8-27B-Uncensored-Cyber 的 GGUF 量化，用真实 agent 编码会话日志构建重要性矩阵，而非通用英文语料，保留 MTP 头与视觉塔。提供 IQ4_XS（含/不含 MTP，14.96/15.38 GiB）与校准矩阵文件，配对评测显示 IQ4_XS 相对 Q5_K_M 的 PPL 代价为 +0.417%±0.187%，在单卡 V100 上端到端速度为 Q5_K_M 的 1.20x，逐字抄写保真 7/7。该仓库只做量化，无微调或行为改动，上游为 philbert440 的 abliterated 去拒绝模型。
推荐理由：作者给出基于真实agent流量的imatrix校准语料构造方法与配对评测数据，做法可复现，对低比特量化部署有可迁移价值。
Yap 是一个基于 Llama 3.2 Instruct（GGUF Q4_K_M）的本地 AI 教育助手，通过 llama.cpp 纯 CPU 推理，无需联网，面向 Debian 13。项目提供 main、lowmem、ultra-lowmem 三个配置分支，最低内存需求从约 3.5 GB 降至约 1.8 GB，默认西语并支持英语和 Mapudungun。系统采用应用与域名白名单保障安全，意图分类由 LLM 本身完成，CPU 速度约 40 tok/s。
一位 Reddit 用户在 r/LocalLLaMA 求助如何用 vanilla llama.cpp 跑 Qwen3.8-Flash-Next 的 IQ3_XXS 量化。Strata 可在双 RTX3060 12GB + 64GB RAM 配置上达到约 35 tps（思考）/50 tps（代码），而他只跑到 15 tps；他还遇到 tensor split 不支持该模型（报 cudaMalloc failed）、以及在 HF 上找不到 Strata 使用的 800MB mtp q2_0 drafter（仅有 3.5 倍大小的 mtp-Qwen3.8-Flash-Next-Q4_K_M.gguf）等问题。
/u/Chida82 分享在其 sf-ds4-1flash（antirez ds4 的单模型 Metal 后端分支）上流式运行 341 GB Q2 GGUF 于 128 GB M5 Max 的两个 macOS 修复。修复 F_NOCACHE 在 APFS 上 16 KB 页边界外仍部分缓存的问题后，8K prompt 后首 token 从 1.23 s 降到 0.15 s；改用轮询共享邮箱而非等待 command buffer 后 decode 再提速 5.5%-6.2%。相比上游 ds4，prefill +45% 到 +99%，decode 约 30 tok/s（2K 上下文），输出经逐位校验保持一致。
推荐理由：作者给出两个 macOS 底层修复的具体方法与前后数据，流式从 SSD 跑大模型的本地部署场景可以直接对照排查。
一位 Reddit 用户在 R9700 上实测了三个 Qwen3.8 27B 量化版本，用 gsm8k（数学）和 humaneval（代码）评测。结果出乎意料：Swift-1.5-Qwen3.8-27B-MXFP4-A-outQ6_K 在数学上最佳，Qwen3.8-27B-UD-Q6_K_L 反而最差，而 Swift-Qwen3.8-27B-Q6_K 速度最慢。作者表示需跑完整测试套件才能得出更精确结论。
开发者发布 little-gemma V1.0 引擎的 Fork 版本，将 exllamav3 移植到 Jetson Orin Nano Super 8GB 上运行 Gemma E4B。相比穷尽 GGUF 优化后的 llama.cpp，EXL3 方案 prefill 速度更快，虽解码速率有所下降，但语音对话整体延迟更低。作者已公开 Fork 与权重，但提醒该方案并非适合所有人。
Yii 官方发布 yiisoft/demo-summarizer，一个可运行的 Yii3 演示项目，支持上传 Markdown、HTML、PDF、DOCX 等文档，提取 markdown、生成本地摘要并跟踪处理进度。单次最多上传 20 个文件、每个 50 MB，文件存入 S3 兼容存储，任务经 yiisoft/queue 处理，默认通过 llama.cpp Docker 服务用 gemma-3-1b-it-Q4_K_M 模型（4096-token 上下文）做摘要，测试可切换确定性 mock 摘要。
robertn702 在 GitHub 发布 reasoning-router（alpha），用分类器为编码会话每一步选择推理努力，让单一强模型兼顾快速编辑与高难调试，支持 OpenCode、Pi 和 Codex CLI 等客户端。在 GPT-6 Astra 的 SWE-bench Verified 少量示例任务中，简单 Flask 修复少用 52% 输出 token、耗时约减半，较难任务仅省 5-7%；默认分类器为 TypeSafe 的 Jev，也可换 Cloudflare Clef、自托管的 Laya、Kev、CLM 或 OpenAI Decisions。
推荐理由：原文给出按步路由推理努力的具体架构和多分类器选择，还附了少数任务的 token 节省示例，方便读者自行评估适用性。
Mojeda01 在 GitHub 发布 Resonance Agent Infrastructure，一个用 C 写在 llama.cpp 之上的本地 LLM 推理与 agent 运行时。它以常驻 daemon 方式扫描目录并按需加载 GGUF 模型，通过 Unix domain socket 和紧凑二进制协议通信；每个会话使用独立的 KV cache sequence 保留上下文，流式返回 token 及 TTFT 和 tokens-per-second 统计，并内置工具循环，可执行读写文件和带超时与输出上限的 shell 命令。构建需 CMake ≥ 3.16、C11 编译器和 llama.cpp，产出交互 agent 和 daemon 两个二进制。
JawadulHadi 在 GitHub 发布 llm-provider-gateway，一个零运行时依赖（仅 zod）的 TypeScript 网关层，统一对接 Ollama、OpenAI 兼容服务（OpenAI、Groq、OpenRouter、LM Studio 等）和 Anthropic。特性包括统一 ProviderError 错误类型、等抖动指数退避重试、基于 Promise.race 与 AbortSignal 的超时、熔断器、按价格表计算 costUsd，以及用 zod 校验 JSON 并给模型一次修复机会。设计上 400 快速失败不回退、认证错误不重试但回退、价格作为配置而非代码；已知限制是无流式输出、无工具调用透传、熔断状态仅存进程内存。
推荐理由：作者讲清了多提供商网关的容错设计取舍，包括错误归一、退避抖动与熔断策略，适合部署参考。
Reddit 用户分享 Project Maya，可在自有 GPU 上本地运行 GLM-5.3-Flash（321B 参数、每 token 约 18B 激活、最高 1M token 上下文，MIT 许可）。作者从原方案的约 10 tokens/s 提升到 30 tokens/s；项目称四张 RTX 4090 上可达 118 tokens/s，单张 RTX 5090 达 30+，自有量化保留 FP8 模型 97.7-99.2% 的 zero-shot 精度，并提供 OpenAI 与 Anthropic 兼容 API。项目地址 https://github.com/mw00/project-maya。
推荐理由：作者给出单卡与多卡的具体 token 速度和量化精度数据，想本地跑 GLM-5.3-Flash 的读者可以据此估算自己的硬件门槛。
/u/matteiuspi 在两张 96GB Ascend 310P 卡上用 vllm-ascend 跑通 GLM-5.3-Flash（320B 参数 MoE，每 token 约 18B 激活，45 层 288 专家 top-8），经 W2/W3/W4 量化后达到约 8-9 tok/s，已验证单请求最高 311,040 tokens、按 640-token prefill 分块、最多 4 路并发。作者实现了模型权重常驻下的模块热更新加速实验迭代，另在第三张卡上跑通 qwen3.8-flash-next 并支持 YaRN 1M 上下文，还提出将部分权重卸载到 Ascend 的 Ascend Sidecard 设想；作者称 Codex 能协助写融合 kernel，而 Claude 拒绝讨论 Ascend 架构。
GitHub 项目 turnstyle 发布，通过 LogitsProcessor 在 token 采样前介入生成，用算术、日期、单位、WASM Python 沙箱等 oracle 计算答案并偏置正确数字。每次干预写入 DigitAudit 审计轨迹，解析失败时模型自由生成；支持自定义 Turnstyle 子类和 DispatchTurnstyle 自动路由，pip install turnstyle 即可安装，适配任意 HuggingFace causal LM。
推荐理由：项目给出了完整的 token 级 logit 偏置实现与审计机制，读者可以直接复用这套符号约束解码方法来抑制模型幻觉。
ModelTC 的 LightX2V 是一个轻量图像/视频生成推理框架，支持 T2V、I2V、T2I、I2I 等任务，最新集成了 MiniMax-H3 全模态音视频生成并发布 4-step 768p 蒸馏 LoRA。官方基准显示在 H100 上 8 卡推理达 0.75s/it，约为 Diffusers 的 1.9 倍，并支持 8GB VRAM + 16GB RAM 运行 14B 模型生成 480P/720P 视频，提供 NVFP4/FP8 量化、三级 offloading 与多种国产芯片部署支持。
一个 27B 级推理模型以三值权重形式发布 llama.cpp 版本，语言模型约 5.9 GB，比 FP16 小约 9.3 倍，保留 98.2% 的 FP16 智能水平。14 项 thinking 模式基准平均 84.78，明显高于 IQ2_XXS 的 72.59，接近体积大三倍的 UD-Q4_K_XL；Apple M5 Max 笔记本上约 47 tok/s，支持 262K token 上下文，提供 PTQ1_0 和 PQ2_0 两种 GGUF 打包。
作者更新其针对 Qwen3.8-27B 的 CUDA megakernel 引擎，单张 RTX 3090 上写代码速度 140 tok/s，对比 llama.cpp（含 MTP）的 73 tok/s 快约 1.9 倍。精度方面与 llama.cpp 的 KL 散度为 0.0009，1K 上下文困惑度 2.4274 对 2.4283，作者称无可测质量损失；投机解码为精确采样。仅支持 24 GB 以上 RTX 30/40/50 系列单卡，目前只在 3090 上调优，代码与基准见 https://github.com/L-Forster/open-jet/tree/master/megakernel。
推荐理由：作者补充了与 llama.cpp 的 KL 散度和困惑度对照数据，本地部署用户可据此评估这个 3090 单卡加速引擎的精度与速度取舍。
Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP（Q4_K_M，已移除拒绝回复）以 NInfer v3 格式发布，单个 .ninfer 文件 15.88 GiB，逐字节保留原 GGUF 块、不重新量化，并用随附的 MTP draft 头做投机解码。模型为文本模型，支持最多 8 个并发请求、提示词前缀复用、结构化输出、OpenAI 格式工具调用与可选思考模式；在 RTX 3090 上开发测量，权重占 15.6 GiB 显存。
llama.cpp 的 probabilistic MTP PR（#27694）已合并，作者提醒用户更新 llama.cpp 尝试。实测 prose 生成解码提速约 14%，最优 draft-n-max / draft-p-min 与 greedy sampling 一致，测试在关闭 thinking 和 ngram-mod 的情况下进行，代码见 https://github.com/ggml-org/llama.cpp/pull/27694。
zzpanic 发布其自建 vllm-radiance 推理构建的最终修订版，针对单张 R9700 GPU 运行 qwen3.8-27b。该版本加入 vllm 启动缓存以避免每次重启重新编译，并实现可用的 kv-offload 功能（vram-sysram-disk，带内存精简），使长上下文多智能体工作可在单卡上运行。作者表示已不求进一步提速，该构建参考了 Launch80 Discord 上多位社区成员的工作。
CERN 夏季学生项目 puppibuff 开源，用于设计、训练和采样 BDT-based flow matching 生成模型，对 PUPPI 粒子运动学进行超快模拟，并借助 conifer 将训练好的模型转成 HLS 代码写入 CMS L1 Trigger FPGA 固件。生成的片上生成器能以 360 MHz 生成 PUPPI jet kinematics，可用于压力测试 CMS Phase 2 Upgrade 的 L1 Scouting 系统。
dadwritestech 发布开源工具 LlamaForge（MIT 许可），在浏览器中驱动 llama.cpp 官方 llama-server，提供模型加载、VRAM 适配评估、全部 200+ 服务器参数的界面化管理。支持一键安装（Windows/Linux/macOS）、llama-tts 语音、MCP server 接入 Claude Code 等智能体，并提供与 LM Studio、Ollama 的功能对比表；目前为早期预览，Windows + NVIDIA 是测试最充分的路径。
推荐理由：作者讲清了它如何驱动官方 llama.cpp 路由器、覆盖全部服务器参数，并与 LM Studio、Ollama 逐项对比，方便判断是否适合需要掌控感的本地部署用户。
Reddit用户/u/Ok-Breadfruit-3523用4张单价不到$100的BC-250矿卡板、通过llama.cpp加Vulkan和RPC组成本地推理集群，跑Next Flash IQ3_XXS在100k上下文下维持约60-70 tok/s，或同时跑2个Qwen3.6-35B-A3B实例达约145 tok/s、可用上下文约258K。借助Claude Code做的优化包括MTP草稿头的投机解码链、Vulkan图录制重放、针对架构的定制kernel与上下文checkpoint本地复制，整体功耗负载下600-900W，下一步计划给每块板加装AIO水冷。
推荐理由：作者完整记录了4张矿卡集群的优化路径、实测速度与功耗，方法可迁移到类似多板推理部署场景。
AutoTrust 发布 autotrust/JEV-35B 的 NVFP4 量化版，将 40 层 × 256 个共 10,240 个路由专家 MLP 量化为 NVIDIA 4 位浮点格式，其余组件保持 bf16 不变。权重下载从 71.9 GB 降至 25.6 GB，vLLM 显存占用 23.3 GiB（−65%），单张 32-48 GB GPU 即可部署；文本 Decision Index 59.75 对比 bf16 的 59.18，五项能力均在 bf16 的 1.2 分以内。该模型基于 Qwen3.5-35B-A3B，与 TypeSafe AI 的闭源托管模型 TypeSafe Jev 1.13 无关联，可通过 vLLM 直接加载。
有网友在 r/LocalLLaMA 询问该选 M5 Ultra Mac Studio 的 64 核还是 80 核版本：64 核版交付要 6-7 周，80 核版要 15-17 周，差价 $1200。两者同为 Ultra 且内存带宽相同，楼主还提到没见过 60 核版的推理数据，想了解两者在 prompt 处理和 token 生成速度上的实际差距。
一位 Reddit r/LocalLLaMA 用户询问能否在 RTX 5090 上用 vLLM 运行 Qwen3.8-27B-FP8，并认为因最小上下文限制极不可行。他目前用 NVFP4 版本（quasar-qat）流畅运行，支持图像和最高 256k 上下文，该模型仓库大小为 30.9GB，他想对比 FP8 与 NVFP4 在精度上的差异。
Reddit 用户 /u/somthing_tn 发布了 Linux 本地语义文件搜索工具 Recall（MIT 协议，https://github.com/pdstn12/Recall），可索引 PDF、Office 文件、扫描件、截图、音视频并按内容检索。EmbeddingGemma 2 通过 llama.cpp 进程内运行（CUDA/Vulkan/CPU）将文本、图像、视频帧和 30 秒音频窗口嵌入同一向量空间，检索采用向量相似度加 SQLite FTS5 混合排序，OCR 用 PaddleOCR，引擎为 Rust、界面为 GTK 4，无 LLM 且模型下载后完全离线。
推荐理由：作者自建的本地语义文件搜索工具给出了完整技术栈和实测数据，方案思路可迁移到类似本地检索场景。
本地 AI 推理引擎 TensorSharp 宣布支持 Qwen Image 2.1 Turbo 和 LoRA，可直接在应用内完成图像编辑。新功能包括内置蒙版编辑器选取图片区域、用自然语言提示词修改选中区域并直接查看生成结果。该项目目标是统一支持 LLM、多模态和图像生成模型的本地推理，并持续优化 GPU、CPU 与存储的内存管理。
/u/sayamss 分享为客户端搭建的 $18k 本地部署：Threadripper 9970x、128gb DDR5 ECC、4x AMD Radeon R9700 AI Pro 32gb（共 128gb VRAM）、1600W PSU，GPU 降压至 210w 以内。用 Radiance 的 fork 服务 Qwen 3.8 Next flash/27b 和 DSV4 Flash；16 并发下 Qwen 3.8 27b MXFP4 聚合 prefill 6.3-6.8k tok/s，decode 900-80 t/s；int4fp8 在 48K/user 时 6,880 tok/s、128k/user 时 3,050 tok/s。
一位 Reddit r/LocalLLaMA 用户想找类似 siege 和 k6 这类 HTTP 负载测试工具的替代品，但用于 LLM 推理服务器。他希望并行发送生成请求，测试服务器在持续负载下的表现，测量 token 生成和 prefill 性能，并评估实际存储需求。
arthurbm 在 GitHub 发布 berth-ai，一个 local-first 移动应用，可在设备上下载并运行 GGUF 模型，通过 llama.rn 与 @react-native-ai/llama 做本地推理和持久化聊天，并把手机暴露为 OpenAI 兼容的 HTTP 推理端点，主契约是 /v1/responses，兼容 /v1/chat/completions。HTTP provider 目前仅 Android 可用，iOS 上本地聊天可用但 provider 仍为实验性；/v1/* 需 bearer token，应用依赖原生模块，不能在 Expo Go 中运行。
推荐理由：项目把手机做成可复用的本地推理端点而非单纯聊天应用，这种以 provider 为核心的架构思路对做本地部署的人有参考。
GitHub 新仓库 coprompter 发布，这是一个可安装的异步聊天客户端与数据集运行工具，对接运行中 vLLM 服务器的 OpenAI 兼容 API，用于加速 LLM 推理。它接受用户提供的聊天提示词，按输入顺序写出响应并记录运行 manifest，但不启动 vLLM 也不为模型答案评分。工具要求 Python 3.10 及以上，支持 max_concurrency 并发控制、--user-template 提示词模板，manifest 会哈希输入文件字节以保证可复现性。
Leeroy 是一个面向联邦分析师和技术用户的 Python 本地优先分析助手，通过 llama.cpp 加载可选的本地 GGUF 模型（如 Leeroy-3B-Instruct.Q4_K_M.gguf，默认 4096 上下文）。它基于 Streamlit 提供 Text Generation、Document Q&A、Semantic Search、Prompt Engineering 和 Data Management 五种模式，用 sentence-transformers 做向量检索，并将聊天历史、提示词、嵌入和导入数据持久化在 SQLite 中。
Reddit r/LocalLLaMA 发起投票，讨论用户何时能在手机上以良好速度运行媲美 Qwen3 27B 的模型。Qualcomm CEO 披露，AI 公司要求到 2028 年手机能持续运行至少 100B 参数的模型，部分厂商已开始造手机。
estado-ai-agent 是一个基于 Spring AI 2.0+ 与 Google Gemini（Free Tier）Tool Calling 的 LLM 智能体，通过调用 estado 项目公开 API 的实时数据回答巴西各州相关问题，前端经 angular_estado 的 "Ask the AI" 页面访问。其安全设计包括 X-API-Key 认证、Bucket4j 每 IP 默认 10 次/分钟的限流，以及输入/输出两层提示词注入防御；主模型遇 503/429/超时会重试备用模型（默认 gemini-3.1-flash-lite）。该智能体仅暴露在内部 Docker 网络，仅 estado-app 的 BFF 可调用，不对外提供直接入口。
Runware 发布官方 TypeScript/JavaScript SDK，通过统一的 .run() 方法调用图像、视频、音频、文本及 3D 生成模型，并支持 .stream() 基于 SSE 的 LLM token 级流式输出。SDK 类型由 Runware 官方 JSON schema 生成，支持 WebSocket 与 REST 两种传输方式，可自动从 AIR 标识符解析任务类型，运行于 Node.js 18+ 及浏览器环境，通过 npm 安装 `@runware/sdk` 即可使用。
AarnavNoble 在 GitHub 发布 llm-engine，一个面向 Llama 架构模型（Qwen2.5-0.5B、TinyLlama）的服务引擎，实现 paged KV cache、continuous batching、chunked prefill、prefix caching 和 OpenAI 兼容流式 API，运行时无 PyTorch，前向为 C++。CPU 后端已完成并逐层对照 PyTorch 验证；CUDA 后端未写，结果页将相关行标为 not measured。