新闻、仓库与研究，按时间排列。
Splashboard 是一个为 Splash（inco.ai 开发的 Apple silicon 本地推理引擎）打造的 macOS 菜单栏应用，几步完成安装模型、后台运行与实时监控。它提供 OpenAI 和 Anthropic 兼容的统一 /v1 端点，可从菜单栏快速加载 Qwen3.8-27B 或 Qwen3.6-35B-A3B（MLX 或 GGUF），并支持以会话方式将 Claude Code、Codex 等编码智能体指向本地模型。应用要求 M3 或更新芯片和 macOS 26.4+，以 Apache-2.0 许可开源，非 inco.ai 官方产品。
GitHub 开源项目 local-llm-stack 提供一套本地 LLM 运行与测试栈，将 Hermes AI 智能体、LiteLLM 网关（:4000）、llama-swap 模型管理器（:8080）和 llama.cpp 推理引擎串成完整链路，不用 Docker 和云端 API。栈支持 qwen3.5-4b、ministral-3b、ministral-8b、deepseek-r1-7b、qwen3-8b 等模型，测试配置为 Qwen3-8B Q4_K_M 64K context，可通过 chat template 显式控制 thinking/non-thinking 推理模式。
一名有 7 年经验的 Intel ISP/IPU 系统软件工程师制定 30 天 × 8 小时的 LLM 推理工程师转型计划，目标是字节 AML、Moonshot、DeepSeek、MiniMax 等公司，产出 3 个 portfolio 项目、4 篇博客和 1 个 vLLM PR。计划基于 vLLM v0.21.0、DeepSeek V4、Qwen3.8-27B-FP8 与 RTX PRO 6000 Blackwell 96GB（sm_120）单卡环境，分四周覆盖 CUDA 基础、vLLM 源码、Triton kernel、NVFP4 量化与 Mini-vLLM 项目开发。
KSM AIoT（UPN "Veteran" Jakarta 学生社团）开发了 Nexo，一个基于本地 LLM（Llama.cpp 运行 Gemma 4 E2B GGUF）与 MCP 的 Discord 智能社区助手。它可管理社区活动、双向同步 Google Calendar、通过 @Nexo 或 /tanya 命令进行带上下文的对话，并以 Pydantic 严格校验的工具调用实现提醒、投票、消息清理等功能。
论文提出 Reward-Aligned Distillation（RAD），一种双层框架，通过预测每个 token 监督信号对学生模型更新后奖励的影响来加权 on-policy 蒸馏信号。在相同训练响应预算下，RAD 在六个竞赛数学基准上比最强基线提升 Qwen3-1.7B（non-thinking）6.5 个百分点、Qwen3-4B-Instruct-2507 2.5 个百分点；在 LiveCodeBench-v6 上，Qwen3-1.7B（non-thinking）与 OLMo3-7B-Instruct 分别达到 54.69% 和 58.67% pass@1，超过最强基线 8.7 和 6.4 个百分点。简化变体 RAD-Simple 在同等预算下取得相近数学准确率。
webAI 于 9 月 30 日发布 TwIL LM3 Pro，这是一个基于 IBM Granite 4.2 3B 的 3.66B 模型，专门针对形式逻辑任务微调，其逻辑综合分达 55.4，优于 Granite 基座的 43.1，并以不到一半的参数量追平 Qwen3-8B 的 53.4。训练采用 LoRA SFT、checkpoint merging 和针对程序化验证器的 RL。Q4_K_M GGUF 仅 2.09 GiB，可在 CPU 或 4 GB VRAM 上运行，支持 Ollama、LM Studio 和 llama.cpp，但许可证为非商业用途。
一个与论文 "Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments" 对应的 GitHub 代码仓库已创建，但目前状态为待发布。论文提出优化策略以增强 LLM 在多任务场景下的上下文推理能力，正处于 COAI 2025 审稿中。仓库未来将提供完整实现、实验代码、benchmark 结果、预训练模型 checkpoint 及文档教程。
一位用户在 8x NVIDIA T4 的 Asus ESC4000 G3（128GB DDR4 RAM）上寻求比 llama.cpp 更快的 Qwen3.5-9B 部署方案，目标是服务约 10-15 个并发用户。目前 8 个实例运行 Qwen3.5-9B-Q5_K_XL，共 44 个 slot，每 slot 持续生成 25-40 tps，prefill 约 1400 tps。T4 不支持最新 fp8 emulation，用户希望用 vLLM 运行 Qwen3.5-9B-AWQ-INT8 但不愿额外花钱。
agentd 项目发布了一个 MCP 原生、云原生的 AI 智能体运行时，用一个小型静态 Rust 二进制运行 agentic 循环，只需一条指令和一个 LLM endpoint。所有工具来自远程 MCP 服务器（发布二进制默认不本地执行任何命令），支持 MCP resource 订阅触发、A2A 互操作和可崩溃恢复的持久 DAG 工作流；supervisor 与推理子进程严格分离，可随时 SIGKILL。实测 8.5 MiB 静态二进制（amd64 musl，FROM scratch）、冷启动小于 1 ms、空闲 5.5 MiB RSS，AGPL-3.0 开源，可作 Job/CronJob/Deployment 运行或以 agentd-core 库嵌入应用。
推荐理由：README 详细给出了架构、安全模型与实测开销数据，适合想用 MCP 与 A2A 组合智能体的工程师评估这套单二进制运行时。
arXiv 论文提出 Q-NeuS，一种查询自适应的 LLM 神经元调控框架，根据每个输入动态决定调控哪些神经元及调控幅度。该框架构建主题引导的候选神经元空间，用 Query-Adaptive Gate 生成逐神经元调制系数，并通过 Neu-GRPO 基于多种干预配置的相对表现训练。基座 LLM 全程冻结，推理时无需任务或主题标签，实验显示其在多模型与 benchmark 上均有一致提升并具跨 benchmark 迁移性。
Lallapallooza 开源 gpt.rs，一个 Rust-first 研究项目，围绕可移植张量程序 PTIR 构建模型运行时，层通过 portable functionals 记录惰性图，后端自行执行内核，权重以内存映射 checkpoint 的视图加载。
社区开发者 Asahi-Prv 发布了开源桌面工具 i-AI-Studio，用于在 Windows 和 Ubuntu 24.04 上管理 OpenVINO Model Server（OVMS）全生命周期，项目与 Intel 无官方关联。功能涵盖 OVMS 运行时安装与 SHA-256 校验、Hugging Face 或直链模型下载、仅搜索含 .xml+.bin 的 OpenVINO IR 模型、CPU/GPU/NPU 设备选择与 KV-cache 等加载选项、流式聊天、图像生成，以及 OpenAI 兼容 REST 和 gRPC API 服务；支持一键自更新（v1.4.1 起可用）和英文/日文界面，采用 MIT 许可证。
paiml/aprender 是一个纯 Rust 的完整机器学习框架，通过一条 `cargo install` 命令和单个 `apr` 二进制即可覆盖推理、训练、量化、性能剖析与发布全流程，并以 YAML 可证明契约在漂移时使 CI 失败。当前仓库含 81 个 workspace crates、113 个 CLI 命令和 1896 个可证明契约。版本 0.69.1 目前仅提供 Linux x86_64/aarch64 预编译安装，仅支持 CPU，可通过 `--features cuda` 启用 NVIDIA GPU 加速，已验证 Qwen2.5、Qwen3 等多款模型的运行。
开源 Rust 库 Octolib 通过一个 provider:model 字符串（如 openai:gpt-4o、anthropic:claude-opus-4、ollama:llama3.2）统一接入 30 家 AI 提供商，切换模型只需改字符串。crate 内置定价与能力表，零配置即可在每次响应中报告 token 用量和美元成本，并支持 tool calling、结构化输出、thinking/reasoning、图像视频、embeddings 与 reranking。API 全程基于 Result，无 panic，API key 仅从环境变量读取。
Haoyi-Zhang 在 GitHub 发布 PageReuse 仓库，提供面向完整有限顺序 trace 的 generation-aware 页面列表复用安全证书。其 C++ CPU 适配器通过 207 个正例、匹配全部 200 个保留最优结果并拒绝 400 个负例控件，审计覆盖 741951 个事件；保留的 308 样本测试中完整路径中位数为新发布的 1.037–1.245 倍。项目明确声明它不是 LServe、GPU 内存检查器或生产级 KV cache。
一个面向协作式 LLM 推理的 COP 5611 课程项目，研究 GPU 共享与协同调度。仓库包含 analysis、benchmark、docs、results、scripts 等目录，并附项目提案与演示 PDF。该项目目前有 1 star，暂无 release。
这是一份加州州立大学长滩分校 CECS 530 课程研究项目，探讨软硬件协同设计的 LLM 量化能否超越纯软件方案。基于 LLaMA-70B 需 140 GB 显存的背景，分析显示 Oltron（ASIC）加速 1.9 倍、能效提升 1.6 倍，FlightLLM（FPGA）相对 A100 加速 1.2 倍、能效提升 6 倍，而 bitsandbytes 反而慢 0.65 倍，各方案精度损失均小于 1%。
这是一个「AI 推理工程与系统设计」课程的期末项目，在 Lambda GPU 上用 vLLM v0.30.0（RedHatAI/gemma-4-31B-it-FP8-dynamic，H100 SXM 80 GB）搭建学习伴侣应用，基于 Notion 书签库回答问题并核查易变说法。每次 LLM 调用经过 edge 准入控制、Envoy AI Gateway 和 llm-d 路由，实验显示双 pod 拓扑在各负载下优于单 prefill 加单 decode pod（E3），LMCache 经 store barrier 的 KV 传输耗时 0.5 到 0.8 s。
WillBooster 在 GitHub 发布 tokzip，一个针对静态存储的提示词、LLM 输出与源码的无损压缩器，以 Rust 编译为约 1.15 MB 的 wasm 模块，支持 Node、Bun 和 Cloudflare Workers。编码器逐段自动检测语言，内置 21 种语言的字典与模型先验，在 3,514 篇文档的基准上总体压缩到输入的 20.8%，优于 brotli -11 的 26.3%、zstd -19 的 31.1% 和 gzip -9 的 31.9%；每帧带 CRC-32 校验并验证往返无损，解压不可信数据时可传 maxLength 限制展开。当前为 pre-release 的 Format v1，重训练会替换字典并使早期构建的帧失效。
推荐理由：README给出与brotli、zstd、gzip在同一语料上的分语言压缩率对比数据，读者可以直接评估它在提示词与代码存储场景的收益。
开源项目 slo-scaler-decision-gen 每 60s 重建全局视图，基于 LLMSLORequirement/JobSLORequirement CR、Prometheus 信号和 Kubernetes 状态，重新推导每个 LLM 推理服务的副本数，并通过 GET /decisions 以只读 HTTP 接口发布。它自身不执行扩缩容，由 operator 读取决策执行；所有副本数来自实际工作负载而非内部记录，缩容规则是纯函数，最后由全局分配器分配有限 GPU 池。项目采用 Apache License 2.0，镜像发布在 Docker Hub 的 4pdosc/llm-scaler-decision-gen，测试无需集群或 Prometheus。
GitHub 上的开源项目 vjb/LeanLLM 结合三部分内容：一个 LLM 写 Lean 4 证明、编译器检错、错误回传重试的证明循环；Lagrange 定理的两种形式化；以及用于双变量 bicycle 量子纠错码的 Python 工具链。项目可为 IBM [[72,12,6]] 码构建 syndrome 电路并转译到 10×12 网格的 Nighthawk 模型，在 Qiskit Aer 噪声模型下仿真运行，还通过 MCP server 暴露 Lean 与 QEC 工具。作者强调这是可行性流水线，尚未在真实 IBM 硬件上运行，码距仅穷举到 weight 4。
RapidLLM 是一个开源 LLM 推理框架，支持 continuous batching、张量与数据并行、INT8/FP8/INT4 量化权重以及可插拔的 Triton/CUDA kernel。模型注册表覆盖 LLaMA、Qwen2、Qwen3、Qwen3-MoE、LLaVA、Qwen3-VL 和 DeepSeek 系列，内置 Flash Attention3、Chunked Prefill、Prefix Caching、FP8 KV Cache、Fused MoE 等加速特性，并提供兼容 OpenAI 的 API Server。框架需要 Python 3.13 或更新版本，支持 CUDA 与 CPU 设备，安装与测试均通过 uv 完成。
TernixEngine 是一个 C++20/CUDA 内核库，针对 1.58-bit（三值）LLM 推理的核心运算，将 int8 激活与仅含 {-1, 0, +1}、每值 2 bit 的权重相乘，内核全程不解包权重、不做乘法。CPU（AVX2）在 256-bit 寄存器内解码权重，GPU（CUDA）采用 64x64x64 分块与 cp.async 双缓冲流水线，所有内核均与独立整数 GEMM 做逐位校验。项目提供 NumPy 友好的 Python API，采用 Elastic License 2.0，目前仍是内核库，量化器与模型加载器尚为 stub。
SMILE（Statistical Machine Intelligence & Learning Engine）是面向 JVM 的高性能机器学习框架，提供 Scala 和 Kotlin API，SMILE v5+ 要求 Java 25。其 SMILE Serve 是生产级推理服务器，支持序列化 SMILE 模型（.sml）、ONNX Runtime 模型和 OpenAI 兼容的聊天补全三类推理接口，并捆绑 React Web UI。
该仓库是 Ubuntu 电脑上本地 AI 实验室的知识库，涵盖模型库、Unsloth Desktop、自编译 CUDA 版 llama.cpp、Hermes Desktop、语音输入与代码 Agent。已验证 Qwen3.5-4B Q4_K_M 经自定义 llama.cpp 启动，UI 显示 68.4 tok/s，Qwen3-ASR-0.6B 可识别俄语语音；ASR 与 Hermes 及 TTS 的集成尚未完成，Aider 0.86.2 已安装。
该仓库提供 Qwen3.5-4B 大模型的微调与部署实践内容。包含基于 vLLM 的 Qwen3.5-4B 部署，以及使用 LoRA（结合 ms-swift）的文本微调练习，采用独立 uv 项目管理，涵盖本地模型配置、环境检查和 Jupyter Notebook，并集成 SwanLab。仓库以 MIT 协议开源。
Daniel Keinan 发布开源项目 AiLibi，一个可复现的社交推理模拟与观战系统，7 名船员与 2 名内鬼由 LLM 驱动，通过 Claude Code 和 Codex 实现，Daniel 未手写生产代码。系统用确定性引擎和观察防火墙保证回放字节级可重建，100/100 样本回放可精确还原。2026-10-09 的 9 人对局记录显示，带证据引用的驱逐准确率为 24/24=1.0000，无证据时仅 20/42=0.4762；带有效引用的投票 410/410 可溯源。样本包含用 Qwen/Qwen3.6-27B 跑的两个 50 局锦标赛，作者强调这展示的是对认证事实的处理而非通用社交推理。
推荐理由：这个项目用可复现回放和证据引用链衡量Agent推理，带证驱逐与无证驱逐的准确率对比给出了可信的具体数字。
GofMan5 在 GitHub 发布 luxury-switchboard，一个把所有 AI 提供商聚合到单个本地端点 http://127.0.0.1:8798/v1 的桌面网关工具，支持 OpenAI/Anthropic 兼容端点、密钥池、按模型路由、用量与成本统计和流式探测测试。工具提供一键 HTTPS 隧道共享模型访问，采用 fail-closed 设计，仅暴露发布的别名且需访问密钥；所有配置与历史存储在本地并加密，MIT 协议开源，提供 Windows、Linux、macOS 安装包和应用内自更新。
推荐理由：这是一个本地网关工具的完整功能与隐私设计说明，读者可以据此评估它能否统一管理多个 AI 提供商的密钥与路由。
GitHub 上的 dsh-harness-trace 项目可对本地 DeepSeek Harness 调用 LLM 的整个流程进行持续追踪，采用 MIT 许可证开源。开发者可借此研究 harness 与模型之间的真实交互过程。
/u/jesdga95 发布开源（MIT）推理引擎 Basalt，是 Strata 的深度调优分支，仅支持 Qwen3.8 Flash-Next 与 Blackwell 架构。作者在 5090+5060 Ti 上实测 665 tok/s structured、354 prose、64k prefill 7317 tok/s（400W），单 5090 为 585/316；支持最多 8 用户并发（8 流共 623 tok/s）、自研视觉编码器（比 llama.cpp 快最高 3-4 倍）、OpenAI/Anthropic 兼容 API，仅支持 Linux。
推荐理由：作者实测给出了单卡与双卡的吞吐数字和量化选项，可作为 Blackwell 本地推理引擎选型与调优的参考。
GitHub 上的 cpu-slm 项目以简单直观的方式帮助用户理解 SLM 与 LLM 的内部工作原理。工具要求 CPU 支持 AVX2 指令集、至少 4 GB 内存和 100 MB 磁盘空间，支持 Windows、Linux 和 macOS 跨平台运行。应用内置教程与文档，并提供 Wiki 深入讲解 AVX2、Transformer、SIMD 等相关技术。
/u/zipzak 在 5090 + 192GB Windows 机器上，对 Qwen3.8-Flash-Next Uncensored（abliterated checkpoint）做了 Strata 0.1.41（Q4_K_S）与 Infernix 2026.10.09.2（NVFP4）的同日 A/B 评测。结果为 Infernix 512k 上下文解码 137.0 tok/s、冷预填充 3,497 tok/s，262k 下比 Strata 快约 23%；两者 PPL 统计持平，视觉功能均可用，作者将 Infernix 作为日常主力。
推荐理由：作者在同一硬件与同一推理契约下对两个推理引擎做同日 A/B 实测，给出了解码速度、预填充、质量和冷启动数据，方法可参考。
TensorFold 发布 1.0.4，用 Zig 二进制在 Apple Silicon 和 NVIDIA GPU 上直接读取 checkpoint 并通过 Metal 或 CUDA kernel 提供模型推理服务，无需安装 Python 或 MLX。API 默认监听 127.0.0.1:8080/v1，兼容 OpenAI chat completions、completions、Responses 和 Anthropic Messages；已通过认证的模型包括 Nemotron 3.5 Lightning 30B-A3B、Qwen3.8 Flash Next、GLM-5.3-Flash 等，27B 模型可配 DFlash2 drafter，但目前 prompt 处理速度低于 mlx_lm。
推荐理由：一个不依赖 Python 的本地模型推理引擎，支持 Metal 与 CUDA 和多种模型格式，还提供实验性的权重在线学习功能，适合关注本地部署的读者。
SeasonRealms 在 GitHub 发布 SeasonImage，一个围绕 stable-diffusion.cpp 的 .NET 封装库，聚焦简单的文生图工作流。它通过 P/Invoke 包装 stable-diffusion.dll，包内自带 Windows x64 原生运行时，支持 CPU、CUDA、Vulkan 后端，可用 NuGet 安装（dotnet add package SeasonImage）。后续可在同一原生绑定层上扩展 img2img、controlnet、upscaler 等功能。
SeasonRealms 开源了 SeasonLLM，一个围绕 llama.cpp 的 .NET 封装库，用于本地 GGUF 文本生成。它提供模型/上下文分离句柄、流式输出、GBNF 或 JsonSchema 约束生成、模型初始化时加载单个 LoRA 适配器，以及通过 mmproj 加载匹配投影文件的单图多模态问答，支持 gemma-4-E4B、Qwen3.5 等 GGUF 模型，示例使用 ContextSize 8192 并可选 cpu、cuda0、vulkan0 后端。
GitHub 开源项目 DOC-OC v6 用统一视觉语言模型管线替代传统多级 OCR 级联，可离线提取印度多学委会（CBSE、ICSE、UP、Haryana 等）成绩单。优化后的 Gemma-4-E2B 平均延迟从 27.12s 降至 6.28s（4.32x 加速），JSON Schema 遵循率与人名、分数精度均达 100%，VRAM 占用 3.2 GB，每页成本 $0.00。其 C++ GBNF 约束解码使 JSON 语法错误在物理上不可能发生，并通过自愈算术校验总分。
GitHub 开源项目 hifi-llm 是一个轻量级、OpenAI 兼容的反向代理，可将请求按模型名路由到多个 LLM 后端，提供统一的 /v1/* API。它支持 SSE 流式透传、可热重载的 YAML 配置、插件系统，并可通过可选 Bearer token 实现单一全局 API key 认证。
GitHub 上的 smash 是一个单文件 Bash 编码/压缩工具，面向聊天界面、剪贴板、API 等有大小限制的传输通道，可通过 brew 或 curl 安装。其 --ai 模式用本地缩写表结合 xz 把内容压到原大小约 25-40%，无需 API 和网络；--ai-api 模式借 LLM 将内容重写至语义最小，约 5-10%。v5.6 无损引擎加入 jxl 与 Base85 阶段，压不赢源文件时会如实输出数字而不假装变小。
The-Swarm-Corporation 在 GitHub 发布 RouteHub，一个基于官方 OpenAI SDK 的 LLM 网关，支持 OpenAI、Anthropic、Gemini、Groq、DeepSeek、OpenRouter、Ollama、vLLM 等 20 多家提供商。官方数据显示在 macOS Python 3.12 环境下，对比 litellm 1.76.1，导入时间从 1,027 ms 降到 5.5 ms（约 190 倍），每次调用网关开销 0.004 ms 对 0.74 ms，安装依赖 20 个对 58 个；Claude 走原生 Messages API 并翻译 prompt caching、thinking、工具调用和结构化输出。
推荐理由：README 给出了与 litellm 逐项对照的导入时间、每调用开销和依赖数量数据，读者可以据此评估这个轻量 LLM 网关的实际收益。
Python 库 typevet 发布 0.2.0 版本（pre-1.0），可向模型提出 Noul（是否）、Choice（单标签）、Score（评分）三类问题，并基于 next-token 概率返回类型化答案，输出需通过用户提供的 JSON Schema。已验证 Gemma 4 31B 在 vLLM（单张 H100 80GB）和 llama.cpp 上的运行收据，H100 并发 64 下 Banking77 480 条记录耗时 12.1 秒（39.6 条/秒、0 错误）。库已上架 PyPI，支持 pip 安装，需 Python 3.12+。