新闻、仓库与研究，按时间排列。
开源项目 TinyDTVi 从零预训练了约 500M 参数（509M）的越南语 causal 语言模型，可在单张 RTX 3080（12GB）上完成训练。模型采用 24 层、16 头、embedding 维度 1088、1024 token 上下文，融合 RMSNorm、SwiGLU、RoPE 等现代改进，并使用 50,304 token 的定制 BPE 分词器。训练数据处理了 135GB 越南语原始文本，仓库含完整代码，模型权重与论文后续将在 HuggingFace 和 arXiv 发布。
该仓库发布一组面向 CNDTCG（国家胃肠癌早期检测中心）规范文档问答的 LLM 基准测试，包含 dataset、上下文文档、代码与结果。数据集含 300 道问题（是非、短答、开放答各 100 道），采用 RAG 加载文档，用 FAISS 取 TOP K=5 相似 chunks。评测 DeepSeek R1 Distill Qwen F16/Q6/Q2、Llama Q4/Q8、Qwen 3.5 4B 等不同量化配置模型，可在本地或 Kabré 超算上运行。
开发者 lucas-lepajollec 在 GitHub 发布 Loom，一个 Go 编写的单二进制 Web 工作台，默认端口 2510，可在同一会话中运行本地 llama.cpp/vLLM 推理、连接云端服务商并运行 Claude Code、Codex 等通过 ACP 接入的编码智能体。支持从 Hugging Face 下载 GGUF 模型、BM25 本地检索加可选语义搜索的 Brain 上下文系统、SSH 远程机器与终端管理，数据默认保留本地并绑定 loopback，MIT 协议开源。
推荐理由：README 清楚列出了本地推理、云端接入与编码智能体在同一会话中共用的能力边界，想自托管统一工作台的读者可以对照平台支持表评估。
mlx-node 项目开源，可在 Node.js 中运行 MLX 模型，公开 API 为 TypeScript，原生层用 Rust 和 C++，运行时无需 Python。支持语言和多模态推理、HTTP 服务器、模型转换及 GRPO/SFT 训练，主要面向 Apple Silicon Metal，另有在 NVIDIA GB10 / DGX Spark 上的实验性 CUDA 后端（仅推理）。CLI 需 Node.js 22.19+，macOS 二进制要求 macOS 26+。
推荐理由：在 Node.js 里跑 MLX 模型的完整工具链，推理、训练、多模态一站式覆盖，对 Apple Silicon 本地部署有直接参考价值。
lablup 在 GitHub 发布本地推理引擎 mlxcel（当前 main 为 v0.7.0 加未发布工作），用 Rust 实现 CLI 与服务器，通过 MLX C++ 绑定直接加载 MLX SafeTensors 权重，请求路径无 Python、无需转换 checkpoint。支持文本、多模态、embedding、重排、语音推理，提供 continuous batching、prompt caching、投机解码、多模型路由和 OpenAI/Anthropic/Vertex 兼容接口，Apple Silicon 为主目标，Linux/CUDA 为次要目标，AMD ROCm 为实验性源码构建支持。
推荐理由：这个 Rust 原生推理引擎给出了与 mlx-lm 同机对照的逐模型数据，读者可按 MoE 与稠密模型分开评估是否值得迁移。
开源项目 self-healing-llm-gateway 发布，这是一个基于 Python 3.12、FastAPI、Redis、PostgreSQL、Docker 和 React 构建的本地优先、OpenAI 兼容 LLM 网关，位于客户端与下游推理服务商之间。系统提供多租户 BYOK 凭据管理、Redis 三态熔断器、有界重试/故障转移预算、滑动窗口限流与 SSRF 防御。凭据采用 AES-256-GCM 信封加密，API 密钥仅存 SHA-256 哈希，并通过 Prometheus 与 OpenTelemetry 输出全栈遥测。
c4software 发布 llmsetup，用一个 ./setup-llm.sh 在 Ryzen AI Max+ 395（124Go 统一内存，CachyOS）上以 router 模式驱动 llama-server。自 2026 年 9 月 18 日起引擎统一为本地构建的 ROCm 镜像（HIP 版 halo-box/strix-llama.cpp），移除宿主机 Vulkan fork；脚本管理 Hugging Face GGUF 下载、models.ini 生成、LRU 加载，并提供 --bench、--bench-agentic、--spec-tune 等一整套按实际 API 测量的基准与投机解码调优子命令。
ChakrView 发布 v0.1「Verified Cognitive Core & Relational Acquisition Prototype」，以 3.44M 参数的 ChakrMicro 为固定基线，外加 69.8K 参数的神经关系获取模块。该系统纯 CPU 运行（内存 <290 MB），在多随机种子 I4 组合绑定基准上 G4 泛化均值 77.78%，Hop-1 路由 100.00%、Hop-2 为 88.89%，语言保留分数 ≥0.9500。项目明确未验证对话生成、通用推理与 AGI 能力，开源代码可通过 `python scripts/verify_release.py` 一键审计 7 个发布维度。
GitHub 上的 auto_ai_router 是一个高性能 LLM API 代理路由器，支持 OpenAI、Vertex AI、Gemini、Anthropic、Comet API 等多家服务商，并提供轮询负载均衡、按凭证和模型的 RPM/TPM 限流、fail2ban 自动封禁、Prometheus 指标、LiteLLM DB 集成和 SSE 流式支持。项目采用 Go 编写，提供 Docker 镜像，以 Apache License 2.0 开源。
NVIDIA 基于 Nemotron 3，通过 SFT、RL 和反馈驱动推理分别构建了达到 IMO 2026 和 IOI 2026 金牌水平的系统。IOI 2026 上 Nemotron-3-Ultra-CC 得 535.4/600，高于 361.12 的金牌线和 498.27 的人类最高分；IMO 系统用 SFT 与 RL 检查点加 generate-verify-refine 流程得 30/42，超过 29 分金牌线，全程仅用自然语言，无形式化证明器或外部工具。SFT/RL 检查点、训练数据集、含 200 道竞赛题的 Nemotron-IMO-Bench 及 NeMo-Skills 推理管线已在 Hugging Face 开放。
推荐理由：原文完整给出了两个项目的训练数据规模、各阶段分数和可复用的四步特化配方，权重、数据和推理管线都已开放。
nkootstra 在 GitHub 发布 via，一个运行在本机 127.0.0.1:8317 的 OpenAI 兼容网关，把 ChatGPT 订阅（经 Codex 后端设备码登录）、OpenCode Go 密钥及 OpenRouter、Ollama 等提供方池化，发放自己的 API 密钥并服务 /v1/responses、/v1/chat/completions、/v1/models 和 Ollama 的 /v1/systemone。请求按 fill-first 顺序在账号间轮转，触发限流即切到下一个账号，支持故障回退模型、web UI 管理、Docker 镜像和 admin API。
推荐理由：原文详述了把 ChatGPT/Codex 订阅与多个 OpenAI 兼容上游池化到本地端点的部署与账号调度机制，也明确了条款风险。
local-inference-lab 的 blackwell-llm-docker 仓库提供在 NVIDIA Blackwell（SM120）96 GiB GPU 上运行 LLM 推理的预构建 Docker 镜像与 Compose 配方，覆盖 SGLang 与 vLLM。仓库内置 DeepSeek V4、GLM-5.2、Kimi-K3、Qwen3.5 等模型的 serving 配置，含 DSpark/DFlash 推测解码、NVFP4/EXL3 量化、KV offload 与 FlashInfer/DeepGEMM 源码编译栈，各发布版本附吞吐与 KLD 实测数据及 validation 目录下的可复现源码锁收据。
Keys（drowzeys）在 GitHub 发布完整 4-bit 推理配方，将 abliterated 版 aday777/Qwen3.8-27B-ARA 通过 eugr vLLM 0.27 GB10 构建部署在单台 NVIDIA DGX Spark（121 GB UMA）上。核心是把 vLLM PR #49891 的 FA2 NVFP4-KV 路径回移植到 sm_121a，使 KV 池从约 2.1M token 翻倍到 4.34M，实现 1M 上下文约 4.14× 并发；A4Q 原生 fp4-QKᵀ 带来 48–96K 下 prefill +8–10%、TTFT −7–9%，decode 中性（同模型 A/B 实测）。
推荐理由：原文给出单卡 DGX Spark 跑通 1M 上下文的完整方法、逐项实测日志和未奏效的记录，可作为 GB10 量化推理栈的可复现参考。
开源项目 mainarch 用 Rust 从零构建，绕过 ROCm、HIP 和 HSA 运行时，直接通过 amdgpu 内核驱动与 AMD GPU 通信，用于本地运行 OLMo 2 大语言模型。该工具针对 AMD CDNA 架构和 MI355X 优化，支持 Windows 10 及以上系统，需至少 8GB 内存（推荐 16GB），完全免费且下载后无需联网，数据全部留在本地。
作者发布了完全从零编写的语言模型 AARUL：15.74M 参数的 decoder-only transformer，采用 Llama 同款设计，在 RTX 3070 Ti 笔记本 GPU 上用 TinyStories 数据训练 2.6 小时、229M tokens，验证损失从 8.40 降到 1.274。浏览器端以 19 KB 无依赖 JavaScript 运行 int8 量化模型（约 40-50 tokens/s），可实时展示 48 个注意力头的权重和各 token 概率分布，并通过与 PyTorch 对照的测试验证实现一致性。仓库 MIT 许可，含完整复现脚本。
推荐理由：作者从零实现训练与浏览器推理并用 PyTorch 浮点精度做一致性测试，展示了可复现的小模型全流程做法。
开源项目 Air.rs 基于 Rust 编写，可在 Windows 10 及以上系统的消费级 NVIDIA GPU 上离线运行 LLaMA 等大语言模型，支持 70B 参数级别模型，最低要求 4GB 显存（如 GTX 1650）、16GB 内存和 10GB 磁盘空间。项目开箱即用，支持调整 batch size、temperature 和 max tokens 等参数，可通过 GitHub Issues 反馈问题。
GitHub 项目 mlx-serve 发布，它是用 Zig 编写的原生服务器，可在 Apple Silicon 上运行 MLX 格式模型和 HuggingFace 上的 GGUF 模型，无需 Python。它在 http://localhost:11234 同时提供 OpenAI、Anthropic 和 Ollama 兼容 API，支持 Claude Code、Cursor、Open WebUI 等客户端；还内置图像、视频、音乐、语音（含声音克隆）和 3D 生成。官方基准显示在相同 MLX 权重下解码速度比 LM Studio 快 26%。附签名公证的 macOS 菜单栏应用 MLX Core，支持聊天、agent 模式、MCP 工具调用和模型管理，需 macOS 26.2+，MIT 许可。
xLLM 是京东开源的高效 LLM 推理框架，专门针对国产 AI 加速器优化，已在京东核心零售业务规模化应用。该项目已于 2026-07-06 正式捐赠给开放原子（OpenAtom）基金会，并持续 day-0 支持 GLM-5.3-Flash、MiniMax-M3、DeepSeek-V4、GLM-5 等模型。框架采用服务与引擎解耦架构，基于 Mooncake 构建混合 KV cache 管理，支持 Ascend NPU、寒武纪 MLU、摩尔线程 MUSA S5000、海光 DCU 等多种硬件。
Matrixorigin 在 GitHub 开源 Astra，一个面向长时间运行 agent 工作的自托管 runtime，将上下文组装、策略准入、执行与追溯纳入同一运行时，Runner 在用户自身环境中执行工具调用。
dangranaz 发布 engine-mlx，一个用 Rust 基于 Apple MLX C API 编写的 Apple Silicon 本地 LLM 推理引擎，提供 OpenAI 兼容 HTTP API 与 SSE 流式输出。引擎在 temperature 0 下与 mlx_lm 逐 token 一致，已验证 Qwen3-0.6B 与 1.7B 的 4-bit/8-bit MLX 格式；MacBook Air M1 16GB 上 Qwen3-1.7B-MLX-4bit 生成速度约 34-41 t/s，绝对吞吐仍低于 mlx_lm，作者归因于 kernel 效率差距。项目附带可复现基准，采用 MIT 许可证，开发过程主要由 AI 编码智能体在可验证的验收标准下完成。
推荐理由：作者给出与 mlx_lm 逐 token 一致的验证方法和可复现基准，读者可在自己的 Mac 上核验性能而非只听宣传。
开发者廖亦辰（bathfire-dev）发布 MIT 许可的开源项目 open-lowmem，在 Windows 上一键通过 Strata 推理引擎启动本地 Qwen3.8-Flash-Next，并接入 OpenCode 终端/网页/桌面版、Claude Code、claude-code-webui、Claude 桌面版和 Open WebUI 等客户端。项目仅支持 Windows，作者开发环境为 RTX 4090D 24GB + 32GB 内存；Claude 桌面版路径尚未端到端测试，仓库不含 Strata、模型文件等依赖，需自行安装，且与 Anthropic、阿里云等无关联。
一个基于 FastAPI 的 RAG 项目 Semantic Context Retrieval Engine，支持上传 PDF（最大 10 MB）、用 pdfplumber 抽取文本、Gemini 生成 embeddings、经 ChromaDB 相似度检索，并给出带文件 ID、页码、chunk ID 引用的有据回答。作者用 3 份 PDF 共 18 个问题做了对比实验，chunk_size=500 与 1000 的检索准确率和 groundedness 均为 100%，1000 字符版本平均延迟更低（16.96s vs 21.02s），但作者提示该差异受查询波动影响，不构成通用加速保证。
开源项目 MixInfer 发布 V0.2，定位为可嵌入、可扩展的大模型统一接入与治理基础设施，采用 provider-neutral 语义 IR，使入站协议、上游与出站格式相互独立。V0.2 提供端到端 SSE 流式传输、客户端断连时的上游取消、usage settlement 状态机及 requestId 传播，兼容任意 OpenAI-compatible 上游（如 OpenAI、DeepSeek、vLLM）。V0.3 将做多端点加权路由、fallback 与 retry，项目基于 JDK 17+，采用 MIT 许可证。
Storm Software 在 GitHub 开源了 Mindctl，一个 LLM 路由器，用内置逻辑和 Laya 等 System 1 决策模型根据输入提示词把请求路由到合适的模型，项目仍处早期开发阶段。它支持 npm、Go、Homebrew、容器等多种安装方式，可为 Claude Code 和 Codex 一键配置路由，支持 ChatGPT 与 Claude 订阅凭证透传、会话粘性（避免切换模型后缓存失效）、Headroom 压缩和用量节省统计。Apache License 2.0 授权。
一个 GitHub 仓库上线，将发布论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的实现与实验代码，该论文正投稿 COAI 2025 在审。论文提出优化 LLM 上下文推理以提升多任务环境适应性的策略，作者为 John Smith 等。仓库目前标注"To be released"，实现代码、benchmark 结果与预训练 checkpoint 等内容尚未放出。
aralde 在 GitHub 发布 OperatorLM，一个本地 OpenAI 兼容代理，单二进制即可在多个 OpenAI、OpenRouter、Groq、Gemini、Anthropic 等上游间做多账号别名与故障转移。API 密钥存于系统钥匙串而非磁盘，默认监听 127.0.0.1:11434 与 Ollama 相同端口，内置 llama.cpp 可本地运行 GGUF 聊天、视觉、嵌入模型及 Whisper STT 和 Piper TTS，另原生支持 /v1/messages Anthropic 兼容端点和实验性的 ChatGPT Plus/Pro OAuth 后端。
推荐理由：单二进制本地代理可同时管理多账号故障转移、密钥入系统钥匙串与本地 GGUF 推理，读者能对照配置示例评估是否替代 Ollama。
aentrepreneur 在 GitHub 发布 uncensored-llm，一个从USB直接运行 ./menu.sh 即可启动的100%本地LLM工具箱，基于预编译 llama.cpp（build b10936），无需安装、GPU、网络或账号。内置10个GGUF模型约27.7GB（含 Qwen 3.5 4B/9B/2B、Gemma 4 E4B、Phi-4 Mini、Llama 3.2 1B 及两个 Uncensored 变体），支持 OpenAI 兼容 API、tool calling、RAM 加载后拔除USB、OWASP ASI 实验的教育模式；在 i7-1165G7 上 1B 模型约 20-35 tokens/s。项目 MIT 许可，最低要求 4GB 内存与 8GB USB。
GitHub 用户 GPTim 发布 langfuse_llm_adapters 仓库，提供面向 Ollama 和 vLLM 的 LLM 适配器，主打可观测性。项目包含 Prometheus 监控端点、缓存嵌入器等模块，目前尚无 Star 与 Release，采用 Readme 形式提供说明。
一个论文仓库宣布将发布《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的实现与实验代码，论文正在 COAI 2025 会议评审中。作者为 John Smith 等，提出优化策略以增强 LLM 跨多任务的上下文推理能力，实验显示在动态环境中适应性更优。仓库内容包括完整实现、实验配置、benchmark 结果分析、预训练模型检查点和文档教程，目前尚未正式放出。
Gufo 是一个专为 AMD Strix Halo（Ryzen AI MAX+ 395，Radeon 8060S，最高 128 GiB 统一内存）构建的本地推理引擎，在 GitHub 开源，MIT 许可。支持文本、语音、图像等多模态模型：Qwen3.8 27B Q4 预填充 656.33 tok/s、单用户解码最高 70.56 tok/s（DFlash2 8 并发 123.00 tok/s），Qwen3.8 Flash-Next MTP 下 8 并发 157.22 tok/s，另有 Qwen3-ASR 1.7B 15.27× 实时、Qwen3-TTS 1.7B 首音频 201 ms 等。项目提供 Podman 部署与源码构建指南，OpenAI 兼容 API 支持文本、图像、函数工具、结构化输出与流式。
推荐理由：原文给出针对 AMD Strix Halo 128 GiB 统一内存优化的本地推理引擎及其多模态模型实测吞吐数据，读者可据此评估该硬件方案。
marfrit 发布 arcint，一个专为 Intel Arc A770（16 GiB）和 Arc Pro B60（24 GB）设计的窄域 LLM 推理引擎，仅运行 allowlist 内的 hybrid Qwen 模型。内核工作委托给打了补丁的 OpenVINO 构建并附公开补丁系列，另提供基于 pinned commit llama.cpp 的 libllama 后端，自管 KV 内存、prefix 缓存、前缀复用、DFlash 和 MTP 投机解码。
一个 GitHub 仓库为论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》预留实现与实验代码，论文正投稿 COAI 2025 审稿中，作者为 John Smith 等。该论文提出增强 LLM 跨多任务上下文推理能力的优化策略，实验显示在动态环境中适应性更优。仓库标注“待发布”，将陆续提供完整实现、实验配置、Benchmark 结果、预训练模型 checkpoint 及文档教程。
ICML 2025 论文 "Adaptive Learning Strategies for Large Language Models in Dynamic Environments" 的实现代码在 GitHub 开源，提出让 LLM 在动态环境中实时调整行为的自适应学习框架。方法支持无灾难性遗忘的持续学习与轻量更新，无需全量重训练；在主题切换、新领域、混合上下文、时序变化四类场景中分别取得 89.7%、86.2%、91.3%、88.9% 的成绩，较基线提升 16.8%-19.1%。项目采用 Apache 2.0 许可证。
开发者 Xilleet 在 GitHub 发布游戏翻译覆盖层工具 ScreenTale v0.7 beta，可将未翻译视觉小说、JRPG 和抽卡游戏的画面文本就地替换为译文。工具内置 Windows OCR（10–25 毫秒）与 RapidOCR 支持竖排日文，本地翻译基于 llama.cpp 运行 GGUF 模型（Hy-MT2 1.8B、Qwen 2.5 7B、Sakura 4B），自动检测 CUDA/Vulkan/CPU 并下载运行时；通过 HTTRANSPARENT 透传层工作、不注入进程内存以规避反作弊，并支持 12 种语言互译与 STREAMER 防录制模式。
推荐理由：原文详述了这款游戏画面翻译覆盖层的实现方案，包括 OCR 选型、llama.cpp 本地翻译运行时管理和不注入进程内存的反作弊设计。
ne0juan 在 GitHub 开源了 ai-paper-daily，一个全自动中文 AI 资讯站，每天北京时间 08:00 / 13:00 / 19:00 抓取、筛选、翻译并存档内容，在线阅读地址为 https://dailyaibot.com。项目用 GitHub Actions 定时运行、Cloudflare Pages 免费托管，大模型默认走 DeepSeek deepseek-chat，每天成本约几毛钱；内容含今日风向、资讯与观点、热门项目、架构评测和论文等栏目，论文 PDF 与文章存档托管站内。用户可 fork 仓库并配置 CLOUDFLARE_API_TOKEN 与 LLM_API_KEY 自行部署，代码以 MIT 协议开源。
推荐理由：原文给出了完整的数据源、打分规则和部署配置，读者可以直接 fork 复刻一个自己的中文 AI 资讯站。
thisisspartan 在 GitHub 发布 llama-log-observability，一个解析 llama-server 日志的实时仪表盘，用单个零依赖的 www.js 文件以纯 Node.js 实现。面板可视化 KV cache 来源与 VRAM/Host RAM 分布、上下文 checkpoint、MTP/n-gram 投机解码接受率与请求历史，并读取 /slots 和 /metrics 端点交叉核对，不改动 llama.cpp 本身。作者给出完整示例：在 RTX 5060 Ti 16GB 上以 q4_0 KV cache 加 host-RAM checkpoint 运行 Qwen3.8-27B MTP GGUF（IQ3_S 量化），跑通 124000 上下文。项目以 MIT 协议开源。
推荐理由：一个零依赖的单文件 Node.js 面板，把 llama-server 日志变成 KV 缓存、checkpoint 和投机解码的实时可视化，可直接复用。
开源项目 Smart Expense Coach（Paisa Mitra）让用户通过 WhatsApp 发自然语言消息（如 "Maine aaj ₹150 ka pizza khaya"）即可记账，由 Groq API 的 llama-3.1-70b-versatile 解析金额与类别并存入 Neon PostgreSQL。项目采用 Django 后端 + Node.js Baileys 机器人（经 Supervisord 同容器部署在 Render 免费层），并附带 React Native/Expo 移动应用和 Web 仪表盘，遵循 MIT 开源协议。
GitHub 上的 leonsio/hailo-10h-services 项目为 Hailo-10H 提供常驻推理网关，通过 OpenAI 兼容 API、MCP、WebSocket、MQTT 等接口暴露 VLM、LLM、语音、嵌入和 YOLO 检测模型。支持 Qwen2-VL-2B/Qwen3-VL-2B、Qwen、Llama、DeepSeek 等 HEF LLM、Whisper、MiniLM 和 YOLO，Gemma 4 E2B 可经 LiteRT-LM 独立跑在 CPU 上。受 HailoRT/GenAI 5.4.0 限制，Hailo 上一次只能驻留一个 GenAI 语言模型，VLM 与原生 LLM 需二选一。
开发者推出 NanoRAG，一个面向学术论文阅读的开源 RAG 应用，采用 Parent-Child 分块策略，将 400 字符的子块用于向量检索、2000 字符的父块提供给 LLM 作为上下文。系统使用 FAISS 做相似度搜索，配合 ms-marco-MiniLM-L-6-v2 Cross-Encoder 重排序，通过 MarkItDown 解析 PDF、DOCX、PPTX 等格式，并以 Gemini 2.5 Flash 流式生成带来源引用的回答。项目基于 Streamlit 构建界面，采用 MIT 许可证开源。
jevper 是 OpenAI 已公开的 Decisions API 架构和 System One 线格式的独立实现，可在任意 OpenAI 兼容模型或 Anthropic Messages API 上运行，pip 安装后仅需 pydantic>=2.7。
推荐理由：原文详细说明了在任意 OpenAI 兼容模型上复现 Decisions API 的方法与四种读取方式，还给出各本地服务器的实测差异，方法可直接复用。