新闻、仓库与研究，按时间排列。
该仓库完整记录了在两台 AMD Strix Halo 主机间用 USB4v2 链路做双卡张量并行（TP2）推理的搭建与运行经验，含自定义内核级流传输模块、gufo 侧 TP2 集成与运维脚本。实测 tbstream 传输 p50 延迟 22–23 µs 接近 RDMA 基线，Qwen3.8-Flash-Next Q4 双机 TP2 在约 62k 深度下 prefill 提升 34%，零拷贝无 NIC 路径；Q8 262144 上下文以 TP2 分片约 36 秒加载，单台 122 GB 主机装不下。流拆除时对端 mid-flight 导致的控制面失联（wedge）已定位并修复，自愈单元可在约 8 秒内自动恢复，最终 58% wedge 率压测中 7/7 自愈、零重启。
推荐理由：原文给出了完整的传输延迟、TP2 吞吐对比数据和复现指南，读者可以据此评估 USB4 双机张量并行方案的实际可行性。
DAEDAL 是一个针对扩散大语言模型（Diffusion LLM）的免训练、变长去噪框架，无需额外训练即可应用到现有扩散 LLM 上。它可根据提示词、批次或推理预算灵活调整去深步数与处理 token 数，在速度与质量之间灵活权衡，适用于长文本生成、推理和条件文本合成等任务。项目为论文《Beyond Fixed》的官方仓库，代码在 GitHub 开源提供。
一个论文配套代码仓库宣布即将发布，论文题为 "Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments"，提出优化 LLM 上下文推理的多任务策略，实验显示在动态环境中适应性更优。论文目前处于 COAI 2025 审稿中，仓库将提供实现代码、benchmark 结果、预训练模型 checkpoint 及文档。
John Smith 等人的论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》提出优化 LLM 跨任务上下文推理的策略，实验显示在动态环境中适应性更优，论文正在 COAI 2025 审稿中。该 GitHub 仓库尚未发布，后续将提供实现代码、实验配置、Benchmark 结果、预训练模型检查点和文档教程。
该仓库将发布论文 "Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments" 的实现与实验代码，论文目前处于 COAI 2025 审稿中。论文提出优化策略以增强 LLM 在多任务间的上下文推理，实验显示其在动态环境中适应性更优。代码、基准结果、预训练模型检查点与文档即将发布。
一篇题为《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的论文目前正投稿 COAI 2025 审稿中，提出优化策略以增强 LLM 在多任务间的上下文推理，实验结果显示其在动态环境中适应性更优。作者为 John Smith 等。代码仓库标注"即将发布"，将包含实现代码、实验配置、benchmark 结果、预训练模型检查点及文档教程。
dwuticede 发布了论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的配套代码仓库，该论文提出优化策略以增强 LLM 跨多任务的上下文推理能力，目前在 COAI 2025 审稿中。仓库标注“即将发布”，将包含实现代码、实验配置、benchmark 结果、预训练模型 checkpoint 及文档教程。
John Smith 等人的论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》提出优化策略，用于增强 LLM 在多任务间的上下文推理能力，实验显示其在动态环境中适应性更优。该论文正投审 COAI 2025，GitHub 仓库标注"To be released"，实现代码、实验配置、benchmark 结果、预训练 checkpoint 与文档尚未发布。
GitHub 开源项目 Edit-Latent-CoT 基于 causal-latent-cot 开发，用于研究 latent 推理中的自然错误，流程包括基线评测、原样恢复验证、逐位置干预和离线分析。首个模型为 GPT-2 + Coconut，数据集为 GSM8K 和 ProsQA，已通过 CPU 微型模型与完整流程检查，真实 checkpoint 的 benchmark 结果仍待服务器验证。项目保留上游 CC BY-NC 4.0 许可证。
AutreMachine 在 GitHub 发布 llm-router，一个 OpenAI 兼容的负载均衡路由器，可将分布在多台机器上的 LLM 和嵌入模型（llama.cpp、Ollama、vLLM、LM Studio 等暴露 /v1/chat/completions 等端点的后端）统一到单一端点调用。单进程双端口设计：8000 端口提供需 API key 的公开 API，8001 端口为仅限局域网的 Web 管理台。
推荐理由：开源的自托管 LLM 路由器，作者讲清了优先级队列、failover 和性能指标的实现细节，适合想用多台小机器拼 LLM 集群的读者参考。
GitHub 仓库 Rami2212/PSSN-LLM-Reasoning 提出了用于提升 LLM 推理效率的 Predictive Semantic State Navigation（PSSN）项目，基于未量化 Qwen/Qwen3-4B 模型，在 Hugging Face GSM8K 数据集与 Google Colab 上搭建。项目包含 CoT 基线、答案抽取与准确率评估，默认生成长度 1,024 tokens，使用 BF16（不支持时 FP16），初始实验在固定 seed=42 的 75 题 GSM8K 开发子集上运行，结果以 JSONL 记录 token 数、延迟和 CUDA 峰值内存。
作者在 RuMedTop3（俄语患者主诉预测 ICD-10 编码，105 类，测试集 n=822）上对比了 TF-IDF、DeepSeek 提示/RAG、Qwen3-8B QLoRA 与 Kev-0.8B 直选五种方法。TF-IDF+逻辑回归 Hit@1 49.03 / Hit@3 72.63，零样本 DeepSeek 仅约 33；Qwen3-8B 在 Apple M2 Pro 上用 MLX 训练一轮 QLoRA（6 小时 32 分钟），Hit@1 从基座 7.66 提升到 35.64（配对差 +27.98 点）但仍低于 TF-IDF；Kev-0.8B 零样本 Hit@1 12.41，迁移效果差，中位推理延迟 523 ms。
推荐理由：同一测试集上系统对比了线性基线、API 提示、RAG、QLoRA 和小型模型直选五种方案，并给出置信区间与配对差异，结论克制可复核。
rajveer43 在 GitHub 发布 VeloxQuant-MLX，可在 Apple Silicon 上把任意 mlx_lm 模型的 KV cache 压缩至最多 16 倍更小、质量接近无损，只需三行代码。项目内置 43 种来自已发表论文的压缩方法，统一 API 切换，热路径用手工 Metal 内核（quantize 最快 14.7 倍加速），在 12 个生产模型上验证，并提供 MIT 许可、Web 控制面板和多语言客户端 SDK。README 同时说明压缩比是位宽核算而非实测 RSS，多数方法在默认服务路径仍内部存储 fp16，仅 eviction/merging 类方法当前能真正降低常驻内存。
推荐理由：给出了43种KV cache压缩方法的三行代码API、Metal内核实测数据和RSS不降的诚实说明，适合在Apple Silicon本地跑模型的人参考。
GitHub 上的 VT-Transformer 项目包含 vt-lang（用于描述和验证 LLM 计算的 DSL）和 vt-harness（AI 生成的推理框架）。它采用 1x1x1 架构——为特定模型、特定硬件、特定部署计划生成优化代码，以区别于 vLLM/SGLang 的 MxNxK 通用框架，模型可用 HuggingFace 的 safetensors 验证。项目处于早期阶段，vt-lang 运行时和 Qwen3.5-0.8B、Qwen3.8-27B 等模型描述已就绪，AI 生成流水线仍在开发中。
Prime Intellect 在 GitHub 上开放 prime-rl 框架，这是一个面向大规模异步强化学习训练的框架，可扩展到 1000+ GPU，采用 FSDP2 训练和 vLLM 推理，支持 FP8 推理、PD 分离、EP 和 CP 并行。框架原生集成 verifiers 环境与 Environments Hub，覆盖 SFT、RL 训练和评测的端到端后训练流程，支持 GLM-5、Qwen3 MoE、MiniMax M2、GPT-OSS 等模型的优化训练代码，并提供 Slurm 和 Kubernetes 多节点部署及一行式 SLURM 部署示例。项目附带从单张消费级 GPU 到 2048 GPU 的训练示例和文档，采用 Apache 2.0 许可证。
Ganesh1110 在 GitHub 上开源了 DynoLLM，一个面向本地 LLM 的基准测试、并发压测和硬件遥测平台，支持 Ollama、vLLM、LM Studio 和 llama.cpp。平台原生测量流式 TTFT、tokens/s、并发饱和极限、GPU VRAM 与功耗，提供 tok/s/W 能效分析和带安全熔断的 watchdog，前端为 React 仪表盘，后端 FastAPI，采用 MIT 许可证发布。
推荐理由：README 详细给出 TTFT、并发压测、功耗遥测等指标的计算方式和四种流量模式，读者可以据此判断是否值得为自己的本地 LLM 部署引入这个压测平台。
sunwills 发布论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的代码仓库，该论文提出优化 LLM 跨多任务上下文推理的策略，实验显示在动态环境中适应性更优，目前处于 COAI 2025 审稿中。仓库标注 To be released，将陆续放出完整实现、实验代码与配置、benchmark 结果与分析、预训练模型 checkpoints 及文档教程。
Joakimpalm-Zen 发布 xyntetik-runner 1.0.2，一个纯 C 编写的单文件本地推理引擎，支持 Linux、macOS 和 Windows，兼容 GGUF 与 OpenAI、Anthropic API，Apache 2.0 开源。工具可仅读模型文件前几 MB 判断是否装得下，在 72 次测试中 70 次命中真实 GPU/CPU 分层且从不乐观；--kv k8v4 将上下文缓存压到约 41%，空闲时 63 GB 模型仅占 35 MB 内存（llama-server 为 60.8 GB）；被截断的工具调用仍可解析，LoRA 可直接在量化文件上训练，Qwen3-4B 4-bit 工具调用准确率从 0.69 升至 1.00。
推荐理由：README 给出可复现的实测数据，读者可以拿这些数字与 llama.cpp 等现有推理引擎做具体对比。
mrwogu 开源了 factory-droid-openai，一个本地运行的网桥，把 Factory Droid 模型以 OpenAI Chat Completions 和 Responses API 格式暴露在 http://127.0.0.1:8787/v1，可在 VS Code、Cursor、Continue、Aider、Zed 等任何支持自定义 base_url 的工具中使用 GPT-5.4、Gemini 3.1 Pro 等模型。
推荐理由：原文给出多模型工具调用方言的完整解析表和 fail-closed 处理策略，对自建本地 API 网桥的人是可借鉴的工程参考。
b-data 在 GitHub 发布 JupyterLab Mojo Docker 镜像栈，提供 linux/amd64 与 linux/arm64/v8 多架构镜像，含 base 与 scipy 两类，Mojo 版本 ≥ 24.3.0 的镜像已视为稳定。镜像内置 JupyterLab、code-server、Mojo、MAX、Python、Quarto、Zsh 等工具，并提供 devtools、docker 等多种子标签变体，支持 Docker 与 Podman rootless 模式运行。
zhongkaifu 发布 TensorSharp，一个面向本地 GGUF 模型的 .NET 10 推理引擎，支持 CLI、浏览器聊天和 Ollama/OpenAI 兼容 API，后端覆盖纯 C# CPU、CUDA、Metal 和 Vulkan。能力覆盖文本与推理、多模态输入、嵌入向量、Qwen-Image-2.1 图像生成与遮罩编辑、MiniMax-H3 带音频视频生成，以及含沙箱代码执行的 Agent Skills 和受限子智能体。
推荐理由：原文给出与 llama.cpp 同硬件同文件的逐项对比数据和多后端覆盖说明，读者可以据此评估这个 .NET 本地推理引擎是否适合自己上手。
作者发布了 qwen27-engine，一个专门为 Qwen3.8-27B 和两块 NVIDIA RTX 5060 Ti 16 GB（Windows、sm_120）从零编写的推理引擎，提供 OpenAI 兼容 API，支持流式输出、工具调用、推理、图像输入和投机解码。在同一台 PC 上，其解码比调优过的 llama.cpp 构建快 1.4-1.7 倍，读提示词快 1.7-2.4 倍，重放真实 Qwen Code 会话耗时约一半；q8_0 KV 缓存下输出分布与 llama.cpp 的平均 KL 散度为 0.0005-0.001。限制包括仅支持 Windows、固定双卡、单请求串行，模型文件来自 ISTA-DASLab 的 GGUF（12.1 GB，1.75-6.5 bit 混合量化），MIT 许可。
推荐理由：作者为单一模型和固定双卡硬件从零写了推理引擎，并附完整的性能对比、精度差异和限制说明，读者可以据此评估本地部署的取舍。
作者开源 steadybatch 工具，用于可靠地通过各厂商 Batch API 跑数百万条 LLM 请求，价格约为常规一半。它为每个请求分配稳定 ID 并检查是否全部返回，按 JSON Schema 校验响应，坏行单独重试而不重跑整批，进度写入 SQLite 以便崩溃后续跑，并按发送顺序返回结果。支持 OpenAI Batch API、Gemini batch mode、Anthropic Message Batches API 和自托管 vLLM，AWS Bedrock 在路线图中；仓库还附一个跨厂商批量 API 的开放基准 harness，比较成本、耗时、失败模式和可复现性。项目尚不在 PyPI，需从 GitHub 安装，Apache-2.0 许可。
推荐理由：原文讲清了批量 API 常见的漏行、坏 JSON、不可复现等问题及逐行重试与断点续跑的处理方法，可迁移到大规模结构化提取任务。
tinyhumansai 在 GitHub 开源 TinyAgents，一套 Rust 编写的 provider-neutral Agent 框架，借鉴 LangChain 与 LangGraph 设计，包含 durable 类型化状态图运行时。
作者在单张 RTX 2080 Ti 22GB 上用 Unsloth UD-IQ4_XS 4-bit 量化实测 Qwen3.6-35B-A3B，HumanEval 全部 164 题 pass@1 达 89.63%（147/164）。随后对自制的 MoE expansion 路由补丁做受控 A/B：在最后 15 层（25–39）每 token 激活 20 个专家而非原生 top-8，无需重训或改文件，pass@1 升至 90.85%（149/164），解码速度从 69 tok/s 降至 56 tok/s（约 -19%）。作者提示 +2 题在 164 题的统计噪声范围内，且用的是原始 HumanEval 而非 EvalPlus，不能与 EvalPlus 榜单直接对比。
推荐理由：作者给出了同机同量化下的受控 A/B 数据和解码速度代价，读者可以据此自行判断该路由补丁是否值得用。
GitHub 项目 Scholaradar 开源发布，用本地大模型每晚以 8 种语言搜索奖学金并复核 MEXT、GKS、DAAD 等 25 个项目官方页面，仅对页面原文引用判定本国公民是否可申请。首日找到 342 个机会，其中 227 个明确对蒙古公民开放；51 页人工标注测试中严格标签准确率 80%，截止日期解析 100% 正确。需 16GB 显存 GPU 或托管模型，MIT 许可，改一个配置块即可适配其他国家。
推荐理由：原文给出了完整安装命令、资格判定方法和四模型基准数据，想自己搭一套本地 AI 信息聚合管道的读者可以照着复现。
OrbitKV 项目开源，将 vLLM 和 SGLang 的 KV cache 扩展到 GPU 显存之外，把可复用前缀保存在 DRAM 和 SSD，并在匹配请求到达时恢复。引擎持有 GPU 内存与调度，OrbitKV 通过每主机一个 Cache Manager 管理外部副本与传输，支持引擎重启后前缀复用、nvCOMP ANS/FP8/TurboQuant 存储编码、Prometheus 指标和实验性的多节点共享缓存。基线版本为 vLLM 0.31.0 和 SGLang 0.5.21，记录的端到端对比显示优于 HBM 逐出后重算，但慢于原生 CPU offload；小负载开销与更广的部署验证仍在进行。项目采用 Apache-2.0 许可证。
Mootikins 在 GitHub 开源 llama-swappo-halo 容器镜像，用于在 AMD Strix Halo（gfx1151）上运行支持 Ollama API 的 llama-swappo LLM 代理，基于 kyuz0/amd-strix-halo-toolboxes 的 llama.cpp 预编译版本。镜像提供 ROCm/HIP 与 Vulkan 两种后端，其中 Vulkan 在 gfx1151 上稳定性更好，ROCm 性能更高且可选 whisper.cpp 语音转文字支持，镜像以 MIT 许可发布。
GitHub 上的 minivllm 是一个从零构建、用于学习的极简 vLLM 风格 LLM 推理引擎，实现了 Paged KV cache、batching 调度器、可插拔 attention 后端和 OpenAI 兼容服务器。项目开源，支持 pip 安装，可下载 Qwen2.5-0.5B-Instruct（约 1GB）进行聊天、测试和不同 attention 后端的 benchmark。
GitHub 仓库 kuwafu/mcp-file-agent 集成 Proxmox VE 上的 Nextcloud、FastMCP (SSE) 服务器与 LibreChat，实现学术资料自动分拣和讲义语音转录。本地部署的 Qwen3.5-122B-A10B（MoE，32k 上下文）从文件名自主推断科目与课次并通过 WebDAV 移动文件；faster-whisper 在 Xeon（160GB RAM）上以 CPU 推理转录语音，RTF 约 0.28，并自动生成 Markdown 讲义笔记回传 Nextcloud。
TinyServe 是一个用 Python、PyTorch 和 Triton 从零构建的可读性优先 LLM 推理服务引擎，可在单 GPU 上以 OpenAI 兼容流式 API 服务 Llama 架构模型。项目目前处于早期开发阶段（Phase 0），尚未报告任何 benchmark 数字，规范详见 docs/SPEC.md。
ohdearquant 开源了 lattice，一个面向 Apple Silicon 的纯 Rust 推理引擎，无需 ONNX、Python 或 CUDA，支持 Qwen3.5-0.8B/2B、Qwen3.6-27B（原生 Q4）及 Qwen3.6-35B-A3B（MoE，仅加载器级）等生成模型和 9 个 embedding 模型，提供 Metal GPU 加速、Q8/Q4/QuaRot 量化、LoRA 训练与 OpenAI 兼容 API，并附带原生 macOS 应用 Lattice Studio。
random1st 发布 Feynt，一款跑在 Apple Silicon 菜单栏的本地大模型推理应用，用 DFlash 2 起草模型一次提出整块 token、大模型单次验证的方式，在 M3 Max 上达到普通解码 2.7 倍速度（Qwen3.8-27B Uncensored 14.6 提升至 40 tok/s）。应用内置聊天、首启向导、OpenAI 兼容服务器及 MCP 和 A2A 端点，引擎通过 MLX Swift 运行，无需 Python 或预装依赖，安装命令为 brew install --cask random1st/feynt/feynt。
raine 在 GitHub 发布 consult-llm，一个让现有 Agent 工作流调用其他大模型获取第二意见的 CLI 工具，支持 GPT-6 Astra、Gemini 3.8 Flash、Claude Opus 5.5、DeepSeek V4 Pro、MiniMax M2.7、Grok 4.7、GLM 5.2 及任意 openrouter/* 模型。提供 /consult、/debate、/collab 等技能，支持 API 和本地 CLI 后端（可复用订阅无需 API key）、thread_id 多轮对话、git diff 上下文、剪贴板 web 模式和实时 TUI 监控，项目已从 MCP 迁移到 CLI 加技能架构。
Aravind0403 在 GitHub 开源 AetherControl，一个连接 GPU 硬件执行与后训练开发管线的 LLM 生产级控制平面，涵盖数据预检、DeepSeek-R1 风格 GRPO 微调、vLLM 推理服务与 Kubernetes 遥测四个阶段。实测部分为 RTX 4090 上 vLLM 0.7.2 跑 Qwen2.5-1.5B-Instruct，达到 1,141.41 tokens/s、TTFT P50 22.1ms，成本 $0.08–$0.10 每 1M tokens；GRPO 训练批数学准确率从 42% 提到 70%（作者注明非 held-out 测试）。仓库提供 64 个 CPU 可跑的单元测试、指标溯源注册表和 HuggingFace 上的微调模型与数据集，MIT 协议。
推荐理由：仓库把每项指标都标注了实测、训练批或分析模型分类并附复现路径，还提供零 GPU 的 CPU 单测入口，便于读者自行验证。
hey345327-boop 在 GitHub 发布 futuresearch-gateway，一个非官方网关，将 FutureSearch 的提交任务、等待、读取结果流程转换成 OpenAI Chat Completions 和 MCP 接口，覆盖 143 个上游模型档位、35 个家族入口和 7 个研究/预测预设，可接入 Claude、GPT、Gemini、Grok、GLM 等家族。支持 Docker、二进制和源码三种部署方式，内置中文网页控制台，提供多账号管理、余额查看与异常冷却、租户额度与并发限制、全局或指定模型的前置指令，以及可控制读写和执行权限的本地文件 MCP 与 HTML 预览入口。
推荐理由：把 FutureSearch 研究能力封装成 OpenAI 兼容接口和 MCP，部署、账号池和租户管理细节写得完整，适合想自建研究工作台的读者参考。
cliproxy-rs 发布，它是 CLIProxyAPI 的 Rust 重写版，通过一个本地端点让 Codex CLI、Claude Code 等工具使用自有账号或 API key，并可在 OpenAI、Anthropic 和 Gemini API 之间转换。安装脚本或 Homebrew 均可部署，仪表盘地址 http://127.0.0.1:8317/management.html。与 Go 版兼容性测试共 1,687 项，835 项已覆盖、707 项部分覆盖、145 项缺失。基准测试中其流式吞吐为 793 streams/s，高于 Go 的 564，但非流式吞吐和 256 慢流下的 p99 延迟逊于 Go 版；支持多账户轮询路由和 429 自动切换凭据。
推荐理由：原文同时给出与 Go 版的兼容性差距、内存与吞吐基准数据和多账户配置方法，读者可以据此判断是否迁移。
开源项目 PULSAR-ASM 用 5,268 字节的纯 x86-64 机器码在 CPU 上直接驱动 Google Gemma-2B-IT（20 亿参数 FP16），零 C 运行时库、零第三方依赖、零 Python。引擎对 4.67 GB 权重实现 4.04~4.41 Tokens/sec 推理（较标准 CPU 框架提速 300%~400%），频谱剪裁实验达 7.32 Tokens/sec，需 AVX2/F16C 指令集与 8 GB RAM。项目还包含 18 层 latent 遥测与因果幻觉诊断功能，可在 Layer 15 定位幻觉发生层，并计划平移至 ARM Cortex-M 与 RISC-V。
John Smith 等人的论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》提出优化策略以增强 LLM 在多任务间的上下文推理，实验显示在动态环境中适应性更优。该论文正在 COAI 2025 审稿中，GitHub 仓库即将发布实现代码、benchmark 结果、预训练模型 checkpoint 及文档教程。
mcampa 发布的开源项目 llm-router 是面向 DGX Spark 的本地 LLM 网关，在端口 4000 提供 OpenAI 兼容端点，路由到自托管 vLLM 模型与 DeepSeek 云 API，并使用 Postgres 存储模型、Redis 做缓存。自托管侧基于 Eugr 的 B12x vLLM 栈运行 Qwen3.8-Flash-Next，默认启用 qwen38-fast（INT4 量化，125B 总参数，每 token 约 5/10 专家，磁盘占用约 119 GiB，解码比完整模型快约 33%），NVFP4 完整版 qwen38 已在 docker-compose.yml 中注释备用。deepseek 路由在云端 API 失败时可回退到本地 vLLM，失败后冷却 300 秒。