新闻、仓库与研究，按时间排列。
一个基于 Java、Spring Boot、PostgreSQL 与 Groq LLM 的 AI 工单管理开源项目，将工单服务与 AI 分类服务拆分为独立微服务。LLM 以结构化 JSON 输出工单意图、情绪、优先级和建议支持团队，服务间通过 Spring WebClient 响应式通信，并配备超时、重试、熔断与 fallback 容错，提供 OpenAPI/Swagger 文档。
GitHub 上的 rajibdash/LLM-enabled-RCA-for-RAN 是一个面向电信 RAN/5G/6G 网络的 LLM 根因分析（RCA）参考实现，灵感来自被 IEEE Wireless Communications Magazine 接收的论文，核心观点是 LLM 只有嵌入结构化、证据支撑的推理管线才有价值。仓库包含 SEKA-FT 框架说明、数据摄入、证据关联、RAG 式检索、根因推理与验证等模块，并提供了 TeleLogs/TelecomTS 上的实验结果和可直接运行的管线脚本与测试。
ModelScope 社区的 ms-swift 是一个大模型与多模态大模型微调及部署框架，支持 600+ 纯文本大模型和 400+ 多模态大模型的训练、推理、评估、量化与部署全流程。框架集成 Megatron 并行技术（TP、PP、CP、EP）和 GRPO、DAPO、GSPO 等 GRPO 系列强化学习算法，内置 150+ 数据集，支持 LoRA、QLoRA 等轻量化微调，7B 模型量化训练仅需 9GB 资源。近期更新包括支持 Xing4.0-29B-A4B、DeepSeek-V4.1-Flash 及 Day-0 支持 Qwen3.8-Flash-Next。
一项大规模芬兰语语音 SSL 研究从 210 万小时无约束广播音频出发，提出用 ASR 置信度作为预训练数据质量的代理指标。相比基于 LID 的过滤，该方法在训练集更小的情况下仍带来 3-7% 的相对 WER 提升。研究还在相同参数预算下对比了 Transformer、Macaron-Net、Conformer 和 E-Branchformer 四种架构，模型在 Base 规模和域外场景优于此前芬兰语 SSL 基线。
GitHub 仓库 hohoo-ai-lab 用 Java 8 开展 LLM 调用、RAG、注意力机制等实验与教学，2026-09-29 起新示例统一改用 agnes-3.0-flash，历史结果保留原型号并单独归档。已发布 L1/L1v2 上下文位置试验（29 次尝试、24 次实测）、A1 事务式对话历史、KV int8 量化对照（36 组）等，其中 L1v3 的 2515 项自检与 60 项独立测试通过，真实请求为 0。仓库强调所有结论仅基于本地协议与归档产物，不宣称端到端 RAG 正确率或完整在线助手。
1CatAI 在 GitHub 发布 1Cat-vLLM-Gaudi，一个维护的 vLLM-Gaudi 硬件插件工程分支，重点优化 Gaudi2 上的 Qwen、DeepSeek、MiniMax 模型推理，覆盖 TPC/MME 算子、Graph + Compile、Native Replay、TP2 与 TP2 × PP2 多卡执行。README 给出 Qwen3.8-27B-FP8 对照记录：输入 2,048 tokens 时 Gaudi2 单请求首字 0.4036 s、Decode 57.17 tokens/s，较 A800 单卡首字缩短 47.8%、Decode 提升 17.5%；32 并发时 Decode 总吞吐 958.44 tokens/s，仍比 A800 低 3.3%。
推荐理由：这个 vLLM-Gaudi 分支把 A800 与 Gaudi2 的逐档并发对照数据连同测量口径一起公开，读者可以核对每项优化的适用范围与局限。
gopiprakan 发布了 GLM-5.3-UNCENSORED-FP8 的 EXL3 量化版本（平均 3.04 bpw，273 GiB），上游是 dealignai 对 zai-org/GLM-5.3 做权重编辑得到的无微调变体，编辑记录保存在 CRACK_SURVEY. 同目录的 CRACK_SURGERY.。量化版在 wikitext-2 上相对 FP8 源的 KL 散度为 0.089/0.097，perplexity 3.440 对 3.302；tau2-bench 实测中 airline 和 retail 两域与原版 GLM-5.3 FP8 的差异分别为 -0.070 和 -0.022，样本量下不具统计显著性。
开源工具 llmtui 提供键盘优先的终端界面，用于与本地 LLM 聊天，支持 Ollama、LM Studio、vLLM、llama.cpp 及任何 OpenAI 兼容服务器，还可通过 llama.cpp 在进程内直接运行 GGUF 模型。它强调本地优先：无遥测、API 密钥不记录，推理内容仅存内存、不写入历史；可选 /agent 模式默认关闭，执行有边界、可验证的循环，工具调用需经审批。支持 darwin、linux、windows（amd64/arm64），需 Go 1.27+ 或直接下载 GitHub Releases。
arXiv 论文提出 ReTRAIL 框架，让大语言模型智能体在长程任务中将环境回退到早期状态，同时保留有效进展并携带从放弃探索中习得的知识。该方法用 State-Anchored GRPO 和分支推进奖励训练共享策略。在 MineSweeper、Sokoban、ALFWorld 和 ScienceWorld 四个交互式 benchmark 上，仅添加回退原语收益有限甚至降低性能，而 ReTRAIL 能复用废弃分支的经验指导后续探索。
研究者推出反事实文本编辑基准 CoBe，测试模型在对话式提示下零样本修改文本场景、同时保留未受因果影响事实的能力。基准含 2000 道题，覆盖医疗、科学与工程、商业及日常场景；前沿模型平均得分 58.05%，且常退化为关联式生成而非保留因果结构。性能与模型规模及输出 token 长度均不一致相关，表明问题可能源于训练目标而非模型容量不足。
Jan 是一个开源的 ChatGPT 替代品，可在本地下载并运行 Llama、Gemma、Qwen、GPT-oss 等模型，支持通过 OpenAI、Anthropic、Mistral、Groq、MiniMax 等接入云端模型。它提供自定义助手、OpenAI 兼容本地 API（localhost:1337）和 MCP 集成，数据可完全本地运行以保护隐私。项目采用 Apache 2.0 许可证，支持 Windows、macOS 13.6+ 和多数 Linux 发行版。
RAMP（Recurrent Adaptive Mixed Precision）是一种针对循环深度语言模型长上下文 prefill 的自适应混合精度方法。研究发现循环深度早期引入的量化误差会被后续更多循环步骤衰减，因此对低精度计算前置、末端恢复高精度。在最长 4K 上下文上，RAMP 在 NVIDIA H100 上实现最高 1.16x 端到端首次 prefill 加速，延迟降低 13.9%，同时保持接近全精度的质量。
作者将 HauhauCS 发布的无审查 Qwen3.8-27B（GGUF 格式）转换为自研 C++/CUDA 推理引擎 NInfer 的格式，在单张 4090 上跑出 262K 全原生上下文、约 130 tok/s 解码速度（MTP3，70.8% 接受率）、9K 提示词下 3,591 tok/s 预填充，Perplexity 与官方产物差距在 1.3% 以内，视觉和工具调用仍可用，采用 E8 4Bit 量化。转换器与说明见 https://github.com/T-Crypt/ninfer-4090/pull/4，仓库为 ninfer。
推荐理由：作者给出转换前后速度、上下文和困惑度的对照数字，读者可据此评估自研推理格式在量化去对齐模型上的可用性。
GitHub仓库AdnanSattar/llmlocal发布了一个CPU优先的OpenAI兼容本地LLM API服务器，默认通过llama.cpp子进程运行GGUF量化模型，默认模型为Qwen3-1.7B-Q4_K_M，提供/v1/chat/completions、/v1/completions、/v1/models等端点，支持SSE流式输出和混合推理模型的thinking开关（LLM_REASONING_FORMAT=deepseek使推理过程单独返回不混入答案），默认上下文窗口8192。
joyjeni 在 GitHub 开源了一个面向 ARC-AGI-2 任务的三阶段求解管线，已提交 Kaggle 上的 ARC Prize 2026 竞赛。第一阶段为确定性规则库，覆盖约 35% 的任务；第二阶段包含 21 个模式归纳求解器；第三阶段用 Qwen3-4B（grid-SFT checkpoint）做 LLM 推理，并对每个任务执行 20 步测试时训练。项目采用 MIT 许可证，提供自包含的 Kaggle 提交 notebook，需 GPU P100/T4 且运行时间不超过 12 小时。
jaypetez 在 GitHub 开源了 agent-gpu，一个面向 Ollama 的分布式推理层，把远程 GPU 机器聚合成一个 OpenAI 兼容 API。中央服务器负责认证、配额、权限和容量感知调度，按空闲 VRAM 和负载分发任务，并用会话亲和保持对话落在已缓存上下文的 worker 上；支持 /v1/chat/completions 等端点、多租户 API key、Prometheus metrics，提供 Docker Compose 一键启动和 Windows/macOS/Linux x64+ARM64 二进制，项目处于早期开发阶段。
gpupool 是一个基于 llama.cpp 的控制平面，能把分散在多台机器上的空闲 VRAM 池化，按层拆分模型跨 GPU 和服务器部署，并对外提供单个 OpenAI 兼容 URL。它支持多模型优先级与抢占、KV cache 量化共享、投机解码、Hugging Face 到 GGUF 的内置转换，估计器与已发布的 Q4_K_M GGUF 文件体积误差在 4% 以内；文档提醒 RPC 端口无认证，需在私网或 VPN 内使用。
推荐理由：gpupool 把多台机器的空闲 VRAM 池化成一个 OpenAI 兼容端点，文档给出具体放置方案和显存估算精度，便于评估能否复用自家零散 GPU。
GitHub 开源项目 Prism 是一个领域无关的欺诈检测与文档智能平台，领域由 YAML 配置参数定义，自动检测输入类型、经人工确认后运行多智能体流水线。任何 CSV、PDF 或 DOCX 上传都会同时获得欺诈/异常判定和可对话的 RAG 摄入。banking、insurance、payroll_hr、financial_services 四个领域已端到端跑通，共 9 个欺诈层级、15 个模型 artifact（约 30 MB）、351 个测试，部署在 AWS EC2 t3.micro 免费层上的单个 Dockerized Streamlit 服务。
您的消息中只包含编辑规则和输出要求，没有附带需要生成标题和摘要的文章原文（包括原始标题、来源和正文）。根据防幻觉规则，缺少原文时不能凭常识编造标题或摘要内容。请补充完整的文章信息，我将立即按要求处理。
开发者 chenchen8486 在 GitHub 发布中文 LLM 机制学习手册，可离线浏览，系统讲解从训练数据、分词、Transformer 架构到预训练、后训练（SFT/RLHF/DPO）及推理部署的完整链路。公式用 KaTeX 渲染并配原创 SVG 示意图，代码对照引用 Apache 2.0 许可的 minimind 项目，第 13-15 章仍在规划中。
R-KV 是一个解码时 KV 缓存压缩方法仓库，通过同时评估 token 的重要性和非冗余性来丢弃重复 token，在 10% 缓存下保持约 100% 精度，长 CoT 生成中节省 90% 内存、吞吐提升 6.6 倍。vLLM（v0.25.1）和 SGLang（v0.5.14）端口已完成性能强化，支持 tensor 与数据并行（DP 在 8× H100 上分别扩展 7.6× 和 7.8×），在 budget=512 的 GSM8K 上与 Full-KV 保持无损，vLLM 端口在 gpu_mem 0.40–0.25 下吞吐提升 +17% 至 +32%。方法无需训练，兼容任意自回归 LLM，基准测试基于 DeepSeek-R1-Distill 系列模型在 MATH-500 和 AIME 2024 上进行。
ashwinvijayakumar24 在 GitHub 开源 llm_serving_layer，一个从零构建的 LLM 服务系统，在单请求 Llama 3.2 1B 推理引擎之上实现 paged KV cache、continuous batching、内存压力下的 preemption、radix prefix cache 与跨 GPU 副本的 prefix-aware routing。
推荐理由：项目公开了五项声明的完整实测数据，包括未达成项的失败测量与七个失效案例诊断，方法与结果都可复现追溯。
PocketLLM 项目通过 JNI/NDK 调用 llama.cpp 并支持 Vulkan GPU 卸载，在 Android 上本地运行 GGUF 模型，暴露 OpenAI 兼容 API 供本机和局域网客户端使用。v0.3.0 新增基于 GBNF 语法约束的 Agent 工具调用，保证小模型输出的工具调用格式合法，并提供共享同一核心引擎的桌面 JVM CLI（chat/serve/agent）。项目还内置 Hugging Face 模型下载、断点续传、聊天界面与 API key 管理；已知限制包括单模型串行推理、当前仅打包 arm64-v8a，且小于 500M 的模型参数内容质量较差。
推荐理由：开源项目直接在 Android 上用 llama.cpp 跑 GGUF 并提供 OpenAI 兼容 API，还给出采样时 GBNF 约束小模型工具调用格式的做法。
wlejon 在 GitHub 发布 brolm，一个纯 C++20 的语言与文本模型推理库，是 brodiffusion 的文本侧对应物，基于 brotensor 和 bromath 构建。它支持编码器嵌入与解码器生成，内置 CLIP、T5、Qwen3、Qwen3.5-VL、Qwen3-VL、Mistral 3.1、Gemma-2、Whisper、NLLB-200 等模型组件，后端覆盖 CPU（FP32）、CUDA、Metal 和 Vulkan（FP16/BF16），可直接加载 safetensors 与 GGUF 权重（量化权重需 GPU 后端）。MIT 协议，Pre-1.0 版本，CI 只覆盖 CPU 构建且自包含测试通过，绿色构建不表示模型输出正确。
推荐理由：README 讲清了纯 C++20 推理库的组件构成、支持的模型族与 GGUF 量化加载方式，并说明 CI 绿色并不代表模型输出正确。
cezarc1 在 GitHub 发布 decodebench，基准测试真实推理栈上的 LLM 解码速度，核心结论是 NVFP4 在小批次下更快。在 vLLM v0.31.0、1× NVIDIA B200、Qwen3-32B（W4A4）上，batch 1/8/32 时 NVFP4 解码吞吐比 MXFP4 高 7.1%/7.5%/4.2%，batch 64–512 时两者差距在 ±2% 以内；大 GEMM 场景 NVFP4 高出约 9% TFLOPS。实验采用预注册假设与判定规则，固定 vLLM、FlashInfer 0.7.0.post1、PyTorch 2.13.0 等版本，并公开原始数据、RESULTS.md 与 fp4bench 工具供复现。
推荐理由：这个基准用预注册协议在真实 vLLM 栈上对比 NVFP4 与 MXFP4 的解码性能，并公开全部原始数据与复现流程，方法设计值得借鉴。
kawe63pludenid-ci 在 GitHub 开设仓库，将开源论文 "Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments" 的实现与实验代码，该论文正处于 COAI 2025 会议审稿中。论文提出优化 LLM 以增强多任务环境下上下文推理能力的策略，实证结果显示其在动态环境中具备更好的适应性。仓库标注 "To be released"，实现代码、benchmark 结果、预训练模型 checkpoints 和文档教程尚未发布。
FreeRouter 是一个自托管 LLM 网关，采用 Go 后端和 React 控制台，通过统一的 OpenAI 兼容 API 将请求路由至 OpenAI、Anthropic、Google AI Studio、Mistral、DeepSeek、xAI、Groq、Together AI 等 8 家提供商的 58 个模型。它内置限流、guardrails、按最低成本/最低延迟等路由策略、响应缓存与 Prometheus 指标，认证则完全委托给 IAMKit。项目免费开源，支持 OpenAI、Anthropic Messages 和 Responses API 三种请求格式。
Nano 是一个 100% 本地运行、不依赖云端的边缘优先 AI 平台，由纯 Rust 编写的超低内存 LLM 推理引擎 NanoRuntime 和 Flutter + Android 原生的移动智能体平台 NanoMobile 组成。推理引擎在 RAM 压力下可将上下文窗口从 8192 降至 512 tokens，并通过 madvise(DONTNEED) 分层内存分页；自动化方面严格区分 EXECUTED ≠ VERIFIED，动作执行后须通过 ActionVerifier 校验。项目已在 CPH2557（Android 15）真机验证，149/149 测试通过，采用 MIT 许可证开源。
作者 Chien-Hsin Lin 在 GitHub 开源 HeliosLM，一个从零实现的 PyTorch 参考实现，涵盖 MLA 注意力、sigmoid 门控 MoE、混合线性注意力、FP8 训练、DualPipe、投机解码与 vLLM 风格推理引擎，全部可在 CPU 上运行并有 115+ 单元测试和位级等价校验。仓库同时是 RLCD 决策层范式的开源参考，在 8.5M/360M/Qwen3-0.6B 三个规模上测量错误答案上的过度自信（0.94 到约 1.0），在 7,193 条实例的 RLCDAlignBench 上开源读出器达到 0.726 中位 AUROC，并在 11/41 项基准上超过商业 Jev 检测器的零样本成绩，配套论文草稿与版本化基准数据。
推荐理由：这是一个可读可改的 DeepSeek-V3 级架构 CPU 参考实现，并附带 RLCD 决策层的开源校准审计数据，适合想拆解模型内部结构的人。
robmclarty 发布开源 Agent 编排库 Fascicle（Apache 2.0），把 LLM 调用、工具调用和普通函数统一为 Step<i, o>，提供 sequence、parallel、branch、retry、loop、ensemble_step、checkpoint 等 22 个组合原语。
推荐理由：README 清楚列出了 22 个组合原语、八家 provider 接入和可运行的零密钥示例，读者能据此评估这个 Agent 组合库是否合用。
GitHub 仓库 jomanne3-gif/optimizing-llms-contextual-reasoning 对应论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》，作者为 John Smith 等，论文正在 COAI 2025 审稿中。该论文提出优化策略以增强 LLM 在多任务下的上下文推理能力，实验结果显示其在动态环境中适应性更优。仓库目前标注"即将发布"，将提供实现代码、benchmark 结果、预训练模型 checkpoints 和文档教程。
GitHub 仓库 llm-adaptive-learning 开源了 ICML 2025 论文 "Adaptive Learning Strategies for Large Language Models in Dynamic Environments" 的实现，让 LLM 在动态环境中实时调整行为且不发生灾难性遗忘。该方法采用选择性参数更新、动态记忆管理和环境检测等轻量机制，无需全量重训练，在主题切换、新领域、混合上下文、时序变化四类场景中较 baseline 分别提升 17.4%、18.1%、16.8% 和 19.1%。项目采用 Apache 2.0 协议。
Furnace 是面向已有 LLM 应用的推理可靠性改造工具：Scan 从仓库重建行为-代码可靠性图谱并生成每条结论都引用文件与行号的 Blueprint，Forge 经沙箱验证后打开仅安装 Blueprint 所需改动的草稿 PR，Guard 只运行受影响的 eval 与 benchmark 并以 GitHub check run 报告，合并始终由人工完成。目前 Python 仓库扫描、Blueprint、furnace-bench 负载生成（TTFT/TPOT/goodput）与基于 vLLM 的 prefix-cache 测试已可用，GitHub App 尚未完成首次真机运行。
开源项目 ORACLE-X 是一个 AI 决策智能系统，可调查业务异常、汇总证据、排序候选根因，并在独立验证后输出运营决策。其核心原则是确定性业务逻辑为权威，LLM 仅通过 Groq API 提供只读解释，不能修改决策、规则或阈值。项目提供 Streamlit 仪表盘、FastAPI 后端与 SQLite 存储，每个数字均标注来源（观测、模型推导、模拟、确定性或 LLM 生成），并支持英文和阿拉伯语双语输出。
Superlinked 在 GitHub 开源推理引擎 SIE，通过一个 OpenAI 兼容 API 为 Agent 任务提供搜索、文档转 markdown、结构化输出、内容安全、Agent 循环等模型推理，可按需加载 100+ 模型。项目提供 Kubernetes 与 Helm 部署配置、KEDA 自动伸缩、Grafana 仪表盘，并集成 LangChain、LlamaIndex、DSPy 等框架，全部 Apache 2.0 协议。
AdaCast 是一个时间序列预测的条件参数生成框架，由生成器为冻结的预训练时间序列基础模型产出针对每个输入的低秩参数更新。相比现有一次性方法只学习单一数据集级参数更新的静态适配方式，AdaCast 在训练和推理阶段都能按输入适配模型参数。在六个公开基准上，AdaCast 在域内预测中持续超越静态适配基线，并提升了跨域留出数据集的 zero-shot 泛化能力。
研究者提出 Cluster-TNN，一种领域无关的拓扑深度学习框架，通过预处理划分图、运行时动态采样节点簇并在 mini-batch 内局部执行 graph lifting，避免全图提升带来的计算瓶颈。在与全图执行的 21 组对比中，Cluster-TNN 在所有配置下都降低峰值 GPU 显存，平均降幅 83.2%，同时保持有竞争力的预测性能。这一方法据作者所知首次使多种高阶 Topological Neural Networks 能在 Reddit（233k 节点、57.3M 边）和 OGBN Products 等大数据集上训练。
ARGUS（Agentic Regulatory Genomics for an Uncertainty-aware Scientist）提出一个证据约束的智能体框架，将确定性生物计算与 LLM 推理分离，用于解读非编码调控区的单核苷酸变异。框架封装 458 个基于 DNABERT 的转录因子结合模型，在假设驱动的调查循环中由 planner 选择证据源、verifier 确定性解读观察结果。在 8q24 癌症风险位点变异 rs6983267 上，对 FOXA1、KLF6、RAD21、SP1 四个转录因子给出不同判定，所有观察均来自真实 ADASTRA、JASPAR 和 ENCODE cCRE 查询。该工作已被 NeurIPS 2026 AgenticLS 工作坊接收。
研究者提出神经符号框架 grasp（Gradient-boosted Synthesis of Probabilistic logic programs），将关系结构学习转化为函数梯度提升，弱学习器为一阶规则，难解的内部符号搜索交给 LLM 提议预言机。在 Tox21 分子毒性预测、诱变性和 Cora 引用匹配四个关系型 benchmark 上，grasp 超越纯符号、神经网络及基于 LLM 的基线，同时生成可解释的加权规则集成。
arXiv 论文提出以小世界指数（SWI）作为 LLM 推理能力的结构签名：基于注意力头激活相似度构建功能图，发现 SWI 越高越能预测流动推理表现。据此提出的层级稀疏分配方法 Small-World Allocation（SWA）在 6 个 LLM 上比其他分配策略更好地保留小世界组织与性能，将 WikiText 困惑度最多降低 20%。