新闻、仓库与研究，按时间排列。
thofranca 发布独立项目 llm-lab，用于可视化大语言模型内部数据，自带 FastAPI、Python 环境和本地 Git 仓库，不依赖 Ollama。默认模型为 Qwen/Qwen3-0.6B（0.6B 参数、28 个 decoder 块，捕获第 0、5、11、16、22、27 块），安装器创建 .venv 并安装 PyTorch 2.7.1 with CUDA 12.8。界面展示激活 RMS、注意力 top-12 贡献和前五 next token 概率，初始限制 256 输入 token、默认 32 输出（最高 128），16 位权重约 1.2 GB，建议 16 GB RAM 和 6 GB VRAM。
vLLM 项目旗下量化工具 LLM Compressor 发布一批更新：GPTQ 换用 Triton 内核后较原 eager 路径快约 15 倍，支持同形状层批处理（MoE 负载端到端约 30 倍），并扩展 FP4 的 MSE 与 iMatrix observer。Red Hat AI 团队用该工具产出多款生产级量化模型，包括 GLM-5.3 的 NVFP4/MXFP4、Qwen3.8-27B 的 INT4/NVFP4/MXFP4、Qwen3.8-2.4T-A95B 的 NVFP4 及 REAP 剪枝变体、Kimi-K3 的 NVFP4 与 FP8 等；GLM-5.2 NVFP4+FP8 混合精度在 DDP + disk offloading 下 2 小时内完成，模型体积缩减超 70%。
Reddit 用户在 4 卡混合主机（3x P102-100 + RTX 3060 12GB）上对比 ik_llama.cpp 与 mainline llama.cpp，运行 Qwen 3.8 Flash-Next 177B（IQ3_XXS，约 89 GB，35 层卸载 GPU、13 层走 AVX-512 CPU、32k context）。mainline 达到 prompt eval 19.70 tokens/sec、生成 10.86 tokens/sec，ik_llama.cpp 分别只有 5.48 和 8.43 tokens/sec，且未启用 CUDA graphs。
aktonay 在 GitHub 发布 snapdec，一个零配置 MCP 服务器与 Agent Skill，把编码智能体的高频分类、检查、评分和排序任务从前沿大模型卸载到 5–50ms 的本地模型或免费托管路由。提供 project_facts 零 token 仓库探测、带校准概率的 auto|review 拒绝式输出、后端崩溃时安全回退 review，支持 Claude Code、Cursor 等 9+ 个智能体自动配置，模型目录涵盖 Laya、Kev、Decision 2.0 系列及 OpenRouter、TypeSafe Jev 托管端点，Apache-2.0 协议。
推荐理由：README 给出了各模型的延迟、参数量和不同基准的数据来源区分，读者可以据此评估这套本地微决策卸载方案是否适配自己的硬件。
joydle/homebrew-tap 提供 Arf 的 Homebrew formula，Arf 是一款面向 Apple silicon、从零构建的 LLM 推理引擎。通过 brew install joydle/tap/arf 即可安装，仅支持 Apple silicon，formula 会安装对应 Arf release 中预构建的 arf、arf-serve 和 arf-router 二进制文件。
CastleArq 0.5.1 是一个面向 Linux 的命令行工具，用于管理本地 GGUF 模型文件，在调用 llama.cpp 执行前评估模型能否在本机运行，并输出证据。它本身不做推理，兼容性评估检查五项条件（artifact-model 一致性、格式、架构、runtime 与 backend 支持），每项报告 Expected、Observed 与 Evidence，结果为 PASSED、FAILED 或 UNKNOWN，被拒绝时无参数可强制执行。该版本新增只读 search 与 inspect 命令，需 Python 3.11 及以上，可通过 PyPI 的 pip install castlearq 安装。
一位 Reddit r/LocalLLaMA 用户在 Ryzen 9 9950X + RX 7900 XTX、i5-10400 + RTX 3050 和 MacBook Pro M3 三台机器上用 LM Studio/Ollama 跑推理，苦于没有统一面板查看各节点加载的模型版本、token 吞吐和 VRAM/统一内存压力，向社区征求多节点服务路由与可观测性方案。
SpookyJumpyBeans 在 GitHub 发布 nanoinfer，一个从零编写的 LLM 推理引擎，目标模型为 Qwen2.5-0.5B-Instruct，直接加载原始 .safetensors，运行时仅依赖 numpy，tokenizer、前向传播、KV cache、采样和量化均为自行实现。分八个阶段对照 transformers 和 llama.cpp 逐项验证，包括 KV cache 带来 3.5 倍加速、INT8 量化仅 +0.17% 困惑度、Rust AVX2 内核比 OpenBLAS 快 22%，以及 f32 解码与 llama.cpp 基本持平；并配有可视化页面展示每步候选 token 和注意力。
推荐理由：作者从零实现了一个推理引擎并用逐阶段基准量化每一步的收益，读者可以从中借鉴带宽瓶颈、量化和内核优化的可迁移测量方法。
Bullobis 在 GitHub 发布 Kevrai Omni，一个 Electron + Python（FastAPI）sidecar 的桌面应用，集成 LLM / TTS / 图像 / 视频 / 3D / 音频 / 超分辨率的本地推理，采用 llama.cpp + MNN 双引擎，数据默认保留本机、不依赖远程服务。内置模型市场、硬件检测与量化档推荐、LTX-2.5 文生视频 / 图生视频、ReAct 风格 AI Agent 助手、环境管理、数据备份迁移与中英双语界面；支持 Windows / macOS / Linux 打包与从源码运行（Node.js 22+、Python 3.11+）。
推荐理由：README完整列出功能、架构、数据迁移路径与快捷键，读者可据此评估这个本地AI工作站是否覆盖自己的部署需求。
tangle-network 在 GitHub 发布 @tangle-network/tcloud，提供面向 Tangle AI Cloud 去中心化 LLM 推理的 TypeScript SDK、CLI 和私有推理 Agent tcloud-agent。SDK 覆盖全部 11 个 v1 端点，支持 operator 路由、基于信誉的选择，以及通过 ShieldedCredits 匿名支付。Agent 需 Pi 0.65+，项目采用 Apache-2.0 许可证。
tal-giladi 在 GitHub 发布 frontier-llm-research-course，这是 LLM Research Engineer 课程的进阶篇，围绕注意力、长上下文、优化器、后训练、推理 RL、Agent 和可解释性等研究问题，以 DeepSeek、Qwen、Kimi、gpt-oss、Gemma、Llama、OLMo 等公开模型为案例设计实验。主路径需租用 GPU（单卡 48–80 GB 至 8-GPU 节点），全程预计约 650–1,150 H100-hours，每个实验同时提供免费 Colab/Kaggle T4 和 CPU 版本。必修课程共 20 个模块，最终 capstone 要求复现并扩展一篇近期论文。
Arianna Method 发布 notorch，一个纯 C 编写、约 6400 行、仅两个文件的神经网络框架，可训练模型并直接推理 llama.cpp 格式的 GGUF 模型，无需 Python、PyTorch 或 llama.cpp。支持 llama、mistral3、qwen2/qwen3、gemma3、olmoe、mamba 等架构，Q4_K 权重保持打包不展开；在 i5-8500T 上与 llama.cpp 同权重温度 0 对照，六个文件中五个逐字节一致，decode 在参考的 1.09x 到 1.14x 内，Mac Mini M4 Pro 可跑 Mistral-Small-24B Q4_K_M 约 13.5 tok/s。
mpuri1 发布 llmops-backbone 仓库，为 LLM 项目提供共享工具：模型网关、OpenTelemetry 追踪和项目模板。网关基于 LiteLLM 提供 OpenAI 兼容端点和模型别名（fast、smart、fallback）及重试，带每日预算强制和消费账本；追踪采用 GenAI 语义约定，可导出到 Arize Phoenix，按内容哈希记录提示词模板；另含 Bedrock 本地 SigV4 签名代理和 copier 项目模板。
GitHub 开源项目 narrated-explainers 可根据一个主题让 LLM 生成结构化脚本，再由本地渲染器输出 1080p 白板动画解说视频，用 Kokoro af_heart 配音，导出 H.264/AAC MP4。每段视频含 5–10 个场景，渲染器只接受数据，防止 LLM 注入渲染代码，支持 OpenAI 风格接口的任意 LLM 端点，源码 MIT 许可。
推荐理由：这个工具把脚本生成与渲染分离，渲染器只接受数据不接受代码，思路对想批量做解说视频的人有可迁移之处。
开源项目 kbo-abs-assist 逐球收集 ABS（自动好球带）数据，按 KBO 公布的好球带规则判罚每个投球并解释原因，进而给出球探报告、配球建议与打者选球指南。作者曾任 KBO LG Twins 数据分析师，因无公开逐球 ABS 数据源，项目用模拟联盟校准至 KBO 官方 2026 数据（三振率 19.5% vs 19.5%）。AI coach 模块可用自然语言对话，且要求所有数字来自工具或官方规则，项目在 localhost 运行。
arXiv 论文 2610.07984 提出 PixelTriage，一个放在检索之后的即插即用小模型，根据对话、简短笔记和缩略图预测每条检索记忆的像素能给答题模型带来多少增益，无需读取全分辨率图像。它用冻结 27B 模型对比有无像素的合成记忆数据进行训练。在 7B 答题模型上，PixelTriage 处于 M^3Exam、DMV 和 MemEye 的精度-成本前沿，仅用 11 到 23% 的视觉 token 而精度无明显下降，在 DMV 上比打开全部图像快 2.9 倍，同预算下优于按检索顺序和统一降采样，并可迁移到其他记忆系统和 397B 答题模型。
一篇 arXiv 论文针对语义查询引擎给出成本-准确率优化的形式化问题定义：利用决策模型（如 Jev）的校准置信度，在无标注数据下估计查询计划的期望输出质量。论文定义了含语义算子的关系代数的 oracle 语义与计划等价层级，证明选择下推在升级带基于计划自身候选校准时并不保证质量可靠；期望质量可在 bag 语义下多项式时间计算，而选择丢弃元组是 NP 难的。真实引擎上的评测留待后续工作。
一项 arXiv 研究（arXiv:2610.08138）提出免训练的测试时智能体自适应方法，通过 Test-Time Memory Evolution 检索并复用以往案件经验，并用 Rubric-Aligned Collaboration 按行为与程序要求校验和修正角色行动。在 J1-EVAL 与 LegalWorld 上对五个 backbone 模型的实验显示，该方法在合理交互与计算成本下持续优于代表性推理和 Agent 基线，提升了长程法律推理的可靠性与效率。
cajeta-llm 是 cajeta 生态的 decoder-only LLM 推理引擎，从 Hugging Face safetensors 和 GGUF 加载 Llama 系开源权重，基于 cajeta.math.Tensor 与 cajeta.xpu 端到端实现，不复用 llama.cpp 代码。2026-10-01 在 RTX 4090 上实测 Llama-3.1-8B-Instruct Q4_K_M：decode 约 165 tokens/秒、接近 llama.cpp，prefill 3.7k tokens/秒仍待优化；目标支持 Llama 3.x、Mistral、Qwen2/3、Gemma 3。
SemiAnalysisAI 在 GitHub 开源 InferenceX-app，一个基于 Next.js 16 的 LLM 推理性能基准可视化仪表盘。该项目每晚在主流硬件平台上用最新软件对热门模型进行基准测试，扫描不同 tensor parallel 尺寸与最大并发请求数，生成吞吐量-延迟曲线，并开源仓库欢迎社区贡献。技术栈包括 TypeScript、Tailwind CSS 4、D3.js、Neon PostgreSQL 与 Vercel，部署于 Vercel。
开源项目 Kubemoot 发布，它是一个用于多智能体 AI 共识的 Kubernetes operator 与运行时：问题由一组小型专用智能体在消息总线上商议、以信号达成共识后合成答案，而非依赖单一模型。Crew、Agent、PromptModule、Model 等组件均为 Kubernetes CRD，可用 kubectl apply 和 git diff 管理；crew 质量由可执行的 fitness function 评测。项目基于 Apache License 2.0 开源，提供可在 kind 集群上运行的 CPU 快速启动脚本，并支持作为单个智能体接入 Claude Code、Claude Desktop 等 MCP 客户端。
defai-digital 开源的 AX Engine 是面向 Apple Silicon 的本地推理运行时，首发优化目标是 Qwen 3.8 27B AXQ MXFP4 MTP 包，可通过 Homebrew 或 pip 安装并提供 OpenAI 兼容端点。README 附带对齐的证据体系：在 Mac mini M4 Pro 64 GB 上产品路径 MTP 解码 31.05 tok/s，M5 Max 128 GB 上 76.9 tok/s 解码、795.3 tok/s 预填充，并给出带宽利用率归因；8 小时 endurance 测试中 437/437 请求成功，作者明确说明这只是短时证据，72 小时认证仍未完成。
SanSi 将预训练循环语言模型转化为类型化决策模型，通过多次递归循环在不生成 token 的情况下修正隐状态，称为 System 1.5 思考。在来自 59 个来源的 10,027 个测试决策上，SanSi 达到 72.0% 准确率，比同形状非循环模型高 13.5 个百分点，比参数量三倍的模型仅低 1.8 个百分点。用作无金标准答案的 RL 策略优化裁判时，可将生成器 F1 提升 7.7 个百分点。
研究者提出 RELER（REinforcement LEarning for Retrieval），一个让现有嵌入模型直接在嵌入空间中学习检索并对齐任务奖励的强化学习框架。该方法从以编码器输出为中心的 vMF 分布采样嵌入动作，用 REINFORCE 配合 RLOO 更新，并引入条件均值投影（CMP）降低策略梯度噪声。在对推理密集型基准 BRIGHT 的评测中，RELER 后训练 BGE-M3 和 Qwen3-Embedding 时的平均 nDCG@10 一致优于 InfoNCE 和 LambdaLoss；在七个 QA 数据集上仅微调查询编码器的 RAG 场景中，检索与答案联合优化同时提升了检索性能与答案质量。
研究者提出 TRACE，一个面向 MoE 语言模型 RL 训练的 FP4 量化框架，用 rollout 侧量化结果引导训练侧 FP4 舍入决策，直接缩小训练与 rollout 两条量化路径的差异。它还采用选择性保留尾数与 scale 信息的量化缓存方案以降低存储和通信开销。在四个大规模 MoE 模型的推理、编码和长程 RL 任务上，TRACE 实现 FP4 权重/激活与 FP4 KV-cache 联合 rollout，RL 性能与 BF16 rollout 相当，rollout 最高加速 5.4x，最终 FP4 性能优于 BF16 训练策略的事后 FP4 量化。
论文提出 APEX，一个通过请求级专家选择和块级深度调整来平衡解码速度与草稿 token 浪费的学习控制器。APEX-Router 在 EAGLE-3、n-gram 和 draft-model 推测间逐请求选择，APEX-Depth 将接受草稿长度建模为删失生存反馈以动态调整草稿长度。集成到 vLLM 并用 Qwen3-8B 在六个工作负载评测，相对自回归解码最高加速 5.24X；APEX-S 整体加速 4.27X，APEX-B 加速 3.27X 且相对固定 k=16 的 n-gram 推测减少 41.0% 的浪费 token。
arXiv 论文 2610.07782 实测三层 Agent 架构中的 KV cache 分解与持久记忆层：分解使单次查询峰值 KV 工作集降至 14.3 MiB，低于单遍（35.5 MiB）和检索增强（35.3 MiB）基线。持久记忆层在八组受控数据对、每组 n=100 的实验中增加 +0.368 MiB 峰值缓存，却无可检测的准确率变化（+0.015，95% CI [-0.011, +0.046]）；作者认为空结果是结构性的，因单问题基准让各条目自带证据且独立评分，并给出 Agent 记忆消融须满足的条件与检测方法。论文被 NeurIPS 2026 Machine Learning for Systems Workshop 接收为 poster。
ThinkFuse 是一个免训练的测试时融合框架，通过比较片段级与轨迹级不确定性趋势，识别不可靠推理段并将辅助推理路径融入主模型轨迹。实验显示其在数学与知识密集型推理 benchmark 上超越基线，且融合触发次数和生成 token 更少，代码已开源。
研究发现同一模型族内不同规模的模型在合并系数上的性能分布高度一致，据此提出 αTransfer 方法：在小代理模型上搜索最优合并系数后直接迁移到更大目标模型。该方法在 vision transformers 上实现 6× 加速和 70% 内存降低，在大语言模型上实现 20× 加速和 85% 内存降低，且性能相当。
Shuhao Li 等提出 Nucleus Speculative Decoding（NSD），在投机解码验证中引入目标模型的 nucleus 合理性判断，草稿 token 只要满足标准接受规则或属于目标模型 nucleus 即被接受，代码已开源。论文理论刻画了分布偏差，给出单步误差由草稿模型在目标 nucleus 内超额概率决定及序列级保真度界限；实验显示相对自回归解码加速最高 5.16 倍，相对标准投机解码最高 3.15 倍。arXiv:2610.07822。
推荐理由：论文给出了NSD的分布偏差理论刻画和与自回归、标准投机解码的具体加速倍数对比，方法可复用。
Yupeng Su 等人在 arXiv 发布论文 ReFold（arXiv:2610.07863），提出一种免训练的渲染层，在不改动底层交互历史的前提下压缩长程 LLM 智能体每步重发的上下文。方法通过替换已展示内容为占位符、把智能体报告已完成的轮次折叠成一行摘要来消除跨轮冗余，删除均可逆，并采用分块渲染每隔几步才重写缓存前缀。在五个长程基准和两个前沿 LLM 上，ReFold 将 token 消耗最多降低 2.5 倍，每会话 KV-cache 内存减半且不损害任务成功率；在受限上下文预算下避免最多 92% 的强制压缩，并发服务下推理加速最多 1.7 倍、推理成本最多降低 3.4 倍。
推荐理由：论文提出无需训练的上下文压缩层 ReFold，长程智能体的成本与缓存数据都有可复用的量化参考。
研究者提出成对忠实性基准 PFaithBench，评估模型能否在同一问题上根据上下文是否支持在回答与拒答之间切换，覆盖 7 个模型族的 39 个模型。结果显示大多数模型强烈偏向回答，忠实性错误主要来自上下文不足时仍编造答案的过度回答。进一步的忠实性训练研究发现，增加回答监督数据会加剧过度回答，增加拒答数据则会减少幻觉但导致过度拒答。
研究提出 Hybrid Latent Attention（HLA），对 Looped 语言模型（Ouro，T=4）在滑动窗口 W 内保留精确 keys/values，更早 token 则存为紧凑 latent，供每轮循环的 query 直接读取。在 1.4B 和 2.6B 参数模型上冻结预训练权重并仅训练新增参数后，KV cache 每 token 缩小 10.7x，每 GPU 可并发序列增加 4.0-8.8x，1K 上下文解码吞吐提升 2.5x、16K 时最高 7.4x。HLA 在数学、知识与推理 benchmark 上保留原模型 97% 以上准确率，16K 长文本检索达 96-100%。
论文提出 VisionWeave，让多模态大语言模型端到端学习在何处及以何种粒度分配视觉表征。方法结合门控空间池化器与粒度路由器，通过自蒸馏在 Qwen3.5-4B 上验证并扩展到 Qwen3.8-27B，训练耗资超过 30K A100 GPU 小时。基于 Qwen3.8-27B，该方法在八个基准上平均节省 43.0% token 并保留 98.9% 原生性能，优于固定 50% 节省目标下仅保留 88% 性能的 token 剪枝基线；部署于 SGLang 时吞吐提升 2.3x，平均 TTFT 降低 54.4%，平均 TPOT 降低 60.6%。
推荐理由：论文给出了弹性视觉表征的端到端训练方案与 token 节省、性能保持和部署吞吐的实测数据，读者可对比 token 剪枝基线评估其取舍。
一项被 AACL-IJCNLP 2026 Findings 接收的研究提出 TACIT 框架，将外部工具需求分解为 Source、Transformation、World Effect 三个轴，共 8 类能力。研究者用 1,600 条平衡训练查询在 4 个开源权重 LLM 系列上训练线性探针，发现生成前的隐状态可高精度线性解码细粒度能力结构。但同一批模型用自然语言显式分类时可靠性显著下降，研究者将这种“结构化但沉默”现象定义为表征到言语化的鸿沟。
arXiv 论文 2610.08077 提出 prospective learning 与 Self-Retrospection Distillation（SRD），将智能体事后获得的轨迹经验蒸馏为同一策略在交互前的预测目标，且推理时无需显式生成 foresight。在 10 个工具集成推理和长程智能体任务上，SRD 相比 RLVR 和自蒸馏基线最高提升 24.2 pp；在 98% rollout 组全失败的 2B 设定下，RLVR 成功率为 0.0%，叠加 SRD 后在相同 rollout 预算下达到 60.6%。
QRAKEN 是一种免训练、本体无关的神经符号化 pipeline，以经验图证据而非 schema 预期来驱动 LLM 进行 Text-to-SPARQL。在 CK25 基准上，其 strict F1 达 0.643±0.026（GPT-4.1 mini）和 0.652±0.012（GPT-5.4），较最强复算参赛系统相对提升 30% 和 32%；离线蒸馏的 TTQL 模式是主要贡献（较 shape-only 基线 +0.31），用两个本地 35B 4-bit 开源模型也达到与最强参赛者相当的水平。
Root1V 在 GitHub 开源 Prometheus 推理平台，用 llama.cpp 在本地硬件运行量化开源模型，并通过带认证、授权、限流和用量计量的安全网关向容器化应用提供推理服务。平台支持 OAuth2 client_credentials 流程与按角色的短时效 JWT（app 5 分钟、agent 10 分钟、cognitive 1 小时、admin 3 小时），网关 API 兼容 OpenAI Chat Completions 格式；v1.4.0（2026-09-10）加入 sd.cpp 图像生成、Hugging Face 模型下载、Playground、按客户端计费与熔断限流，v1.3.0 支持 llama.cpp/MLX/vLLM/SGLang 多后端。
ipsupport-llc 在 GitHub 开源 ipsupport-code，一个针对任意 OpenAI 兼容服务器的自学习编码智能体，打包为单个静态二进制，通过 reason → act → observe 循环驱动 file、run、git、web、calc 五个工具，并在任务后反思写入学到的经验。它内置 Claude-Code 风格的 Bubble Tea TUI、plan/auto 模式、权限策略加工作区沙箱、影子模式风险评分器（纯 Go 推理，普通调用误报 7.0%、漏报 3.4%）、子智能体委派（支持 codex/claude 等外部 CLI）、/goal 目标循环、/steer 运行中转向、MCP、skills、自更新与匿名遥测开关。
推荐理由：项目给出了权限策略、沙箱和风险评分器的具体设计与实测数据，对想在本地小模型上跑编码智能体的读者有参考价值。
一个神经符号系统实验仓库实现了免阈值的规则供给架构：挖掘引擎以精确支持度流式输出最大共现模式，在 GPU tensor cores 上以位精确置信度组装蕴含规则，LLM 仅负责命名、标注和冲突消解，规则库在构造上无幻觉。仓库提供 10 组实验脚本复现论文结论，使用 chess、retail、kosarak、TCGA-BRCA 四个公开数据集，LLM 调用仅限 Exp. 5 和 Exp. 6，基于 DeepSeek API、temperature 固定为 0，并留存约 1,350 次 API 调用日志。