新闻、仓库与研究，按时间排列。
estado-ai-agent 是一个基于 Spring AI 2.0+ 与 Google Gemini（Free Tier）Tool Calling 的 LLM 智能体，通过调用 estado 项目公开 API 的实时数据回答巴西各州相关问题，前端经 angular_estado 的 "Ask the AI" 页面访问。其安全设计包括 X-API-Key 认证、Bucket4j 每 IP 默认 10 次/分钟的限流，以及输入/输出两层提示词注入防御；主模型遇 503/429/超时会重试备用模型（默认 gemini-3.1-flash-lite）。该智能体仅暴露在内部 Docker 网络，仅 estado-app 的 BFF 可调用，不对外提供直接入口。
Runware 发布官方 TypeScript/JavaScript SDK，通过统一的 .run() 方法调用图像、视频、音频、文本及 3D 生成模型，并支持 .stream() 基于 SSE 的 LLM token 级流式输出。SDK 类型由 Runware 官方 JSON schema 生成，支持 WebSocket 与 REST 两种传输方式，可自动从 AIR 标识符解析任务类型，运行于 Node.js 18+ 及浏览器环境，通过 npm 安装 `@runware/sdk` 即可使用。
AarnavNoble 在 GitHub 发布 llm-engine，一个面向 Llama 架构模型（Qwen2.5-0.5B、TinyLlama）的服务引擎，实现 paged KV cache、continuous batching、chunked prefill、prefix caching 和 OpenAI 兼容流式 API，运行时无 PyTorch，前向为 C++。CPU 后端已完成并逐层对照 PyTorch 验证；CUDA 后端未写，结果页将相关行标为 not measured。
Petr Senatorov 在 arXiv 论文 arXiv:2610.15107 中提出 Structural Chain-of-Thought 框架，让模型生成可执行的计算图而非自由文本推理，最终答案由确定性执行计算图得出。训练采用基于图的强化学习，奖励结构有效性、答案正确性及与参考图的节点重合度；在五个基准、四个模型族上准确率持续优于监督式图训练，生成长度相比标准 GRPO 和思维链监督训练最多缩短 5-6 倍，忠实性实验显示模型更倾向从生成的计算图推导答案而非事后合理化。
研究者提出神经符号论证推理系统 NARS，直接从在线讨论中检测说服力：神经部分用检索增强的迭代 LLM 推理提取双极论证结构，符号部分用渐进论证语义传播论证影响。基于 Webis-CMV-20 构建的 CMV2BAS 数据集已开源；NARS 最佳配置下 F1=0.57、AUC=0.56，超过零样本 Qwen3.6:27B 和 GPT-oss:20B。
该 arXiv 论文在基于共同底座与附加规则的类数独小离散世界中，训练单个深度循环模型研究规则泛化能力，按四种新颖度测试：新谜题、已知规则新组合、从未共现的规则配对、训练中未见的规则实例。规则以符号描述或两个已解示例提供。新组合上描述方式达 99%、示例 95%；对从未共现的规则实例，描述方式低于无信息基线，示例仍高于基线。该框架为评测深度循环推理模型提供了比 ARC-AGI 更系统的替代方案。
提出一种针对 POMDP 的蒙特卡洛规划方法 BETS，用生成分布嵌入（GDE）表示搜索树各节点的信念，并通过 POMDP 动力学更新，将信念模型与策略、价值网络一同训练，以隐状态为训练目标。在 RockSample、LightDark、PocMan 共六种配置上与 BetaZero 及三个无学习组件的规划器对比，BETS 在全部六项中持平或领先，且信念维度越高优势越大。
作者发布 GLM-5.3-Flash 的 EXL3 混合量化（gate/up 2 bit、expert down 3 bit，约 2.4bpw，98.1 GB），并附 2.2 MB 的逐块去拒向量，运行时从 4 条残差流中减去各 3 个方向来移除拒绝。在 4x RTX 3090 上可跑 256K 上下文（77% 专家驻留 VRAM），256K 下 178 个 AdvBench/JailbreakBench 回答 0 拒绝，原版 2.05bpw 量化在无思考模式下 146 请求拒绝 144 个；带向量后速度为 52.4 tokens/s 对比无向量 53.7。KLD 0.0959，需配合作者自己的 exllamav3 fork 使用，许可证 MIT。
推荐理由：作者给出逐块去拒方向的构造方法、拒绝率前后对照和KLD量化数据，可自行复现并检验量化与去对齐的实际代价。
研究者提出 PAT 框架，用于提升社交媒体抑郁症自动检测效果。该框架分两阶段：先用经典人格理论驱动的 LLM 数据增强缓解数据稀缺，并以细粒度对比学习优化 post 级编码器；再将训练好的 post 级打分器用于高质量帖子筛选，编码器参数迁移至用户级任务。实验显示 PAT 显著优于现有方法，并能通过追踪 post 级心理状态轨迹提供多粒度可解释性。
一位用户自制的 Qwen 3.8 27B Swift 1.5 量化版（8 bit AWQ + GPTQ，W8A16）可在 48GB VRAM 上兼顾速度与质量。用 vLLM 与 MTP=5 在 2 张 RTX 3090 上运行，解码速度接近 100 tok/s，开启 128k context 和 FP16 KV cache 时每卡占用约 21.6GB。作者称其比原版 3.8 27B 更少过度思考，是他认为 48GB VRAM 下的最佳折中方案。
arXiv 论文（arXiv:2610.15033）基于两组各90天、共158,099条回答与468,037次引用的收集，研究生成式搜索引擎（ChatGPT、Gemini、Perplexity）引用网页的驱动因素。研究发现 ChatGPT 引用的每个页面都来自其自身检索，而其每次回答都会重写子查询、检索结果很少与 Google 或 Bing 一致，检索环节可解释32%的引用差异，远高于页面属性的2.8%；标题和段落语义匹配提问的页面被引用更多，FAQ 块、结构化数据、摘要框和页面速度只在跨网站比较时表现有效；模型自身知识也参与其中，会写入已知品牌、偏好已知网站，甚至在没有页面佐证时直接点名品牌，受控实验显示品牌名会重排事实完全相同的商品排名。结论在小 B2B 厂商市场复现，数据与代码已发布。
推荐理由：论文用两组各90天、逾46万条引用数据拆解生成式搜索引擎引用页面的机制，指出检索命中比页面属性更能解释引用差异。
beginning-ai 在 Hugging Face 发布了 orcarouter/Qwen3.8-Flash-Next-Uncensored（去拒绝的 BF16 版）的 NVFP4 混合精度量化，目标是单张 96 GB Blackwell GPU 上用 SGLang 运行。与官方 base 相比源模型改动了 1,658 个张量中的 149 个；checkpoint 占盘 120 GiB（BF16 源为 335 GiB），GPU 上约 78 GB 权重，47.7 GiB 的 n-gram PLE 表可放在主机内存或 NVMe。在 RTX PRO 6000 上单流解码约 265 tok/s（2K 上下文）、约 240 tok/s（200K），KV cache 786K token、上下文 524K。
推荐理由：原文给出了逐张量对比、校准数据与拒绝行为说明，读者能看清这个去对齐量化和官方版在结构与数值上的确切差异。
DAFO Swarm 可将大语言模型的层拆分到本地网络中的 Mac、NVIDIA 工作站和服务器上运行，通过 OpenAI 兼容 API（端口 43100）对外服务，并提供 Word 和 Excel 插件，数据保留在用户自有硬件上。该仓库提供 macOS、Ubuntu 24.04 和 Windows 安装包及 SHA-256 校验文件，支持 Gemma 4 E2B/E4B/12B/26B A4B、Qwen 等模型，应用每 6 小时检查一次更新。
该 arXiv 论文研究多环境 POMDP（ME-POMDP）的复杂度格局。论文证明多环境 blind MDP 与确定性 POMDP 为 NP-complete，不满足混合闭包条件的一系列子类仍为 PSPACE-complete，并在时间依赖策略或有限状态控制器下证明若干 ME-POMDP 问题为 ∃R-complete。结果表明两类复杂度关系取决于具体子类。
Tejas Vaidhya 在 arXiv 论文中提出 Tab-Loop，将 TabICLv2 的 12 个非共享 ICL 块替换为 4 个共享块循环应用 k 次，其余编码器、解码器、合成先验和训练配方不变。在相同预训练算力 18.2 EFLOP 与相同推理算力下，参数量从 27.6M 降到 10.4M，held-out log loss 0.4583 对 0.4588，200 个 TALENT 数据集平均准确率 84.10% 对 83.92%，38 个 TabArena 数据集 Elo 1409 对 1396。由于权重共享，深度可在推理时选择，在训练范围内增加循环次数可提升精度且超出范围仍成立，用更深的循环继续训练可在 4–5 倍推理算力下达到基线 stage-2 成绩。
推荐理由：论文在相同预训练与推理算力下对比权重共享与独立参数，给出参数量、精度和 Elo 的具体数字，可迁移到 ICL 模型的参数效率设计。
一项预注册实验将 148 个三人团队随机分配到五种使用同一语言模型的时序方案中完成产品设计任务。结果表明，把同样的 15 分钟模型使用时间从搜索阶段移到筛选阶段，专家评定的创造力下降 0.62 个标准差；全程可用的团队中 11% 的筛选阶段查询用于生成新选项，晚接入团队则达 29%，提交方案多 73% 但质量未提升。
arXiv 论文发现在 SALSA-CLRS 的广度优先搜索任务中，推理器即使完整复现训练 hints，在深图上仍会提前宣布节点可达，作者称之为 premature flood。论文追踪了两条成因：GRU processor 中带度数输入的隐藏状态携带洪泛，GIN 与 PGN 部分种子则从固定步数开始洪泛；在 1,600 节点的 Delaunay 图上，一个 GIN 种子从第 18 步开始洪泛。Clamping 度数输入或增加 200 个稠密训练图可消除 GRU processor 全部失败，作者建议审查每个输入与聚合的取值范围并在深图上测试。
研究者提出基于 WangchanBERTa 初始化的掩码语言模型，在双层画布（音节层硬约束韵、调、音节数，词层保证词完整）上逐格解码、temperature 0.4 单次采样，从短话题生成泰语 klon pad 诗节。在 78 个留出话题上，70.5% 生成诗节同时通过形式、词汇洁净与主题对齐，人工为 76.9%；洁净度与人工持平（85.9% vs 87.2%），差距在对齐项；预注册目标差 1.4 分。已知唯一公开的 KlonSuphap-LM 无一通过（形式 19.2%、洁净 3.8%）。
AlphaRLM 是一个强化学习框架，训练 LLM 直接从金融文献构建可执行的符号化因子，无需输入因子表达式。其引入 Literature-Guided Operator Assembly（LEGO）提供语义先验，并通过可执行有效性奖励和分组收益分离奖励与市场反馈对齐。在 CSI 300、CSI 1000 和 S&P 500 上的实验显示，其年化超额收益超越强因子挖掘与 LLM 基线，8B 模型也取得强跨市场表现。
论文提出 MCPDisCo，一个面向 MCP 原生智能体的生态级强化学习框架，在 70 个 MCP 服务器和 527 个工具、六个领域的真实服务器长程交互上训练。框架用 Thought-MDP 显式表示内部推理与路由、执行、终止，通过 token 掩码奖励归因和双向梯度手术缓解推理与工具学习之间的跷跷板干扰，以更少思维链 token 取得更高成功率，并在分布外 MCP-Atlas 与 GAIA 基准上保持单调增益。模型权重和实现已放出。
推荐理由：论文给出推理与工具学习互相干扰的失败模式及其梯度手术解法，在 70 个真实 MCP 服务器上训练并验证分布外泛化。
arXiv 论文提出 VC-OPD，一种接地感知的在线蒸馏方法，通过对比原始图像与破坏实例级证据的反事实图像下教师模型的分布差异，估计 token 级视觉依赖并重加权损失，优先蒸馏依赖图像证据的推理 token，并采用保质量归一化稳定更新。在多模态推理 benchmark 上的实验显示其提升了视觉推理性能与 token 级蒸馏效果。
arXiv 论文提出 FidelityQ 标量量化框架，在权重低至 2 bit 时保持大语言模型的预测保真度。核心包括 Hadamard 混合的 IAC 编码与基于教师-学生散度尾部分配校准预算的 KIC 方法；LLaMA-2-7B 在 W2A16 下 WikiText2 困惑度为 6.62，将 W2A4KV4 此前最好结果从 8.31 提升至 6.96，线性层权重内存相对 FP16 减少 8.0x。论文链接 https://arxiv.org/abs/2610.14934v1。
作者用自写脚本在单张 Tesla V100-SXM2 32GB 上实测了 Ollama 与 llama.cpp 跑 llama3.2:1b、Qwen3-30B-A3B-Thinking、Gemma 4 31B、Qwen3-Coder-30B-A3B 等模型的生成与 prefill 速度，请求长度从 1K 到约 118K token。数据显示引擎加配置才是对比单位，如 Qwen3-30B 上 Ollama 生成随上下文增长快 17% 到 49%，而 llama.cpp 用 q8_0 KV 缓存才装下 131072 窗口；作者还发现 Ollama 对 gemma4-32k 报告的 56 tok/s 和 2.1GB 显存不可信，超过 31B 稠密模型约 44 tok/s 的物理上限。
推荐理由：作者在单卡 V100 上实测了多款模型在 Ollama 与 llama.cpp 的长上下文速度差异，并指出引擎配置和内存预算比引擎本身影响更大。
作者 /u/Adorable_Weakness_39 用 Claude Opus 5.5 编写 CUDA megakernel，在单张 RTX 3090 上加速 Qwen3.8-27B，比 llama.cpp（启用 MTP）快 1.4-1.9 倍：写代码 140 tok/s 对 73，带 4K token 文件上下文编码 95 tok/s 对 56，prefill 约 1,600 tok/s 对约 1,100。加速来自把整个投机解码周期放进一次 kernel launch，检查 4-5 个草稿 token 的成本约等于检查一个。
推荐理由：作者实测给出同硬件下 megakernel 与 llama.cpp 的逐项速度对比和适用限制，可迁移到单卡本地推理的加速尝试。
Bobcat 开源 llm-pool，一个通过单一 API 运行本地与远程大语言模型的 FastAPI 服务，支持模型加载卸载、GPU 状态查询与多模态输入。它适配 CT2、ExLlamaV3、llama_cpp、vLLM、llama_server、trtllm_serve、sglang_serve 及 OpenAI 兼容远程后端，内置按模型的客户端公平调度队列，并在 RTX PRO 6000 上给出 vllm_serve MTP 推测解码约 430+ tok/s 等本地实测吞吐数据。
推荐理由：README 详列多种后端接入方式、公平调度与本地实测吞吐数据，适合自建多模型统一推理服务时参考迁移。
研究者提出 DRIFT，将依存句法树线性化后直接注入 LLM 提示词作为显式关系上下文，使模型对 aspect-opinion 依赖进行推理，并集成检索增强的 in-context learning 与基于 LLM 的语法感知裁决机制。在 SemEval Rest15、Rest16 和 ACOS 上，DRIFT 在对比的生成式 ASQP 方法中表现最佳，Rest15 和 Rest16 分别达到 54.47% 和 64.10% F1；裁决机制还表明 exact-match 指标系统性低估了语义正确的预测。
一位 Reddit r/LocalLLaMA 用户晒出 llama.cpp Vulkan 配置，在 AMD RX 6700 XT 12GB + R5 5600x、ctx 100,000 下运行 Tiel-Coder-35B-A3B 达到 30tps，希望在不改 q8/q4_k_xl 量化的前提下冲到 40tps。其测试显示 threads=6 优于 4/8/12，配置已开启 flash-attn、q8_0 KV cache、draft-mtp 推测解码与 DIO 加载，向社区征求进一步优化建议。
Reddit r/LocalLLaMA 用户在单张 RTX PRO 6000（96GB）上用 Strata 后端运行 Unsloth 的 Qwen3.8-Flash-Next UD-Q4_K_XL，配置 INT8 KV cache、256K 上下文和 MTP-4 投机解码。单请求解码速度较 vLLM（NVFP4 量化）提升约 46%-49%，四类任务均达 185.8-320.4 tokens/s。作者称该模型编码任务表现高效出色。
论文《Zero-Shot Detection of LLM-Generated Text using Token Cohesiveness》发布代码，提出 TOCSIN 双通道检测范式，利用 token 内聚性作为即插即用模块提升现有零样本检测器，只需少量随机 token 删除与语义差异测量即可在黑盒环境下检测 LLM 生成文本。实验在 4 个 SOTA 基础检测器及 GPT-4、Gemini、gpt-neox-20b 等模型和数据集上验证了有效性，代码基于 Fast-DetectGPT，经 EMNLP 2024 发表。
Lingdan-V2 是 4B、8B、14B 参数的中医大语言模型家族，采用持续预训练、推理监督与以方剂为核心的强化学习对齐框架，用于中医临床决策支持和方剂推荐。在含 25,620 条专家核验条目的公开基准上，14B 强化对齐模型方剂生成 F1 达 37.0，超过总参数 671B 的 DeepSeek-R1 的 32.3；在 4,348 例脾胃病回顾性临床数据集上 F1 为 52.8，剂量一致性提升。
作者花了约一天半写出非官方 MLX 引擎 strata-mlx，直接读取 Strata 的 GGUF 文件、不改权重，在 Mac 上运行 Qwen3.8-Flash-Next 这个 125B 参数 MoE 模型。内存不足以装下整个模型时按需从 SSD 读取专家；模拟测试中 66 GB 的 Q2_0 文件在 16 GB、24 GB、32 GB 内存档位分别跑出 6–7、19–23、28–47 tokens/秒，提示词读取约 273–287 tokens/秒。代码与实验日志在 https://github.com/yibie/strata-mlx。
推荐理由：作者用限内存实测给出不同 Mac 内存档位的运行速度数据，对想在 Mac 上跑超内存大模型的人有参考价值。
kg912 开源了 Desktop Intelligence，一款 macOS 原生桌面聊天应用，可经 LM Studio 或 Ollama 本地推理，也可连接 NVIDIA Build、OpenRouter 云端后端。应用基于 Electron 31 + React 18，支持 PDF 解析与 RAG 检索、matplotlib 图表、Mermaid 11 图形和 MCP 服务器管理，可完全离线运行。本地跑大模型建议 48 GB 以上内存，当前版本为 2.6.0-alpha-6，由 Claude Code 构建。
wano-biaser-automation 仓库将发布论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的实现与实验代码，论文正在 COAI 2025 评审中。该工作提出优化策略以增强 LLM 在多任务间的上下文推理，实验结果显示在动态环境中具有更优适应性。仓库内容（实现、实验配置、benchmark 结果、预训练模型 checkpoint、文档教程）标注为即将发布。
一篇关于优化大语言模型在多任务环境下上下文推理能力的论文正投稿 COAI 2025，其实现代码仓库已建但标记为“即将发布”。仓库未来将包含优化策略实现、实验代码、benchmark 结果、预训练模型 checkpoint 及文档教程。论文摘要称该策略能提升 LLM 在动态环境中的适应性，目前尚未经同行评审接收。
GitHub 新仓库 shanhe321/CacheFlow 公布了 CacheFlow 的官方实现，该方法从频率感知角度统一步蒸馏与特征缓存，解决扩散模型极端少步加速下的语义保真与细节损失问题，提出频率感知策略蒸馏和可学习缓存策略。在 FLUX.1-dev、Qwen-Image 等模型上的实验显示，文生图与图像编辑质量具竞争力，实测加速最高达 55.31×，代码即将开源。
开源项目 invoice-agent 接收 JSON 或纯文本的结账信息，纯文本时用 Gemma 3 4B（通过 Ollama 兼容端点）提取结构化数据，用 decimal.js 在 Node 中计算金额，PDFKit 内存生成 PDF，并经 Nodemailer/SMTP 发送，部署在 Vercel Functions 上。项目提供 POST /api/invoices、/api/a2a、/api/mcp 及健康检查等端点，支持 x-api-key 认证、限流（默认每分钟 20 次）与 Idempotency-Key 防重复发送，也可配置 Groq 等 OpenAI 兼容服务商替代 Gemma。
harrytyp 在 GitHub 开源 free-llm-tracker，自动索引免费 LLM API 模型，目前收录 531 个模型、81 个 Provider，其中 63 个有实测 t/s，每 6 小时经 GitHub Actions 更新并发布到 GitHub Pages。数据源包括 OmniRoute 免费列表、OpenRouter /api/v1/models 与 llm-benchmarks.com，同仓库还附带一个仅用 Python 标准库的 llm-mini-router 网关，提供 OpenAI 兼容端点，可按 Intelligence 或 t/s 自动选模型并在限流时回退。
推荐理由：一个每6小时自动更新的免费 LLM API 追踪器，汇总531个模型并附实测速度与路由网关，适合本地部署参考。
GhanaOpenAI 发布 twi-translation-tool-calling 仓库，基于 google/gemma-4-31B-it 用 LoRA 微调，让模型先调用 lookup_twi_translation 工具查询离线词典（478,822 条英语→Twi 短语），再推理生成 Twi 翻译。训练数据含 15,134 条带工具调用的样本，词典与部署工具使用同一文件保证输出一致。仓库含数据集构建、训练、评测脚本与部署运行时，支持 vLLM 与 transformers 后端，采用 CC-BY-NC-4.0 非商业许可。
tgarg01 在 GitHub 开源了 silybench 网站背后的数据集，收录在租用 GPU 上实测的 LLM 服务性能、按日期记录的 GPU 租金与 API 价格表，以及由此推导的自托管与 API 成本对比。每个实验文件夹保留实验配置、硬件指纹、当日报价和原始证据（vllm bench serve JSON、GPU 遥测 CSV、vLLM 日志、lm-eval 结果），价格表每 6 小时由 CI 自动刷新，数据以 CC BY 4.0 许可发布，可用 SQLite、CSV 或 JSON 直接查询。
collabosm 是一个免费开源工具，可在用户自己的 Google Colab 账号里租用 A100 GPU 运行 Qwen3.8-27B 或 Qwen3.8-Flash-Next，通过本地页面聊天，按 GPU 运行时间付费，工具本身不收费。A100-80G 跑 Qwen3.8-Flash-Next 每小时约 6.77 compute units（约 $0.68），读写速度约 3,900/97 tokens 每秒；A100-40G 跑 Qwen3.8-27B 每小时约 $0.54，速度约 2,500/50-63 tokens 每秒，支持约 400,000 tokens 上下文和图片输入。