跳到正文
#推理引擎
10月9日周五
  1. arXiv · cs.AI25

    系统辨识的 In-Context Learning：概率化建模、长序列处理与基准验证

    该 arXiv 论文提出面向系统辨识的统一概率元学习架构，将基于 Transformer 的编码器-解码器与针对长训练序列的机制结合，实现零样本预测和长时程校准。研究还展示预训练元模型可作为不确定性感知的合成数据生成器，在真实数据稀缺时为经典参数模型提供正则化。框架在标准非线性系统辨识基准和分布外场景上达到与 SOTA 方法相当的精度，仅靠输入侧适配即可应对显著分布偏移。

  2. GitHub · 灵魂体仓库68

    Portage 开源：自托管模型网关让 Claude Code 和 Codex CLI 换用 GLM、DeepSeek 等任意模型

    开发者 SimonGino 发布开源项目 Portage，一个自托管模型网关，把官方 API、OpenAI 兼容中转和本地 Ollama / vLLM 等模型统一到一个地址，让 Claude Code 和 Codex CLI 通过一行配置即可切换模型。项目核心是在 Anthropic Messages、OpenAI Responses 和 Chat Completions 三种协议之间做翻译，协议相同时字节直通，流式 SSE 和工具调用在所有路径可用；还自带凭据池故障切换、sk-ptg- 密钥管理、逐调用用量记录和管理控制台。

    推荐理由：自托管网关用协议翻译让 Claude Code 和 Codex CLI 直接换用 GLM、DeepSeek 或本地 Ollama 模型，配置示例和部署流程都写得很具体。

  3. GitHub · 灵魂体仓库51

    开源跨平台 AI 聊天应用 OpenChat 发布首个 Windows 版本

    alztrk 在 GitHub 发布 OpenChat，一个跨平台 AI 聊天应用，首个版本面向 Windows，集成 ChatGPT OAuth 与 OpenCode，并支持 Gemini、Groq、Cerebras、OpenRouter、Mistral 等 OpenAI 兼容 API。应用内置本地文件、网页搜索、URL 阅读和终端工具，提供 Ask for approval、Approve safe operations、Full access 三级权限模式，终端调用在 Windows 临时 AppContainer 中运行，默认审批模式为 Ask for approval。

  4. arXiv · cs.CL37

    MoE 模型如何用专家选择偏置克服数据不平衡

    一项研究提出基于输入类别的专家选择偏置方法，引导 MoE 大语言模型中的 token 路由到专门的专家子集，从而缓解预训练数据不平衡对少数类别的容量限制。在最大 10.6B 参数的模型上，该方法在多模态、低资源语言和代码任务上带来提升，在最小与最大模型规模下分别相当于多训练 18.5% 和 2.7% 的 baseline tokens，且保留标准 MoE 推理。

  5. GitHub · 灵魂体仓库61

    Tao20060602 开源 llm-gpu-kernels：RTX 3080 单GPU上的 MoE grouped GEMM 与 GQA attention 算子项目

    作者开源了独立于 NanoKV 的 LLM GPU 算子项目 llm-gpu-kernels，包含 BF16 MoE grouped GEMM 局部融合与四段KV GQA prefill attention，硬件为 RTX 3080 Laptop 16 GiB（SM86）。attention 短query冻结选择在合成验证矩阵中相对完整 FA2 链路 Graph 耗时几何平均减少 22.09%，最坏慢 2.17%；M24 对 W4A16 packed gate/up 的布局机制对照中六个固定 case 相对同量化 vLLM 低 21.17%。项目按 M0–M24 分阶段报告，记录了失败实验、适用形状边界与回退策略，作者明确说明为单 GPU 原型，不构成 expert-parallel 或 serving 经验。

    推荐理由：作者用逐阶段报告和固定输入复测记录了 MoE 与 attention 算子在 RTX 3080 上的实测收益和明确边界，可迁移到类似单GPU原型工作。

  6. GitHub · 灵魂体仓库13

    优化 LLM 在多任务环境中的上下文推理：GitHub 论文代码仓库（待发布）

    John Smith 等人的论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》正在 COAI 2025 审稿中，其配套 GitHub 仓库目前状态为待发布。仓库将陆续放出论文提出的优化策略实现、实验代码与配置、benchmark 结果分析、预训练模型检查点及文档教程。

  7. arXiv · cs.CL21

    扩散与自回归模型中文生图 Transformer 中 Attention Sink 现象的探索研究

    一项 arXiv 研究系统考察了文生图 Transformer 中的 attention sink 现象，发现其在双向扩散模型和自回归模型中均存在但模式不同：自回归模型将注意力集中在首位和全局 token 上，双向模型则在模态边界、文本区域和空间角落附近形成 sink。扰动 sink 相关的注意力头比非 sink 头引起更大的生成变化；引入 register token 重分布注意力后，部分配置能保持或小幅提升生成性能。

  8. arXiv · cs.CL53

    GraphTok论文提出GPU tokenizer，加速Agent负载下的LLM服务tokenization

    论文提出GraphTok，把从pre-tokenization、BPE合并到token-ID组装的整个编码流程作为可重放的CUDA graph在GPU上运行，token ID与参考实现在GPT-2、Llama 3、Qwen 2.5、DeepSeek-V3、Gemma 3上逐位一致，可接入未修改的vLLM和NVIDIA Dynamo。在Llama 3上比最强CPU tokenizer gigatoken快4.7-6.0x；在带缓存前缀的vLLM中TTFT均值降低2.1-2.4x；2s P99下单前端可承载518 req/s的121k-token流量，为gigatoken的1.75-2.5倍。

    推荐理由：论文给出GraphTok在vLLM和Dynamo下的实测吞吐与TTFT数据，可了解把tokenization搬到GPU对Agent负载的实际收益。

  9. GitHub · 去对齐工具与仓库23

    ConstraintBench 复现项目：imhotepagain/constraintbench-replication

    这是一个对 ConstraintBench（Tso et al., 2026）的独立复现与扩展项目，测试 LLM 能否直接求解约束优化问题而无需写求解器代码。原论文测了 6 个前沿模型在 10 个领域共 200 道题，最佳模型方案可行性仅 65%，可行且最优的比例不超过 30.5%。该项目复现其中 4 个领域，并扩展了反馈回路、难度缩放与直接回答对比 Gurobi 代码等实验，目前处于早期阶段，尚无结果。

  10. GitHub · 去对齐工具与仓库8

    优化大语言模型在多任务环境中的上下文推理：论文代码仓库（待发布）

    该仓库将发布论文《Optimizing LLMs for Contextual Reasoning in Multi-Task Environments》的实现与实验代码，论文正投稿 COAI 2025 审稿中。论文提出优化策略以增强 LLM 在多任务间的上下文推理能力，实验结果显示其在动态环境中具有更强的适应性。仓库内容尚未发布，后续将提供完整实现、实验配置、benchmark 结果、预训练模型 checkpoint 及文档教程。

  11. arXiv · cs.CL42

    提示词优化器会破坏未被评分的要求吗？一项预注册研究

    一项预注册研究在 HotpotQA、SQuAD 2.0 和 IFEval 上测试 GEPA、MIPROv2 和 TextGrad，发现三者都会违反未被评分的要求，如 HotpotQA 上引用有效性净回归达 10.7 至 41.6 个百分点。事后分析显示，主要原因是优化后的提示词在要求的 JSON 对象前输出推理，在 200-token 输出上限下 13.9% 至 47.0% 的响应在给出答案前被截断。将上限提高到 1,024-token 后提取失败消失，内容回归低于 1 个百分点。

  12. arXiv · cs.AI41

    BoundaryEvo：面向长链推理蒸馏的能力边界数据-模型协同演化框架

    BoundaryEvo 提出一种两阶段数据-模型协同演化框架，用于从大模型蒸馏长链推理能力：先通过 Capability Priming 直接蒸馏少量教师长推理轨迹，再在 Capability-Boundary Co-Evolution 中持续选取学生未掌握但专家可解的题目并随学生能力演化更新训练数据。仅用 1,000 条训练样本，BoundaryEvo 在 11 个推理 benchmark 上超越静态和动态数据选择基线，将 Qwen3.5-4B 在 IMO-AnswerBench 上的准确率从 62.9 提升至 75.3，在 AMO-Bench 上从 26.8 提升至 46.0。代码与数据将开源。

  13. GitHub · 灵魂体仓库61

    Metapi-Go：把 New API / One API 等多个中转站聚合为统一网关的开源工具

    开源项目 metapi-go 将分散的 New API / One API / OneHub / Sub2API 等聚合中转站统一为一个 API Key、一个入口，支持 16 个上游适配器、OpenAI 与 Claude 双协议代理、模型自动发现与按成本/余额的路由容错。部署支持单二进制、Docker 和源码构建三种方式，启动只需 AUTH_TOKEN 与 PROXY_TOKEN 两个令牌，并可作为 TypeScript 原版的无缝 Go 替代。项目地址 https://github.com/DeliciousBuding/metapi-go ，MIT 许可。

    推荐理由：原文给出了安装命令、配置项和路由容错机制的完整说明，自托管多站聚合网关的读者可以直接照着部署。

  14. GitHub · 去对齐工具与仓库48

    llm-architectures：系统化学习与复现主流开源大模型架构的代码知识库

    GitHub 开源项目 llm-architectures 提供主流开源大模型（LLM/VLM/MoE）网络结构与核心算法的系统化学习与复现实现，覆盖 LLaMA、DeepSeek、Qwen、Mistral、Gemma、Phi、Falcon、Yi、Baichuan 等系列。项目按机构/系列/版本组织目录，每个版本含 README 架构解析、纯 PyTorch 自包含 modeling.py 实现与 config.json，并提供注意力机制、位置编码、归一化、MoE 及量化（FP8、AWQ、GPTQ）等通用组件库和跨模型横向对比。

  15. arXiv · cs.CL48

    CAST：面向跨 Tokenizer 在策略蒸馏的信用对齐方法

    CAST（Chunk-aware credit Assignment with Selective Token Anchoring）是一种 shift-or-stay 框架，解决跨 tokenizer 在策略蒸馏中的信用分配问题：对已对齐 chunk 按预测不确定性和教师信号平滑度重新分配优势，对未对齐位置用 KL 惩罚将学生锚定在初始策略上。在六个数学、科学和代码 benchmark 上，CAST 从 Qwen3-8B 向 Mistral-7B 和 Llama-3.1-8B 跨 tokenizer 迁移时，平均分别超过最强基线 2.45 和 1.32 分，向共享 tokenizer 的 Qwen3-1.7B 迁移时超过 2.10 分。

  16. arXiv · cs.CL45

    Vision Transformer 仅凭图像就能学会词义

    研究发现 DINOv3-H 和 DINOv3-7B 这两个视觉 Transformer 仅靠图像自监督预训练、无任何文本配对或标签监督，就能组织出词义结构。研究者通过词图像与匹配对照的嵌入差分分析发现，同行业品牌名、同语义域名词各自聚集，国家-首都词对呈现一致向量偏移，且与文本、语音编码器的表示结构相互对齐。这是已知首批展现出渲染文字语义结构的自监督视觉模型。

  17. GitHub · 去对齐工具与仓库19

    QKV-Core：在低端设备上运行大语言模型的开源工具

    GitHub 上的 QKV-Core 是一款帮助在低内存设备上部署大语言模型的工具。它采用自适应混合量化技术，可处理 7B 参数等大模型，并针对 GTX 1050 等低显存设备优化，利用 Numba 实现快速推理。该工具支持 Windows、macOS 和 Linux，要求 NVIDIA GPU、至少 4 GB 内存、Python 3.8+ 和 CUDA 11.0+，可从 Releases 页面下载。

  18. GitHub · 灵魂体仓库23

    Eiva：完全本地运行的 RAG 技术文章问答聊天机器人

    GitHub 开源项目 Eiva 是一个完全本地运行的 RAG 聊天机器人，带桌面 GUI，可抓取波斯语编程文章并用英文提问，全程通过 Ollama 运行，无需 API key、不上传数据。它使用多语言 bge-m3 嵌入向量做跨语言检索，按约 900 字符分块，余弦相似度阈值 0.30 以下拒答，默认聊天模型为 Llama 3.2 1B GGUF，可换成 llama3.2:3b 或 qwen2.5:7b 提升效果。

  19. arXiv · cs.AI24

    AMR 解析器输出有多可靠？AMR 解析的不确定性估计研究

    AMR 解析器性能虽已大幅提升，但何时可信任其输出仍缺乏研究。该工作首次在黑盒设定下，利用 top-k beam-search 候选的成对相似度进行不确定性估计，并用 Prediction Rejection Ratio 评估。实验分析了性能与不确定性的关系、beam 候选分布的可靠性及评测指标的影响，并找出性能与可靠性平衡最佳的解析器。

  20. arXiv · cs.AI30

    ReSFlow：在统计流形上校正类别流，实现一步生成

    研究者提出 ReSFlow（Rectified Statistical Flow）模型，借鉴 Rectified Flow 的“直且快”特性，在统计流形上显式学习测地线轨迹，实现离散数据的一步类别生成，降低多步数值积分的推理开销。理论证明校正后轨迹逼近测地线，在图像、文本和生物等生成任务上展现出更优的一步生成质量，代码已开源。

  21. GitHub · 灵魂体仓库30

    HyperNix-pip 0.72.6 更新：AI 模型训练工具包新增每日密钥、Conceal 模式与 tvtop-max

    HyperNix-pip 发布 0.72.6 系列更新，这是一个面向新旧设备的 AI 模型端到端训练工具包，最初用于将 HyperNix.1 转换为 GGUF。新版引入每日轮换的 v2.1 密钥、保护隐私的 Conceal 模式、OpenTUI 上的十面板监控工具 tvtop-pro/tvtop-max，并修复 GGUF 导出使 llama.cpp 可正常打开。0.72.7 将 Python 最低版本提升至 3.12 并支持 3.15；工具跨 Linux、macOS、Windows 平台。

  22. GitHub · 去对齐工具与仓库25

    开源项目 llm110：从零训练约 0.1B 俄语 Qwen3.5 模型并对比五种优化器

    研究项目 llm110 从零训练一个 102,640,768 参数的俄语 Qwen3.5 文本模型，在相同条件下对比 Adam、HGlobalAdam、AdamW、HGlobalAdamW 和 HGlobalMuon 五种优化器，每个方法预算 500M 训练 token，总计 2.5B token。架构采用 12 层 Gated DeltaNet 加 4 层 full attention，数据为 FineWeb-2、mC4、FineWiki 和 Taiga 的混合语料，seed 统一为 42，LR schedule 固定为 constant。项目提供配置文件、数据准备、训练与指标导出脚本，但不随仓库发布模型权重。

  23. GitHub · 灵魂体仓库75

    rtx6kpro 仓库：RTX PRO 6000 Blackwell 上运行前沿 LLM 的实战 Wiki

    local-inference-lab 在 GitHub 开源了 RTX PRO 6000 Blackwell / SM120 系统的 LLM 运行 Wiki，覆盖 GLM-5.3-Flash、DeepSeek V4/V4.1、Qwen3.8、Kimi-K2.7-Code 等模型。内容包含统一的 Docker 启动指南、vLLM 与 SGLang 精确 runbook、NVFP4/MXFP8 量化说明、KLD 质量检查、TP4/TP8 吞吐实测、PCIe 拓扑调试与历史版本复现存档。

  24. GitHub · 去对齐工具与仓库67

    s1line1 开源 home-llm-gateway：把内网本地模型安全暴露为公网 OpenAI 兼容 API

    s1line1 在 GitHub 发布 home-llm-gateway，用 Rust 实现边缘 LLM 网关，把 NAT 后、无公网入口的本地模型（Ollama / vLLM / llama.cpp）暴露成公网 OpenAI 兼容 API。架构为 cloud-gateway 加 edge-agent，通过 QUIC + mTLS 反向拨号隧道，无需 frp / ngrok 与反向代理，支持 SSE 流式与取消传播、按 model 的感知路由、argon2id 身份校验缓存等。项目包含 368 个通过的测试、k6 压测脚本与 React 管理面板，MIT 许可；协议级去重（EXACTLY_ONCE）与 TCP 降级等项仍是提案、未实现。

    推荐理由：README 给出了完整架构与实测数据，读者可以借这套设计了解内网模型安全暴露成公网 OpenAI API 的工程做法。

  25. GitHub · 灵魂体仓库63

    Pulsar 1.1.4 发布：在 Apple Silicon 上加速运行 Qwen3.8-27B 与 Qwen3.6-35B-A3B

    loopai-hq 发布推理引擎 Pulsar 1.1.4（前身 fastkernel），用于在 Apple Silicon Mac 上本地运行 Qwen3.8-27B 和 Qwen3.6-35B-A3B，基于 Apache-2.0 的 Splash 1.3.0 构建。

    推荐理由：原文给出同一台 M5 Max 上与 lithos-metal、Splash、MLX-LM、llama.cpp 的逐项 tok/s 对照和测量方法，速度结论可以直接核对。

  26. GitHub · 去对齐工具与仓库47

    accel-dse：流片前推理加速器设计空间探索工具（支持 LLM、视频生成 DiT 与蛋白质模型）

    GitHub 开源项目 accel-dse 用可核对的解析模型做推理加速器设计空间探索，覆盖 LLM/VLM、视频生成 DiT 和蛋白质模型，零第三方依赖，仅需 Python ≥ 3.10。工具从 HF config.json 与 safetensors 头建模逐层参数量（与发布总量偏差 ≤0.5%），支持多卡并行布局、prefill/decode 分离、排队与尾延迟分析。0.60 版将每副本卡数上限从 64 提升至 8192，可评估数百到数千卡的多节点部署，1024 卡布局排名约 8 s。

  27. arXiv · cs.CL39

    S$^3$R：基于自稀疏投机解码的快速且忠实的 RL rollout 方法

    研究者提出 S$^3$R（Self-Sparse Speculative Rollouts），用稀疏注意力起草 token、全注意力验证与精确投机采样生成响应，响应组保持稠密策略分布，无需单独训练 drafter。在长上下文数学推理任务上，S$^3$R 在 Qwen3 模型上实现 1.39x~1.35x 的端到端训练吞吐提升，任务性能相当，并在消融实验中保持训练稳定。

  28. arXiv · cs.AI32

    AdaC-GRPO：用自适应课程学习攻克长程视觉数独推理

    研究者提出自适应课程学习方法 AdaC-GRPO，并发布细粒度基准 FG-Sudoku，用于训练模型完成需要多步演绎推理的视觉数独任务。前沿 MLLM 在 9*9 这类长程依赖谜题上几乎全部失败，导致标准 RLVR 因奖励稀疏而停滞。AdaC-GRPO 通过在线 rollout 准确率追踪模型"最近发展区"动态构建训练批次，使 Qwen2.5-VL-7B 接近 Gemini-2.5-Flash 的表现，并弥补与 Gemini-2.5-Pro 62.2% 的准确率差距，方法在 InternVL-3.5 和 Qwen3-VL 上也得到验证。

  29. arXiv · cs.AI30

    RoleWorld：用功能角色抽象实现世界建模中的知识迁移

    研究者提出 RoleWorld，一种符号世界建模方法，用可复用的角色原型和环境特定参数值作为功能角色抽象来表示物体在交互中的行为。teacher LLM 从交互轨迹中提取角色原型和可执行转移规则，并生成指导 actor LLM 决策的技能；在目标环境中无需 teacher，即可通过交互在线修正角色分配与参数估计，且不更新 LLM 参数。在 MARS benchmark 上的实验显示，RoleWorld 能在物体行为显著变化的环境间实现稳健泛化。

  30. arXiv · cs.CL39

    PreSTO：预测式子树预取加速 LLM Power Sampling

    PreSTO 是一种预测式子树预取方法，通过批量预取未来 Metropolis–Hastings 提案来加速 PowerMH 采样器，且不改变其 MH 转移核。在 7 个数据集和 5 个基础 LLM 上，PreSTO 对 PowerMH、EntropyCut 和 MultiTryMH 分别取得中位 1.71×、1.91× 和 2.33× 加速，模型调用次数中位减少 3.9×，每次调用时长仅增至 2.1×。在 LCB V6 与 Qwen3.5-9B 上，预测式遍历规则比默认广度优先遍历再快 1.25×–1.37×。

  31. GitHub · 灵魂体仓库59

    璇玑（xuanji）：Go 单二进制 AI 网关，汇聚多家上游按成本与健康度自动分流

    开发者 icefairy 在 GitHub 发布了 Go 编写的轻量 AI 网关璇玑（https://github.com/icefairy/xuanji），支持 OpenAI 与 Anthropic 双协议接入，汇聚硅基流动、商汤、DeepSeek 系中转、vLLM、OpenRouter 等上游，按计费层级、权重、折扣时段与健康延迟自动分流，失败逐层切换。单二进制约 18MB、SQLite 零外部依赖，配置数据库化 CRUD 即热重载，定位个人/小团队自用，不含计费与用户管理；并在网关层将各模型思考强度参数归一化为标准 reasoning_effort，预置了 3 个免费模型的 57 题实测推荐等级。

    推荐理由：作者给出了与 one-api、LiteLLM、CC Switch 的逐项对比和实测思考等级数据，可帮助自部署用户评估网关选型。

  32. GitHub · 去对齐工具与仓库18

    LLM 多任务环境上下文推理优化研究仓库（spainricardo765199/optimizing-llms-contextual-reasoning）

    该仓库将发布论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的实现与实验代码，论文目前处于 COAI 2025 审稿中。论文提出优化策略以增强 LLM 在多任务间的上下文推理，实验结果显示其在动态环境中适应性更优。完整实现、实验配置、benchmark 结果、预训练模型 checkpoint 和文档均标注“即将推出”，尚未发布。

  33. Reddit · r/LocalLLaMA35

    Stepped MoE：段级路由与可配置推理复杂度的统一弹性稀疏框架

    论文提出 Stepped MoE，将弹性结构与稀疏门控统一，让单一 LLM 同时适应部署约束和任务需求，在推理时可细粒度控制精度-效率权衡。该模型可在 1、2、3、4B 参数间灵活切换，比对应稠密模型在知识密集型基准上高 2-5%，延迟与稠密模型相当，并通过参数共享节省设备磁盘空间。

  34. arXiv · cs.CL25

    SOAR：面向搜索智能体的源感知强化学习与精确信用分配方法

    研究者提出 SOAR（SOurce-Aware Reinforcement learning），通过 Source-Aware Workflow 将推理拆分为外部信息与内部知识两条可观测流，并用 Source-Consistent Reward 引导策略演进，解决搜索智能体绕过外部检索、编造答案的问题。在 3B 和 7B 底座上，SOAR 分别超过基线 7.3% 和 5.4%，证据捏造减少 74.8%，提升了知识密集型基准上的表现与推理的可靠性。

  35. GitHub · 灵魂体仓库51

    biteiniu 开源 Aletheia：CPU 优先的 LLM 调度层，支持本地与 DeepSeek 云端自动路由

    biteiniu 在 GitHub 发布 Aletheia，一个 CPU 优先的 LLM 调度层，让上层应用通过 Intent 接口解绑推理后端，可对接本地 Ollama、llama.cpp 与 DeepSeek 云端并按任务自动路由。项目附实测数据：RTX 3070 8GB 上模型从 7B Q4 涨到 32B Q4 时延迟涨约 40 倍；Windows 下 Python 走 localhost 而非 127.0.0.1 会因 IPv6 fallback 多等约 2000ms，修正后首 token 从 2100ms 降到 25ms；并发 8 时 vLLM 吞吐 11.60 req/s 而 Ollama 停在 3.58 req/s。

  36. GitHub · 灵魂体仓库72

    Janas 用 C 写的本地 LLM 推理引擎，80B MoE 模型可在 32GB 内存笔记本上运行

    Janas 是一个用 C 写、无外部依赖的 AI 工具族，其首个组件 Janas-LLM 让普通电脑（有无 GPU 均可）运行大型混合专家模型：权重留在磁盘，按 token 所需从 NVMe SSD 流式读取专家，常驻专家留在内存，80B 参数模型可在 32GB 内存的笔记本上运行。项目由 Maurizio "camauri" Cammalleri 编写，目前处于早期开发阶段，格式与 API 可能随时变动，且对内存和磁盘压力较大。已支持 Qwen3 系列 MoE 与稠密模型、Qwen3-Next、Gemma 4 等的 Q4_K_M 等多种 GGUF 量化格式转换，附终端聊天 janas-chat、MCP 客户端与服务器、OpenAI 兼容 HTTP API 和 janas-bench。

  37. arXiv · cs.AI35

    面向 LLM 多智能体系统的能力感知编排方法

    一项 arXiv 研究提出两阶段能力感知框架，自动编排 LLM 多智能体系统协作，根据 backbone 对当前 query 的能力动态调整角色激活与通信图。该方法在六个 benchmark 上平均得分 93.81%；对高能力 backbone 将平均准确率从 87.22 提升至 89.97，同时降低 36.26% 的 token 成本；对低能力 backbone 较现有方法平均再提升 4.58 分，且趋势在未见过的 backbone 上同样成立。

  38. Reddit · r/LocalLLaMA45

    DLoop：循环式推测解码论文发布，多项推测解码方法提速 5%-41%

    论文提出 DLoop，一种循环式推测解码方法，让轻量 draft 模型在置信时连续执行多个 drafting 阶段，再一次性验证累积的 token，减少目标模型的前向传播次数。配合 loop-aware 训练保持 draft 模型可靠性，在 EAGLE-3、DFlash、Domino、DSpark 等方法上实现 5%-41% 的 wall-clock 提速且解码无损，代码即将开源。

  39. arXiv · cs.CL28

    Neurograf v1：面向罗马尼亚语的首个端到端语言模型家族

    研究者推出 Neurograf v1，一套从零训练的罗马尼亚语优先端到端语言模型管线，含 635 GB 语料 RoSfera（1.757 亿文档）、80k byte-level BPE 分词器、160M 至 6B 参数的五个 decoder-only 模型（共训练 131 billion tokens）、三个指令微调助手和两个对比训练嵌入模型。在 1,000 题 WWTBM 基准上，Neurograf-6B 在罗马尼亚语语境问题达 69.89% 准确率，Neurograf-3.2B 达 67.38%。该模型家族定位为实验性演示而非生产系统。