新闻、仓库与研究，按时间排列。
作者在 Salesforce/xlam-function-calling-60k 上微调 SmolLM2，135M 全量微调达 21.80%，1.7B LoRA 达 83.47%、QLoRA 达 72.61%，Instruct 起点比 base 起点高 8.4 个点。作者还用 LLM-as-judge 加盲审人类复核审计评测本身，估计约 15.0% 的 exact match 失败是对任何模型都无法产出的参考答案打分，高于此的原始 20.5% 被修正；1.7B 微调模型与 235B 通用模型在 300 例子集上统计上无显著差异。仓库含完整训练、评测、judge 审计脚本与模型和数据集产物。
推荐理由：作者在给出微调结果的同时，用盲审人类复核修正了基准里不可推导参考答案的比例，评测方法本身值得细读。
GitHub 上的 tiny-llm 项目以 20.4M 参数模型在 C4 数据上系统对比 cosine-to-zero 与 WSD 学习率调度及去中心化训练，覆盖 1,188 次独立 cosine 运行和 594 次 WSD seed/horizon 结果，共享训练预算为每参数 20/40/80 global tokens。结果显示同步训练在各共享预算下选定平均损失最低，同步与去中心化 cosine 训练的差距随预算增大而收窄，在 408M 目标预算、context 512 下调优后的裁剪式四 worker 去中心化训练已接近同步质量。项目支持 NVIDIA GH200 单卡训练，提供 Hessian 与梯度噪声分析、Slurm 作业提交及交互式结果网站。
研究者提出 MoPrO-SD，一种针对立场检测的提示词优化框架，将提示词分解为语义模块并用 LLM 反馈依次优化，包含 I、I+R、I+R+E 三种策略。团队还发布人工标注的疫苗立场检测 benchmark VaccineStance。在四个数据集和五个开源权重 LLM 上，MoPrO-SD 多数场景优于人工 Base 提示词，SemEval-2016 上五个 backbone 中四个的类条件反馈取得更高 Macro-F1，代码与数据集已在 GitHub 开放。
一项系统性机制分析研究了 LLM 量规设计中的准则组织、准则操作化与分数聚合，发现结构性组织有助于构建更全面的准则，仅靠语义细化不足以保证准则级判断有效，而复杂的分数聚合带来的额外收益有限。基于这些发现，研究者提出 Adaptive Rubric Tree Search with Hybrid refinement（ARTS-Hybrid），结合自适应树构建与语义优先、响应校准的细化方法。跨基准实验显示 ARTS-Hybrid 同时提升了端到端评估性能与量规本身的质量，其生成的量规还能为模型优化提供有效信号。
一项研究提出基于输入类别的专家选择偏置方法，引导 MoE 大语言模型中的 token 路由到专门的专家子集，从而缓解预训练数据不平衡对少数类别的容量限制。在最大 10.6B 参数的模型上，该方法在多模态、低资源语言和代码任务上带来提升，在最小与最大模型规模下分别相当于多训练 18.5% 和 2.7% 的 baseline tokens，且保留标准 MoE 推理。
研究者推出 AgentSWE 基准，测试编程智能体能否按自然语言需求忠实构建、编辑和优化智能体，覆盖智能体开发全生命周期的 25 个任务。评估发现没有任何被测智能体接近完全满足需求，“演示的与交付的存在差距”是常态而非个例。失败轨迹分析归纳出对可见样例过拟合、代码看似完整但运行时空洞、以及无依据的完成声明等典型失败模式。
GitHub 仓库 Jingchensun/Awesome-Multimodal-OPD 收录图像、视频、音频、生成与具身智能领域的多模态 OPD/OPSD 论文，并按 GitHub 星标每日更新排名。目前共收录 Image（57）、Video（15）、Audio（16）、Generation（45）、Embodied（25）类论文，榜首为商汤 SenseNova-U1.5（6.9k 星），其后是 Alibaba 的 Qwen3-Omni（4k 星）。仓库提供交互式阅读器，可搜索、筛选并查看每篇论文的四点摘要。
一项小型探测研究测试了 mBERT 与 XLM-RoBERTa 在 Kazakh 语境与西欧语境下的表现，共 22 组英文提示词对，覆盖姓名、刻板印象、情感和财富四类。结果显示：在 Kazakh 语境中，mBERT 和 XLM-RoBERTa base 的姓名类 MRR 得分均为 0.000，前 10 预测里没有任何 Kazakh 名字，而是填入俄语和西方名字；西方语境下得分分别为 0.051 和 0.192。作者强调这是小样本 pilot 研究，未做显著性检验，情感与财富类别则未见一致差距。
SWE-Critix 是一个用于训练编程智能体轨迹通用验证器的后训练 pipeline，结合 SFT 与 RL，基于 CodeForge-Preview 轨迹训练了 30B 模型，可预测任务完成标签并生成自然语言分析。在留出测试集上，分类准确率从基座 Qwen3-30B-A3B 的 57% 提升至 SFT 后的 66%、RL 后的 78%。模型、数据集与训练代码均已开源发布。
一篇 arXiv 论文提出 AlphaNIST，仅用稀疏二值任务奖励，在仿真中从零训练单一策略完成 NIST Assembly Task Board #1 上全部 20 个装配任务，训练总成功率达 98.2%，无需示教、进度奖励塑形、脚本化原语或逐任务调参。该框架还能在一个回合内以任意顺序完成十对装配。学到的策略涌现出灵巧操作与类规划行为，如为后续装配选择抓取、利用环境几何重定向零件等。
John Smith 等人的论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》正在 COAI 2025 审稿中，其配套 GitHub 仓库目前状态为待发布。仓库将陆续放出论文提出的优化策略实现、实验代码与配置、benchmark 结果分析、预训练模型检查点及文档教程。
一项 arXiv 研究系统考察了文生图 Transformer 中的 attention sink 现象，发现其在双向扩散模型和自回归模型中均存在但模式不同：自回归模型将注意力集中在首位和全局 token 上，双向模型则在模态边界、文本区域和空间角落附近形成 sink。扰动 sink 相关的注意力头比非 sink 头引起更大的生成变化；引入 register token 重分布注意力后，部分配置能保持或小幅提升生成性能。
研究者提出 ChemDiffAgent，首个用于工具集成化学推理的掩码扩散语言智能体，将化学推理重构为对推理与工具使用交织轨迹的迭代去噪。其两阶段后训练框架包含智能体监督微调和方差缩减偏好优化，并构建了覆盖六项化学任务的单轮与多轮工具使用基准。在同等预算下整体性能较自回归智能体提升约 20%，8B 模型可媲美甚至在部分场景超越 GPT 5.5 和 Claude Opus 4.7 等更大规模的前沿模型。
论文提出GraphTok，把从pre-tokenization、BPE合并到token-ID组装的整个编码流程作为可重放的CUDA graph在GPU上运行，token ID与参考实现在GPT-2、Llama 3、Qwen 2.5、DeepSeek-V3、Gemma 3上逐位一致，可接入未修改的vLLM和NVIDIA Dynamo。在Llama 3上比最强CPU tokenizer gigatoken快4.7-6.0x；在带缓存前缀的vLLM中TTFT均值降低2.1-2.4x；2s P99下单前端可承载518 req/s的121k-token流量，为gigatoken的1.75-2.5倍。
推荐理由：论文给出GraphTok在vLLM和Dynamo下的实测吞吐与TTFT数据，可了解把tokenization搬到GPU对Agent负载的实际收益。
一项 arXiv 研究探讨爬虫应如何在 host 之间及内部分配预算以获取更高质量 LLM 预训练数据。分析显示约一半的文档质量分类器得分差异出现在 host 之间；先采样少量页面再对高分 host 深入抓取，比均匀深度或基于 centrality 的分配每次抓取多获得数倍高质量页面。估计每次 Common Crawl 抓取中仍有数千万高质量页面未被爬取，且集中在少数 host 上。
GitHub 仓库 toooolathon/enhancing-llms 开源了论文 "Enhancing Large Language Models with Advanced Fine-Tuning Techniques" 的实现与实验代码，探索面向领域任务的新型 LLM 微调方法。其方法在 GLUE 上取得 92.5%（基线 84.2%，+8.3%）、SuperGLUE 上取得 89.3%（基线 76.8%，+12.5%）的成绩，项目采用 MIT License。
PaperStrange 在 GitHub 发布 Personal-LLM-Benchmark，用合成 fixture 代码库按工作流评测模型与 agent harness，含 T1 架构梳理、T2 三 subagent 协作实现 apply_discount、T3 安装第三方插件三个任务。所有结论带 [REAL]/[SIM]/[OPEN] 证据标签，评测漏斗从免费 T0 确定性门控到按分计费的 Jev 评分、再到仅限 Top 1-2 的深度运行，要求每组合至少 3 次重复并报告 pass@k 与 pass^k。项目采用 MIT 许可证开源。
这是一个对 ConstraintBench（Tso et al., 2026）的独立复现与扩展项目，测试 LLM 能否直接求解约束优化问题而无需写求解器代码。原论文测了 6 个前沿模型在 10 个领域共 200 道题，最佳模型方案可行性仅 65%，可行且最优的比例不超过 30.5%。该项目复现其中 4 个领域，并扩展了反馈回路、难度缩放与直接回答对比 Gurobi 代码等实验，目前处于早期阶段，尚无结果。
一项 arXiv 研究提出一种无标签方法：将 LLM Judge 的评分标准分解为子标准，按评委间分歧排序并由编辑模型改写最具争议的条款。实验涉及 3 家厂商的 5 个评委、共 129,770 次请求，覆盖 SummEval、HealthBench 和 USR Topical-Chat；SummEval 上评委间 Krippendorff's α 提升 0.069（95% CI 0.046–0.092），但与专家评分的一致性无显著变化（Kendall τ 差异 -0.007），HealthBench 和 USR 未达预注册效应标准。作者将发布代码、冻结评分标准与评委分数。
独立研究仓库 trajectory-sft-agents 发布在消费级单卡上运行的小模型Agent后训练项目。基于 Qwen2.5-1.5B-Instruct 的 ALFWorld 实验，用600条环境执行验证的专家轨迹做 LoRA SFT，再经在线GRPO，完整任务成功率由 Base 6.25% 提升至 SFT 68.75%、SFT+GRPO 77.08%。另一组 BFCL 实验将 Qwen3-1.7B 的多轮工具任务测试成功率从 2.5% 提升至 32.5%，单张RTX 5090训练约70分钟。仓库公开训练配置、专家轨迹、LoRA权重与逐题rollout，附CPU可运行的证据核验脚本；作者说明这是域内训练与内部留出评测结果，域外小样本评测未观察到明显退化但也不构成通用能力提升的证明。
推荐理由：作者给出完整训练链路、逐题成绩和可复现证据，读者可以在消费级单卡上照此复现小模型Agent后训练。
GitHub 仓库 llm-adaptive-learning 开源了 ICML 2025 论文 "Adaptive Learning Strategies for Large Language Models in Dynamic Environments" 的实现，支持 LLM 在动态环境中实时调整参数与行为，且避免灾难性遗忘。该方法在多类动态环境上较基线 LLM 提升 16.8%–19.1%（如时序变化场景从 69.8% 升至 88.9%），采用轻量级自适应更新而无需全量重训练，代码以 Apache 2.0 许可发布。
该仓库将发布论文《Optimizing LLMs for Contextual Reasoning in Multi-Task Environments》的实现与实验代码，论文正投稿 COAI 2025 审稿中。论文提出优化策略以增强 LLM 在多任务间的上下文推理能力，实验结果显示其在动态环境中具有更强的适应性。仓库内容尚未发布，后续将提供完整实现、实验配置、benchmark 结果、预训练模型 checkpoint 及文档教程。
GitHub 开源项目 enhancing-llms 提供论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的实现，探索新的微调方法以改进 LLM 在特定领域任务上的表现。其方法在 GLUE 上达到 92.5%（基线 84.2%，提升 +8.3%），SuperGLUE 达到 89.3%（基线 76.8%，提升 +12.5%）。项目含训练与评估脚本、领域适配技术和优化训练管道，采用 MIT 许可证开源。
研究者提出检索前索引建模增强框架 PRIME，针对现有 IR 研究偏重查询侧优化、索引侧被忽视的问题，包含 LLM 驱动的语义重构（SR）与确定性的元数据合成（MS）加分层检索（HR）两条路线。确定性元数据在匹配结构感知分块检索质量的同时，将 embedding 计算减少 45.8 倍、索引向量数量减少 22.4 倍；SR 在完整部署下进一步提升 Answer-F1 达 13.7%。在 QASPER、BRIGHT、NFCorpus 上的评测显示索引侧优化可能增益或损害检索，且这些效应在强 reranker 下被中和。
一项预注册研究在 HotpotQA、SQuAD 2.0 和 IFEval 上测试 GEPA、MIPROv2 和 TextGrad，发现三者都会违反未被评分的要求，如 HotpotQA 上引用有效性净回归达 10.7 至 41.6 个百分点。事后分析显示，主要原因是优化后的提示词在要求的 JSON 对象前输出推理，在 200-token 输出上限下 13.9% 至 47.0% 的响应在给出答案前被截断。将上限提高到 1,024-token 后提取失败消失，内容回归低于 1 个百分点。
BoundaryEvo 提出一种两阶段数据-模型协同演化框架，用于从大模型蒸馏长链推理能力：先通过 Capability Priming 直接蒸馏少量教师长推理轨迹，再在 Capability-Boundary Co-Evolution 中持续选取学生未掌握但专家可解的题目并随学生能力演化更新训练数据。仅用 1,000 条训练样本，BoundaryEvo 在 11 个推理 benchmark 上超越静态和动态数据选择基线，将 Qwen3.5-4B 在 IMO-AnswerBench 上的准确率从 62.9 提升至 75.3，在 AMO-Bench 上从 26.8 提升至 46.0。代码与数据将开源。
Han Luo 在 arXiv 发表论文，提出用同一嵌入模型已计算的上下文 token 表示做稀疏匹配来检索记忆，无需额外训练即可在八个基准上提升检索效果。可选的低秩查询适配器在 Qwen3-Embedding-4B 上将平均 Recall@10 和 NDCG@10 分别再提升 13.3 和 14.3 个百分点，检索增益转化为长期记忆基准上更高的问答准确率。
推荐理由：论文给出无需重训即可提升记忆检索的 token 级匹配方法，并附八个基准的量化收益，可作长期记忆方案的参考。
研究者提出 Agent4Spec，一个自主多智能体框架，包含检测并自动修正 OpenAPI 语法错误的验证管线，以及对标行业领先者、发现功能缺口并自动补全缺失功能的market 分析管线。在两个涵盖通用与工业场景的数据集上，9 个 SOTA LLM 中表现最佳者实现 100% 语法错误检测率、超过 95% 的修正实现成功率，且建议的端点改进采纳率超过 50%。该论文已被 FLLM 主赛道接收。
GitHub 上的 cot-monitor-benchmark 仓库对两类监控方式——基于思维链（CoT）的监控与仅基于输出的监控——在不安全 LLM 行为检测上的效果进行了基准对比。该项目以仓库形式开源，可供研究 CoT 监控是否比仅看输出更有效。
CAST（Chunk-aware credit Assignment with Selective Token Anchoring）是一种 shift-or-stay 框架，解决跨 tokenizer 在策略蒸馏中的信用分配问题：对已对齐 chunk 按预测不确定性和教师信号平滑度重新分配优势，对未对齐位置用 KL 惩罚将学生锚定在初始策略上。在六个数学、科学和代码 benchmark 上，CAST 从 Qwen3-8B 向 Mistral-7B 和 Llama-3.1-8B 跨 tokenizer 迁移时，平均分别超过最强基线 2.45 和 1.32 分，向共享 tokenizer 的 Qwen3-1.7B 迁移时超过 2.10 分。
arXiv 一项研究提出闭式、无标签的仿射翻译器，可将表格基础模型（TFM）最多 96% 的 Transformer 块替换掉，揭示其严重过参数化。在 171 个分类数据集上评测八个前沿 TFM，替换一半的块最多仅损失中位 0.002 AUROC。移除深度最多省 1.5B 参数、GPU 推理提速 6 倍、中位仅损失 0.03 AUROC，单块 TabPFN-3 缓存查询快 2.4 倍、内存省 6 倍。
研究发现 DINOv3-H 和 DINOv3-7B 这两个视觉 Transformer 仅靠图像自监督预训练、无任何文本配对或标签监督，就能组织出词义结构。研究者通过词图像与匹配对照的嵌入差分分析发现，同行业品牌名、同语义域名词各自聚集，国家-首都词对呈现一致向量偏移，且与文本、语音编码器的表示结构相互对齐。这是已知首批展现出渲染文字语义结构的自监督视觉模型。
一项 arXiv 研究提出四项探针方法，检验开源音频语言模型作为生成音乐评委时评分究竟取决于音乐、文本提示词还是提问方式。在 MusicEval 全部 2,748 个片段及 SongEval 上的实验显示：无音频时没有任何评委超过仅凭提示词的预测，四个较小评委的成对评审跟随片段位置而非质量，改写指令对多数评委相关性的影响堪比更换评委。作者建议音乐评委报告全部四项探针结果。
AMR 解析器性能虽已大幅提升，但何时可信任其输出仍缺乏研究。该工作首次在黑盒设定下，利用 top-k beam-search 候选的成对相似度进行不确定性估计，并用 Prediction Rejection Ratio 评估。实验分析了性能与不确定性的关系、beam 候选分布的可靠性及评测指标的影响，并找出性能与可靠性平衡最佳的解析器。
研究者提出 ReSFlow（Rectified Statistical Flow）模型，借鉴 Rectified Flow 的“直且快”特性，在统计流形上显式学习测地线轨迹，实现离散数据的一步类别生成，降低多步数值积分的推理开销。理论证明校正后轨迹逼近测地线，在图像、文本和生物等生成任务上展现出更优的一步生成质量，代码已开源。
研究项目 llm110 从零训练一个 102,640,768 参数的俄语 Qwen3.5 文本模型，在相同条件下对比 Adam、HGlobalAdam、AdamW、HGlobalAdamW 和 HGlobalMuon 五种优化器，每个方法预算 500M 训练 token，总计 2.5B token。架构采用 12 层 Gated DeltaNet 加 4 层 full attention，数据为 FineWeb-2、mC4、FineWiki 和 Taiga 的混合语料，seed 统一为 42，LR schedule 固定为 constant。项目提供配置文件、数据准备、训练与指标导出脚本，但不随仓库发布模型权重。
GitHub 上的 SAYZEK 2026–2027 项目提案，目标是基于网络流量与系统日志的异常检测，比较 Isolation Forest、Random Forest、XGBoost 等监督与无监督模型，并结合 LLM 生成基于证据的土耳其语事件报告。计划使用 CICIDS2017、UNSW-NB15 和 HDFS_v1 数据集。项目尚处研究设计阶段，软件与实验未开始，仓库目前仅含文档，无可用原型或实验结果。
研究者提出 Action–Future Coupled Effect Learning（AFCE），让 VLA 策略以未来物理效果（Effect）而非动作本身作为主要预测目标。在 DexJoCo 上 AFCE 整体成功率达 50.97%，比 π0.5 和 UVT 分别高 11.82 和 15.21 个百分点，并在全部五个双臂任务中领先，且单臂与双臂任务可共享同一 Effect 模型。
MassCommissioner 上线论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的仓库，该论文提出优化 LLM 以增强跨任务上下文推理的策略，目前处于 COAI 2025 审稿中。仓库尚待发布，之后将提供实现代码、实验配置、benchmark 结果、预训练模型 checkpoint 及文档教程。
论文 "Adaptive Learning Strategies for Large Language Models in Dynamic Environments"（ICML 2025）的实现代码已在 GitHub 开源，采用 Apache 2.0 协议。该方法使 LLM 在动态环境中实时调整参数与行为，且不发生灾难性遗忘、无需全量重训练。在多类动态环境测试中较基线 LLM 提升 16.8%-19.1%，如主题漂移场景从 72.3% 提至 89.7%。