新闻、仓库与研究，按时间排列。
Badrodro 发布 llm-4bit-quant-formats 仓库，在 Qwen2.5-0.5B、Qwen2.5-1.5B 和 SmolLM2-1.7B 上以 WikiText-2 与 C4 困惑度对比多种 4-bit 权重量化格式。结果显示等困惑度下 trellis 编码比 NVFP4 少需 11–17% 比特、比 INT4 g128 和 MXFP4 少约 15–20%，但加随机 Hadamard 旋转的标量 Lloyd-Max 量化器已能达到 trellis 增益的 6–9% 以内，未达到预先设定的 10% 阈值，因此非均匀标量格式加旋转在更低解码成本下已捕获大部分收益。测试仅覆盖权重、round-to-nearest、0.5–1.7B 小模型，无校准数据与速度能耗测量。
推荐理由：作者预先设定了10%的决策阈值再实测，读者可以据此判断trellis量化是否值得在硬件里加解码器。
Beamoaadvance 在 GitHub 开源了 ICML 2025 论文 "Adaptive Learning Strategies for Large Language Models in Dynamic Environments" 的实现，使 LLM 能在动态环境中实时自适应调整。该方法支持持续学习而不发生灾难性遗忘，无需完整重训练即可轻量更新，在多类动态环境中较基线提升 16.8%-19.1%（如 Temporal Changes 场景从 69.8% 提至 88.9%）。项目采用 Apache 2.0 许可证。
开源实验项目 llm-posttrain-lab 基于 Qwen/Qwen2.5-1.5B 全量微调，对比 SFT、DPO、PPO、GRPO 在偏好对齐中的表现，训练栈为 TRL 1.7 + accelerate/DeepSpeed。实验覆盖 helpful 与 math 两条任务线，math 线在全部 1319 条 GSM8K 测试题上评估 pass@1/pass@8 与 KL，并追踪 DPO 训练中 chosen 回答 log-probability 下降等失效模式。
论文提出 Continuum Attention（CA），一种将离散 key/value 查找替换为连续分段线性记忆曲线积分的因果 Transformer 注意力算子，可通过不超过二阶的矩解析求梯度并支持并行 GPU 实现，保持二次序列复杂度。相比 softmax 与 focal attention，CA 分别降低 0.0200 和 0.0480 nats per byte 的验证负对数似然，在全部配对比较中获胜；独立验证切片上较最强 softmax 基线优势 0.0457 nats per byte（含 95% 置信区间）。
研究者推出开源工具套件 ParaTaxe，用于处理和发布多平行语料库，解决学术语料因维护或经费不足而失于线的难题。该套件包括基于多语言嵌入向量的 AIlign 对齐器、用于转换与对齐语料的 Python 处理流水线、管理平行语料集合的 ParaTaxe 网页界面，以及基于 TEI-Publisher 构建的语料浏览界面。工具由 ACR Grimm Tradalign 与 ParaTaxe 项目开发，成果将发表于 JADT 2026 会议。
Reddit r/LocalLLaMA 用户发布 NanoStories 数据集，含 50M 条故事，规模约为 Tinystories 的 25 倍。该数据集用基于规则的算法而非语言模型生成，在手机 CPU 上仅用不到 10 分钟完成生成，数分钟内转换为 parquet 并上传至 HuggingFace。
MicroLLM 是一个在 50M 参数预算内从零构建训练的 decoder-only Transformer 语言模型，实际可训练参数为 48,779,904（约 48.78M），采用 GQA、RoPE、RMSNorm、SwiGLU 和 1,024 token 上下文，基于 FineWeb-Edu 数据训练。项目已完成 100M token 训练，val loss 3.8326、困惑度 52.6029，评测接入 HellaSwag、ARC-Easy、PIQA、WinoGrande，并开发基于 FastAPI 的本地推理后端。
一项 arXiv 研究考察多模态大语言模型的 retrieval heads 在新增模态时的表现：以视听输入为对象，发现检索头在新模态中保持稀疏并跨模态大量共享，在 18 个语言、视觉语言与全模态模型中，全模态模型基本保留了其基座的检索头。跨模态共享的检索头不足全部 head 的 2%，但消融它们会损害文档理解、空间感知和视觉数学。通过 ranking 目标训练这些头的注意力，Qwen3-VL-8B 在 MMDocIR 上的 page Recall@1 提升 6.03 分，并在三个模型族上改善文档检索。
论文提出跨层共享的 Meta Expert，替代主流分层架构中各层独立的 Local Expert，以降低专家间冗余。在激活数量与专家粒度不变的情况下，模型仅用 70-80% 的专家即可匹配 Vanilla MoE 的性能，并取得更低的 cross-entropy loss 和更高的下游任务准确率；理论分析还显示 Meta Expert 为隐状态提供了更灵活的残差通路，提升信息检索效率。
arXiv 一项研究显示，经强化学习后训练的 Qwen3-8B 小型开源模型可完成以往依赖 Claude、ChatGPT 等专有模型驱动的工具选择功能，在 ToolBench 上超越 Llama-4-Maverick（402B）。该模型可直接迁移到不同检索器，并能泛化到不同领域的新工具库。
GitHub 新仓库 liufan612/groundwater-neural-operator 发布了水头条件化两阶段地下水流与溶质运输研究的代码。仓库包含合成数据生成、五种神经网络 backbone（unet、fno、afno、uno、deeponet）、两阶段与双分支训练，依赖 MODFLOW 6.8.0 和 Python 3.11，数据按 70/20/10 划分训练、验证与测试场景，训练权重和数据集需按仓库命令本地生成。
IQuest-Q1 是一款稀疏 MoE 智能体基座模型，总参数 320B，激活 15B，通过预训练、中期训练与多 scaffold 后训练三阶段流程构建。该模型结合 SFT、领域专项 RL 与 MOPD 强化智能体编码能力，并以开源形式发布。
tatra-labs 发布 nano-pixelmoe，用约 260 行代码独立实现 PixelMoE 论文（arXiv:2610.18857）方法，将 LLM 式 mixture-of-experts 原样迁移到无 VAE、无 tokenizer 的像素空间扩散。实现在 RTX 5060 Laptop 上训练，CIFAR-10 上 64.2M 参数（每 token 激活 27.0M）FID 26.43，与匹配激活参数的 dense 基线 26.73 在 10k 样本噪声范围内持平；展示了无辅助损失的负载均衡（最忙专家为平均负载 1.6 倍）及专家按内容和噪声水平分工的路由图。作者指出论文的收益出现在 200M+ 激活参数规模，并附完整训练与采样命令。
推荐理由：作者在单卡笔记本 GPU 上复现了 PixelMoE 的 MoE 路由机制，并给出与 dense 对照的 FID 数据和平衡路由结果，代码可自行训练。
一个从随机初始化、无预训练权重开始训练的 GPT 风格语言模型项目，使用约 1MB 的 TinyShakespeare 文本（1,115,394 字符、65 个字符类别），字符级 tokenize，模型 3.24M 参数，上下文窗口 256 字符。经 next-token prediction 预训练，选中的 exp_c_small 配置验证损失 1.4338、测试困惑度 6.19，并通过 React 前端与 Vercel serverless 后端以纯 JavaScript 逐字符流式输出。
GitHub 新开源仓库 Yang-Tan-id/Trajectory-TracIn-for-Diffusion-Model-Data-Attribution 提供 JAX 实现的扩散模型数据归因工具，支持 das、traj_tracin、dtrak、end_tracin、journey_trak 等算法。代码位于 diffusion_jax_refined/，支持 cifar10、cifar2、artbench 数据集及 prompted/unprompted 两种工作流，可通过 ATTRIBUTION_RANGES 分片评分，并内置 counterfactual 与 LDS 评估；其中完整 counterfactual/LDS 评估目前仅限 CIFAR。
giahuy1310 开源的 topicmodeling 仓库以 stacked ensemble 为核心，用多个基分类器加 Gemma 元模型（google/gemma-2-9b-it，4-bit QLoRA 训练）做越南语细粒度情感识别（UIT-VSMEC）与情感分类（UIT-VSFC），目标是提升 macro 与少数类表现。流水线含 LLM 数据增强与预处理 notebook，需在 Google Colab GPU（A100/T4/G4）上运行，notebook 06 峰值内存约 80 GB、VRAM 约 24 GB。
一篇 arXiv 论文提出用 16 MB 冻结 512-bit 编码表替代可训练嵌入层，经主成分投影和符号二值化得到，无任何可训练参数。在 Gemma 3 270M 形状模型上，可学习词表花 2.6 倍可训练参数只换来 0.20 nats 验证损失改善，而冻结词表模型在 LAMBADA、HellaSwag、PIQA 上持平或更好，仅 ARC-Easy 落后；在罕见词上反超 1.7 到 2.3 nats，训练后新增 10,000 词仅损失 3%，可学习词表则崩掉 43%。配合 ternary BitNet b1.58 主体，整个模型仅 46 MB，在笔记本 CPU 上以 62 MB 内存生成 615 到 740 tokens 每秒，速度是 float 模型 8-bit GGUF 的五到六倍、内存为其七分之一。
推荐理由：论文用同一训练设置对照验证冻结 16 MB 词表的效果，并给出 LAMBADA、PIQA 等基准与 CPU 生成速度数据，权重和评测全部开放。
arXiv 论文 Specter 提出一种 MoE 推理系统，用量化让轻量 draft 模型在设备上运行，对未来专家使用做多步投机预判，提前安排专家的搬运与执行。单请求推理下相对 SOTA 系统平均取得 1.50x（最高 1.88x）的 TPOT 加速，让单 GPU 受限显存下的 MoE 推理在消费级硬件上更可行。代码在 https://github.com/wwwwwf/specter_asplos，论文见 https://arxiv.org/abs/2511.14102。
richajoy 在 GitHub 发布 llm-inference-performance 仓库，用 NVIDIA Dynamo、vLLM 和 Kubernetes 在 H100 上部署 Qwen3-8B，逐项改变负载、路由、分离式部署、自动扩缩和引擎设置并测量 TTFT、TPOT、吞吐与容量。
推荐理由：原文用字节与 FLOPs 从第一性原理解释每个调优参数为何影响 TTFT、TPOT 和吞吐，并给出可复现的基准数据与修正记录。
研究者提出 Adaptive Multi-Token Prediction（AMTP），将多 token 预测的视野选择建模为在线控制问题，通过验证反馈动态选择最优推测长度，无需重训练且不改动验证器。在基于 Llama-3.1-8B-Instruct 与 Medusa heads、Meta MTP 模型、Qwen3-4B-Inst-2507-MTP 的五组组合上，经 AIME 2025 和 GSM8K 评测，AMTP 解码最高加速 4.1x，在 10 个设置中的 8 个持平或超越固定窗口，吞吐最高提升 10%。
研究者发布 Africa-Papers，这是迄今最大的多领域泛非学术预训练语料库，包含 844,807 篇全文论文、共 10.15 billion tokens，分 879 个 Parquet 分片，涵盖 DOAJ 非洲期刊、CGIAR CGSpace 农业库、arXiv 非洲作者预印本及 OpenAlex 开放获取论文四大学科来源。语料以保留章节结构、公式和表格的干净 Markdown 格式发布，配有精确 BPE token 计数和 8 域分类体系，已在 Hugging Face Hub 的 AfriSpeech 组织下开源，用于支持非洲基础模型的持续预训练与领域评测。
arXiv 论文提出通过40个日常问题（如“说出一种声音”“说出一位诗人”）的单字答案为语言模型建模指纹，在94个模型的面板上识别出确切模型的准确率为92.5%，随机仅为1.1%；系统提示词会使准确率下降6至16个百分点。作者用该方法检测 OpenRouter 上13个开放模型的96个端点，其中92个与其声称的模型一致，一个端点以 Llama 4 Maverick 之名实际提供 Gemma 4（自报身份且计费按 Gemma 4 的 token 数）；计费记录还显示第一方模型被附加了额外上下文，如 Grok 4.7 对一行问题计费1,247个输入 token，而 GPT-4o 同样问题仅12个 token。方法成本每端点仅几美分，代码与数据已公开。
推荐理由：这篇论文展示了用40个单词答案就能指纹识别API背后的模型，还借计费记录发现OpenRouter上有端点冒名和隐藏注入上下文，方法成本极低可复现。
研究者提出 CrystalAR，一个统一的自回归框架，在单一生成序列中同时建模 Wyckoff 对称性模板与完整晶体结构，把连续坐标生成重构为对称性条件下离散空间定位决策的层级化过程。该方法支持对晶体模板和几何实现的约束感知搜索，在保持对称模板生成能力的同时，取得了有竞争力的 de novo 生成性能与无模板晶体结构预测（CSP）精度。
arXiv 论文提出 LatBridge，通过共享 Bridge 与共享潜在通信协议下的独立接口，让多智能体系统在替换 agent 模型后复用未变接口、选择匹配的低秩接口并仅训练缺失部分，所有模型保持冻结。在八个小型模型配置上，basic 模式平均准确率达 MATH 14.8%、ALFWorld 下一步动作预测 27.3%。accelerated 模式无需自回归生成即可构建目标输入。
ACE-Compression 是一个以能力为中心的大语言模型压缩评估框架，从程序推理与约束执行、知识基础与真实性、社会认知与情感理解、人格一致性与风格稳定性四个维度考察压缩后模型的能力存续。对来自六个开源权重 LLM 的 35 个以上压缩 checkpoint（涵盖量化和剪枝）的分析显示，压缩会重新分布能力：粗粒度、局部、表层信号往往保留，而细粒度、长尾、依赖上下文的能力变得脆弱；量化在能力保留上始终优于剪枝。部署者可据此按应用所需能力画像选择压缩方法。
一篇 arXiv 论文证明，在同源专家模型的同一盆地里，多教师 on-policy 知识蒸馏目标在二阶意义下等价于 Fisher-merging 目标，其最优解即模型合并。作者据此提出两阶段整合方法 RGBM：Phase 1 将合并限制在任务向量子空间，Phase 2 用残差谱控制各领域的写回与门控。在两个开源整合套件上，仅 Phase 1 合并即可媲美或超越完整训练的多教师蒸馏，RGBM 在零额外联合训练步骤下进一步提升效果。
论文提出 WildAWM，一条用开源模型合成计算机使用智能体（CUA）可执行环境与任务的流水线，环境同时支持 GUI、MCP 服务和命令行三种交互接口。流水线产出 341 个长程环境任务对，部分需超过 100 步求解，GPT-6-Astra 仅解出 60%；仅在这些合成环境中训练的两个不同规模 Qwen 模型，在 8 个覆盖 web、claw 和 computer-use 的域外基准上均取得明显提升，代码已公开。
推荐理由：论文给出用开源模型合成计算机操作环境的完整流水线和质量门方法，训练效果覆盖 8 个域外基准，方法可迁移到环境合成类工作。
Reddit 用户 dimknaf 发布了一种让大语言模型思考过程自适应的开源方法：逐词测量熵，在模型不确定时通过 Jev 式门控决定是否触发思考块，并用并行对话树按同样逻辑选出最佳路径。项目已在 GitHub 开源，作者称适合能跑多路并行的本地模型场景。
TempoPFN 论文被 NeurIPS 2026 接收，提出一套合成时间序列生成器与增强方法库，用于训练时间序列基础模型，其模型为基于 DeltaProduct 的线性 RNN，逐时间步预测、无需 patch。该合成数据已被 Toto-2 和 TS-ICL 采用，代码与模型在 GitHub 和 HuggingFace 开放获取。
团队发布 ORL（On-Policy Residual Learning）研究并全量开源，用 on-policy 残差学习和 Adjacent Entropy Contraction 让扩散语言模型在更少前向传播内收敛更多 token。配合自研推理引擎 dlmrt，LLaDA-2.1-mini + ORL 在单张 RTX 5090 上达 2,788 tokens/s（NVFP4），DiffusionGemma 26B MoE 达 7,708 tokens/s（8× B200）；QwenDLM-4B 端到端吞吐提升约 6.9×，HumanEval pass@1 从 82.9% 升至 89.6%，单 H100 上 1,298 tokens/s，快于 DFlash 的 746 和 EAGLE3 的 405。
推荐理由：原文给出各模型吞吐、HumanEval 前后对比和与 DFlash、EAGLE3 的同精度对照，可复现的代码和权重也已开放。
ScoutRoute 是一种轻量级事后路由框架，通过对低成本 scout 模型的单次前向传播提取内部语言模型信号，用 logistic 探针结合 logit 置信度估计异构专家模型的能力，无需修改底层模型。该方法在 5 个开源语言模型和 4 个覆盖数学推理、代码生成、常识推理与多学科知识的基准数据集上评测，一致优于单一路由信号，且能力探针的校准优于传统置信度度量。
一项新研究提出免训练的修复层 SchemaShield-Lite，结合 schema 验证、候选集重试和一次性约束修复，提升 LLM 智能体在接口漂移下的函数调用鲁棒性。在 Qwen3.5-9B 上，该方法将 DICE-300 准确率从 0.717 提升至 0.813，BFCL-200 从 0.580 提升至 0.805，分别恢复 19/22 和 33/45 个漂移导致的失败，且未观察到修复副作用。消融实验显示候选集漂移（尤其是干扰工具）是主要损害来源。
中科院计算所发布 Chinese Decision 中文模型系列，用于单次前向 pass 的概率决策：模型一次前向提取候选选项字母 logits 并归一化，无需自回归生成答案。已完成的 0.8B 模型在 307,900 条决策的 CJ-Bench 上取得 72.24% 通用域准确率、76.98% 专业域平均准确率，整体期望校准误差 1.07%；2B checkpoint 经 RLCD 目标初步训练后达 72.56% 通用域准确率但尚未超过 0.8B。训练、评测与部署流水线（含 Q8 量化）已开源。
研究者提出 EVA-Cap 框架，将字幕分解为原子视听事件，把非结构化文本监督转为事件中心对齐，并在自建数据集 EVA-Data 上用 SFT 和 GRPO 训练。GRPO 阶段针对全局事件完整性、事件内归因和事件间同步三个目标优化。该模型在 ChronusAV 上平均提升 9.0%，WorldSense 上提升 3.3%，论文已被 NeurIPS 2026 接收并承诺开源代码。
研究者提出 DPA-MoE，一个运行时精度控制框架，让 MoE 模型中被路由的专家支持任意精度。该方法用 SharedScale AnyBCQ 将专家前馈权重编码为可前缀解码的分块，并在推理时依据实时 router gate 分数分配。在 Qwen3-30B-A3B 和 DeepSeekMoE-16B 上的实验显示，相同预算下 DPA-MoE 比均匀分块分配改善了 KL 散度和下游准确率，原型系统稳态吞吐开销适中。
NVIDIA 与 IIT Madras 的 AI4Bharat 推出 Nemotron-pretraining-Indic-v1，约 2.8 万亿 token 覆盖 22 种印度宪法语言，含 22 种语言本族文字数据和 12 种语言的罗马化数据，共 34 种语言-文字配置。流水线用 NeMo Data Designer 和 Gemma-4-31B-it 做文档级翻译、MQM 风格质量评估（保留 75/100 以上）与定向修复，每条记录可溯源，生成配方开源可复用；另十种语言采用 Bodhan AI 的 Indic Translate。Nemotron 3.5 Super VL 用其中 12 语言子集加 100 亿 token 做 CPT 后，五个 Indic 基准提升 4.98 至 9.82 个百分点。
推荐理由：完整公开了 2.8 万亿 token Indic 语料的生成配方和质量门槛，团队可复用其翻译与修复流水线迁移到自己的语种。
一项 arXiv 理论研究考察了 Isotropic Curvature Model（ICM）对 Muon 优化器极分解更新解释的稳定性，提出 Random-Radius ICM（RR-ICM）与 Polar-Factor Admissibility Set。结果证明所有非标量可容许响应仅来自与曲率折点对齐的径向原子，任何无原子径向律下都呈现零容量刚性，精确缩放极分解最优只在梯度本身为缩放列等距时成立。研究进一步引入 Minimax RR-ICM，证明非零全局极小值点必位于梯度极射线上，其尺度由一维凸问题确定，揭示了平均曲率解释的径向脆弱性。
GitHub 项目 sducf/zaklang 推出一种面向 LLM 代码生成的省 token 编程语言，并配套基准测试，由 Guilherme Oliveira、Fernando Crespo Vazquez 等人开发。该项目已在 GitHub 开源，旨在降低代码生成中的 token 消耗。
GitHub 上的 optimization-vuln-analysis 项目研究 GCC 优化和实际符号剥离如何影响静态基线与本地 LLM 在匹配的 x86-64 二进制函数中识别已知 CWE-121 和 CWE-122 实例的能力。仓库包含 corpus、data、llm、pipeline、tests 等目录及 compile.sh、config.json 等配置文件。
GitHub 上的 hybridquant 仓库研究混合线性注意力 LLM（Qwen3.5、Falcon-H1）中 KV cache 与循环状态（Gated DeltaNet / Mamba-2）的联合量化，在固定内存预算下比较两者位宽分配及误差交互。它采用 fake quantization 测量 decode 阶段 NLL，对比 RTN 与带 error feedback 的方案，并用噪声匹配对照检验超可加性，每格 20 文档 × 3 seeds 并报告 paired bootstrap 95% CI。