NVIDIA 发布循环架构模型 Dory1.0-4B,可调循环数换推理精度
NVIDIA 在 Hugging Face 发布 4B 参数的循环(latent-recurrent)模型 NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16,采用 normalized-GPT 架构,通过重复应用共享 Recurrent 块(8 层输入、20 层循环、8 层输出)让每个 token 获得更多计算。单一 checkpoint 可设 1-4 个循环,无需重训即可权衡算力与精度,官方推荐默认 2 循环,并支持 last-loop KV caching 使 KV cache 开销保持在一循环大小。
推荐理由:同一个 checkpoint 可调循环次数换精度,作者还给出各 loop 数的实测对比与 KV cache 省显存方案,适合关注小模型推理成本的人。