Nemotron权重内置Forth解释器开源
先了解这件事
Reddit用户Mr_Finious在NVIDIA Nemotron 3.5 Lightning(30B总参数、3B激活参数)权重旁挂了一个27层Forth解释器网络,其权重由Python脚本计算、不参与训练。模型以普通文本写出Forth块,解释器在每个forward pass中逐词执行,无需工具调用也不中断生成。作者称测试中765,734个机器token全部与Python参考实现一致;LoRA微调后在600题留出测试上得分从79.1%升至92.1%,但机器只支持20位整数,长整数运算不及Python。 该项目以MIT许可发布在GitHub,含kernel builder、vLLM插件、NeMo AutoModel LoRA配方及NVFP4、GGUF、MLX构建。作者称这是研究项目而非生产用途,且每个机器步骤都要一次完整forward pass,普通工具调用快得多。
AI 根据报道生成 · 36 分钟前更新
报道时间线
沿着报道,了解事件的不同侧面。
- Reddit · r/LocalLLaMA精选作者在 Nemotron 3.5 Lightning 权重中内置 Forth 解释器
作者在 NVIDIA Nemotron 3.5 Lightning(30B、3B 激活参数)旁挂了一个 27 层、权重由 Python 脚本计算且不训练的 Forth 解释器网络,模型以普通文本写出 Forth 块,解释器在每个 forward pass 中逐词执行,无需工具调用也不中断生成。测试中 765,734 个机器 token 全部与 Python 参考实现一致;LoRA 微调后在 600 题留出测试上得分从 79.1% 升至 92.1%,但在长整数上因机器只支持 20 位而输给 Python。项目代码以 MIT 许可发布在 GitHub,包含 kernel builder、vLLM 插件、NeMo AutoModel LoRA 配方及 NVFP4、GGUF、MLX 构建。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。