跳到正文
GitHub · 灵魂体仓库·· 13 天前AI 评分32

HooshiX-LLM:全 Rust 实现的 decoder-only 大语言模型技术栈

hasanjodatshandi/HooshiX-LLM

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/hasanjodatshandi/HooshiX-LLM

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 上的 HooshiX-LLM 项目用 Rust 从头构建 decoder-only 因果语言模型的完整技术栈,覆盖数据管线、tokenizer、训练、推理与服务,训练和推理路径不含任何 Python。当前为 Stage 1,目标是训练一个 100M–150M 参数的稠密模型,要求 Rust 1.95(Burn 0.22 的最低版本),仅支持 Windows MSVC 目标,可通过 flex、cpu、cuda、wgpu 特性选择执行后端。项目自带 byte-level BPE tokenizer 训练工具与可复现的数据集准备流程,配置采用严格 TOML 并按失败类别区分退出码。

来源:GitHub · 灵魂体仓库 · github.com