GitHub · 去对齐工具与仓库·· 2 天前AI 评分36
Syntropy:把多台设备的 GPU、内存与存储当作一台机器运行大模型的开源项目
syntropyai-hq/syntropy
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/syntropyai-hq/syntropy
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Syntropy 是一个 Rust 编写的开源项目,旨在把多台机器的 GPU、RAM 和 NVMe 当作一台计算机,分层放置 235B 参数的 MoE 模型(4-bit 下 142 GB),并让计算尽量贴近数据。设计包含 25 个 RFC、98 个 ADR 和 1,411 个任务,当前处于 M0a 里程碑实现阶段,尚无可安装版本;计划支持 OpenAI 与 Anthropic 兼容 API,以及 CUDA、HIP、Metal、Vulkan 原生内核。
来源:GitHub · 去对齐工具与仓库 · github.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。