跳到正文
我的
GitHub · 去对齐工具与仓库·· 2 天前AI 评分36

Syntropy:把多台设备的 GPU、内存与存储当作一台机器运行大模型的开源项目

syntropyai-hq/syntropy

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/syntropyai-hq/syntropy

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Syntropy 是一个 Rust 编写的开源项目,旨在把多台机器的 GPU、RAM 和 NVMe 当作一台计算机,分层放置 235B 参数的 MoE 模型(4-bit 下 142 GB),并让计算尽量贴近数据。设计包含 25 个 RFC、98 个 ADR 和 1,411 个任务,当前处于 M0a 里程碑实现阶段,尚无可安装版本;计划支持 OpenAI 与 Anthropic 兼容 API,以及 CUDA、HIP、Metal、Vulkan 原生内核。

来源:GitHub · 去对齐工具与仓库 · github.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。