Syntropy 开源跨设备分层推理系统设计，尚无可运行版本

开源项目 Syntropy 公开发布仓库与完整设计计划，目标是用 Rust 把多台机器的 GPU、内存和 NVMe 存储当作一台计算机，分层运行大参数 MoE 模型（如 235B 参数模型 4-bit 下约 142 GB），并让计算尽量贴近数据。项目尚处于早期，目前没有任何可安装或可运行的版本，一切内容均为设计与规划。 设计文档包含 25 个 RFC、98 个 ADR 和 1,411 个任务，实现正处于首个里程碑 M0a 阶段。计划提供 OpenAI 与 Anthropic 兼容 API，并支持 CUDA、HIP、Metal、Vulkan 原生内核，这些均属规划内容而非已实现功能。

AI 根据报道生成 · 2 天前更新