NanoMesh 分布式微模型编排系统开源

开发者 AndrewWangDev 开源了 NanoMesh 分布式 AI 编排系统，面向异构微模型与多模态任务分发。系统把请求拆成 DAG 和多轮有状态对话树，按客户端、边缘、云端三层动态路由负载：客户端用 WebGPU/Wasm 在浏览器内运行 SmolLM2-135M-ONNX 本地推理，边缘层在 Cloudflare Workers 上做路由与状态机协调，云端层调用上游 LLM API 处理重型生成任务。 系统还包含浏览器内文档解析、图像降采样（最大 2048px、JPEG 0.85 压缩，原始体积减少 80%–90%）以及基于 @cf/baai/bge-m3 嵌入向量的模型仲裁路由流程。 按仓库说明，新账户创建可获 100 ⚡ 初始算力额度；请求限速为桶容量 3 个 token、每 5 秒补充 1 个 token（约每分钟 12 次稳态请求）；每次交互最多处理 5 个文件。

AI 根据报道生成 · 33 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。