跳到正文
我的
GitHub · 3D 生成新仓库·· 1 小时前AI 评分45

NanoMesh:分布式 AI 调度与异构微模型基础设施

AndrewWangDev/NanoMesh

来源与原文

GitHub · 3D 生成新仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/AndrewWangDev/NanoMesh

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

NanoMesh 是一个面向异构微模型与多模态任务分发的自适应分布式调度系统,将请求拆解为 DAG 和多轮有状态对话树,并按客户端、边缘、云端三层架构动态路由负载。客户端层用 WebGPU/Wasm 在浏览器内运行 SmolLM2-135M-ONNX 本地推理,边缘层在 Cloudflare Workers 上做路由与状态机协调,云端层调用上游 LLM API 处理重型生成任务。系统还包含浏览器内文档解析、图像降采样(最大 2048px、JPEG 0.85 压缩,原始体积减少 80%–90%)以及基于 @cf/baai/bge-m3 嵌入向量的模型仲裁路由流程。

来源:GitHub · 3D 生成新仓库 · github.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。