跳到正文
GitHub · 灵魂体仓库·· 13 天前精选AI 评分67

WEDA LLM Suite 发布:在 Jetson Orin 8 GB 上本地运行聊天、Agent 与 RAG

Advantech-Containers/WEDA-LLM-DEV-KIT-Nvidia-Orin

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Advantech-Containers/WEDA-LLM-DEV-KIT-Nvidia-Orin

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Advantech Containers 在 GitHub 发布 WEDA LLM Suite,一套完全在单块 Jetson Orin(JetPack 6,8 GB)上离线运行的 LLM 平台,提供聊天、可调用工具的 Agent 和带引用的文档 RAG,通过 OpenAI 兼容端点和 Open WebUI 提供。默认模型为 Qwen3-4B Q4_K_M,实测首 token 约 1 s、持续解码约 20 tok/s、prompt 处理约 700 tok/s、热加载约 7 s;应用以 YAML 块声明并由网关暴露为可选模型,支持不中断会话的热交换、下载前内存 fit 检查,以及 docs-qa-verified 的逐条声明验证 RAG 管线。

推荐理由

整套在 8 GB Jetson Orin 上跑通聊天、Agent 和 RAG 的部署方案,内存预检与热交换细节可直接迁移到同类边缘部署。

来源:GitHub · 灵魂体仓库 · github.com