跳到正文
热点事件历史事件

Advantech Containers 发布 Jetson Orin 本地 LLM 套件 WEDA LLM Suite

1 篇报道1 个报道来源13 天前更新

先了解这件事

AI 综述

Advantech Containers 在 GitHub 发布 WEDA LLM Suite,一套完全在单块 Jetson Orin(JetPack 6,8 GB 统一内存)上离线运行的 LLM 平台,提供聊天、可调用工具的 Agent 和带引用的文档 RAG,通过 OpenAI 兼容端点和 Open WebUI 提供,无需云端、API 密钥或按 token 付费,数据不离开设备。 默认模型为 Qwen3-4B Q4_K_M,仓库实测首 token 约 1 秒、持续解码约 20 tok/s、prompt 处理约 700 tok/s、热加载约 7 秒。应用以 YAML 块声明并由网关暴露为可选模型,支持不中断会话的热交换、下载前内存 fit 检查,以及名为 docs-qa-verified 的逐条声明验证 RAG 管线。 该平台仅首次下载模型时需要联网,之后完全离线运行,适用于 Jetson Orin NX / Nano 级别、8 GB 统一内存的设备。

AI 根据报道生成 · 10 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月10日
  1. GitHub · 灵魂体仓库精选
    WEDA LLM Suite 发布:在 Jetson Orin 8 GB 上本地运行聊天、Agent 与 RAG

    Advantech Containers 在 GitHub 发布 WEDA LLM Suite,一套完全在单块 Jetson Orin(JetPack 6,8 GB)上离线运行的 LLM 平台,提供聊天、可调用工具的 Agent 和带引用的文档 RAG,通过 OpenAI 兼容端点和 Open WebUI 提供。默认模型为 Qwen3-4B Q4_K_M,实测首 token 约 1 s、持续解码约 20 tok/s、prompt 处理约 700 tok/s、热加载约 7 s;应用以 YAML 块声明并由网关暴露为可选模型,支持不中断会话的热交换、下载前内存 fit 检查,以及 docs-qa-verified 的逐条声明验证 RAG 管线。