Decidra：面向 vllm-sr/d3-turbo 的专用 CUDA 推理引擎
热点事件观察中
Decidra：面向 vllm-sr/d3-turbo 的专用 CUDA 推理引擎
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
开发者 juanqui 发布 Decidra，一个专为 26.1B 混合决策模型 vllm-sr/d3-turbo 打造的 CUDA 推理引擎。其 HTTP 服务与 CUDA 引擎运行在单个 Rust 进程内，运行路径不含 Python、PyTorch 或 vLLM。 性能方面，Decidra 采用一次状态编码后所有问题从缓存分叉的方式，在 64 问基准中比 vLLM-SR 快 2.4–5.2 倍，c8 配置下最高达 5.2 倍吞吐。引擎支持 RTX 4090、H100/H200 和 RTX PRO 6000，其中 W4A8 视觉包需 24 GB 显存。代码以 MIT OR Apache-2.0 双许可发布在 GitHub。
AI 根据报道生成 · 2 天前更新
最新进展10月25日 16:21
Decidra：面向 vllm-sr/d3-turbo 的专用 CUDA 推理引擎报道时间线
沿着报道，了解事件的不同侧面。
10月25日
- GitHub · 灵魂体仓库精选Decidra：面向 vllm-sr/d3-turbo 的专用 CUDA 推理引擎
juanqui 发布 Decidra，一个专为 26.1B 混合决策模型 vllm-sr/d3-turbo 打造的 CUDA 推理引擎，HTTP 服务与 CUDA 引擎在单个 Rust 进程内，运行路径无 Python、PyTorch 或 vLLM。状态编码一次后所有问题从缓存分叉，64 问基准比 vLLM-SR 快 2.4–5.2 倍，c8 下最高 5.2 倍吞吐；支持 RTX 4090、H100/H200、RTX PRO 6000，W4A8 视觉包需 24 GB 显存，MIT OR Apache-2.0 双许可，代码在 https://github.com/juanqui/decidra。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 1010月25日 17:00
- 近 24 小时变化
- -50%
02.557.510
10月26日12:0010月27日12:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。