GitHub · 去对齐工具与仓库·· 20 天前AI 评分41
cajeta-llm：面向 cajeta 生态的 decoder-only LLM 推理引擎
jklappenbach/cajeta-llm
来源与原文
GitHub · 去对齐工具与仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/jklappenbach/cajeta-llm
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
cajeta-llm 是 cajeta 生态的 decoder-only LLM 推理引擎，从 Hugging Face safetensors 和 GGUF 加载 Llama 系开源权重，基于 cajeta.math.Tensor 与 cajeta.xpu 端到端实现，不复用 llama.cpp 代码。2026-10-01 在 RTX 4090 上实测 Llama-3.1-8B-Instruct Q4_K_M：decode 约 165 tokens/秒、接近 llama.cpp，prefill 3.7k tokens/秒仍待优化；目标支持 Llama 3.x、Mistral、Qwen2/3、Gemma 3。
来源：GitHub · 去对齐工具与仓库 · github.com