GitHub · 去对齐工具与仓库·· 7 天前AI 评分47
mormot2-ai:面向 Free Pascal 与 Delphi 的 mORMot2 原生 AI 扩展
landrix/mormot2-ai
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/landrix/mormot2-ai
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
mormot2-ai 为 Free Pascal 和 Delphi 7 至 13 提供 mORMot 原生 AI 扩展,覆盖 MCP、LLM 客户端、agent loop、嵌入、向量搜索与 RAG,并自带纯 Object Pascal 推理引擎,运行时无需 Python、llama.cpp 或外部 .so/.dll。原生引擎以与 lembed 相同的 GGUF 文件运行 BGE-M3 嵌入,在 x86_64 上速度达其 1.6 至 2 倍;Qwen3、Qwen3-MoE(Qwen3-30B-A3B)与 Qwen2.5 经 ILlmClient 接入,RTX 5090 上 CUDA 解码 Qwen3-0.6B 约 400 tokens/s、Qwen3-30B-A3B 约 97 tokens/s。
来源:GitHub · 去对齐工具与仓库 · github.com