跳到正文
GitHub · 去对齐工具与仓库·· 7 天前AI 评分47

mormot2-ai:面向 Free Pascal 与 Delphi 的 mORMot2 原生 AI 扩展

landrix/mormot2-ai

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/landrix/mormot2-ai

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

mormot2-ai 为 Free Pascal 和 Delphi 7 至 13 提供 mORMot 原生 AI 扩展,覆盖 MCP、LLM 客户端、agent loop、嵌入、向量搜索与 RAG,并自带纯 Object Pascal 推理引擎,运行时无需 Python、llama.cpp 或外部 .so/.dll。原生引擎以与 lembed 相同的 GGUF 文件运行 BGE-M3 嵌入,在 x86_64 上速度达其 1.6 至 2 倍;Qwen3、Qwen3-MoE(Qwen3-30B-A3B)与 Qwen2.5 经 ILlmClient 接入,RTX 5090 上 CUDA 解码 Qwen3-0.6B 约 400 tokens/s、Qwen3-30B-A3B 约 97 tokens/s。

来源:GitHub · 去对齐工具与仓库 · github.com