跳到正文
10月9日周五
  1. GitHub · 灵魂体仓库51

    metallix:基于 Rust 和 Metal 的 Apple Silicon LLM 推理引擎开源

    arclabs561 在 GitHub 开源了 metallix,一个围绕 Rust 和 Metal 构建的 Apple Silicon LLM 推理引擎。mx serve 通过 HTTP API 提供模型服务,每个模型运行在独立子进程中,支持按 --memory-budget-mib 停用闲置模型;当前支持 Qwen3-0.6B、Qwen3-4B-Instruct-2507 生成、嵌入、重排序和打分端点。DeepSeek-V4.1-Flash 是主要目标但尚不能生成,仅有一个极慢的 CPU 参考路径(17 token 提示约 32 分钟)。项目 MIT 协议开源,认证和 TLS 设计上不在范围内。

  2. GitHub · 去对齐工具与仓库6

    supply-chain-control-tower:多智能体供应链管控塔工具

    GitHub 上的 supply-chain-control-tower 应用通过 9 个并行协作的智能体监控供应链数据,识别风险并提出改进建议。它集成了 49 个数据工具,可读取现有表格、数据库和货运门户,数据在本地处理并存储,保障隐私。软件支持 Windows 10/11,需 8 GB 内存,通过 .exe 安装,提供网页版仪表盘可视化,无需命令行操作。

  3. GitHub · 去对齐工具与仓库16

    LobeChat 使用指南:为 AI 模型提供简洁聊天界面的开源工具

    LobeChat 是一款为 AI 模型提供简洁对话界面的聊天应用,支持一键切换多个 AI 引擎、对话历史记录、插件扩展,并将聊天数据保留在本地设备。软件免费下载,支持 Windows 10/11,需 4GB 内存和 500MB 硬盘空间;使用时在 Settings 中填入 AI 提供商的 API Key 即可开始对话,附加的 AI 模型费用取决于各提供商的套餐。

  4. Hugging Face · 新模型:abliterated45

    Huihui-Qwen3.8-Flash-Next-abliterated 推出 Orinfer E8P Q2A8 量化版,面向 Jetson AGX Orin 64GB 部署

    immiq 发布 huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated 的 Orinfer E8P Q2A8 量化部署包,专为 Jetson AGX Orin 64GB 设计,源模型通过 abliteration 减少拒答。模型支持文本、多图、thinking、prefix caching 和原生 MTP(最多 7 drafts),上下文容量 262,144 tokens,只读权重约 51.4 GB。在 Jetson AGX Orin 64GB 实测中,文本预填充 8,192 tokens 达 809 tokens/s,Python 代码生成解码速度 53.84 tokens/s,权重采用 Qwen Community License 1.0 许可。

  5. GitHub · 去对齐工具与仓库21

    Athena Framework v2.8.3(Chronos Edition):随交互进化的自适应个人 AI 智能体框架

    Athena Framework v2.8.3(Chronos Edition)是一个自适应个人 AI 智能体框架,通过程序化记忆引擎、专业化矩阵和上下文分层系统,让智能体随交互积累用户的方法论、偏好与工作流模式。框架可桥接 OpenAI GPT-4、Claude 3 与本地模型进行统一推理路由,需 Python 3.10+、8GB RAM 和 2GB 磁盘空间,支持 Linux、macOS、Windows、Docker 与 Kubernetes 部署,原生支持 12 种语言。

  6. GitHub · 去对齐工具与仓库45

    garmi 开源 research-agent-ml-enterprise:基于 Ollama 的本地 AI/ML 研究综合智能体

    garmi 在 GitHub 开源 research-agent-ml-enterprise,一个面向 Mac 用户的轻量研究综合智能体。它通过 arXiv、Semantic Scholar、Crossref 等免费学术 API 获取论文,用本地 Ollama 模型(推荐 qwen2.5:7b-instruct 或 llama3.1:8b-instruct)做摘要、趋势提取与跨论文综合,输出 Markdown 报告、结构化 JSON 和论文索引 CSV。项目本地运行、无需云端 API,适用于 AI/ML 企业落地等主题的深度研究与内容生成。

  7. GitHub · 去对齐工具与仓库21

    OranguCode:面向混合 AI 工作流的通用代码编排编辑器

    开源项目 OranguCode 发布,定位为连接人类意图与 AI 执行的代码编排编辑器,支持 OpenAI GPT-4 Turbo、Claude Opus 4 及通过 Ollama 接入的本地模型,可热切换 AI 后端而无需重启。它跨会话持久保存项目记忆,支持 47 种编程语言的语义分析,采用 WebSocket 界面并已在 Raspberry Pi 5 上测试。项目基于 MIT License 开源,需 Python 3.11+ 和 Node.js 20+,API 密钥本地加密存储。

  8. GitHub · 去对齐工具与仓库44

    MaxKB4j:面向 Java 团队的开源企业级 RAG + LLM 工作流引擎

    开源项目 MaxKB4j 基于 Java 21 + Spring Boot 3(Virtual Threads)构建,为 Java 团队提供开箱即用、模型无关的 RAG + LLM 工作流引擎。它支持 PDF/Word 等文档知识库问答、30+ 节点类型的可视化工作流与 Multi-Agent 协作、Cron/Webhook 触发器,以及 ASR/TTS/OCR 等多模态能力,可对接 Ollama、Qwen、DeepSeek、GPT、Claude 等模型,提供 OpenAI 兼容 API 与 MCP 集成,支持 Docker 一键部署。

  9. GitHub · 去对齐工具与仓库35

    LARi-UQAC 开源科研 AI 工具箱 ResearchTools 发布手动文档

    ResearchTools 是面向科研教授和研究生的 AI 辅助工具箱,覆盖文献综述、论文审计、BibTeX 清理、审稿回复,以及代码、PCB 和 3D CAD 设计审查,并内置 22 个技能与 rt-observe 仪表盘监控智能体运行。工具通过 local-writer/local-coder 将重生成任务转移到本地模型以节省云端 token,依靠 Obsidian vault 和 graphify 代码图两套记忆系统。项目采用 PolyForm Noncommercial 1.0.0 许可,非商业用途免费,商业使用需另行授权。

  10. Reddit · r/LocalLLaMA69

    LemonSeed Studio 0.5.8 发布:Qwen3.8-27B Q4 在 iPad 外接 R9700 上达 159 tok/s

    LemonSeed Studio 0.5.8 发布,这是一款在 iPad 上通过 Thunderbolt 外接 AMD GPU 做端侧推理的编辑器/IDE,内嵌 Linux amdgpu + amdkfd 驱动并运行 LemonSeed Engine。作者给出 Qwen3.8-27B Q4 配 DFlash2 草稿模型的实测数据:R9700 在 iPadOS/macOS/Linux 下解码达 158.5/159.4/144.6 tok/s,Strix Halo 为 64.4 tok/s;4K prefill 分别为 1,636/1,634/1,418/517 tok/s。

    推荐理由:作者实测了同一引擎在 iPadOS、macOS 和 Linux 三种平台下的解码与 prefill 吞吐数据,可作为本地推理性能迁移的参考。

  11. GitHub · 去对齐工具与仓库64

    NeonSidekick 发布:面向本地大模型的 agentic 终端客户端

    开发者 M0j0Risin 在 GitHub 发布 NeonSidekick,一个优先支持本地大模型的 agentic 终端客户端,可连接 LM Studio、Ollama、llama.cpp 或 vLLM,也能通过内置 llama.cpp 直接下载并运行 Gemma、Qwen 等模型,支持 CUDA、Vulkan 或 CPU。它还提供 OpenAI 和 Anthropic API 及 Claude Code 接入,具备文件、Git、shell 等内置工具、四层技能系统、Whisper 语音输入和 Kokoro 语音输出,基于 .NET 10 NativeAOT 编译,免安装运行于 Windows x64 和 Apple Silicon Mac,采用 GPLv3 许可。

    推荐理由:这是一个面向本地大模型的 agentic 终端客户端,功能覆盖嵌入式模型、技能系统和工具沙箱,想搭本地 Agent 环境的读者可以直接试用。

  12. GitHub · 去对齐工具与仓库32

    RealMock 开源 AI 模拟面试应用 real-mock

    GitHub 上的 RealMock 是一个开源 AI 模拟面试应用(MIT 协议):上传简历可获解析与深度评审,配合 Prep 面试教练练习,再在含语音的实时 Q&A 面试室中实战。前端采用 Next.js + React,后端为 Python FastAPI 模块化单体,涵盖 profile、resume、prep、interview 等七个领域,深度评审并发上限为每进程 3。

  13. GitHub · 灵魂体仓库59

    Hotline 开源发布:在本地为多个 Agent 搭建协作房间

    1broseidon 开源了 Hotline,一个自托管的 Agent 协作房间工具,可在本地给多个 Agent 各自的名字、项目目录和持续对话,Agent 之间能直接互相提问、请求审查和交接任务。

    推荐理由:自托管的多智能体协作房间工具,支持混用多家模型和 Claude Code 等 harness,数据留在本地,适合想自己搭 Agent 工作流的读者。

  14. Reddit · r/LocalLLaMA14

    如何训练一个模仿你说话风格的人格模型?

    一位用户下载了自己的全部上网历史(Reddit 帖子、邮件、聊天记录等),想用 Qwen3.5-9B 做底座跑 qLORA 微调,训练一个说话像自己的模型,但 A/B 测试效果仍不理想。其在 2080ti 11GB 和 5070ti 16GB 上训练,并希望尽量本地化以保护个人隐私数据,向 r/LocalLLaMA 征求更好的训练方法。

  15. Hugging Face · 新模型:uncensored24

    mradermacher/Gemma-3-Uncensored_v2-merged-GGUF 模型在 Hugging Face 上发布

    mradermacher 在 Hugging Face 上发布 Gemma-3-Uncensored_v2-merged-GGUF 模型,提供 Q4_K_M 量化版本。用户可通过 llama.cpp 在 macOS、Linux、Windows 上以 `llama serve -hf` 启动本地 OpenAI 兼容服务器(含 Web UI),或用 `llama cli` 在终端直接推理。该模型也支持预编译二进制、源码编译和 Docker 运行。

  16. Hugging Face · 新模型:uncensored77

    jakeatx 发布 Swift 1.5 Qwen3.8-27B 无审查版 2.3bpw GGUF 量化,面向 12 GB 显卡

    jakeatx 发布 ATX-Swift-1.5-Qwen3.8-27B-Uncensored-2.3bpw-MTP GGUF 量化版,基于 UkisAI 的 Swift 1.5(构建于 Qwen3.8-27B)的 uncensored BF16 checkpoint 重编码为约 2.3 bits per weight,含 MTP 草稿层,面向 12 GB 显卡约 200K 上下文。

    推荐理由:发布者给出了拒绝率降低说明、KL 散度和 LiveCodeBench 实测对比,读者可以据此判断这个 2.3 bpw 极致量化在 12 GB 显卡上的实际表现。

  17. GitHub · 灵魂体仓库68

    goruck 开源 Home Generative Agent:Home Assistant 生成式 AI 智能体集成

    goruck 在 GitHub 开源 Home Generative Agent(HGA),一个为 Home Assistant 打造的 LangGraph 智能体集成,可用自然语言控制实体、生成并注册自动化 YAML、分析摄像头画面并做人脸识别,支持 OpenAI、Gemini、Anthropic 或经 Ollama 等本地运行。它用 pgvector 保存长期语义记忆,Sentinel 异常引擎以确定性规则负责安全告警,LLM 只建议不直接执行,并内置 Home Assistant 安全审计,可检查未上锁的门锁、新管理员账号、长期 token 等问题。

    推荐理由:README完整覆盖功能、架构和安装路径,能看出基于LangGraph的智能家居Agent与传统提示词透传集成的差异。

  18. GitHub · 去对齐工具与仓库24

    Smart Document Chatbot:基于 Corrective RAG 的企业文档智能平台(imtarget05/Enterprise-Document-Intelligence-Corrective-RAG-Platform)

    Smart Document Chatbot 是一个可自托管的企业级 Corrective RAG 平台,支持上传法律与商业文档,用越南语和英语提问并返回带引用的答案,证据不足时拒答。系统采用 5 层验证流水线(混合检索→相关性评分→知识精炼→幻觉检查→答案评分),结合 Qdrant 余弦相似度与 BM25 经 RRF 融合检索,并优先通过 Ollama 本地推理、失败时回退 Cloudflare Workers AI。其 LangGraph 智能体编排含 9 个专业 Agent,副作用操作需人工审批(HITL),内置评估框架支持 Hit@K、Recall@K 与 MRR 指标。

  19. GitHub · 去对齐工具与仓库57

    T-Translate 发布:内置本地模型的 Windows 桌面翻译工具

    Tianao0110 在 GitHub 发布 Windows 桌面翻译工具 T-Translate,支持划词翻译、截图翻译、悬浮窗实时翻译、播放内容转字幕和 PDF、Word、EPUB 等整篇文档翻译。应用自带 Qwen3-1.7B(1.8 GB)和 Hy-MT2-1.8B(1.9 GB)本地模型可离线翻译,API 密钥用 Windows 系统加密存储,提供标准、无痕、离线三种隐私模式,另接入 OpenAI、Claude、Gemini、DeepSeek、DeepL 等 11 个翻译源,支持 134 种语言,许可证为禁止商业售卖的 T-Translate License 1.0。

    推荐理由:作者本人发布的工具仓库,功能清单和模型文件大小写得具体,想搭本地隐私翻译环境的读者可以按需取用。

  20. GitHub · 去对齐工具与仓库56

    TAIPANBOX 发布 stack-up 本地 Agent 治理栈一键启动器

    TAIPANBOX 在 GitHub 发布 stack-up 启动器,一条命令在本地无 Docker 构建并启动其开源 Agent 治理栈,含 tokenfuse 网关、cloud 控制面、dashboard、wardryx 策略点、scopyx 出口管控等,全部仅绑定 127.0.0.1。tokenfuse v1.5.0 的运行预算上限默认每 run 5.00 USD,实测可将声明 50 的调用钳制回 5.00;可选模块包括 vouchryx 委托令牌(撤销记录可跨重启保留)、costcrew FinOps、typryx 类型化回答(实测 jev 托管后端准确率 87.1% / ECE 0.042,本地 qwen2.5:7b 为 70.0% / 0.273)及 trailryx 记录封存平面。

    推荐理由:原文给出了本地一键启动整套 Agent 治理栈的服务端口、预算钳制实测数据和各可选模块的取舍,读者可按需挑选模块上手。

  21. GitHub · 去对齐工具与仓库56

    TaskWraith 开源发布:多智能体编码工具的本地桌面工作台

    TaskWraith 在 GitHub 发布,是一款免费开源、Apache-2.0 协议的本地优先桌面工作台,用于在自有仓库上运行和审查多家供应商的 AI 编码智能体。它支持将多个智能体席位并入同一会话,包括并行子线程和用于共同审议与审查的 Ensemble 模式,所有操作需经用户审批,可在本地查看活动与 diff。支持 macOS、Windows 和 Linux,兼容各供应商 CLI 账号及本地 Ollama 模型,另有处于 TestFlight 测试阶段的 iPhone/iPad 伴侣应用(非独立 AI 应用)。

    推荐理由:这是一个可复用的开源工具,正文说明了多智能体协作的权限审批和本地化设计,对想集中管理编码智能体的开发者有直接参考价值。

  22. GitHub · 灵魂体仓库73

    1Cat-vLLM 更名为 1Cat-LLM,为 Tesla V100 重构现代大模型推理

    1CatAI 宣布 1Cat-vLLM 更名为 1Cat-LLM,将 NVIDIA Volta / SM70 / Tesla V100 作为一等优化目标,最新发布为 2026 年 10 月 3 日的 v1.5.1。4× V100-SXM2-32GB 上 Qwen3.8-27B-NVFP4 + DFlash2 演示约 260 tok/s,v1.5.1 相比 v1.5.0 在 32K 单请求解码从 49.04 提到 201.18 tok/s;长上下文 Attention 有效算力从 17.92 提升到约 60.8、最高 71 TFLOP/s。新 GGUF 支持带来更多社区量化模型选择,仓库含 MBPP/HumanEval、GSM8K 等质量门与完整基准契约。

    推荐理由:同一代 V100 上靠软件栈重写把长上下文 Attention 有效算力从 17.92 提到约 60.8 TFLOP/s,对仍在用旧卡的部署者有直接参考价值。

  23. GitHub · 去对齐工具与仓库54

    haraprasadj 开源 ask-gen3:基于索引的 Gen3 问答智能体

    作者发布 ask-gen3,一个对 Gen3 知识(uc-cdis 组织下 268 个仓库的 README、文档、OpenAPI 规范、Helm values 等)提问并给出带精确行级引用答案的智能体,采用四个检索工具的智能体循环而非单次 RAG。检索用 SQLite 加 sqlite-vec、嵌入本地生成,仅生成环节花钱,可用 Ollama 加 qwen3:8b 本地推理,也支持 OpenRouter 托管端点,附约 60 MB 预建索引下载,代码以 Apache License 2.0 开源。

  24. GitHub · 灵魂体仓库54

    local-ai-cad-agent:本地对话式参数化 3D CAD Agent 开源

    neuronaline 在 GitHub 开源了 local-ai-cad-agent,一个本地优先的自托管 Web 应用,通过自然语言对话生成和迭代参数化 OpenSCAD 模型。内置 Bubblewrap 沙箱隔离、流形拓扑与体积校验、8 视角自动渲染检查和 Three.js 实时查看器;支持 Ollama 本地离线运行(推荐 qwen2.5-coder:14b-16k,Q4_K_M 量化),也可接入 OpenRouter 或 OpenAI。项目为处于活跃开发中的业余项目,擅长功能机械件与结构件,不支持有机雕刻类几何;无内置认证,默认仅绑定 127.0.0.1。

  25. GitHub · 去对齐工具与仓库29

    116-Labs 开源项目 CueCal:从聊天和邮件中自动挖掘会议邀请并写入日历

    GitHub 上的 CueCal 是一个本地优先的 pre-alpha Agent,可从 Gmail、Slack、Zoho 等 MCP 源中找出埋在聊天与邮件里的会议邀请并创建日历事件。它采用分层抽取:Tier 0-1 用正则和 .ics 模板做确定性解析,Tier 2 由 Ollama 本地小模型补全,仅在失败时按每日上限调用付费 LLM,不确定的候选进入待审批队列。目前确定性抽取器已完成,sources、sinks 与后台服务仍在开发中,`cuecal run` 尚不可用。

  26. GitHub · 去对齐工具与仓库35

    PaperMind:一个可完全离线运行的 RAG 文档问答项目

    开发者 Enoch-Nemili 开源了 PaperMind,一个基于 RAG 的 PDF 问答服务,答案附带来源文件和页码引用。默认采用 fastembed + Ollama(llama3.2)+ Docker Postgres 完全本地运行,无需 API key;改三个环境变量即可切换到 Gemini 加云托管 Postgres,无需改代码。技术栈为 Python、FastAPI、LangChain 和 PostgreSQL + pgvector,采用 MIT 许可证。

  27. GitHub · 去对齐工具与仓库44

    AI-Monitor-Dashboard:LLM API 调用实时监控面板

    GitHub 上的开源项目 AI-Monitor-Dashboard 提供 LLM API 调用的实时监控面板,包含成本追踪、延迟分析和异常检测(偏离基线 >2 个标准差,每提供商至少需 10 次基线调用)。它支持 Groq、Gemini、OpenAI、Anthropic、DeepSeek、Mistral 六家付费提供商及本地 Ollama 免费额度,多租户使用 Google 登录,经 ai_monitor.py 包装器接入,提供商密钥不出本地,可一键部署到 Railway 或 Render。

  28. GitHub · 灵魂体仓库62

    BigCactusLabs 发布 dead-letter:将 .eml 邮件导出转为 LLM 就绪的本地 Markdown

    BigCactusLabs 开源了 dead-letter 工具,把 .eml 邮件导出转换为带 YAML front matter 的干净 Markdown,支持拆分线程、剥离签名、提取附件和解析日历,全程本地运行,无需账号或上传。提供 CLI、本地 Web UI、Python API、MCP server、Claude 插件(含五个斜杠命令)和便携 Agent Skill 多种接入方式。基准测试显示在 11 封邮件的合成语料上,聚合转换结果比原始 .eml 少约 88% 的 token(tokenizer 为 o200k_base),同时保留线程结构、链接和附件元数据。许可证为 PolyForm Noncommercial 1.0.0,商用需另行授权。

  29. GitHub · 去对齐工具与仓库49

    trajecktory:一个本地运行的 AI 求职管家开源项目

    trajecktory 是一个在本地运行(绑定 127.0.0.1)的开源求职管理工具,将职位筛选、简历定制、跟进提醒和人脉维护整合进单一 dashboard。它扫描 Greenhouse、Ashby、Lever 等招聘板并按 A-to-G 等级评估职位匹配度,一键生成 ATS 友好的 Word 简历和求职信,所有 AI 产出均需用户编辑确认。工具依赖付费 Claude Pro 或 Max 计划运行,无需 Anthropic API key,支持 Windows 安装包或 macOS/Linux/Windows 源码部署。

  30. GitHub · 灵魂体仓库66

    Past-da-king 开源 Android 常驻 Agent,内置浏览器与 wiki 记忆

    开发者 Past-da-king 在 GitHub 发布开源 Android Agent(Agent-0.11.4,MIT 协议),APK 约 317 MB,要求 Android 10 及以上 arm64 手机,需侧载安装。它以前台服务运行自己的浏览器,把学到的信息写成手机本地 wiki 记忆,可定时或按通知触发例行任务,并能把重活通过 SSH 交给用户自己的电脑。模型可接 API key、ChatGPT 或 Claude 订阅(作者注明 Claude 订阅登录未经官方认可)、也可连 Ollama 等自建服务器;密钥存于 EncryptedSharedPreferences,花钱和代发操作需手动批准。

    推荐理由:作者本人详述了这款开源手机 Agent 的记忆 wiki、SSH 派工、订阅接入与隐私设计,安装和自建服务器的方法都可直接照做。

  31. GitHub · 灵魂体仓库52

    voyager 发布本地优先的 Agent 伴侣工作台开源仓库

    daftpunkwav 在 GitHub 开源 voyager,一个本地优先的 Agent 伴侣工作台,支持导入仓库、文档和网页,做笔记并构建知识图谱,人与 Agent 共用同一能力层。内置常驻编排人格 Lucien 和 4 个预设人格,技术栈为 FastAPI + sqlite3 与 React + TypeScript + Vite,默认单进程装配,LLM 访问采用 BYOK 或本地 OpenAI 兼容端点,无密钥时聊天降级而笔记、来源和图谱功能仍可用。

  32. GitHub · 去对齐工具与仓库54

    Zinarix Studio 开源多AI代码编辑器发布,Phase 1 完成

    开发者 abrahamtobal120-sudo 在 GitHub 发布 Zinarix Studio,一款 VS Code 风格的多AI IDE,宣称支持62个供应商和300+模型,并已完成 Phase 1,包括独立AI内核、50个供应商的签名验证目录、系统钥匙串密钥保管和 omni CLI。项目支持 Ollama / LM Studio / vLLM 的100%本地模式,Agent 模式可读文件、编辑并执行命令但均需用户批准,提供按供应商的用量统计与预算提醒,采用 MIT 许可证,要求 Node.js ≥ 24.7 和 pnpm ≥ 10。

  33. GitHub · 去对齐工具与仓库67

    llm-ferry 开源:把一台 Mac 变成局域网私有 AI 网关

    sblattj 开源了 llm-ferry(MIT 许可),将一台 Mac 的本地 GPU(MLX 推理)与云 API 密钥聚合为一个 OpenAI 兼容端点,供局域网内所有设备共享,密钥只留在主机上。单条命令即可完成客户端接入,支持八条命名车道与严格回退链、Claude Pro/Max 订阅 OAuth 车道、每设备可撤销密钥与用量限额、模型和文件跨机传输及正向代理。在 128 GB M5 Max 的 121k-token 智能体会话中,KV-cache 调优将峰值 GPU 占用从 97 GB 降至 56 GB,解码快约 60%。本地 MLX 推理仅支持 macOS Apple Silicon,Linux 上自动降级为纯云模式。

    推荐理由:作者给出多条实测数据,如 KV-cache 调优后 128 GB M5 Max 上峰值 GPU 占用从 97 GB 降到 56 GB,读者可评估这套 LAN 网关是否值得部署。

  34. GitHub · 去对齐工具与仓库26

    Netie-AI 开源 Cortex:面向仓储物流中小企业的 governed agentic runtime

    Netie-AI 发布开源智能体运行时 Cortex,定位为仓储/物流中小企业的中央大脑(MoE / architecture presets / orchestrate),支持本地安装并以自有 API key 调用 OpenAI、Anthropic、Mistral 等。系统接收自然语言任务后合成最小执行 DAG 并在用户算力上运行;内置 sqlglot SQL 校验、基于签名 session manifest 的读取控制、hash chain 审计日志和 allowlist 工具调用,但不提供进程级隔离,不受信代码以容器方式运行。

  35. GitHub · 去对齐工具与仓库72

    PULSAR-ASM 发布:纯汇编在树莓派 4 跑 Gemma-3,C + NEON 在 DGX Spark CPU 跑 Ternary-Bonsai

    vieenrose 发布 PULSAR-ASM 仓库,在 Raspberry Pi 4 上用单个静态 AArch64 汇编二进制推理 Gemma-3 检查点(270m 约 6.8 tok/s,1B 约 1.8 tok/s),并在 DGX Spark 上以 C + NEON 纯 CPU 端口运行 Ternary-Bonsai 三元权重模型(27B PTQ1_0 约 7.9 tok/s,8B 约 28 tok/s)。仓库给出与 transformers 及参考服务器逐 token 一致的贪心对齐验证、固定种子下逐字节可复现的输出、从 GGUF/safetensors 头读取维度的单二进制设计,另含 K2-Horizon-0.9B 的纯汇编端口及其会议纪要微调版本演示。

    推荐理由:纯汇编与 NEON 移植在 Pi 和 DGX Spark 上跑通多个开源模型,并给出与参考实现逐 token 对齐的验证细节。

  36. GitHub · 去对齐工具与仓库49

    llm-lang-lab:探索 LLM 智能体更易用的编程语言实验仓库

    ddanila 的 llm-lang-lab 仓库是一个探索对 LLM 智能体更友好的编程语言的实验,目前尚未实现新语言。首期对比 C17 与 Go,由 pi 智能体驱动本地 Qwen3.5 9B(Q4_K_M)模型经 Ollama 运行:六次试点中 Go 通过 3/3,C 通过 2/3;v2 全套校准中 C 4/10、Go 6/10。新的 v3 研究包含 800 个新种子试验,预计运行约 17 小时,结果属探索性证据而非稳定排名。

  37. GitHub · 去对齐工具与仓库48

    momp:oh-my-pi 的现代 Web 与桌面 GUI 界面

    GitHub 项目 domovoyproj/momp 为 oh-my-pi 智能体推出 Web 与桌面 GUI,基于 Tauri v2,Windows 提供独立 .exe,无需安装 Bun、Node.js 和 Git。界面支持带 fork 分支的会话树、SSE 实时聊天、按 default/smol/plan 等角色的模型矩阵配置,并提供 Antigravity OAuth 一键登录与配额监控。另含 HTTP Basic Auth 密码保护、插件/Skills/MCP 图形管理、PWA 移动端适配及俄、英、中三语本地化。

  38. GitHub · 去对齐工具与仓库69

    Echo-Smith 开源自托管中文 AI 写作工作台 LuminWrite-OSS

    Echo-Smith 在 GitHub 开源了面向中文内容创作的自托管 AI 写作工作台 LuminWrite-OSS,采用 MIT 协议。核心包括三层长期记忆加注入遥测、WritingContract 治理型写作运行时、基于 PostgreSQL 17(pgvector + ParadeDB)的自托管 RAG,支持 BYOK 接入 DeepSeek / Qwen / Kimi 等 OpenAI 兼容模型,Quickstart Compose 约 3 分钟可部署。

    推荐理由:作者把中文写作拆成检索到成稿再到记忆沉淀的工程流程,分层记忆注入遥测与治理运行时设计可作同类系统的参考。

  39. GitHub · 灵魂体仓库35

    KRONOS CORE:基于 Java 25 + Quarkus 的 100% 本地 LLM 动漫字幕翻译平台

    KRONOS CORE 是一个基于 Java 25 + Quarkus 的动漫字幕工业化翻译自动化平台,覆盖从原始媒体到最终 remux MKV 的完整 fã-sub 流程。它使用 LM Studio 进行 100% 本地 LLM 翻译,配备持久化缓存和按作品维护的 lore(lore.yaml 含 69 部作品),并提供 LLM 异常审计、受损 ASS 标签修复、TCVN3/VNI 遗留字体替换、KFX 卡拉 OK 简化和批量重命名等 36 道可执行校验守卫。整个系统桌面优先、完全离线运行,仅元数据获取(Jikan/TMDB)为可选网络依赖。