跳到正文
今天10月26日周一48 条
  1. Reddit · r/LocalLLaMA69

    Vocs 开源:基于 whisper.cpp 在 macOS 上实现完全本地语音听写

    开发者发布 Vocs,一款在 macOS 上用 whisper.cpp(large-v3-turbo)完全本地运行 Whisper 的听写应用,可将文本粘贴到任意应用。音频按静音边界分块边说边解码,短片段按实际长度开窗解码约提速 8 倍;还做了 [BLANK_AUDIO] 等音效标签剥离、重复循环检测重试、Rust 后处理(标点、大小写、口语命令、自定义词典)及约 120 MB 本地语法模型。转写路径无网络请求,macOS 13+,MIT 协议,基于 Tauri 和 Rust,源码在 GitHub。

    推荐理由:开发者给出了流式分块解码和短片段约 8 倍加速等具体实现细节,本地语音听写方案有可参考的工程做法。

  2. GitHub · 去对齐工具与仓库43

    vianhanif/9router-api:去掉 Dashboard UI 的独立 LLM API 服务器

    9router-api 是一个独立 LLM API 服务器,将 9router 代码库作为库使用,剥离 Dashboard UI(Monaco editor、Recharts),去除 React SSR 开销后内存占用从约 300-500MB 降到约 100-150MB。它提供与 9Router 相同的 LLM 代理端点,包括 OpenAI 兼容的 /v1/chat/completions 及基于 SSE 的控制台日志流,需 Node.js 20+ 并依赖 9router 主应用,可用 PM2 管理。

  3. GitHub · 去对齐工具与仓库61

    be-ambitious-harness 发布:planner/worker/verifier 三角色智能体工作流框架

    作者 alexpr 发布 be-ambitious-harness,一个以 Claude Code 技能形式交付的提示工程框架和多智能体工作流,用双目标条、廉价 gate 检查和独立 verifier(不看 worker 推理过程,建议用不同模型)来让 AI 智能体承接更激进的任务而不失控。框架含六个场景 playbook、8 个测试任务和 30 项评分卡的 eval 套件,设计上针对约束饱和(单次生成超过 5-6 条约束可靠性下降)、负面指令反噬和 LLM 评审自偏好偏差三个研究结论。

    推荐理由:作者给出了完整的多智能体工作流设计和两次带记录的 eval 实测,还诚实标注了 harness 自身的缺陷与未跑任务,便于评估可复用性。

  4. GitHub · 去对齐工具与仓库42

    Cromford:开源软件工厂,自动从工单到 PR 再到部署验证全流程无人值守

    开源软件工厂 Cromford(cromford.dev)可无人值守地把产品板工单推进为 PR:经过 triage、plan、build、对抗式 review、preview QA、merge、deploy-verify 和 post-merge QA 八个固定阶段,每阶段有独立 runner、模型与预算。其设计原则是脚本可判定的事不用 LLM,配置即数据,支持 claude→grok→codex-configured openrouter→fireworks 的多供应商降级链与逐调用成本记录,并可基于 Cloudflare、GitHub、Fly 自有账户自托管。

  5. GitHub · 去对齐工具与仓库64

    Goethe 开源:把 Linux + NVIDIA GPU 机器变成 OpenAI/Anthropic 兼容的自托管 LLM API

    meshapplied 发布开源工具 Goethe,可将带 NVIDIA GPU 的 Linux 机器变成自托管 API,兼容 OpenAI、Anthropic 和 LiteLLM 客户端,数据留在自有硬件上。模型基于 SGLang 运行,支持 continuous batching、prefix caching 和 CUDA graphs,并内置面向 Blackwell、Hopper、Ada 和 Ampere 的 NVFP4 内核,4-bit 模型显存占用约为全精度四分之一;支持按客户端发 key、限速与撤销,模型重启后自动恢复加载,仓库采用 Apache-2.0 许可,链接 https://github.com/meshapplied/goethe。

    推荐理由:原文给出了从安装到共享 API 的完整命令流程,并说明基于 SGLang 加自研 NVFP4 内核的推理方案,便于自建 GPU 推理服务时参考。

  6. GitHub · 去对齐工具与仓库57

    LitteraLit 开源 PDF 技术书翻译工具,保留版式并逐页输出 QA 报告

    GitHub 项目 Direles/LitteraLit 发布了 PDF 技术书翻译工具,通过矢量删改保留原始版式、复用嵌入字体并对目标语言做断行排版。流程包括用 LLM(Gemini、OpenAI、DeepSeek、Claude 或 OpenAI 兼容端点)逐页翻译、检测并重译残留英文、译文过长时请求缩短或将字号最多缩小 60%、生成逐页 QA 报告。在 365 页的 Agile Estimating and Planning 实测中 97.7% 的文本块落在原行内,输出 2.8 MB,含 272 个单元测试,MIT 许可证,需 Windows 和 Python 3.11+。

    推荐理由:项目给出了 365 页技术书翻译的实测数字和逐页 QA 报告机制,保留了原文版式与嵌入字体,方法细节可直接复用。

  7. GitHub · 灵魂体仓库20

    Rubens Gomes 开源 ai-utils-lib:面向 Microsoft Foundry AI 应用的 Python 工具库

    Rubens Gomes 在 GitHub 开源了 Python 工具库 ai-utils-lib,供其 AI agentic 开发项目复用,聚焦 Microsoft Foundry AI 客户端应用。该库支持 YAML 配置加载到 Pydantic 模型、Azure App Configuration、Key Vault 密钥读取、Entra ID 自动续期 bearer token 及 Foundry 项目与 OpenAI 客户端创建,需 Python 3.14+,可通过 pip install ai-utils-lib 安装,采用 MIT 许可证,项目仍在开发中、API 可能变更。

  8. Hugging Face · 新模型:uncensored38

    Qwen-Image-2.1 Uncensored 量化版本发布,支持 ComfyUI 本地图像生成

    Sagarkun 发布 Qwen-Image-2.1 Uncensored 的多格式量化版本,基于 Qwen/Qwen-Image-2.1 原始权重,提供 GGUF、Safetensors 和 MLX 格式,其中 Q4_K_M GGUF 仅 4.60 GB 且被推荐为体积与质量的最佳平衡。该版本无内置安全检查或内容过滤,可直接生成成人及敏感图像;文本编码器可卸载至系统内存以节省 9–17 GB VRAM,需搭配 ComfyUI 与 ComfyUI-GGUF 使用,采用 Qwen Research License。

10月25日周日
  1. Reddit · r/LocalLLaMA32

    社区讨论:生成连贯对话所需的最小参数量大语言模型是多少

    一位 r/LocalLLaMA 用户测试了 Supra-Mini-v6-1M 等微型模型,发现 1M 参数级别模型以 "Once upon a time" 为提示词的输出语法混乱、语句不通,达不到“基本通顺英语对话”的要求。该用户希望找到 10M 以下参数、适合 CPU 运行的最小 LLM,并在帖中询问何种微型模型和最小参数量能获得更好效果。

  2. GitHub · 3D 生成新仓库14

    Nextended:一套包含 19 个库的 .NET 工具套件开源仓库

    fgilde 在 GitHub 开源 Nextended,一套包含 19 个 .NET 库的工具套件,前身为 nExt,现已支持 .NET 8、9 和 10。套件涵盖扩展方法、自定义类型(Money、Date、BaseId)、缓存、EF Core 扩展、ASP.NET Core 响应过滤、Roslyn 源生成等。还提供多个 .NET Aspire 托管集成,包括 Supabase、n8n、Grafana、LocalAI 及带 MCP 端点的 WebDataStudio 数据库工具。

  3. GitHub · 3D 生成新仓库45

    Exponential:面向团队的一体化开发平台,集成 Issues、用户反馈与编码智能体

    开发者平台 Exponential 在 GitHub 开源,将 Issues、用户反馈和编码智能体整合到一个实时追踪器中,支持 Claude Code、Codex 等智能体在用户自己的机器和订阅上运行。平台提供 Web、macOS、Linux、Windows、iOS、Android 客户端,基于 ElectricSQL 实现实时同步,可从 Linear 导入数据;与 GitHub 仓库绑定的看板会跟踪 session 的分支与 PR,PR 打开时 Issue 进入 In Review,合并后标记 Done。云版 3 人以内免费,自托管通过一个 docker compose 部署、无席位限制,采用 Apache-2.0 许可证,并在 /api/mcp 提供 16 个工具的 MCP server。

  4. Reddit · r/LocalLLaMA24

    开发者打造本地 AI 一体化应用 Hutash,却陷入是否值得继续的困惑

    一位开发者在 r/LocalLLaMA 分享了自研本地 AI 一体化应用 Hutash:它类似 ComfyUI 但无需复杂节点,内置自研引擎,提供 Openart AI 风格的免费工作室体验、Pinokio 式应用商店,并自定义 .hutash 模型包格式,字幕、播客等垂直应用可共享模型资源,还支持 CLI 和 MCP 以实现自动化与智能体调用。团队仅两三人且缺乏反馈回路,现已发布数个版本但不知该往哪个方向聚焦,怀疑自己是否过度工程化。

  5. GitHub · 去对齐工具与仓库53

    HiveMind 开源自托管多模型协作 Web 应用

    turkushan490 在 GitHub 开源了 HiveMind,一个自托管的 Web 应用,让多个 AI 模型回答同一问题、匿名互评,再由 judge 模型合并出最终答案并标注分歧点。目前处于早期 milestone 1,已支持 Ollama 本地模型、OpenAI 兼容 API 与 Anthropic(Claude),并内置 OpenRouter(:free 免费)、Groq 和 Google Gemini 免费档预设;每个步骤通过 SSE 流式输出 token 数、速度、耗时和成本,运行记录可回放,API key 以 AES-256-GCM 加密存储,提供 Docker 与 Unraid 部署方式。

  6. GitHub · 去对齐工具与仓库54

    giovi321 开源自托管医疗记录工具 Asclepius

    giovi321 在 GitHub 发布个人自托管医疗记录工具 Asclepius,用 OCR 加 LLM 把 PDF、扫描件、DICOM 影像整理成可搜索的病历,支持化验指标跨语言归一化、时间线视图和 RAG 问答。可对接 Ollama、vLLM、Claude 或 OpenAI,单 Docker 容器部署,另提供仅暴露医生分享面的 sibling 容器,分享采用一次性链接加 6 位 OTP、带水印防下载查看器,并记录完整审计日志。项目采用 MIT 许可,作者提醒个人使用场景下登录无速率限制、聊天功能存在 prompt injection 风险,公网暴露需加 OIDC 或 VPN。

  7. GitHub · 去对齐工具与仓库51

    Edict:面向 AI Agent 的 JSON AST 编程语言在 GitHub 开源

    Sowiedu 在 GitHub 开源了 Edict,一种专为 AI Agent 设计的静态类型、效果追踪编程语言,程序以 JSON AST 表示,无解析器和文本语法。Agent 通过 MCP 工具调用提交 AST,经 Schema 校验、名称解析、类型检查、效果检查和 Z3 合约验证五阶段管线,错误以结构化 JSON 返回供 Agent 自修复,验证后的程序编译为 WASM 在沙箱 VM 中执行,支持 Node.js、Docker、浏览器(318 KB / 约 14 MB 两种 bundle)和 QuickJS 环境,含 2675 个测试、41 个示例程序,MIT 协议。

  8. GitHub · 去对齐工具与仓库64

    hongxin 开源 tim-harness:装进浏览器页面的随身大模型编程 Harness

    hongxin 在 GitHub 发布 tim-harness v0.4,一个纯浏览器端的大模型编程助手 Harness,打开页面填一次 OpenAI 兼容 API Key(DeepSeek / OpenAI / 本地 Ollama)即可使用,零后端零安装,密钥只存本机 IndexedDB。核心特性包括五层 Token 成本防线(前缀缓存实测省 84-90% 输入费用,DeepSeek 命中价 1/50)、目标驱动自动推进、18 个工具(文件读写、JS 沙箱、子代理派发、技能系统等)、四种可视化视图,以及平台无关 core 架构,已在纯 Node 通过 157 项冒烟断言并验证微信小程序 PoC。

    推荐理由:作者给出五层 Token 成本防线和实测省 84-90% 输入费用的数据,浏览器零后端架构对想本地跑编程智能体的人有参考价值。

  9. GitHub · 去对齐工具与仓库51

    ModelPlan 开源:按推荐推理档位比较 AI 编码模型并给出配额建议

    ModelPlan 在 GitHub 开源,基于可核查的公开数据回答该用哪个编码模型、哪个推理档位,并量化每升一档的收益与代价,如 Fable 5.1 切到 Opus 5.5 加 2.5 分、成本 ×0.52。它提供网页、Skill、Claude Code 与 Codex 插件和单文件 CLI,只读本地 Claude Code、Codex 等工具的 5 小时与每周配额窗口,数据不上传,每几小时重建一次经校验的发布数据,代码 MIT 许可。

  10. GitHub · 去对齐工具与仓库64

    kwant 开源:单二进制自托管多 AI bot 协作平台

    alexsergivan 在 GitHub 发布 kwant,一个用 Rust 编写、内嵌 React 前端的自托管二进制,可运行一支互相 @mention 分工协作的 AI bot 团队。每个 bot 有独立角色、人格和模型,支持 Claude、Codex 或 Grok CLI 登录及 Anthropic、OpenAI、xAI API key 多账户轮换;提供工作/家庭分离的 spaces、定时 routines、风险步骤审批卡、只读 IMAP 和 GitHub 集成、Laya 路由器(首次启动下载约 420 MB 模型,--no-laya 可关闭)、MCP 工具服务器和 Docker Compose VPS 部署方案,无遥测,采用 Apache-2.0 / MIT 双许可。

    推荐理由:README 详细列出了多 bot 协作、审批规则和 VPS 部署的具体做法,想自托管一套 AI bot 团队时可以照着复现。

  11. GitHub · 灵魂体仓库41

    AxisVela 开源 MIT 许可的 Go 智能体框架 praxo-core

    GitHub 上的 axisvela/praxo-core 是 AxisVela 生态的 MIT 许可开源智能体框架,提供模型、工具、记忆、事件、策略、沙箱、checkpoint 和 agent loop 等可复用原语,是其上 AGPL 产品 PRAXOVELA 的框架层。Go 为参考实现,Python 和 TypeScript SDK 通过全部十一组一致性测试并含流式与 OpenAI 兼容适配器。项目另提供 MCP、OpenTelemetry、Anthropic、Gemini、A2A 等可选适配器,模块路径为 github.com/axisvela/praxo-core/v2。

  12. GitHub · 3D 生成新仓库27

    LucaPezzato 开源 prompt-json-studio:AI 图像生成可视化结构化 JSON 提示词生成器

    prompt-json-studio 是一个面向 AI 图像生成的可视化结构化 JSON 提示词生成器与多模型编译器,支持 GPT-4o(DALL-E 3)、Gemini / Imagen 3、FLUX.1 / FLUX.2、Midjourney v6/v7 和 Stable Diffusion XL。项目基于 Angular 21 的 100% Signal 架构并采用 Zoneless 变更检测,通过分层 JSON 消除“概念渗透”,可为各引擎实时编译对应格式提示词,内置模板库与"Magic Expand" AI 助手,后者的 AI 扩展功能可离线运行或接入 Google Gemini、OpenAI、OpenRouter 和本地 Ollama。

  13. GitHub · 3D 生成新仓库57

    ComfyUI-AceStep_SFT 发布 AceStep 1.5 SFT 音乐生成模块化节点套件

    GitHub 仓库 jeankassio/ComfyUI-AceStep_SFT 发布了一套 ComfyUI 模块化节点,为 AceStep 1.5 SFT 音乐生成模型提供级联加载(SFT/Base/Turbo 共享 CLIP/VAE)、LoRA、原生 Cover/Remix/Repaint、Whisper 歌词转写等 15 个节点。RTX 3090 实测切换 checkpoint 后结果 bit-identical,源权重传输降低 14.5-14.6%;预计算 conditioning 使编码器调用从 50 次降到 2 次。套件默认使用 jkass_quality 采样器与 APG 引导,附带官方 silence_latent、ScragVAE 对比和语音 timbre 适配等实验功能,MIT 协议开源。

  14. GitHub · 去对齐工具与仓库65

    Livesport 开源 agent 编排工具 Homer,支持 Claude Code 与 LangGraph 后台运行

    Livesport 在 GitHub 开源 Homer(Apache 2.0),用于把 Claude Code、Codex、LangGraph 和 shell 脚本作为后台任务运行,提供队列、锁策略、LLM 花费上限和运行中人工问答。Agent 通过 agent.yaml 描述并可经 HTTP、cron 或 MCP 触发,支持 LangGraph 检查点恢复、OpenTelemetry 追踪、Kubernetes/ssh/拉取式 runner,以及带日志、成本和问题收件箱的 Web 控制台;Docker Compose 首次启动下载不足 1 GB 镜像。

    推荐理由:Livesport 开源了自家 agent 编排工具,用真实 agent.yaml 和 LangGraph 示例讲清队列、锁、预算上限和人工介入的具体做法。

  15. GitHub · 去对齐工具与仓库54

    Raiker 发布:可装在自己电脑上的单主人自主 AI Agent

    sharRahul 在 GitHub 发布 Raiker,一个安装在自己电脑上的单主人自主 AI Agent,以 Apache 2.0 协议开源,支持 Windows、macOS 和 Linux 桌面端。它整合 Chat、Build、Design 等模块,支持 Ollama、LM Studio、llama.cpp 等本地运行时及 Anthropic、OpenAI、Gemini、OpenRouter 等托管提供商,无云端账号,工作区数据库加密,所有受治理操作默认先询问;另提供 WSL2 和 VPS 部署方式,最低要求 4 GB 内存。

  16. GitHub · 去对齐工具与仓库37

    ozShpigel 开源 nextrole:从简历到 offer 的 AI 求职工具

    GitHub 上的 nextrole 项目提供 AI 求职服务:上传简历后由 Claude 对公司官网职位进行匹配评分,代码再校验每条判断,并集中追踪申请进度,已上线 nextrole.cloud。技术栈采用 .NET 10、React 19、MongoDB Atlas 向量搜索与 Claude Haiku 4.5 和 Sonnet 5,eval 集评分 22/24,含 545 项后端测试,许可证为 FSL-1.1-MIT。

  17. GitHub · 去对齐工具与仓库61

    mesutgungor 发布 llm-scan 静态安全扫描工具,覆盖 42 条规则

    作者 Mesut Güngör 在 GitHub 开源了 llm-scan,一个面向 Hugging Face、ModelScope 及本地模型的开源 LLM 安全扫描工具,采用零执行静态分析,覆盖 pickle 反序列化 RCE、trust_remote_code、Jinja2 SSTI(CVE-2024-34359)、SafeTensors 内存炸弹(CVE-2023-44469)等 42 条规则,并附 SHA-256 验证引擎。

    推荐理由:作者开源的静态扫描工具在不执行模型代码的前提下检查权重、模板和配置,并给出与 OWASP、NIST 等框架的逐条映射。

  18. GitHub · 去对齐工具与仓库22

    TransLLM:开源 BYOK 浏览器 AI 翻译扩展,支持 DeepSeek、OpenAI 与本地 Ollama

    TransLLM 是一款 100% 直连、零追踪、自带 API Key(BYOK)的浏览器 AI 翻译扩展,支持 DeepSeek、OpenAI、Groq 及任意 OpenAI 兼容端点,还可离线接入本地 Ollama。它提供划词悬浮气泡和整页双语注入两种翻译模式,纯 JavaScript 实现体积小于 200KB,采用 Manifest V3 与 Shadow DOM 隔离,API Key 仅存于 chrome.storage.local。项目以 MIT License 开源,免费使用,只需支付 token 费用。

  19. GitHub · 去对齐工具与仓库53

    LukaG712 开源自托管网页抓取 API Trapper

    LukaG712 发布开源项目 Trapper,一个自托管的网页抓取与爬取 API,把网站转为干净的 LLM-ready 数据。支持单页抓取、递归爬取、批量抓取、URL 发现、搜索、浏览器会话交互、多页结构化提取与提示词驱动的研究 agent。技术栈为 Fastify、BullMQ(Redis)、Playwright、Cheerio 与 Turndown,提供 Docker Compose 一键部署、robots.txt 遵循、webhook、API key 鉴权、限流及 Prometheus 指标。仓库地址 https://github.com/LukaG712/Trapper,MIT 许可。

  20. GitHub · 去对齐工具与仓库67

    FeozRu 开源 LLMBookTranslator:基于 LLM 智能体流水线的桌面图书翻译应用

    FeozRu 在 GitHub 开源了 LLMBookTranslator,一款用 Kotlin 和 Compose Multiplatform 开发的 Windows/Linux 桌面应用,通过 LLM 智能体流水线翻译 EPUB/FB2 图书。流程为草稿翻译、文学润色、校对、组装,每阶段落盘可断点续作,内置术语表、翻译笔记库和块级原文对照校对界面,每步自动校验块数对齐、锚点与残留假名等。支持 OpenAI 兼容协议与 Anthropic Messages 协议(含 DeepSeek、GLM、Ollama、OpenRouter 等),提供 17 个 MCP 工具可让外部智能体自主翻译,MIT 许可,发布 MSI/deb/portable 包,项目由作者主导并借助 GLM 与 Claude 大量生成代码。

    推荐理由:原文完整公开了多智能体翻译流水线的阶段划分、自动校验规则与文件结构,方法可迁移到自己的 LLM 翻译工作流。

  21. GitHub · 灵魂体仓库61

    janis:面向 MLX 的本地推理 Go 模块发布

    guregodevo 发布 janis,一个用 Go 编写的开源权重模型本地推理模块,定位为 MLX 版 Ollama:Apple Silicon 上跑 MLX 后端,其他平台用纯 Go CPU 后端。janis serve 提供 OpenAI 兼容端点(http://127.0.0.1:8090/v1),支持流式 chat completions、tool calls、运行时切换已加载模型,权重从 huggingface.co/mlx-community 拉取,支持 Qwen3、Qwen3.5、Gemma 系列,另含 whisper、bge、reranker 和约束解码等组件。它也是终端编码 agent Memdoor 的底层模块。

    推荐理由:作者用单个 Go 模块把 MLX 推理和 OpenAI 兼容服务封装到一起,说明了本地部署的工程取舍与用法。

  22. GitHub · 灵魂体仓库24

    GitHub 仓库 ml-engineering-lab:全流程机器学习实验项目,从数据到 RAG 与 SFT/LoRA

    GitHub 仓库 trasher88/ml-engineering-lab 是一个覆盖数据准备、分类、检索、RAG、LLM 微调与部署的教学项目,分为 F1–F5 五个阶段共 43 个学习步骤。本地实验记录显示:经典 ML(TF-IDF + Logistic Regression)Test macro F1 为 0.8838,优于 PyTorch 分类器的 0.7813;向量检索 Recall@5 达 0.8500,高于 hybrid 的 0.5500;SFT tiny LLM 未带来提升。项目有意保留负结果与局限,数据采用 CC BY-NC-SA 4.0,暂未提供开源许可证。

  23. GitHub · 3D 生成新仓库25

    AgentGraph:新一代有状态多智能体 AI 编排引擎开源发布

    开发者 Yahya Ali Khan 在 GitHub 开源 AgentGraph,一个面向有状态、循环、多智能体 LLM 系统的高性能编排框架。它提供基于图的类型化控制流、MemorySaver/SqliteSaver/PostgresSaver 持久化检查点、条件路由和 human-in-the-loop 暂停恢复能力,原生支持异步与流式输出。项目采用 MIT 许可证,要求 Python 3.10–3.12,附多个可运行示例。

  24. GitHub · 3D 生成新仓库43

    v0.diy:开源可自托管的 v0.app 克隆项目发布

    v0.diy 是一个开源、可自托管的 v0.app 克隆,基于官方 v0 Platform API v2 构建,用户可用自己的 API key、数据库和域名描述应用并生成实时预览。项目采用 Next.js 16、React 19 与 PostgreSQL(Drizzle ORM),API key 以 AES-256-GCM 加密存储,支持 Mini、Pro、Max、Max Fast 模型选择、一键部署到 Vercel,许可证为 MIT。

  25. Hugging Face · 新模型:abliterated68

    Qwen3.8-Flash-Next-FP4-Local-Abliterated 发布:不改权重、推理时去对齐

    lesj0610 发布基于 nvidia/Qwen3.8-Flash-Next-FP4-Local 的 abliterated 版本,权重文件与基座逐字节一致,仅靠 config.json 中的 abliteration_config 块和 fp4local-abliterated vLLM 插件在推理时做拒绝方向投影。625 条有害提示的拒绝短语命中从基座 97.92% 降到 0.16%,MMLU 较基座低 1.30 分,GSM8K 无显著变化;需 vLLM 0.32.1rc0 以上版本,拒绝行为仅在英文下测试,视频能力未评测。

    推荐理由:原文给出拒绝率、MMLU/GSM8K 与基座的对照数据,并解释了为什么对 FP4 量化权重选择推理时投影而非直接改权重。

  26. GitHub · 去对齐工具与仓库37

    @y0ngha/siglens-core:开源股票与加密货币技术分析 TypeScript 库

    @y0ngha/siglens-core 是 SIGLENS 背后的开源 TypeScript 分析引擎,面向美股、韩股和加密货币,从价格数据计算 RSI、MACD、Bollinger Bands 等指标,检测 K 线与图表形态并生成交易信号,还构建 0 到 100 的恐惧与贪婪指数。AI 分析提示词由纯函数组装,模型回答经 JSON 修复与校验后才展示,模型注册表覆盖 Anthropic、Google、OpenAI 和 DeepSeek。该库不含下单与交易功能,仅产出分析结果。

  27. GitHub · 去对齐工具与仓库57

    Swedish Embedded 开源 brain:单个 Rust 程序完成模型推理、训练与量化部署

    Swedish Embedded AB 开源 brain,用单个 Rust 程序在现有硬件上下载、运行、微调、量化模型,并通过 OpenAI 兼容 API 提供服务,无需 Python、PyTorch 或独立推理运行时。支持 Qwen3、GLM、YOLOv8、FLUX.2 Klein、Qwen3-TTS 等文本、视觉、语音和世界模型,内置 wgpu、vulkan、cuda、cpu 四个后端,可跑在 NVIDIA/AMD/Intel GPU、CPU、Intel NPU 和浏览器中;每个导入模型与参考实现逐步对比测试,训练用有限差分数值校验,后端间做一致性检查,许可证为 Apache-2.0。

    推荐理由:一个 Rust 程序覆盖下载、推理、微调、量化和 OpenAI 兼容服务,不依赖 Python 或 PyTorch,并给出后端一致性等自检测试。

  28. GitHub · 去对齐工具与仓库63

    maniesh-lab 开源 lookup-agent:先查证再回答的聊天机器人

    maniesh-lab 在 GitHub 开源 lookup-agent,一个先查证再回答的聊天机器人,通过 search_docs、query_database 和 convert_currency 三个工具查询政策文档、Postgres 数据库和实时汇率 API,每个答案附带来源。基于 LangGraph 和 FastAPI,LLM 调用经 Steadfast 可靠层走 Groq 或 OpenAI,SQL 工具用四层只读限制保证安全。作者用 openai/gpt-oss-20b 和 120b 在 Groq 上做了 41 题、15 题评测,v1/v2 提示词均通过全部常规题,困难集 v2 得 14/15;v2 多用约 16% token 但对无答案问题不再空查。

  29. GitHub · 去对齐工具与仓库63

    best-engine-ai-helper 开源:按硬件自动选型本地 LLM/VLM 并经质量门验证

    Warith Harchaoui 发布 best-engine-ai-helper,一个纯 Python 工具,可检测本机内存(Apple Silicon 统一内存、NVIDIA/AMD VRAM 或系统内存),从内置模型目录中选出得分最高且装得下的本地 LLM 或 VLM,并通过 Ollama 拉取。选型综合结构化输出能力、内存适配、任务基准和带宽估算的吞吐四要素,pull 与 validate 会用 Ralph Loop 文本缺陷检测和 Ralph Eyeball Loop 视觉缺陷检测两道质量门验证模型,通过后才写入环境文件;实测吞吐数据存入 measurements.yaml,在 Apple M2 Max 上将 gemma3:12b 的估算误差从 64-118% 降到 17-25%。

    推荐理由:原文给出了选型四要素与实测校准数据,读者可以据此理解本地模型自动选型工具的取舍逻辑。