Taalas ChatJimmy:8B Llama 模型在单芯片上跑出 17,000 tok/s
Taalas 的 ChatJimmy 项目将 8B Llama 模型直接烧录进硅片,实现单芯片 17k tok/s 推理速度,约为 RTX 5070 上 80 tok/s 的 213 倍。其原理是把模型权重固化到芯片中,算力全部用于模型矩阵运算。该项目仍是实验性概念验证,尚未成为产品,且模型烧录后无法更换,更新需购买新芯片。
新闻、仓库与研究,按时间排列。
Taalas 的 ChatJimmy 项目将 8B Llama 模型直接烧录进硅片,实现单芯片 17k tok/s 推理速度,约为 RTX 5070 上 80 tok/s 的 213 倍。其原理是把模型权重固化到芯片中,算力全部用于模型矩阵运算。该项目仍是实验性概念验证,尚未成为产品,且模型烧录后无法更换,更新需购买新芯片。
HF Viewer 发布 embedl.com,提供 1000+ 个针对 NVIDIA Orin Nano Super、AGX Thor、AGX Orin、Orin NX 和 RTX GPU 等边缘设备优化的模型。用户可通过其免费 device farm 在真实边缘设备上直接运行模型并查看详细 profiling 结果,也可在自己设备上运行。
NVIDIA 在 GTC Berlin 展示本地 AI 硬件全线:RTX Spark 面向 Windows PC 个人智能体,DGX Spark 面向 Linux 开发者并支持最多八机集群,DGX Station 提供 748GB 一致内存、面向企业团队。Windows 版将于 12 月推出。
开源项目 emilie-clipet/ai-act-rag 构建了一个可回答欧盟 AI Act(Regulation (UE) 2024/1689)相关问题的聊天机器人,回答时始终标注来源文档与页码。技术栈采用 Python、Streamlit、sentence-transformers 本地 embeddings(all-MiniLM-L6-v2)、FAISS 索引,LLM 可选 Ollama 本地运行 llama3.2 或 Groq 云端免费额度,两种方式均免费且无需银行卡。
Sandfi-sh/openapi 仓库托管 Sandfish 公开 API 契约,openapi.json 由 FastAPI 定义导出,仅包含标记为 SDK 使用的操作。脚本使用 OpenAPI Generator 7.26.0(校验固定 SHA-256)生成 Python、TypeScript 和 Go SDK,支持 --check 验证可复现性。GitHub workflow 每 6 小时检查部署契约与源码变更并自动开 PR,完成从 API 部署到 SDK 版本发布的更新闭环,全部代码采用 MIT 许可证。
GitHub 开源项目 huareyu/local-image-studio 是一个运行在本机的轻量级 AI 图像生成工作台,当前版本 0.8.1,界面为俄语,需 Node.js 20 及以上。它支持 Gemini-compatible、OpenAI-compatible、OpenRouter 和 NovelAI 四种 API,提供多参考图管理、提示词编辑、本地生成历史及带认证的 HTTP/HTTPS 代理,不依赖 SillyTavern。NovelAI 模式内置 140,782 条 Danbooru 标签的本地标签助手,支持 Prompt Chunks 嵌套引用,数据通过 IndexedDB 保存在本机。
GitHub 仓库 doculens-v2 发布 DocuLens,一个面向支持文档的证据溯源型知识副驾,支持上传 PDF、Markdown 或文本,可用 BM25、MiniLM、RRF 或 cross-encoder 检索并检查每个引用的来源与版本。当前生成使用 grounded-claims-v4 提示词,优先 Gemini 3.8 Flash,也可配置 Groq 或通过 Ollama 本地运行 qwen2.5:7b-instruct;托管版跑在 Render Free 上并用 Groq openai/gpt-oss-120b,公共匿名回答限每日 30 次。
作者 @meodai 在 GitHub 开源 skill.color-expert,一个把编码 agent 变成色彩科学专家的 agent skill,可通过 npx skills add meodai/skill.color-expert 安装,支持 Claude Code、Codex、Cursor、Copilot、OpenCode 等。
推荐理由:作者展示了把个人收藏沉淀为三层结构 agent skill 的做法,并用轻量 evals 让触发边界可书面评审,方法可迁移到其他领域知识库。
meness 发布开源 VS Code 扩展 Slashi,通过 Cmd/Ctrl / 唤起统一列表,聚合约 170 个 VS Code 命令、扩展命令、设置、文件、Git、终端与 AI 操作。支持 /ask、/fix、/review、/commit-msg 等 AI 命令,可接 GitHub Copilot、Claude、OpenAI、Ollama 或任意 OpenAI 兼容服务;/do 可将自然语言转为可确认的执行计划。无遥测,API 密钥存于 Secret Storage,Apple M2 Pro 上 2 万条目检索 p95 为 7.7 ms。
推荐理由:README 给出了完整的命令清单、AI 后端配置和性能基准数据,读者可以据此评估这个 VS Code 斜杠命令启动器是否值得装。
Vipera 团队在 GitHub 发布本地 AI 网关 Vipera(PyPI 包名 vipera-ai,MIT 协议),读取 .gguf 模型后提供 OpenAI 兼容的 HTTP 接口,默认监听 http://127.0.0.1:8686/v1。核心特性是硬件感知 planner,根据硬件探测结果生成 gpu_layers、KV cache 类型、n_batch、mlock 和 KQV offload 配置,GPU 加载失败时逐阶段回退到 CPU 安全方案并打印变更;CLI 与 API 共享同一引擎实例,内置 system doctor 诊断、HuggingFace 模型搜索和 bench 吞吐测试。
推荐理由:作者给出 planner 逐层分配 gpu_layers 与 KV cache 类型的具体机制,并在硬件溢出场景下说明了适用边界和基准数据。
daanmeersseman 发布开源插件 The Dutchman,读取本地 Claude Code 近 30 天日志,找出缓存过期、长会话、闲置 MCP 服务器等费钱设置和习惯,并按用户自己的会话给出每月成本或可省金额。应用修复不调用模型、每个文件先备份、可一键撤销,完全本地运行不上传数据;要求 Claude Code 2.1.275 及以上和 Python 3,MIT 许可。
GitHub 开源项目 gzh-quality-copilot 提供 gzh-review Skill 和 Chrome MV3 扩展,用公众号已发表数据在 Agent 中生成「结论→因子→候选→实验」四块报告。支持 Cursor、Claude Code、Codex、OpenClaw 安装,扩展仅本地导出列表数据,项目采用 MIT 许可。
GitHub 开源 generative-ai-engineering-lab 仓库(v0.1.0,MIT 许可),用 TypeScript 实现从想法到可运行系统的实践路径,涵盖 RAG 检索引用、提示词评测、PII 等安全扫描与多步 Agent 工作流规划。项目内置 npm run demo 系列演示命令、课程路线与 CI/测试等生产基础,路线图包括加入 embedding 检索、OpenAI 适配器和 MCP server 示例。
Mugil IDE v0.1.20 发布官方独立安装包,Windows、Linux 和 macOS 均可直接下载运行,不再需要 npm 或 Node,npm 发布自该版本起停用。该开源工具是纯浏览器端的双栏 Web IDE,内置 17 个自主工作区工具,通过 Caveman 提示压缩、RTK 日志去重、缓存与 AST 骨架读取等管线宣称可降低 40% 至 70% token 开销,支持 Ollama、LM Studio 本地模型与 OpenRouter、Anthropic、OpenAI 等云端接入。
推荐理由:开源浏览器端编码 Agent,正文列出 token 压缩管线、缓存分层与成本计算的具体实现,方法可迁移到自己的 Agent 工程。
happyyboxx 发布 free-llm-atlas 仓库,用 GitHub Actions 每日 06:00 UTC 自动探测 48 家免费 LLM API 供应商,结构化输出到 providers.json。其中 19 家无需信用卡,仓库还自动生成 Hermes、LiteLLM、Portkey、Open WebUI 的网关 YAML 配置,并给出 Groq 6K TPM、Google AI Studio 2M 上下文等隐藏限制对比表,最后提供一条覆盖约 95% 生产负载的零成本 fallback 链。
推荐理由:原文给出每日自动探测、19 家免信用卡供应商清单和 TPM 并发等隐藏限制表,还比较了各网关配置的适用场景。
Tianhao-Wen 在 GitHub 开源 WenDream 可扩展 AI Agent 平台,支持多模型接入、ReAct 任务执行、流式工具调用、MCP 工具扩展与多智能体协作,提供终端 TUI 与 Web 双端交互。平台覆盖 7 类场景、30 项任务的自动化评测,平均工具调用减少约 59%、LLM 调用减少约 32%,冻结版本三轮评测成功率达 96.4%–100%,均无超时。
GitHub 上的 gannet 是一个 C# 深度研究工具,输入问题后由 planner、searcher、synthesiser、writer 四个智能体组成一个 workflow,完成规划、联网搜索、来源可信度评分并生成每条论断都带引用的报告。它提供 Blazor web UI,模型可选云端 API 或通过 Ollama 本地运行,支持自托管。项目于 10 月 21 日启动,目前仅搭建了 solution、CI 和仓库文件,尚无可运行内容;它是 Tarun Sai Goddu 的 Python 项目 deep-research-agent(基于 LangGraph 和 LangChain)的 C# 重写版,采用 MIT 许可证。
PwshHarness 是一款运行于 PowerShell 7.6+ 的终端助手,通过 OpenAI 兼容网关调用模型,要求网关支持 /v1/chat/completions 和 SSE,目前处于 Alpha 阶段,网关兼容性未经实测验证。默认启用 UseToolsApi,不支持的网关自动回退;交互默认 Approve 模式,每次更改或命令都需人工审批,Auto 模式以用户权限直接运行且无沙箱。聊天 InputTokenBudget=8192,agent 运行为 65536,API 密钥存于独立凭据存储,Windows 用 DPAPI,Linux/macOS 用 0600 明文文件。
wangmiaozero 发布 Pi-Harness,一个围绕 Pi Coding Agent 的桌面工作区与运营控制面,Pi 仍是原生执行引擎,外层 adds 可视化观测、策略与预算、检查点恢复、评估诊断和多智能体编排。支持 macOS、Windows 与 Linux,社区安装包自带 Pi 和 Node.js;还可统一浏览 Claude Code、Codex、Cursor、Gemini CLI、OpenCode 等会话历史,提供项目架构可视化与自定义皮肤,采用 AGPL-3.0-only 协议。
推荐理由:原文完整列出了围绕 Pi Coding Agent 的可视化能力清单与原生运行时对照表,读者可以据此评估它在观测和多智能体编排上的实际边界。
开发者 kruzif-x 发布 LM Switcher v0.9.15b(beta),一款仅支持 macOS Apple Silicon 的菜单栏应用加 CLI 加 MCP,用于发现、加载和卸载本地 GGUF 与多种 MLX 系后端模型,各模型独立端口并行运行。核心功能包括 mmproj 视觉投影文件自动配对、mtp/dflash 文件自动排除与挂载、DFlash 投机解码(默认开启)、聊天模板覆盖以修复 Gemma 4 在 opencode 等 agentic 工具下的多轮调用问题,以及独立的 MCP 服务器让 Hermes 等 agent 按需加载卸载模型(默认关闭)。
推荐理由:作者是开发者本人,给出了各引擎端口、CORS 兼容表和 Muse Glimmer 实测吞吐数据,读者可对照自己的硬件与工作流判断是否适用。
struklabs 开源发布 Harness Studio v0.1.2,一个基于 Tauri、Rust 和 Svelte 5 的桌面应用,管理 llama.cpp 等引擎让用户在本地电脑运行大模型,无需订阅、离线可用。应用提供 Model Hub 搜索 Hugging Face 并校验 SHA-256、OpenAI/Anthropic/Ollama 兼容网关、MCP 双向支持、CLI 与 headless 模式,并内置 P50/P95 请求分析和 Prometheus 指标;Windows 安装包约 21 MB,应用自身占用约 250-350 MB 内存,MIT 许可。
Inspectr 在 GitHub 发布开源工具 MCPLab,用于测试、调试和评估 MCP 服务器,验证 LLM 智能体是否正确调用工具。支持 Streamable HTTP/SSE 传输,可对比 Claude、GPT-4 等模型在相同任务上的表现,提供工具约束、调用顺序校验、LLM 裁判语义断言、方差测试与 JSONL 轨迹追踪,并可通过 Rover 浏览器扩展在 Claude 和 ChatGPT 网页端运行评测,结果输出 HTML/JSON/Markdown 报告,支持 CI/CD 集成。项目采用 MIT 许可证。
推荐理由:这个框架把 MCP 工具的断言、多模型对比和 CI/CD 集成放进同一套 YAML 配置,开发者可以直接照搬其评测结构。
GitHub 上的开源项目 CareerAgentPro,基于 qwen/qwen-2.5-coder-32b-instruct 模型(通过 OpenRouter API)提供 AI 求职功能:简历解析与增强、职位 URL 提取、求职信生成、ATS 优化评分与职位匹配分析,支持导出 PDF/DOCX/LaTeX,并通过 SSE 实现实时流式输出。项目采用 Next.js 16.1.1 前端与 Python 3.12+ 后端,需自备 OpenRouter API Key。
axiomantic 在 GitHub 发布开源工具 HeaderKit(MIT 许可),将 C/C++ 头文件解析为统一 IR,再生成 Python(ctypes、CFFI、Cython)、Mojo、Nim、LuaJIT 绑定及 C-ABI shim。它可脚手架带测试的完整包、检测破坏性 API diff、用 Tree-sitter 实现零依赖解析、通过 PEP 517 构建后端和缓存让下游 pip install 无需 libclang,并用 prompt writer 把头文件压缩为 token 优化的 LLM 上下文摘要。支持约 50 行 Python 编写自定义 writer,需 Python 3.11+,运行时零依赖。
推荐理由:作者给出从 C/C++ 头文件到多语言绑定、包脚手架和 LLM 上下文压缩的完整命令示例,可直接照用。
berelevant.ai 发布 slopless,一个基于 textlint 的确定性 linter 与零配置 CLI,用于检测 AI 生成文案中的空洞框架、虚假对比、对冲和陈词滥调等特征,不调用模型、无需 API key。提供 npm install -D slopless 与 npx slopless 命令,可安装 Codex 或 Claude Code 技能让写作 agent 反复重写直到通过,输出始终为 JSON,含 50+ 条规则、七类规则族,叙事类规则默认关闭,仅支持英文。
GitHub 上的 interview-prep-researcher 是一个智能体研究流水线,输入公司、岗位、JD 和简历,输出公司速览、面试轮次、备考主题排序、简历深挖问题、JD 与简历差距及学习计划六部分。它基于 LangGraph、RAG 和本地模型(Ollama 上运行 qwen3:4b 与 nomic-embed-text),仅采集官方及允许的社区来源并屏蔽 Glassdoor、Blind、Reddit 等域名。目前流水线代码已完成并经 stub 和真实搜索离线测试,尚未端到端运行,API 与评估待做。
GitHub 开源项目 daedalus-crm 推出本地优先的桌面端 CRM(Mac Apple 芯片 / Windows x64),100% 开源、AGPL-3.0 协议,个人版免费,团队版按席位收费并先免费用 14 天。首页是 ReAct 循环 agent 对话面,改数据只给建议卡、确认后才写入;支持一键接入 DeepSeek 或自填 OpenAI 兼容接口,也可让 Claude Code / Codex 经 MCP 连入,首次登录送 30 次 AI 提问。数据存本机断网可用,团队版改动加密同步,技术栈为 Next.js 16、React 19 与 SQLite。
Perihelion 是一个近地天体自主监控智能体,每日从 NASA NeoWs API 拉取七天天体数据存入 SQLite,用确定性打分模型按距离、尺寸、速度和危险性排序,再将前二十名交给 Gemini 生成简短分析笔记。系统通过 GitHub Actions 每天 06:00 UTC 自动运行并提交更新数据库,无需服务器、零成本,结果以 Streamlit 界面呈现。
GitHub 开源项目 chat-digest-agents 用三个 LLM 智能体(摘要器、分析器、评论器)解析群聊,提取讨论内容、任务分工和决定,以 Telegram 机器人形式提供,还支持浏览器演示。默认通过 Ollama 运行 qwen2.5:7b,长对话自动分块处理,支持任何 OpenAI 兼容 API,消息以 SQLite 存储、每群不超过 2000 条。作者人工标注 14 段对话做评测,演示模式下任务 F1 为 0.43。
GitHub 开源项目 date-buffet-llm 是一个无需后端的相亲匹配测试应用,基于 React + Vite + TypeScript,用 localStorage 和 50 名 seed 固定的虚拟人物运行,可切换 Supabase 实现真实用户匹配。推荐卡片内置"AI 설명 보기"功能,调用本地 Ollama 的 qwen2.5:3b 用 2-3 句解释匹配理由并推荐开场消息,单条生成 12-25 秒,通过 JSON schema 强制输出、temperature 0.2 和抄袭/事实检测保证质量。项目附带公平性测试(npm run simulate),TOP 10 基准下年龄、性别、地区指标均通过,TOP 5 地区指标未达标。
Scaibu 发布了面向 LLM 可观测性平台的集中式 Python 基础设施包 llm-obs-python-shared,仿照 packages/node/shared-infra 设计。该包包含共享 Pydantic 模式、OpenTelemetry 与 Prometheus 遥测、基于 httpx 的弹性 HTTP 客户端(支持重试与熔断)、Redis/PostgreSQL 辅助、confluent-kafka 工厂、服务发现及特性开关模块,可通过 pip install -e packages/python/python-shared 安装。
TopicAI 是一款面向小红书知识/经验型创作者的 AI 原生内容系统,把选题、写作、发布、复盘收敛为异步创作循环:灵感丢进收件箱后 AI 自主生产带逐条事实溯源的候选内容,发布永远由用户手动完成。核心机制包括结构预检 PublishCheck、HumanGate 确认和 Capability Trust(能力被接受 ≥3 次才可自动化),不自动发布、不虚构经历。项目处于 Phase 2 狗粮期,后端基于 FastAPI + SQLite,pytest 410 项测试通过(覆盖率 89.37%),采用 MIT License 开源。
BeatLink 在 GitHub 发布 SmartHarness,一个让本地小模型在长多步推理任务上更可靠的开源 harness。它把每个请求拆成任务树,每次调用只给模型一个窄目标,配合本地 SQLite 知识库和后台研究 worker,模型通过 llama-cpp-python 从本地 GGUF 文件运行,不发送任何数据到托管模型。它内置不依赖模型的检查(如引用 URL 必须出现在抓取证据中)、不可信网页内容的指令注入过滤、基于 Qwen3-Embedding-0.6B 的语义召回,以及支持断点续跑的检查点机制;召回基准显示加入语义检索后复述类问题命中率从 0% 升至 100%。项目采用 GPL-3.0 许可证,提供 TUI、GTK 界面和评测命令。
veildawn 在 GitHub 开源了 Go 库 ai-protocol,可在 OpenAI Chat Completions、Anthropic Messages、OpenAI Responses、Gemini generateContent 及图像生成 wire 格式之间互转请求、响应与 SSE 流。库仅依赖标准库、无 I/O 与网络,所有映射为纯函数,无法保留的协议事实通过 BodyLosses 和类型化错误显式报告;映射语义基于 LiteLLM v1.100.1 的 MIT 协议映射校验,当前处于 v0.8.x 的 Pre-1.0 阶段。
推荐理由:把 OpenAI、Anthropic、Gemini 等多种 LLM 接口格式的互转抽成无依赖纯函数库,转换丢失的参数会显式报告,适合自建网关的人参考。
GitHub 仓库 llm-wiki 是一个研究型知识库,通过 /wiki-sync 命令把 raw/ 中的论文、报告、代码、转录等原始资料增量编译为 wiki/ 下的结构化页面(来源页、实体页、概念页、对照页、地图页)。raw/ 保持只读,wiki/ 统一简体中文,每次同步更新 index.md 并向 log.md 追加日志,冲突与不确定性显式标注。协作规则由 CLAUDE.md 定义,发布采用 kb/ -v 分支合并到 main 的 Git 流程。
GitHub 上的 eval-service 进入 public-beta candidate,提供语言无关的可复用平台,通过统一接口收集多个项目的 LLM 用量,并评估 LLM 应用的质量与性能,支持跨项目一致比较模型、提示词、成本、延迟和可靠性。平台由 Rust 引擎驱动,可评测 Python、Rust、LangGraph 等异构项目,检测回归并解释决策;用量追踪按项目、模型、provider、任务和天聚合 token、延迟、错误和成本,支持 `eval run --sandbox docker` 隔离执行、OpenAI 兼容回环 proxy、离线 cassette 重放和静态 HTML dashboard。
dreamor 开源 MemVault 0.6.0(MIT 协议),一个单二进制 Rust 编写的自托管记忆层,通过 MCP(stdio/SSE/Proxy)让 Claude Code、Cursor、dsh 等任意 MCP 客户端在会话启动时自动注入共享记忆。核心特性包括 BM25+向量+RRF 混合检索、MUST 级强制注入、语义去重与时间衰减、失败教训自动蒸馏,并提供 bench 命令测量有/无记忆的任务成功率差异;数据存于单个 SQLite 文件,可用本地 Ollama 做嵌入与抽取,零云端依赖。
推荐理由:README 给出了检索、注入、去重到任务级评测的完整机制说明,可作为自托管跨 Agent 共享记忆方案的选型参考。
开源项目 recon-agent 是一个银行对账引擎,将结算流水匹配到对应订单:精确匹配解决 366 行,模糊匹配再解决 72 行,LLM 在确定性验证器约束下处理最后 71 行中接受 12 行、拒绝 11 行。模型只提议匹配,验证器重新推导算术,错误提议全部拦截。held-out 集合(153 行)precision 0.9924,数据为合成数据。
GitHub 上的非官方插件 dsh-freetoken v0.3.2 把 chat.deepseek.com 网页版桥接为 DeepSeek Harness 的 deepseek-web provider,已打通登录、文本、工具与图片链路。插件默认关闭(enabled: false),要求 DSH Desktop 0.2.1-rc.2+、Node ^22.18.0 || >=24.11.0 与支持 CDP 的 Edge/Chrome,实测平台为 Windows x64。其驱动 DeepSeek 网页私有接口,可能违反服务条款并导致限速或封号,作者声明与 DeepSeek 无关联,建议仅用非关键账号、风险自担。
GitHub 项目 LMRHCKst/alchemy 发布,这是一个只计算可验证内容的化学计算器,附带参考数据手册,所有计算与手册均支持离线使用。项目涵盖摩尔质量、反应配平、pH、热化学、电化学等基础与进阶模块,覆盖 8–11 年级课程,含 118 元素周期表。目前为 beta 版,无版本号,仅 AI 聊天需要网络;数字由计算引擎而非模型提供。