新闻、仓库与研究，按时间排列。
Ternair 是一个纯 Python/PyTorch 的三值权重推理实现，pip install 即可加载 microsoft/bitnet-b1.58-2B-4T 并启动 OpenAI 兼容 HTTP 服务，无需 C++ 构建。2B-4T 模型文件从约 5 GB 压缩到 1.1 GB（packed 存储 1.6 bits/value），CI 验证与 HuggingFace 参考实现输出一致性 Pearson 0.9958、top-1 一致率 85.7%；缺点是 CPU 推理速度约为 FP16 基线的 0.09×，WikiText-2 上 PPL 反而低于 FP16 基线（13.30 vs 23.37）。
GitHub 开源项目 ContextCompressor 是一个纯客户端开发者工具，在请求 OpenAI API 前压缩源代码和提示词，去除注释、多余空白、空行和 console 日志等零价值内容——这类开销可占 gpt-4o 等模型 token 载荷的 20% 到 40%。它提供基于 gpt-4o、gpt-4o-mini、gpt-4-turbo 现行定价的实时 token 与费用节省分析，支持可配置的压缩规则，全部处理在本地完成，不向外部服务器传输代码或 API 载荷。
juanqui 发布 Decidra，一个专为 26.1B 混合决策模型 vllm-sr/d3-turbo 打造的 CUDA 推理引擎，HTTP 服务与 CUDA 引擎在单个 Rust 进程内，运行路径无 Python、PyTorch 或 vLLM。状态编码一次后所有问题从缓存分叉，64 问基准比 vLLM-SR 快 2.4–5.2 倍，c8 下最高 5.2 倍吞吐；支持 RTX 4090、H100/H200、RTX PRO 6000，W4A8 视觉包需 24 GB 显存，MIT OR Apache-2.0 双许可，代码在 https://github.com/juanqui/decidra。
推荐理由：原文给出了与 vLLM-SR 同硬件同检查点的完整对比矩阵和校验方法，读者可以按自己的 GPU 档位查找对应延迟与吞吐数据。
RagLeap 开源了其自托管引擎 ragleap-core，以 46 个角色化 AI Employee 在 WhatsApp、Telegram、Discord 和语音电话上基于自有文档运行业务，MIT 协议、自带 API key、无厂商锁定。支持 off/semi/full 三档审批门控自主模式、无网络沙箱工具、Neo4j 知识图谱、混合检索、19 家 LLM 提供商或本地 Ollama，一条命令安装。作者同时明确列出未实测部分，如 Windows 安装器仅在一台机器上运行过、语音 Whisper/TTS 全链路尚未端到端实测。
推荐理由：原文逐项标注了已验证与未实测的功能边界，还给出审批门控和沙箱设计，适合想自托管业务 Agent 的人参考取舍。
Reddit r/LocalLLaMA 用户分享在 2 x CMP 170HX 上运行 Qwen 3.8 Flash Next 的配置方案，称兼顾质量与性能，并致谢社区支持。作者未在帖中给出具体 benchmark 数据，配置细节需查看原帖。
Reddit r/LocalLLaMA 用户询问兼顾速度与体积、适合手机（SD 8g3）等边缘设备的最佳通用非编码本地模型，要求 4GB 以内。其测试了 Gemma 4 e2b、e4b、qat、q4、Qwen 3.5 4B、Bonsai 8B A1B 等，发现均无法准确回答去年走红的 Spaghetti all'assassina 菜谱，默认输出标准 Bolognese 并缺少焦化步骤。
一位从未写过代码的 Reddit 用户在 r/LocalLLaMA 记录了用 Claude Code 兼任顾问、系统管理员和导师，七周内搭起一台约 3,450 美元的 Strix Halo 迷你主机（Ryzen AI Max+ 395，128 GB 统一内存，2 TB NVMe）的全过程。最终 Qwen3.8-Flash-Next 180B-A6B 写入 46-53 tok/s、prompt 处理约 771 tok/s，Qwen3.6-35B-A3B 达 76.5 tok/s，推理栈完全离线运行，夜间由编码 Agent 和浏览器 QA Agent 无人值守开发替代一款 40 年老程序的原型。
推荐理由：零基础作者用 Claude Code 当系统管理员从零搭起本地推理机，给出完整硬件选型、内核坑和逐项优化前后数据，可迁移到类似自建场景。
GitHub 新仓库 incubrix-growth-engine 是一个面向播客、YouTube 创作者的多渠道获客工具，自动完成线索发现、验证、评分和个性化外联草稿生成，覆盖 7 个英语市场，每周重跑且 0% 重复。它调用 YouTube Data API v3 与 Groq 上的 Llama-3 生成个性化内容，6000 条线索全程约 2-3 小时，生产成本约 $2.00，并支持 API key 轮换容错、SQLite 去重续跑和 Streamlit UI。LinkedIn 和 Instagram 消息仅排队供人工发送，符合 DPDP、GDPR 等合规要求。
Tanya-Kampus 是基于 RAG + LLM 的 Telegram 问答机器人，面向 Telkom University Jakarta 信息技术本科学生，解答实习、MBKM、TAK 转换、文档模板和毕业设计等问题。系统检索官方文档相关片段后由 LLM（Groq 或 Gemini）生成答案并附来源，管理员可通过 web 面板上传 PDF、DOCX 等多格式文件并管理知识库。项目采用单文件 SQLite 与 multilingual-e5-small 本地嵌入、混合检索，除 LLM 调用外免费且开源。
Chopinfer 是一个提供 OpenAI 兼容 HTTP API 的 Rust LLM 服务器，面向 Linux x86_64 与 NVIDIA RTX PRO 6000 Blackwell 96 GB GPU（SM120）。已验证 MiMo V2.6 Flash、Qwen3.8 Flash 和 GLM 5.3 Flash 的多卡配置，其中 MiMo 与 Qwen 支持 2 或 4 卡，GLM 需 4 卡，并支持 AR、MTP、DFlash 等解码方式。
TQSY114514 在 GitHub 发布 Aether 2.0，一个用 Electron、React/TypeScript 和 SQLite 构建的本地优先桌面 AI 开发工作台。核心能力包括 Arena 2.0 多模型盲测评测与胜出补丁一键落盘、AutoMemory 长期记忆（<2ms 零往返预取、FTS5 与知识图谱）、六轴权限门与 explore/workspace/auto_review/unrestricted 四种运行模式、5 级自适应思考预算（1k 至 32k token）、Hashline 哈希锚定编辑、SKILL.md 技能与 MCP 扩展，支持 OpenAI/Anthropic/Gemini 线格式及 DeepSeek、OpenRouter、Ollama 等提供商。
GeulPU 是一个在本地 GPU 上运行 GGUF 模型的推理引擎，通过书面精度契约保证同一请求在任意批量、slot、prompt 缓存和投机解码下输出逐位一致，exact 模式下 NVIDIA 与 AMD GPU 结果也一致。它自带调试器，可录制 agent 会话、逐位重放、从任意 token 分支并按请求对比不同量化版本；默认设置下速度多数场景快于 llama.cpp，投机解码在代码编辑任务上快 3.5-4 倍且输出逐位相同。引擎以韩语关键字编程语言 글(geul) 编写，下载约 1.5 MB，仅依赖显卡驱动，支持 Qwen3.6-35B-A3B、Qwen3.5、Qwen2.5、DeepSeek-R1-Distill、Llama 3 和 Mistral，提供 OpenAI 兼容 API，MIT 许可开源。
推荐理由：同一个请求在批量、缓存、投机解码甚至不同 GPU 上都得到逐位相同的结果，这个确定性契约让本地模型可以像程序一样调试和对比。
开源项目 GitStarts 从 GitHub 热门仓库聚合站演进为开源方案匹配与对比平台：用户用自然语言描述需求，经需求结构化、硬过滤、Qdrant 向量召回与 LLM 重排，输出 3-10 个带契合度分解的候选项目，并可对 2-4 个候选做 8 维逐格证据深读对比。项目已开放部署，普通用户每天 30 次对话加 3 次深度对比，对比结果缓存 7 天；默认模型为 DeepSeek V4 Flash，embedding 用 fastembed 1024 维多语言模型。
TokenBatch-Lab 推出 Stochastic-Gittins-Barrier-v239.2 GPU 调度策略，在 200 条生产级负载 trace 上实现 40.5% SLA Goodput，高于 EDF 的 38.0% 和 vLLM FCFS 的 33.5%，相对 FCFS 提升约 20.9% GPU 服务容量，P99 尾延迟为 2048.5 ms。该策略以近似 Stochastic Gittins Index、Sigmoid 松弛时间函数和凸二次 KV-Cache 压力屏障为核心，可嵌入 vLLM、TGI 调度循环。在 8x H100 集群上可释放约 $34,480 的等值算力，商业许可包经 Polar.sh 下载。
Codebud 是一个本地运行的编码智能体，用 Ollama + Qwen2.5-Coder 把自然语言请求转成可执行计划，数据不离开本机，推荐模型为 qwen2.5-coder:3b-instruct-q4_K_M。项目提供 GNU 标准 Makefile 构建、`codebud doctor` 环境检查、Texinfo 手册及可注册的 OpenClaw skill（支持浏览器 UI）。代码以 GPL-3.0-or-later 许可开源。
开发者 /u/Jingoo00 发布开源自托管 Web 应用 Angmoo，为 AI 角色搭建社交网络，采用 GPL-3.0-only 协议。角色可导入 SillyTavern PNG/JSON 角色卡，开启自主活动后在设定时段自动发帖互动；支持聊天、记忆检索、角色关系追踪和图片识别生成。提供 Windows x64 安装包和 amd64/ARM64 Docker 镜像，ARM64 Android 经 Termux 支持（实验性）；文本生成目前仅支持 Gemini 3.1 Flash-Lite 和 Gemini 3.5 Flash-Lite，需自备 API key，本地模型暂不支持。
推荐理由：作者本人详述了自托管角色社交网络的部署方式与记忆、自主活动机制，并坦承当前局限，适合想自建角色生态的读者参考。
/u/Jingoo00 发布开源项目 Angmoo，一个自托管的 AI 角色社交网络，角色可在设定时段和间隔内自主发帖并互动，采用 GPL-3.0-only 协议。支持导入 SillyTavern PNG/JSON 角色卡，提供聊天、记忆的关键词与语义检索、角色关系查看、World 导入导出等功能；文本生成目前仅支持 Gemini 3.1 Flash-Lite 和 Gemini 3.5 Flash-Lite，需自备 Google Gemini API key，暂不支持本地模型。提供 Windows x64 安装包和 amd64/ARM64 Docker 镜像，ARM64 Android 支持为实验性，数据保留在本地设备。
Krissaito470 发布 Huihui 的 Qwen3.8-Flash-Next abliterated v2（去审查版）的 DS4 GGUF，采用 Mixed-Q3-64GB 布局，文件 143.3 GiB，常驻权重 47.96 GiB，可在 64 GB Mac 运行。v2 未消融任何专家张量，仅以 96 个 Q8_0 张量覆盖基础文件；8K 上下文下解码 68.9 tok/s，MTP 开启时代码生成达 102.8 tok/s。内存占用约 49-54 GiB（8K-131K ctx），需支持 BF16 n-gram 的 DwarfStar 构建。
这个公开仓库存放 Glamis Guide（一款免费的 Imperial Sand Dunes iOS 地图应用）的社交媒体内容流水线。Andy 每晚 7:30 前把演示视频、screenshot.png 和 directions.md 放入当日文件夹，7:45 PM 的定时 Claude 任务「Glamis nightly build」撰写 copy.json、渲染图片、提交并创建 Metricool 条目。两条 Instagram Story 由 Andy 手动发布，Reels 和 feed 帖由 Metricool 自动定时发布，树莓派还在搭建用于拉取 App Store Connect 数据。
上海创智学院 Holos 团队开源了 Agent 平台 Synergy（MIT 协议），将 Agent Runtime、Workspace 和执行 Environment 分离，使会话可持久存在，文件与计算资源可独立分配、释放或替换，支持本地运行、应用内嵌和远程 Docker 执行。在 DeepSWE v1.1 基准 113 个真实仓库工程任务上，deepseek-v4-flash 配合其编码 Agent Forge 将 Pass@1 从 53% 提升至 67.3%（+14.3pp），成本 $0.54/task；提供 Desktop、CLI、Web 与 SDK 多端接入及插件体系。
推荐理由：平台把会话状态与文件、计算资源解耦，还附了 DeepSWE v1.1 上 Pass@1 从 53% 到 67.3% 的实测对比，方法可参考。
Debate Buddy 是一个面向学生和团队的 AI 辩论准备与实战助手，可将辩题、持方、发言时间和角色转化为含研究资料、来源链接、论点与反驳的结构化准备包。它支持证据链核验、分角色 .docx 讲稿导出、中英双语输出，以及 /live 实时辩论辅导；语音识别可选 BytePlus Seed-Speech ASR 2.0 或兼容 OpenAI 的 ASR 服务。历史记录本地用 SQLite、云端用 BytePlus TOS 保存 360 天。
开发者发布个人开源项目 celine-net，一个自托管 AI Agent，运行在自己的 Linux 环境中，可执行终端命令（tmux 封装）、使用类 computer-use 的浏览器实时浏览网页、记录笔记、定时运行例程并通过子 Agent 执行长任务。用户自带模型（llama.cpp、ollama、openrouter 等），可接入 Discord 和 WhatsApp，作者使用 qwen 27b、gemma4 和 qwen-flash-next，并提醒注意隐私与安全风险。
GitHub 上的开源 Python 原型 game-feedback-analyzer 探索用 LLM API 将多语言游戏玩家反馈结构化：对 CSV 中的每条评论标注语言、情感、问题类别、严重程度和本地化问题标记，并通过 Streamlit 仪表盘展示统计图表。工具含 CSV 预处理、批量调用与 JSON/CSV 导出，定位为人工评审的决策辅助，尚无分类质量评估。
langchain-rust 是 LangChain 的 Rust 语言实现，支持通过组合方式构建 LLM 应用。其功能覆盖多家 LLM（OpenAI、Azure OpenAI、Ollama、Claude）的响应缓存、思考与提示缓存，多种嵌入与向量存储（如 Qdrant、Pinecone、Postgres、MongoDB）、多种 Chain、输出解析器、持久化 Memory、带工具调用的 Agent 以及 PDF/CSV/HTML 等文档加载器，可通过 cargo add langchain-rust 及对应 feature flag 安装。
Sakaki GM 是一个本地 Game Master 桌面工具，每个战役对应独立的 SQLite 文件，支持角色、物品容器、任务、地理对象图与备份/恢复。其 Ask GM 功能提供两种 Campaign RAG 模式：Model-initiated tools 让模型通过只读工具检索文档与对象，App-retrieved context 则在请求前检索并注入有限摘录。模型设置含 SpaceXAI 预设（grok-4.7）与 OpenAI 兼容本地服务器选项，仓库为专有许可。
GitHub 上的 resumai 项目利用 LLM 生成简历，通过 Docker Compose 部署，支持 Ollama 和 Gemini 两种平台（GEMINI_API_KEY）。工作流含原型选择、简历起草、事实核查、职位对齐检查和编辑五个命令，基于 content/pii/ 个人信息与自定义 archetype 生成通用或定制简历，并经 Pandoc 导出为 docx、html、pdf 格式。
开源项目 WindsurfAPI 提供自托管网关，把 Windsurf/Devin 账号可用的 100+ 模型（Claude、GPT、Gemini、DeepSeek、Kimi、GLM、SWE 等）暴露为 OpenAI Chat/Completions/Responses、Anthropic 和 Gemini 四套标准 API，兼容 Claude Code、Cline、Cursor 直连。实现上把请求翻译成 Windsurf 内部 gRPC 协议经本地 Language Server 发往云端，零 npm 运行时依赖，带账号池轮询、限流隔离、故障转移和 Responses API 服务端会话状态。
推荐理由：README 把协议转换原理、账号池机制和常见故障逐层写清，对自建模型中转网关有直接可抄的工程参考。
GitHub 在仓库 wrcp20/github-intelligence-reports 中发布每日自动生成的情报报告，覆盖 CLI Agent 与 LLM 框架生态。仓库包含 reports 与 reports-claude 等目录、README 及 index.html，报告由自动流程生成。
NeonMC23 的 forgeCORE 是一个基于 llama.cpp/ggml 的轻量 Rust 抽象层，自身不含计算逻辑，负责打开 ggml backend、管理 tensor 与计算图、通过 libllama 加载 .gguf 模型，并运行 Model → Context → Batch → decode → Logits → sample 的最小 CPU 推理路径。它暴露 tokenizer、KV/state 原语（state snapshot、position shift、KV cache dtype）、GPU offload 选项（默认 CPU，无 GPU 时显式报错），并内置冻结的标量 oracle 用于交叉验证；目前 CPU 推理路径已通过验证。
OpenAgents 发布 Workspace，一个把分散在各终端和机器上的 AI 编码智能体接入统一工作区的开源平台，支持 Claude Code、Codex CLI、Cursor、Cline、Gemini CLI 等 10+ 智能体互相协作。智能体通过 @mentions 分工，共享同一上下文、文件和浏览器，工作区有持久 URL，可从浏览器或手机访问。项目基于 Apache 2.0 开源，提供 CLI（agn 命令）、桌面应用和后台守护进程；Aider、Goose、Amp 等智能体目前为 Beta 或 Preview，Aider 和 Goose 的真实端到端验证仍标记为待完成。
推荐理由：用统一工作区把多个编码智能体拉进同一会话共享文件与浏览器，给出了可直接照抄的 CLI 接入与多提供商配置方法。
HobbyCoders 发布免费开源（AGPL-3.0）的 AI Agent 工作区 AI Shuffle，可在 PC、家庭服务器或 NAS 上运行 Agent，支持 Claude、OpenAI、xAI、OpenRouter 订阅或 API key 以及 llama.cpp、Ollama 等本地模型，提供 Windows/Linux 桌面版、Docker Compose 服务端和 Android 客户端。其自研引擎 Fluid 主打不丢失信息的快速压缩、自我维护的记忆、可复用技能和批量工具调用；Claude Pro/Max 订阅经由官方 Claude Code CLI 驱动，另有可选付费的 AI Shuffle Cloud 用于免 VPN 远程访问。
推荐理由：原文详细说明了各接入模型的运行方式和 Fluid 引擎在压缩、记忆上的具体做法，想自托管多模型 Agent 的读者可以对照评估。
zugquants 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段去对齐微调 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored，提供含 MTP 版本的 NEO imatrix GGUF 量化。作者称 8bit ARC-C 735、ARC-E 882，4bit ARC-C 719，全部 7 项基准超过基座 Qwen3.8-27B，思考 token 减至基座的 1/2 至 1/10；用 Heretic v1.2.0 ARA 方法去审查后 100 次测试中拒绝从 99 降至 0，KL 散度 0.0535。
dealignai 发布基于 DeepSeek-V4.1-Flash-1017 的无对齐版本，在原生 FP8 e4m3 权重上做消融编辑去除拒绝行为，保留 1M 上下文、多模态、工具调用与推理档位，与上游字节兼容可直接加载。HarmBench-320 实测 320/320 全部 COMPLY、零拒绝；MMLU 从基座 87.63% 降至 83.77%（-3.86 pp）， Humanities 类损失最大达 -7.31 pp。低比特量化建议在目标精度上重跑消融流程，原生命令行推理已验证于 4×H200，SGLang 启动参数与构建工具链要求在模型卡中给出，MIT 许可，仓库手动门控。
同一新闻，精选展示《DeepSeek-V4.1-Flash-1017 无对齐 FP8 权重发布，HarmBench 320 题全部合规》
开源游戏 Tensor-Tycoon 是一款 SwiftUI 打造的 macOS（26+）AI 实验室经营模拟器，玩家可购买或租用 GPU/TPU、训练模型、争夺 benchmark、售卖 token、订阅和 agent 席位，与八家对手实验室竞逐直至递归自我改进。游戏模拟 96 款真实芯片及至 2034 年的路线图，内置六小时一次的自动更新（含 SHA-256 校验与 Ed25519 签名验证），支持 Apple silicon 与 Intel。
1337hero 发布自托管聊天界面 Faster Chat，可接入 OpenAI、Anthropic、DeepSeek 等 17 个内置云端供应商，也能通过 Ollama、LM Studio、llama.cpp 完全离线运行，数据存于本地 SQLite。功能包括跨对话记忆抽取、Brave 搜索联网、图像分析与生成、多用户角色管理，支持一条 Docker 命令部署；项目已达成对标 Open WebUI 的目标，转入维护模式，不再计划 RAG、MCP 等功能。
推荐理由：这是一个自托管 AI 聊天界面的完整功能清单与部署文档，读者可以据此评估它作为 Open WebUI 私有化替代方案的取舍。
作者发布 Ephor，一个只检测不拦截的 Linux CLI，通过读取内核 socket 表和 /proc 被动记录 AI Agent 的出站连接、下载量和是否命中已知恶意目的地，无需配置代理、被入侵的 Agent 也无法绕过。它还能展示每个 Agent 的权限爆炸半径，包括运行用户、Linux capabilities、免密 sudo 和可读的密钥文件；仅依赖 Python 标准库，可在 Pi Zero 2 W 等 512 MB 小设备上运行。v0.3 新增安装与 DNS 监控，追踪 pip/npm 安装并查 OSV.dev，可选 eBPF probe 补捉秒级进程，威胁判定默认离线匹配 URLhaus、Feodo Tracker、FireHOL 等免费 feed，VirusTotal 查询默认关闭。
推荐理由：原文讲清了无代理被动监测的实现原理、资源占用与同类工具对比，读者可以判断它是否适合放进自己的 homelab 监控栈。
Nystic-Shadow 开源了 Opencode2api，一个零依赖的 Node.js API 网关，把上游 OpenCode Zen 免费模型转换成 OpenAI 和 Anthropic 兼容端点，供 Cursor、Cline、Roo Code 等客户端调用。核心实现包括注入反编译的 CLI 工具 schema 绕过反爬校验、按位取反算法生成会话 token、Cloudflare WARP SOCKS5 隧道自动换出口 IP（约 1.2 秒完成密钥轮换）、模型级联故障转移、思考流（thinking_delta）与多模态视觉支持。后端仅用 Node.js 核心模块，内存低于 30MB，附 15 项测试全部通过的验证套件，MIT 协议发布，支持 Docker Compose 一键部署。
推荐理由：README 详细披露了绕过 OpenCode Zen 反爬校验的具体实现，读者可以对照源码和测试向量自行复现这套网关方案。
开源项目 linkedin-cv-tailor 用 JobSpy 抓取 LinkedIn 职位，经 Gemini 过滤并针对岗位定制 CV，通过 Typst 编译生成 PDF，并支持 Telegram 通知与 Flask Web 面板。需配置 GEMINI_API_KEY 才能启用 AI 过滤与定制，Python 版本固定为 3.12，可用 cron 每日自动运行，每次处理间隔 20 秒 rate limit。
RamishSiddiqui 在 GitHub 发布开源桌面角色扮演应用 Janus（GNU AGPL v3），用 token 预算、滑动窗口、滚动摘要加向量 RAG 的分层上下文管线，让百条以上消息的对话保持连贯，所有提取事实存入可查看、可编辑的记忆图。支持 SillyTavern V1/V2 角色卡导入、自动 NPC 检测的多人群聊、情绪追踪，接入 14+ 家 LLM 提供商（含本地 Ollama 和免费选项），内置离线 Kokoro-82M TTS（54 种语音），数据全部存于本地 SurrealDB，无账号、无遥测。提供 Windows/macOS/Linux 安装包，附 SHA256 校验和构建来源证明。
推荐理由：项目讲清了分层记忆管线和可编辑记忆图的做法，对想在本地做长期角色扮演记忆的人有直接参考。
从 vLLM、llama.cpp、TensorRT-LLM 到 Strata、Radiance 及各种 Flash-Next / DeepSeek-Flash 优化构建，推理引擎数量激增，在 Qwen Flash Next 和 DeepSeek 变体等特定模型或硬件上性能提升明显，ROCm 也大幅改进。但模型支持参差不齐，用户往往需逐一测试才能选出最佳引擎，社区担忧生态正变得碎片化。