按兴趣浏览，循来源深入。
开源多智能体对冲基金实验作者根据社区反馈重构架构，分享三类失败模式的修复经验：用带极性契约的 Factor Ontology Schema 预判指标方向后，投资委员会的极性幻觉降到 0%；反射记忆从 Embedding API 加向量数据库（200-450ms 往返）换成 SQLite FTS5 BM25（0.35ms），关键词检索在交易复盘场景更可靠；实时风控哨兵用 Rust 的 SoA 内存布局重写，单仓位止损评估 3.63ns，Python 到 Rust 的管道 IPC 往返 2.88μs。代码与基准已在 GitHub（lumina-ai-hedge-fund）开源。
推荐理由：作者实测对比了向量数据库与 SQLite BM25 的检索延迟，并给出 Rust 哨兵的纳秒级基准数据，做法可直接迁移到多智能体系统。
作者在 RTX 4090 24 GB + 48 GB RAM 的 Windows 机器上对 Strata 0.1.43 运行 Qwen3.8-Flash-Next IQ3_S 量化包做了系统性网格调参，附完整 JSON 配置。三个关键参数 --adapt-async 1、--kv-resident 20480、STRATA_ADAPT_LAG=2 合计把 160k 上下文下的解码速度提升 45%；同时给出负面结果，--expert-cache 按 MiB 而非槽位设置（填满显存时 −72%）、--ple-io ram 在 48 GB 下 −90%、--no-prefill-borrow −46%。
推荐理由：作者用自建 A/B 测量流程在 RTX 4090 上逐项测了 Strata 各参数的真实增益与坑位，附完整可用配置。
开发者发布 Vocs，一款在 macOS 上用 whisper.cpp（large-v3-turbo）完全本地运行 Whisper 的听写应用，可将文本粘贴到任意应用。音频按静音边界分块边说边解码，短片段按实际长度开窗解码约提速 8 倍；还做了 [BLANK_AUDIO] 等音效标签剥离、重复循环检测重试、Rust 后处理（标点、大小写、口语命令、自定义词典）及约 120 MB 本地语法模型。转写路径无网络请求，macOS 13+，MIT 协议，基于 Tauri 和 Rust，源码在 GitHub。
推荐理由：开发者给出了流式分块解码和短片段约 8 倍加速等具体实现细节，本地语音听写方案有可参考的工程做法。
/u/nathannguyennng 解锁了 RTX 3080 20GB 的 reBAR 与 P2P，/u/No-Refrigerator-1672 在双卡张量并行下用 vllm 0.32.0 实测验证。8k 到 261900 token 长度的 prompt 预填充速度较原厂提升 71%-115%，其中 P2P 相对仅 gpu_unlock 另有最多约 70% 提升；开启 MTP 后 decode 速度基本在噪声范围内无明显变化。作者提示 3080 用户在长 prompt 场景（含 agentic coding）可关注该解锁，且需双卡均有完整 PCIe 连接才能获得同等收益。
推荐理由：作者实测了 reBAR 与 P2P 解锁在双 RTX 308 20GB 张量并行下的 TTFT 与 ITL 数据，可看清该解锁对长上下文预填充的实际收益边界。
/u/Inside-Pen-8395 在 24GB M5 MacBook Air 上以 Splash 1.4.0 的约 800 行 fork 运行 Qwen3.8-Flash-Next Q2 量化，24,576 个专家槽位中约 6,800 个驻留 ~8.8 GB 内存，其余从 SSD 按需流式读取，支持 256K 上下文，解码平均 48.8 t/s（stock 为 28.8）。
推荐理由：作者实测了 Qwen3.8-Flash-Next 在 24GB 内存下的 SSD 专家流式方案，给出解码速度、预填充和 LiveCodeBench 对照数据。
开发者 /u/Jingoo00 发布开源自托管 Web 应用 Angmoo，为 AI 角色搭建社交网络，采用 GPL-3.0-only 协议。角色可导入 SillyTavern PNG/JSON 角色卡，开启自主活动后在设定时段自动发帖互动；支持聊天、记忆检索、角色关系追踪和图片识别生成。提供 Windows x64 安装包和 amd64/ARM64 Docker 镜像，ARM64 Android 经 Termux 支持（实验性）；文本生成目前仅支持 Gemini 3.1 Flash-Lite 和 Gemini 3.5 Flash-Lite，需自备 API key，本地模型暂不支持。
推荐理由：作者本人详述了自托管角色社交网络的部署方式与记忆、自主活动机制，并坦承当前局限，适合想自建角色生态的读者参考。
Reddit 用户 /u/TheSpicyBoi123 发布改进 llama.cpp 对 Kepler 等 Ampere 之前 NVIDIA GPU 支持的高性能分支，目标是让旧 CUDA 硬件继续可用。在 4x Tesla K40c 上以 Q8_0 量化运行 MTP Qwen3.6-35B-A3B，从原先无法启动提升到 35 tps，修复主线上 cc35-50 的 cuBLAS 计算类型选择问题；启用 CUDA graphs 后达约 55 tps，Windows NCCL 集成带来约 5–10% 端到端提升，吞吐超 60 tps，P.P. 速度在 70-100 tps 之间波动。作者声明这是其个人系统的初步结果，并征集 Kepler、Maxwell、Pascal、Volta 等旧卡用户对比测试。
推荐理由：作者用 4 张 Tesla K40c 实测给出量化前后与启用 CUDA graphs 的速度对比，老卡复用方案可自行复现验证。
作者发布自研双卡推理引擎 capy-flash v0.7.4，面向两张 RTX 50 系显卡在 Linux 上做张量并行，支持 Qwen3.8-27B 和 Qwen3.8-Flash-Next。在 2× RTX 5070 Ti 上，Flash-Next NVFP4 解码 178 tok/s、64k prefill 4,828 tok/s，对比 Strata 0.1.45 双卡 NVFP4 短提示词约快 1.5 倍、平均约 1.76 倍；27B 双卡 NVFP4 DFlash2 验证解码 379 tok/s。
推荐理由：作者在同一台机器上给出与 Strata 的逐项对比数据，双卡 NVFP4 场景的提速幅度和适用边界都写得很具体。
Kotatsu 0.8 发布，这个 SillyTavern 的分支首次推出 Android 应用，可用 .apk 在手机上完整运行。新版本带来 Natsumikan 默认主题、开启 sprites 后的视觉小说式点按翻页界面、重新设计的 Card Studio（可从一张图在自己 ComfyUI 上生成整套角色立绘），以及消息分叉后的故事线地图。API keys 和本地网络模型可直接使用，Kimi K3.1 Pro 开箱即用，Claude Code 和 ChatGPT 计划仍需电脑配对；作者表示下一步是新的记忆系统与总结器，且不打算加入跑团、骰子类功能。
推荐理由：作者是项目维护者本人，逐项列出 Android 版、视觉小说界面和角色立绘生成等实际更新，还预告了下一步记忆系统计划。
TensorSharp 开发者在 5× NVIDIA A40 上实测 DeepSeek-V4.1-Flash-1017（Unsloth UD-IQ2_XXS GGUF），默认启用 YOCO 时长文本 prefill 吞吐达 llama.cpp 的 4.43–5.50 倍，关闭 YOCO 仍有 2.44–3.23 倍；decode 提升较小（1.08–1.20 倍）。质量上，WikiText-2 困惑度相对 llama.cpp 高约 0.46%（YOCO 关）到 1.14%（YOCO 开）。vLLM 0.32.0 在该机未能出 token，仅作兼容性检查。作者注明结果基于单机单量化档位、构建含未提交改动，完整报告见 GitHub。
推荐理由：作者给出同机同文件的对照数据和 YOCO 开关后的困惑度变化，可据此评估该推理引擎在 A40 上的实际收益与质量代价。
/u/UltramanQuar 在 r/LocalLLaMA 实测 Zagitta 的 gpu-unlock 内核模块，称 NVIDIA 出厂的 3090 tensor 计算以 fp32 累加半速运行（驱动显示 FMLA32 = 1/2），加载模块后冷启动显示 FMLA32 = full。
推荐理由：作者实测了 gpu-unlock 模块对 3090 的 BF16 提速，并给出真实推理收益远低于 TFLOPS 峰值的具体数据。
/u/nickm_27 实测 ggml-org/llama.cpp 的 PR #29864 重构 Intel XMX 矩阵引擎后，B70 在 SYCL 下投机解码速度大幅提升，测试模型为 Muse Glimmer Q6_K (30B) 搭配 DFlash2。9 项任务总耗时从 46.86 秒降至 26.68 秒，各任务 tok/s 普遍从约 36-53 提升到约 53-88；作者说明因 token 验证成本显著降低而调大了 n-max，接受率从 0.7845 降到 0.363 属预期现象。
推荐理由：作者实测了 llama.cpp 重构 Intel XMX 矩阵引擎后 B70 的投机解码速度，前后总耗时从 46.86 秒降到 26.68 秒，数据完整可复现。
/u/SamSausages 在 4x Intel B65 上用 vLLM 0.30.0 实测 Qwen3.8-Flash-Next（W4A16），把 prefill chunk 从默认 1024 调到 8192/16384 后，32K prompt 预填达 5,142 tok/s，261K 首 token 时间从 190.2 s 降到 97.6 s。代价是 KV cache 池从 587,416 tokens 缩到 337,952，多会话下最长停顿从 0.61 s 增至 2.89 s，但作者称聊天和后台 agent 场景中停顿不明显。完整数据见 https://b65.thekaiser.us/by-model/qwen38-flash-next/prefill/
推荐理由：作者用同一套基线实测了 vLLM 不同 prefill chunk 大小的速度、TTFT 和 KV cache 代价，数据可直接迁移到多卡 XPU 部署调参。
作者用两台 £299.99 的 Lenovo IdeaCentre Mini（Snapdragon X X1-26-100，32GB LPDDR5，无 GPU）以 USB4 相连，实测 llama.cpp、Janas 和自研 ToRc 引擎跑量化模型的读写速度。统一测试负载下，ToRc 双机跑 Qwen3.6 35B A3B Q4_0 达 315/43.3 tok/s（读/写），编码对话 59.6 tok/s；95GB 的 Qwen3.8 Flash Next IQ4_NL 靠 NVMe 流式读取专家权重，双机达 46.2/20.3 tok/s。MTP 加速依赖文本类型，代码任务普遍提速而 Alice 散文上 llama.cpp 反而变慢。整套方案约 £600、负载功耗各约 35W，ToRc 引擎尚未发布。
推荐理由：作者在两台 300 英镑的骁龙迷你主机上实测多款推理引擎跑 Qwen 大量化模型的读写速度，并给出统一测试负载和完整数据。
作者开源了一个基于 LangGraph.js 的 GitLab 代码审查 agent，用 sglang 在两块 4090（PCIe、TP=2）上跑 Qwen3.6-35B-A3B（QuantTrio AWQ 4-bit）。单流解码约 180 tok/s（~50k 上下文）、prefill 9-10k tok/s，8 并发共 985 tok/s；单次审查平均 26 次 LLM 调用、2.3M tokens，已累计 1300+ 次审查，约 70% 的评论被作者采纳解决，约 7% 的运行因模型自我循环而终止。
推荐理由：作者给出双 4090 跑 Qwen3.6-35B-A3B 做代码审查的完整吞吐数据和 1300+ 次实测结果，可复用到自己的本地部署。
Kapitsa 开发者发布 0.2 版，引入新投机解码方法 KFlash，并在 MacBook Pro M4 Pro 48GB 与 M1 Pro 16GB 上对比多款引擎的解码速度。Qwen3.8 27B 4-bit 下 Kapitsa 0.2 KFlash 达 63 tok/s，Inco Splash 1.4.0 DFlash2 为 53 tok/s；Qwen3.6 35B-A3B 上两者分别为 161 和 135 tok/s。KFlash 在同一遍检查中用 best-first 树检查草稿候选，而非单链遇错即停。作者提供 kapitsa bench 供用户自测并提交结果，Splash 需 M3 或更新芯片，Kapitsa 支持 M1 至 M6。
推荐理由：作者给出两代 Mac 上多引擎的实测数据，并解释了 KFlash 与 DFlash2 在投机解码检查方式上的差异，便于读者对照自己的机型。
/u/OhGeeLIVE 发布 Geezuz kernel，将 L-Forster 的单卡 megakernel 分叉为双卡版本，在两块功耗限制 280W 的 RTX 3090 上以 Q4_K_M 跑 Qwen3.8-27B 达 190 tok/s，8 并发时总吞吐 622 tok/s。整个前向传播运行在单个持久 CUDA kernel 中，双卡经 PCIe 直接交换部分结果，单周期解码最多 8 个请求，并用模型自身 MTP head 做投机解码；与 llama.cpp 相比平均 164 tok/s、代码场景 214 tok/s，KL 散度显示输出质量相当。
推荐理由：作者给出与 llama.cpp 和 vLLM 同条件对比的完整吞吐数据，并说明实现原理与编译成本，便于读者评估是否适用。
香港小团队 Blockway 发布自研推理引擎 Agens Engine（MIT 协议）和 Volundr 32B 模型权重，72 层中 54 层用固定大小状态替代随 token 增长的 KV cache，长上下文溢出到系统内存。实测视频显示 110K token 小说冷读取约 69 秒，后续提问 0.5 秒内回答，GPU 显存峰值约 15.6 GiB；社区用户在 24 GB 卡上测得 86.4–106.7 tok/s。团队计划探索 MoE 变体、Windows/Apple Silicon 支持和紧凑桌面整机。引擎：https://github.com/BlockWayz/agens-engine
推荐理由：香港小团队公开自研推理引擎的实测数据与设计取舍，长会话显存占用和后续提问延迟都有具体数字可查。
Nace.ai 的 Ye 发布开源（Apache 2.0）推理引擎 Kapitsa，专为 Apple Silicon 定制 Metal kernel，仅支持 Qwen 和 NVIDIA Nemotron 两个模型家族，用于在 Mac 本地跑编码 Agent。速度来自按架构定制的 Metal kernel、投机解码（DFlash2、DFlash、DSpark、LiLiCorr）、混合模型的 KV 加循环状态缓存、27B 与 Bolt 部分预填充跑在 Neural Engine、并发请求共享 GPU pass。
推荐理由：作者逐项拆解了推理加速来源，并给出三档 Mac 上与多个主流引擎的 tok/s 对照表，还提供 CLI 让读者自测提交结果。
开发者 /u/siliconlotus 发布了 SillyTavern 扩展 WorldsApart，用相关性评分替代 ST 核心的 World Info 条目选择机制，GitHub 地址为 https://github.com/siliconlotus/st-worldsapart。作者自测 92 个分级场景显示，在 10k 预算下实际进入提示词内容的 F2 得分从 0.27 提升到 0.51。
推荐理由：作者给出91个分级场景下相关性得分从0.27升到0.51的实测数据，可借此判断这个 ST lorebook 替换系统值不值得装。