跳到正文
只看工程#Qwen
10月26日周一
  2. GitHub · 灵魂体仓库50

    fanyifan090409-dev/mobile-llm-engine：基于 Qwen3 的手机本地大模型推理引擎开源

    GitHub 开源 mobile-llm-engine，一款 iOS 优先的本地大模型推理引擎，内置基于 Qwen3 继续训练的 0.6B 中文助手模型（Q5_K_M 量化、551MB），专注日历等工具调用任务，数据不出设备。实测 40 题工具调用中 tool_call 发射率和 schema 校验通过率均为 100%，但日期参数正确率 0/15，幻觉问题修复中。目前仅支持 Apple Silicon Mac，运行内存约 1GB，可开放试用。

  4. GitHub · 3D 生成新仓库50

    开源项目 Muti-agent：基于 LangGraph 的营销物料多智能体生成系统

    GitHub 仓库 lxy305072-collab/Muti-agent 发布，输入产品信息可自动产出标题、正文和配图，基于 LangGraph 编排 7 个 Agent 节点，含 Critic 75 分审查门槛、人工审核闸口和多模态图文一致性审查。系统用 pgvector 做 RAG 混合检索，评分 ≥90 的物料自动向量化入库作 few-shot 范例，并公开了 SSE 断线续传、DashScope 出图双端点路由、JSON 输出自修复等 9 个工程难点解法。

  6. GitHub · 去对齐工具与仓库43

    MiniCode：基于 LLM 的自主编程智能体（UFMS 神经网络课程实践项目）

    MiniCode 是一个由 LLM 驱动的自主编程智能体，接收自然语言任务后生成 SPEC 与 PLAN，在沙箱化 workspace 中受控执行，且仅在独立于 LLM 的测试 harness 确认 pytest 通过后才判定完成。项目为 UFMS 神经网络课程实践作业，目标模型为 Qwen/Qwen2.5-14B-Instruct-AWQ，经 vLLM 以 OpenAI 兼容 API 提供。智能体采用有限状态机（RECEIVED→SPECIFIED→PLANNED→IMPLEMENTING→VERIFYING→DONE/FAILED），含修复循环、token 预算管理与 .minicode/ 执行追踪。

  7. GitHub · 灵魂体仓库41

    autoNews：用 GitHub Actions 零成本自动生成前沿 AI 日报的开源项目

    GitHub 开源项目 autoNews 每天自动采集全球 AI 资讯，覆盖 11 个垂直领域，用大模型生成结构化解读并归档为飞书云文档，全程运行在 GitHub Actions 上，零服务器成本。项目支持 ArXiv、GitHub Trending 等多源采集，标注 [大厂/顶级机构] 等质量标记，可配置飞书或钉钉推送。模型接口任意 OpenAI 兼容服务均可，支持 DeepSeek、通义千问、智谱 GLM、OpenAI 等，每天北京时间 08:00 自动运行并跨天查重。

  8. Reddit · r/LocalLLaMA22

    如何用 QLoRA 微调 Qwen3.5-9B 处理约 500 GB 多格式原始数据：一位本地部署用户的求助

    一位 Reddit r/LocalLLaMA 用户用 8x T4 服务器部署 Qwen 3.5-9B Q5_K_XL，实现 87k 上下文、44 个 slot、单用户 35-40 tps，现想用 QLoRA 微调约 500 GB 的图像、扫描件、PDF、Word/Excel 数据。他持有 Mi50、V620、3060 等多块显卡但多台主板存在启动兼容问题，纠结于 3060 组合还是单价约 700 美元的单卡 R9700，并询问 unsloth 是否支持 Intel GPU。

  9. GitHub · 3D 生成新仓库32

    ImageMetaAI 开源：本地 AI 为 Shutterstock 与 Adobe Stock 生成图片元数据

    ImageMetaAI 是一款基于 C# 和 WPF 的 Windows 桌面应用，使用本地 Ollama 模型分析图片并生成图库元数据。视觉模型 qwen2.5vl:7b 生成图片描述，元数据模型 qwen3:14b 生成标题、关键词和分类，结果可人工编辑后导出为 Shutterstock 和 Adobe Stock 专用 CSV。图片全程本地处理不修改原文件，仅位置识别可选调用 OpenStreetMap Nominatim。

  10. GitHub · 3D 生成新仓库47

    IlyaEmelin/batch-generation-service：Qwen2.5-1.5B-Instruct 批量生成服务项目报告

    基于本地 vLLM 部署的 Qwen2.5-1.5B-Instruct 构建批量商品卡片生成服务，对 300 个商品生成五键结构卡片，三次重试将格式有效率从约 0.40 提升到 0.903，retry_rate 为 0.497。参数实验显示 repetition_penalty 1.05 在 dev 上更好但全量跑降至 0.820，最终弃用。API 对比中 OpenRouter 上的 openai/gpt-oss-20b（reasoning_effort=low，max_tokens=500）在 30 个商品上全部有效，按 20 ₽/60 ₽ 每百万 token 计费约 34.677 ₽/1000 张卡片。

  11. GitHub · 灵魂体仓库60

    understudy-lm 发布仅用目标模型文本训练的推测解码草稿模型，针对 Qwen3.5-4B 投影加速 1.43x

    understudy-lm 项目发布了仅从目标 LLM 的文本输出训练的推测解码草稿模型，无需 logits、隐藏状态或更小的同族模型，草稿一次猜测 4 个 token，由目标模型一步验证，输出不变。发布的草稿针对 Qwen3.5-4B 训练，实测每步接受 1.58 个 token，投影加速 1.43x；在 llama.cpp 下因需逐 token 起草并恢复状态反而更慢（27 到 36 tok/s 对 69 tok/s），需支持 lookahead heads 的运行时才能兑现。

    推荐理由：只靠目标模型的文本训练推测解码草稿模型，不用 logits 和隐藏状态，并给出接受的实测与局限说明。

10月25日周日
  1. Reddit · r/LocalLLaMA62

    24GB M5 MacBook Air 上跑 Qwen3.8-Flash-Next Q2 量化，解码达 49 t/s

    /u/Inside-Pen-8395 在 24GB M5 MacBook Air 上以 Splash 1.4.0 的约 800 行 fork 运行 Qwen3.8-Flash-Next Q2 量化，24,576 个专家槽位中约 6,800 个驻留 ~8.8 GB 内存，其余从 SSD 按需流式读取，支持 256K 上下文，解码平均 48.8 t/s（stock 为 28.8）。

    推荐理由：作者实测了 Qwen3.8-Flash-Next 在 24GB 内存下的 SSD 专家流式方案，给出解码速度、预填充和 LiveCodeBench 对照数据。

  2. Reddit · r/LocalLLaMA65

    Lean-QwenFlash：Qwen3.8-Flash-Next（125B）在 16GB 显存加 8GB 内存下跑出约 20 tok/s

    /u/MaxDev0 将 sybil-solutions 的 GLM-5.3 低内存卸载方案移植到更轻量的 Qwen3.8-Flash-Next（125B），通过 NVMe SSD 直接卸载，在 16GB 显存加 8GB 系统内存的 RTX 4090 上实现约 20 tok/s 解码。8k 短上下文为 28–33 tok/s（散文）、19–22 tok/s（代码），prefill 约 1,080 tok/s；262k 满窗口下 20.0 tok/s 解码、约 1,627 tok/s prefill；RTX 3080 Laptop（16GB 显存、32GB 内存）100k 上下文约 18–21 tok/s，峰值显存 15.5GB。现有方案（如 Strata）需把 24k 专家全部驻留约 48–64GB 内存。

    推荐理由：作者把 GLM 的高效 NVMe 卸载方案移植到 Qwen3.8-Flash-Next，给出多档显存和上下文下的实测速度数据，可复现。

  3. GitHub · 灵魂体仓库32

    Codebud：基于 Ollama + Qwen2.5-Coder 的本地 Cursor 风格编码智能体

    Codebud 是一个本地运行的编码智能体，用 Ollama + Qwen2.5-Coder 把自然语言请求转成可执行计划，数据不离开本机，推荐模型为 qwen2.5-coder:3b-instruct-q4_K_M。项目提供 GNU 标准 Makefile 构建、`codebud doctor` 环境检查、Texinfo 手册及可注册的 OpenClaw skill（支持浏览器 UI）。代码以 GPL-3.0-or-later 许可开源。

  4. Reddit · r/LocalLLaMA54

    ANEMLL Forge 0.2.1 支持 M6 32GB 在 Apple Neural Engine 上运行 Qwen3.8-27B 达 192K 上下文

    ANEMLL Forge 0.2.1 发布，Qwen3.8-27B 在 M6 32GB 的 Neural Engine 上最高可跑 192K 上下文。新增 INT8 K/V cache（为 FP16 一半）并用共享输出 head 的更小 drafter 节省 0.86 GB ANE 内存；decode 依内容为 JSON 35–62 tok/s、code 18–32、prose 10–17，prefill 短上下文 260 tok/s、192K 时 62；作者称 96K 是 32GB 下的甜点位（123 tok/s prefill、约 27 tok/s decode、约 21.4 GB 内存），完整 192K 首次编译约需 2 小时，用 --ctx 只编译所需条目时 16K 从下载到运行约 10 分钟。

  5. GitHub · 3D 生成新仓库38

    Magnetar：面向可移植本地 AI 执行的 Rust 运行时发布 v0.1 基线

    新开源仓库 Magnetar 发布 v0.1 本地运行时基线，这是一个用 Rust 编写的可移植本地 AI 执行运行时，包含 magnetar-runtime 和 magnetar-cli 两个 crate。其外部 CUDA Provider 已在真实硬件上通过端到端验证，并支持加载生产级 Qwen 模型工件，实测通过公开下载的 Qwen2.5-0.5B-Instruct checkpoint 在 Reference CPU 与真实 CUDA 硬件上运行。项目另提供 WGPU、ROCm、Metal、NPU、TPU 等外部 Provider 基线，部分仅实现设备发现且尚未在对应硬件上验证，官方说明其还不是通用生产模型运行时。

10月24日周六
  1. GitHub · 3D 生成新仓库42

    CrossWordFalcon：本地运行的多语言填字游戏生成器

    CrossWordFalcon 是一个可从网页生成完整填字游戏的工具，支持法语、英语、德语、西班牙语、意大利语和葡萄牙语，网格尺寸从 5×5 到 50×50，提供三档难度。它由本地小模型自动生成基于真实词典定义的线索，也可选用 Mistral、Claude 等云端模型并自动回退本地。程序 100% 本地运行，支持 CPU 或 GPU（含 Apple Silicon），推荐配置为 8 核、16 GB 内存和 12 GB 显存的 NVIDIA 显卡。

  2. Reddit · r/LocalLLaMA61

    capy-flash v0.7.4 发布：双卡 Qwen3.8 推理引擎的进展与适用边界

    作者发布自研双卡推理引擎 capy-flash v0.7.4，面向两张 RTX 50 系显卡在 Linux 上做张量并行，支持 Qwen3.8-27B 和 Qwen3.8-Flash-Next。在 2× RTX 5070 Ti 上，Flash-Next NVFP4 解码 178 tok/s、64k prefill 4,828 tok/s，对比 Strata 0.1.45 双卡 NVFP4 短提示词约快 1.5 倍、平均约 1.76 倍；27B 双卡 NVFP4 DFlash2 验证解码 379 tok/s。

    推荐理由：作者在同一台机器上给出与 Strata 的逐项对比数据，双卡 NVFP4 场景的提速幅度和适用边界都写得很具体。

  3. GitHub · 3D 生成新仓库43

    mini-deepinfer：面向 Ascend 910C 的教学推理引擎开源发布

    AkiYangDev 开源 mini-deepinfer，一个参考 DeepInfer 设计、面向 Ascend 910C 的教学推理引擎，已在 Ascend 910C 上用项目自身前向计算跑通 Qwen3.5-2B 文本生成，教程共十四课。v0.2 把跨轮执行接到文本生成入口，v0.3 开发版新增可控 greedy 投机实验。验证包括短上下文数值与状态处理，跨轮分块九轮十四组 logits 最大差约 2.67e-5，项目采用 Apache-2.0 许可证，与 DeepSeek、SGLang 及华为无官方隶属关系。

  5. GitHub · 灵魂体仓库30

    GBT小土豆V8-Commander：把"指挥"练进权重的 7.6B 中文总指挥模型

    GBTxiaotudouV8-Commander 是一个 7.6B 中文「总指挥」模型，可将请求路由到 341 位能力（30 域），写盘/花钱/出网等动作需人工发票授权。其 335 题基准两轮 PASS 率 99.10%/98.51%，341 位逐位真跑 340 通过/0 失败。项目提供零依赖的 `python demo.py` 演示、含 40 骨 GLB 与 2 万触手 3D 预览的硬件资产，以及可审计的单门 runtime 和 PWA 手机版。

10月23日周五
  1. Reddit · r/LocalLLaMA23

    Swift-1.5 QFN IQ2_XXS（64k 上下文）对比 Swift-1.5 27B Q4_K_L（llama.cpp，128k 上下文）

    Reddit r/LocalLLaMA 用户对比 ukisai 的 Swift-1.5-Qwen3.8-Flash-Next（IQ2_XXS、64k 上下文、Strata）与 Swift-1.5-Qwen3.8-27B（Q4_K_L、128k 上下文、llama.cpp）。Flash-Next 在 medium 推理档位下反复空转思考、刷工具调用而不写代码，关掉推理也一样；27B 几分钟后就开始写修复。作者怀疑与 64k 上下文压缩、低量化或 Qwen Flash Next 本身有关。

  2. GitHub · 去对齐工具与仓库41

    personal-ai：基于 LangGraph 的本地多智能体全栈代码生成项目

    GitHub 开源项目 personal-ai 使用 LangGraph 1.2.10 与本地 LLM（Ollama + Qwen2.5-Coder 14B、BGE-M3 嵌入）构建 PM/DB/Backend/Frontend/Review 多智能体流水线，从需求分析生成 Spring Boot 3、React/TypeScript 产物并以 Markdown 保存。系统将 Domain RAG 与 Project Context 分离以复用已有实现，目前为只读代码生成，尚不支持自动应用文件或构建部署。

  3. GitHub · 灵魂体仓库26

    cookbook-rag：基于 Ollama 本地 LLM 的食谱 RAG 检索系统

    GitHub 开源项目 cookbook-rag 提供了一套基于本地 LLM 的 RAG 系统，可上传 PDF 食谱并通过自然语言检索，返回 AI 生成的答案。系统默认使用 Ollama 运行 qwen3:4b 模型和 nomic-embed-text 嵌入模型，配合 ChromaDB 向量数据库与 FastAPI 提供 /add-document 和 /search 接口。文本切分采用 LangChain 的 RecursiveCharacterTextSplitter（约 1800 字符、200 重叠），可通过 MODEL_NAME 等环境变量切换模型，应用端口为 8080。

  4. GitHub · 去对齐工具与仓库56

    Rust 从零实现的 LLM 推理服务器 denno-beta 开源，兼容 Anthropic Messages API

    ahinore 开源了用 Rust 从零实现的 LLM 推理服务器 denno-beta，推理内核不依赖 candle 等现有库，兼容 Anthropic Messages API，可直接配合官方 Anthropic Python SDK 使用。支持 GPT-2 124M 与 Qwen2.5-0.5B–7B-Instruct、Qwen3-0.6B、Qwen3.5 等模型，默认 CPU 运行，可通过 --features cuda 卸载到手写 CUDA 内核（13,252-token prefill 从 395.8s 降到 12.2s）。

    推荐理由：推理内核完全从零手写并保持精确解码约束，附 CUDA 加速与可视化遥测，适合想从代码理解 LLM 推理全流程的读者。

  5. GitHub · 灵魂体仓库64

    千问杯多模态大赛第3名方案开源：Qwen3.5-0.8B 蒸馏 SFT + GRPO 小剂量 RL 全流水线

    参赛队「广州智行科技」开源千问杯多模态推理大赛最终第3名（获2万元奖金）的完整方案：在 Qwen3.5-0.8B 上先蒸馏 Qwen3.6-27B 的 113K 样本做 SFT（初赛 41.8 分压线晋级），再用 GRPO 30 步小剂量 RL（决赛榜 20.2 分，第 9/20），答辩后终评第 3。仓库公开训练/导出脚本、真实日志与技术报告，权重托管于 Hugging Face；核心发现包括 RL 剂量轴在 30 步达峰、同权重 ZIP CRC 消融证明采样解码白送约 3 分、0.8B 模型 RL 池内学习量与平台分强反相关。

    推荐理由：作者用同权重 CRC 消融和剂量轴实验分离出每个增量的因果证据，0.8B 小模型 RL 剂量与遗忘的权衡刻画对类似场景可迁移。

  6. Reddit · r/LocalLLaMA60

    两台 £300 骁龙迷你主机实测：ToRc 引擎跑 Qwen3.6 35B A3B 达 315/43 tok/s

    作者用两台 £299.99 的 Lenovo IdeaCentre Mini（Snapdragon X X1-26-100，32GB LPDDR5，无 GPU）以 USB4 相连，实测 llama.cpp、Janas 和自研 ToRc 引擎跑量化模型的读写速度。统一测试负载下，ToRc 双机跑 Qwen3.6 35B A3B Q4_0 达 315/43.3 tok/s（读/写），编码对话 59.6 tok/s；95GB 的 Qwen3.8 Flash Next IQ4_NL 靠 NVMe 流式读取专家权重，双机达 46.2/20.3 tok/s。MTP 加速依赖文本类型，代码任务普遍提速而 Alice 散文上 llama.cpp 反而变慢。整套方案约 £600、负载功耗各约 35W，ToRc 引擎尚未发布。

    推荐理由：作者在两台 300 英镑的骁龙迷你主机上实测多款推理引擎跑 Qwen 大量化模型的读写速度，并给出统一测试负载和完整数据。

10月22日周四
  1. Reddit · r/LocalLLaMA69

    Kapitsa 0.2.7 实测 2021 款 M1 Pro 16GB 跑 Qwen3.5 与 Nemotron 编码速度

    Kapitsa 贡献者 Ye 发布 0.2.7 版本，针对老款 Apple Silicon 芯片优化，并在 2021 款 MacBook Pro 14（M1 Pro、16GB）上对六个模型做了与同机最快竞品引擎的基准对比。Qwen3.5 4B/9B 解码达 97.2/56.8 tok/s，分别为 mlx-serve 的 1.56×/1.52×；Qwen3.6 35B-A3B 2-bit 达 52.2 tok/s，解码 1.21-1.35× llama.cpp；六个模型峰值内存均低于对手，Dory 4B 为 4.4 vs 11.5 GB。Nemotron Dory 4B 长上下文解码被 mlx-lm 反超，作者已开 issue 跟进。

    推荐理由：作者给出六个模型在 16GB M1 Pro 上与最快竞品的逐项对比数据，含长上下文衰减和内存占用，可复现可查证。

  2. Reddit · r/LocalLLaMA19

    oMLX 在 M4 MAX 上多智能体并发请求降速，Max Concurrent Requests 设为 1 可缓解

    一位用户在 M4 MAX 上用 oMLX 运行 `Qwen 3.8 Flash Next oq4e-mtp` 时发现，单任务可达 50/60 t/s，多智能体并发时速度骤降至 20 t/s，且缓存失效导致大量 prefill、GPU 利用率异常。将 Max Concurrent Requests 设为 1 可在多数场景下借助缓存减少 prefill，作者仍在寻求跑满 GPU 的优化方案。

  3. GitHub · 去对齐工具与仓库26

    Benarbiaa/email-extraction-qlora：用 QLoRA 微调 Qwen3-4B-Instruct-2507 从 HR 邮件抽取 JSON

    该开源项目用 QLoRA 微调 Qwen3-4B-Instruct-2507（Apache 2.0），将法语/英语/混用的招聘邮件转换为经 schema 校验的 JSON，并与同款基座模型的 zero-shot 和 few-shot 表现在人工核验的 200 条测试集上对比。训练数据为 LLM 生成的合成数据，微调模型使用单行指令以避免超出 1024-token 预算，其部分延迟优势来自更短的提示词。项目尚处进行中（Day 1），备选模型为 Qwen3-1.7B。

  5. GitHub · 去对齐工具与仓库22

    Esxyko 开源 llm-classification-finetuning：基于 Qwen3-4B 的 LLM 成对分类微调工具库

    Esxyko 在 GitHub 发布 llm-classification-finetuning 项目，用于 Kaggle LLM Classification Finetuning 竞赛，比较两个模型对同一提示词的回答并预测 A 胜、B 胜或平局。项目支持冻结 Qwen3-4B 主干加可训练成对分类器，以及 LoRA 和 4-bit NF4 QLoRA 训练，提供防泄漏的 80/20 分层划分、holdout 验证和混淆矩阵报告。训练需 1 块 CUDA GPU，提交推理需 2 块。

  6. GitHub · 灵魂体仓库34

    joyjeni 开源 arc-agi2-hybrid-solver：三层混合架构冲击 ARC-Prize-2026 竞赛

    GitHub 仓库 joyjeni/arc-agi2-hybrid-solver 发布面向 ARC-Prize-2026 的三层混合 ARC-AGI-2 求解器，目标 LB 35–45%。方案由 Tier-1 的 18 个确定性规则求解器、Tier-2 的 LLM 程序合成（Qwen3-4B 微调模型写 Python，最多重试 3 次）、Tier-3 的 8 提示词多数投票 Chakra Ensemble 组成，模型 qwen3_4b_grids15_sft139 以 4-bit 加载于 Kaggle GPU。与 NVARC 的 test-time training 不同，该流水线不做 LoRA 适配，代码以 MIT 协议开源。

10月21日周三
  1. Reddit · r/LocalLLaMA65

    作者用双 4090 + sglang 跑 Qwen3.6-35B-A3B 做 GitLab 代码审查并开源

    作者开源了一个基于 LangGraph.js 的 GitLab 代码审查 agent，用 sglang 在两块 4090（PCIe、TP=2）上跑 Qwen3.6-35B-A3B（QuantTrio AWQ 4-bit）。单流解码约 180 tok/s（~50k 上下文）、prefill 9-10k tok/s，8 并发共 985 tok/s；单次审查平均 26 次 LLM 调用、2.3M tokens，已累计 1300+ 次审查，约 70% 的评论被作者采纳解决，约 7% 的运行因模型自我循环而终止。

    推荐理由：作者给出双 4090 跑 Qwen3.6-35B-A3B 做代码审查的完整吞吐数据和 1300+ 次实测结果，可复用到自己的本地部署。

  2. GitHub · 灵魂体仓库39

    date-buffet-llm：本地 LLM 加持的双向条件匹配相亲测试应用

    GitHub 开源项目 date-buffet-llm 是一个无需后端的相亲匹配测试应用，基于 React + Vite + TypeScript，用 localStorage 和 50 名 seed 固定的虚拟人物运行，可切换 Supabase 实现真实用户匹配。推荐卡片内置"AI 설명 보기"功能，调用本地 Ollama 的 qwen2.5:3b 用 2-3 句解释匹配理由并推荐开场消息，单条生成 12-25 秒，通过 JSON schema 强制输出、temperature 0.2 和抄袭/事实检测保证质量。项目附带公平性测试（npm run simulate），TOP 10 基准下年龄、性别、地区指标均通过，TOP 5 地区指标未达标。

  4. Reddit · r/LocalLLaMA18

    2x5090 + 128GB 内存下用 vLLM 部署 Qwen3.8 Flash Next 的最佳配置讨论

    一位 Reddit r/LocalLLaMA 用户在 2x5090 + 128GB 内存的本地环境运行 Qwen3.8-27B 做智能体编程，称 vLLM 是唯一不破坏 KV cache 且能高效利用的框架，目前使用 Minachist 的 Qwen3.8-27B-INT6-Mixed-AutoRound 量化版本。他考虑改用 Flash Next，但未找到针对 2x5090 + vLLM 的平衡配置方案，向社区征求部署经验。

  5. Reddit · r/LocalLLaMA68

    Kapitsa 0.2 发布 KFlash 投机解码，并实测对比 Apple Silicon 多款推理引擎

    Kapitsa 开发者发布 0.2 版，引入新投机解码方法 KFlash，并在 MacBook Pro M4 Pro 48GB 与 M1 Pro 16GB 上对比多款引擎的解码速度。Qwen3.8 27B 4-bit 下 Kapitsa 0.2 KFlash 达 63 tok/s，Inco Splash 1.4.0 DFlash2 为 53 tok/s；Qwen3.6 35B-A3B 上两者分别为 161 和 135 tok/s。KFlash 在同一遍检查中用 best-first 树检查草稿候选，而非单链遇错即停。作者提供 kapitsa bench 供用户自测并提交结果，Splash 需 M3 或更新芯片，Kapitsa 支持 M1 至 M6。

    推荐理由：作者给出两代 Mac 上多引擎的实测数据，并解释了 KFlash 与 DFlash2 在投机解码检查方式上的差异，便于读者对照自己的机型。

  6. Reddit · r/LocalLLaMA30

    Reddit 用户实测：Unsloth 3bit Qwen 3.8 Flash Next 在 CachyOS + STRATA 下速度从 9t/s 提升至 48t/s

    一位 Reddit r/LocalLLaMA 用户在 8GB 显存的本地设备上运行 Unsloth 3bit Qwen 3.8 Flash Next，原速仅 9t/s；改用 CachyOS 与 STRATA（自带 NVIDIA 驱动）后峰值达 48t/s，平均约 30t/s。上下文长度最高跑到 42k，距 OOM 仅差约 130MB VRAM，64k 因显存不足无法实现，作者称其体验接近本地版 Claude。

  7. GitHub · 3D 生成新仓库16

    Lolite OS（GitHub 仓库）更新：网页桌面系统新增语音通话、Life RP 玩法与游戏商店

    Lolite OS 是一个可部署在 GitHub Pages 或 Vercel 的浏览器桌面系统，提供应用、游戏、文件与深紫蓝界面。本次更新为 Lolite Chat 加入基于 WebRTC 与 Supabase 的可见语音通话标签、语音房间、桌面通知和已读回执；Life RP 新增 12 条故事任务、28 天 18 级赛季、6 个玩家商店与 18 种商品，以及 Lolite Plus（4,500 虚拟币）和 Lolite Pro（12,500 虚拟币）等纯游戏内升级。GitHub Pages 版仅为静态预览，Vercel 版的 service worker 在浏览器测试中失败，仓库已提供 Dockerfile 和 render.yaml 用于自托管代理后端。