跳到正文
10月7日周三
  1. Reddit · r/LocalLLaMA48

    Aimee 项目实现 LLM 原生记忆:发布 5 个 vLLM 插件,支持 Qwen 3.8 27B 与 Gemma4 系列

    Aimee 项目宣布完成第一阶段目标——自学习原生模型记忆,让模型原生消费 Aimee 记忆而非通过上下文,不受上下文窗口惩罚,适用于 transformer、Mamba 等架构。已发布 5 个 vLLM 插件,支持 Qwen 3.8 27B 及 Gemma4 E2B、E4B、12B、26B,在大记忆负载测试中比以文本形式提供相同记忆显著更快,代码将开源。第二阶段的通用推理改进已在 Gemma4 26B 上完成 POC 验证。

  2. Reddit · r/LocalLLaMA60

    Qwen 3.8 27B 在 16GB RTX 5080 上用 NInfer 跑出约 96t/s 解码、110k 上下文

    /u/Kernoriordan 在 16GB RTX 5080 上用 NInfer v1.5(Ubuntu 24.04 经 WSL2)运行 Qwen 3.8 27B,分配 110,592 上下文,编码任务实测中位解码 96.45t/s(最低 84.6、最高 131.7),中位首 token 时间 1.4 秒。

    推荐理由:作者给出 32 次真实编码请求的解码速度、TTFT 和显存占用数据,可复现的启动参数对 16GB 显卡本地部署有直接参考。

  3. GitHub · 去对齐工具与仓库36

    Custos:Bitget 股票 rToken 结构性风险监控工具

    开源项目 Custos 为 Bitget 股票 rToken 提供结构性风险监控,不预测价格方向,而是监测 rToken 包装层自身的流动性压力(spread、top-of-book 流动性、相对自身历史的异常波动)。系统每约 4 小时通过 GitHub Actions 运行,对 10 个 rToken 计算 Health Score,通过确定性门槛后由 LLM 决定卖出至 USDT 或回购。该项目为 Bitget AI Hackathon S2 的 Agentic Trading 赛道打造。

  4. GitHub · 灵魂体仓库68

    colab-code 开源配方:在 Colab GPU 上运行 Qwen3.8-27B 并接入本地 Cline 编码智能体

    mucahitrtn 开源了 colab-code 项目,提供在 Colab GPU 上以 BF16 运行 Qwen3.8-27B、并在本地终端用 Cline 编码智能体读写文件和跑测试的完整配方。

    推荐理由:原文给出了在 Colab GPU 上跑 Qwen3.8-27B BF16 并接本地 Cline 的完整配方和实测记录,适合想复用闲置 GPU 额度的人参考。

  5. GitHub · 去对齐工具与仓库59

    admino 开源:可自托管的隐私优先个人 AI 代理

    ljakupi 在 GitHub 开源 admino,一个可自托管的隐私与安全优先个人 AI 代理,可代读邮件、日历和 Drive 文件,所有操作经模型不可见的隔离权限引擎把关,读操作自由执行、写操作需人工批准、破坏性操作直接拒绝。

    推荐理由:自托管个人 AI 代理,权限引擎对模型不可见且默认拒绝写操作,适合关注数据自主与操作安全的读者参考。

  6. Hugging Face · 新模型:uncensored39

    Qwen-Image-2.1-Uncensored GGUF 量化版本发布,支持本地图像生成

    QUBITABHAY 基于 Qwen/Qwen-Image-2.1 原始权重发布 Uncensored 版 GGUF 量化,提供 BF16、Q8_0、Q6_K、Q4_K_M 等多种格式,其中 Q4_K_M 约 4.60 GB,被推荐为体积与质量的最佳平衡。该版本无内置安全检查器,可直接生成 NSFW 等敏感图像;配套 qwen3vl_8b 文本编码器与 VAE 文件,可在 ComfyUI 中通过 ComfyUI-GGUF 加载,文本编码器卸载到内存可节省 9–17 GB 显存。

10月6日周二
  1. Hugging Face · 新模型:abliterated68

    grimlee 发布 Swift-1.5-Qwen3.8-27B-Abliterated 去对齐版本

    grimlee 在 Hugging Face 发布 ukisai/Swift-1.5-Qwen3.8-27b 的去对齐衍生版本,采用 pos46/FULL/lambda=1.2 的拒绝方向投影,修改 131 个张量。

    推荐理由:原文给出拒绝方向投影方法与成对评测数据,读者可据此判断该去对齐版本在拒绝率与能力保留之间的实际取舍。

  2. GitHub · 去对齐工具与仓库69

    strix-halo-llm 仓库发布 128 GiB AMD Strix Halo 本地 LLM 部署配方与基准

    pepuscz 在 GitHub 发布 strix-halo-llm 仓库,提供面向 128 GiB AMD Ryzen AI Max+ 395 / Radeon 8060S(Strix Halo)主机的合格本地 LLM 部署方案、基准测试和固定的 Ansible 配方。

    推荐理由:仓库给出 Qwen 与 DeepSeek 在 128 GiB Strix Halo 上的实测对比和固定 Ansible 配方,四槽位方案带来 1.96 倍检索提速,可直接复用。

  3. Hugging Face · 新模型:uncensored61

    TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版,ARC-C 达 735

    TopherAU 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的去审查微调版 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF,提供常规与 MTP 两种 NEO imatrix GGUF 量化。

    推荐理由:原文给出 Heretic ARA 消融的拒绝率与 KL 散度前后数据,以及 8bit/4bit 下 ARC-C 等基准对比,可据此评估这个去对齐微调的实际效果。

  4. Reddit · r/LocalLLaMA63

    Qwen3-Next-80B 在 RTX 3090 + 16GB 内存上解码提速约 3 倍的 MoE 补丁

    作者发布一个 MoE offloading 研究补丁:路由器首选专家及 gate 权重 ≥ 0.15 的专家等待读取,其余用已在 VRAM 的次优专家替换,使 Qwen3-Next-80B-A3B Q4_K_M 在 RTX 3090 上解码明显快于原版 llama.cpp。

    推荐理由:作者实测了 MoE 专家缺失时的替换策略,给出不同内存下与原版 llama.cpp 的解码速度和精度损失数据,可复现。

  5. GitHub · 去对齐工具与仓库62

    用 Qwen 2.5 7B Instruct 复现斯坦福监狱实验的开源项目 Cellblock

    作者开源了 Cellblock 项目,在 Qwen 2.5 7B Instruct 上模拟斯坦福监狱实验,48 座模拟监狱中 1/4 的受训看守监狱出现虐待行为,中立组没有整班变严酷的情况,但 3 对 12 的监狱层面差异未达显著(Fisher p = 0.22)。

    推荐理由:作者用种子配对和预注册设计控制了变量,读者可以看到实验方法、全部数据和已知局限,便于自行复现或检验。

  6. Reddit · r/LocalLLaMA58

    作者用免费 Kaggle T4 微调 Qwen2.5-Coder-1.5B 离线审查 Node.js 代码

    作者 /u/jeeva1398 发布了 npm 包 eventa,基于 Qwen2.5-Coder-1.5B-Instruct 做 QLoRA 微调(Unsloth,r=16,2 epochs,Q4_K_M,986 MB),在免费 Kaggle T4 上训练约 9 分钟,可完全离线审查 Node.js 代码。

    推荐理由:作者公开了数据构成、训练配置和保留集评测数字,还写明了微调版变差的一面,读者可以核对这套小模型微调流程。

  7. Reddit · r/LocalLLaMA51

    作者发布本地校对应用 Betty,用 Qwen3.5 4B 离线校对整本小说

    自出版奇幻小说的数据科学家发布了本地校对应用 Betty,用 Qwen3.5 4B 离线校对整本小说,并在五种语言中用植入错误做了测试,目前约 30 名用户。应用采用重叠分块保留上下文,叠加 LanguageTools 与 HunSpell 先筛出拼写错误,让模型专注 There/Their 这类易混用词,并通过类 Tinder 的左右滑动界面让作者确认或拒绝修改建议。

  8. Reddit · r/LocalLLaMA67

    NInfer6000 分支让 Qwen 3.8 Flash Next 在 RTX6000 上达到 400 tok/s 生成与 13K tok/s 预填充

    /u/lkarlslund 发布了面向 RTX6000 96GB 的 NInfer 分支 NInfer6000,在理想条件下对 Qwen 3.8 Flash Next 跑出 400 tok/s 生成与约 13K tok/s 预填充。

    推荐理由:作者给出了从 512 到 256K 多档上下文的 decode 与 prefill 实测数据,可据此评估 RTX6000 上该推理方案的实际收益。

  9. GitHub · 灵魂体仓库66

    ictzft 开源从零手写的轻量推理引擎,KV Cache 加速 6.0×

    作者 ictzft 在 GitHub 开源了一个从零手写的轻量推理引擎,覆盖 KV Cache、两阶段调度和采样全家桶,在 RTX 5070 Ti 上用自训 0.21M 字符级 GPT 和 Qwen3-0.6B(bf16)双平台验证。

    推荐理由:作者用逐位全等和手算对账验证每步优化,KV Cache 与两阶段调度的加速数字都附实测协议,方法可迁移到自研推理引擎。