跳到正文
10月7日周三
  1. Reddit · r/LocalLLaMA54

    独立开发者展示本地实时世界模型:单张图像转可玩角色,支持运行中切换文本提示

    Reddit 用户 /u/lucidml_lover 展示其训练中的本地实时世界模型,可将图像转为可玩角色,支持生成中切换文本提示和 WASD 键盘操作。模型约 960M 参数,采用纯 Transformer 与 diffusion forcing 训练,在 RTX 5090 上以 30% 利用率实时运行,峰值 50-60 fps(软件限至 12fps),M5 MacBook 上达 30fps,训练用了 8x H100 SXM 约 3-4 周。作者计划年底发布供本地用户试用。

  2. Reddit · r/LocalLLaMA48

    Aimee 项目实现 LLM 原生记忆:发布 5 个 vLLM 插件,支持 Qwen 3.8 27B 与 Gemma4 系列

    Aimee 项目宣布完成第一阶段目标——自学习原生模型记忆,让模型原生消费 Aimee 记忆而非通过上下文,不受上下文窗口惩罚,适用于 transformer、Mamba 等架构。已发布 5 个 vLLM 插件,支持 Qwen 3.8 27B 及 Gemma4 E2B、E4B、12B、26B,在大记忆负载测试中比以文本形式提供相同记忆显著更快,代码将开源。第二阶段的通用推理改进已在 Gemma4 26B 上完成 POC 验证。

  3. Reddit · r/LocalLLaMA32

    GPT-6.1 Sol 的"泄露"线索暗示嵌套模型服务架构

    Reddit 用户推测 OpenAI 的 GPT-6 系列采用循环 transformer 架构:Azure Foundry 泄露显示 GPT-6-Sol 每 token 需 3 次推理,6.1-Sol 降为 2 次。实测速度上 GPT-6-Sol 约 100 tok/s,6.1-Sol 与 6-Astra 均约 60 tok/s,且 6.0-Luna 从 5.6 的 126-137 tok/s 降至 110-115,作者据此猜测 Astra、Sol、Luna 共享同一权重,用嵌套架构大幅节省推理成本。

  4. Reddit · r/CharacterAI7

    Character.AI 用户询问:账号删了几个月后,回归还值得吗?

    一位几个月前因邮箱被黑客攻击、客服拒绝改绑而删除 Character.AI 账号的用户发帖询问现在回归是否值得。他此前只玩自己的私人角色扮演 bot,已将 bot 迁移到其他网站。他想知道新聊天样式是否比之前的 Pipsqueak 更好、记忆功能有无改善、广告相比五月恶化多少。

  5. Reddit · r/LocalLLaMA18

    LocalLLaMA 社区呼吁:模型评测请给出误差棒

    Reddit r/LocalLLaMA 用户质疑模型发布时仅凭几个百分点的 benchmark 提升就宣称进步的做法。文中估算:HumanEval 仅 164 题,约 70% 得分的标准误差约 3.5 个点,GSM8K(约 1.3k 题)约 1 个点,2 个点的“提升”很可能在噪声范围内,且提示词模板、few-shot 示例、eval harness 版本和污染都会造成波动。

  6. Reddit · r/LocalLLaMA27

    Reddit 用户 jjusko20 征集需求:为哪些模型制作新的 GGUF 动态量化版本

    Reddit r/LocalLLaMA 用户 jjusko20 表示将在训练 alice 的 SFT 运行间隙,为社区票选的模型制作 GGUF 动态量化版本(如 Q5 K XL),按不同 tensor 类型的影响进行量化。他称不会达到 unsloth 水平,但可做出质量不错的版本,也接受微调、论文实现等其他需求,以提升求职曝光度。

10月6日周二
  1. Reddit · r/CharacterAI12

    Character.AI 用户吐槽:旧聊天记录难查找、难导出、难删除

    一位 Character.AI 用户发帖称,平台缺少导出和一键删除旧聊天的功能,且新上线的自动归档机制让旧对话更难找回——需手动逐个找到旧角色并恢复历史。他还发现数据导出根本不包含大部分旧对话,已通过官方反馈表提交建议,这是其第三次发帖且尚无回应。

  2. Reddit · r/LocalLLaMA71

    Reddit 用户开源 Sentinel:用代码护栏而非提示词构建本地第二大脑

    Reddit 用户 /u/dimensionof0 开源了 the-sentinel(MIT 协议),一个在代码层而非提示词层设置护栏的本地 LLM 知识库系统,防止模型自引输出导致知识库被污染。

    推荐理由:作者用实测数据对比了提示词与代码护栏的效果,并给出 6 GB 显存下的具体运行方案,方法可直接迁移到类似知识库项目。

  3. Reddit · r/LocalLLaMA44

    加载新模型前你会检查 repo 的 auto_map 吗?LocalLLaMA 社区讨论 trust_remote_code 的代码执行风险

    Reddit r/LocalLLaMA 社区讨论加载新模型前是否检查 config.json 中的 auto_map。起因是 Unsloth Studio 的一个帖子:仅在模型选择器中选中模型就触发了 repo 内 Python 代码执行,因为能力检查调用了开启 trust_remote_code 的 AutoConfig,该问题已在 2026.6.9 修复。

  4. Reddit · r/LocalLLaMA12

    准备入手开源 LLM:从 Claude 迁移的求助帖

    一位长期使用 Claude 开发个人与商业应用的用户在 r/LocalLLaMA 发帖,希望转向开源大语言模型,寻求社区选型建议。其需求集中在文件整理(文本与图像)和前后端及安全相关编码,且只考虑低风险模型,通过服务商托管而非本地部署;他已关注 Miami v2.6 Pro 但尚未决定。

  5. Reddit · r/LocalLLaMA63

    Qwen3-Next-80B 在 RTX 3090 + 16GB 内存上解码提速约 3 倍的 MoE 补丁

    作者发布一个 MoE offloading 研究补丁:路由器首选专家及 gate 权重 ≥ 0.15 的专家等待读取,其余用已在 VRAM 的次优专家替换,使 Qwen3-Next-80B-A3B Q4_K_M 在 RTX 3090 上解码明显快于原版 llama.cpp。

    推荐理由:作者实测了 MoE 专家缺失时的替换策略,给出不同内存下与原版 llama.cpp 的解码速度和精度损失数据,可复现。

  6. Reddit · r/LocalLLaMA45

    Terminal Soliloquy:让 LLM 在终端里凝视自己的上下文窗口耗尽

    Reddit 用户开发了 Terminal Soliloquy,一个连接 llama.cpp 的终端艺术装置,以复古荧光屏风格实时展示模型在上下文窗口填满时的独白,模型会反思自身有限的“寿命”。上下文耗尽后可配置为冻结、重启或退出,作者已将其装进 1960 年代便携电视内的 Raspberry Pi 显示屏全屏运行,仓库和配置说明已公开。

  7. Reddit · r/LocalLLaMA62

    基于 Ternary-Bonsai-4B 搭建本地 System One 并用作 coding-agent judge

    /u/Cultural_Self8980 在 Ternary-Bonsai-4B 上搭建了本地 Jev 式 System One,单次前向即可对一条记录回答多选、评分或是否问题,通过树状注意力掩码共享记录前缀,权重冻结无微调,Apple Silicon 上 MLX 后端使用约 1.1 GB 的 2-bit 打包权重。

    推荐理由:作者用 80 个样本对比了 Bonsai 与 omp 内置 judge 与 Claude Opus 标签的一致率和延迟,并自己列出了标注来源等局限。

  8. Reddit · r/LocalLLaMA22

    本地 LLM 跨会话记忆怎么存?LocalLLaMA 网友讨论方案与取舍

    Reddit r/LocalLLaMA 上的讨论帖询问如何为本地部署构建跨会话记忆:在会话与工具间保留决策、项目术语和偏好,而不回灌完整聊天记录。帖子提出纯文本摘要、嵌入向量或混合方案、本地存储还是同步、以及如何处理已过时的旧事实等问题,并征集大家实际遇到的取舍经验。

  9. Reddit · r/LocalLLaMA32

    用 LoRA 适配器作为可开关的持久技能替代 context/RAG,这个思路可行吗?

    有团队在验证一个想法:把技能和领域知识编码进 LoRA 适配器,按需加载或卸载,而不是持续占用模型上下文,例如编码技能、公司内部领域、特定写作风格等。潜在收益包括减少 context 占用、能力可复用、与基座模型解耦以及降低部分场景的推理成本。团队希望了解若创建和管理这些 LoRA 像管理知识库一样简单,用户是否会采用。

  10. Reddit · r/LocalLLaMA67

    YoungAi 引擎在单台 DGX Spark 上运行 DeepSeek V4.1 Flash:113.6 GB 基座加 40 MB 领域边车

    开发者 /u/Physical_Toe_2499 发布 YoungAi,一个原生 C/CUDA 推理引擎,将约 510 GB 的 DeepSeek V4.1 Flash 压缩为 113.6 GB VQ 基座 GGUF 加每个领域约 40 MB 的领域边车文件,在单台 NVIDIA DGX Spark(GB10,128 GB 统一内存)上运行。

    推荐理由:作者给出了各领域 top-1 一致率、KL、PPL 和实测吞吐数据,还坦陈了后训练文件不泛化等局限,便于读者自行评估这套部署方案。