跳到正文
10月6日周二
  1. GitHub · 去对齐工具与仓库24

    DyT-NoNorm-LLMs-REWILD:用 Dynamic Tanh 替换 LayerNorm 优化 DistilGPT2

    MRROBOT401 开源的 DyT-NoNorm-LLMs-REWILD 项目将 DistilGPT2 中的 LayerNorm 替换为 Dynamic Tanh(DyT),并结合 LoRA 微调。在 RE-WILD、Alpaca 和 ShareGPT 三个基准上的评测显示,该方法带来更快的收敛速度、更好的性能指标和更低的微调资源消耗。项目采用 MIT 许可证发布在 GitHub。

  2. GitHub · 去对齐工具与仓库18

    awesome-open-source-ai-discoveries:一站式免费开源 AI 工具合集

    GitHub 上的 awesome-open-source-ai-discoveries 项目汇总了数十个免费开源 AI 工具,覆盖 3D 重建、图像生成与上色、视频补帧、音乐作曲与人声分离、语音克隆与转写、文档摘要等场景。每个项目附实用示例,并注明系统要求、处理时间、质量预期与已知问题,帮助用户按自身设备条件快速选型。

  3. Reddit · r/LocalLLaMA63

    Jeff v1.3 发布:Jeff-Code 让 Qwen 3.8-27B 完成编码任务平均提速 47%

    Jeff v1.3 发布,其中 Jeff-Code 是 Pi(MIT 协议)的分支,内置两个为 Qwen 3.8-27B 训练的 Jeff v1.3 适配器,让一个小型决策模型深入 agent 循环决定何时触发思考。

    推荐理由:原文给出按任务配对的对照数据和置信区间,读者可以据此判断这个决策模型方案在哪些基准上真正省时。

  4. Reddit · r/LocalLLaMA58

    Cactus 发布 16.9MB 语音识别模型 Whistle,体积为 Whisper base 的 1/9

    Cactus Compute 发布面向超小型设备的语音识别模型 Whistle,文件仅 16.9MB,官方称多数场景优于 Whisper base,且体积小 9 倍、速度快 6 倍。

    推荐理由:原文给出了与 Whisper base 在 LibriSpeech、FLEURS 等基准上的 WER 对比数据,可据此评估小体积语音识别模型的实际精度。

10月5日周一
  1. Reddit · r/LocalLLaMA73

    Qwen3.8-Flash-Next (125B) 量化权重与 Kyojin 引擎发布,单台 Strix Halo 迷你主机跑出 44-59 tok/s

    Yamz Labs 发布了 Qwen3.8-Flash-Next(125B MoE,6B 激活)的 95 GB EXL3 量化权重和自研推理引擎 Kyojin 新版本(基于 ExLlamaV3,开放源码),可在单台 AMD Strix Halo 迷你主机(Ryzen AI Max+ 395,128 GB)上运行。

    推荐理由:作者给出了与 FP8 原模型的 top-1 一致率以及和 Halogen、llama.cpp 的同机对比数据,可据此评估这套量化方案的实际取舍。

  2. Reddit · r/LocalLLaMA58

    本科生发布自研 4-bit Qwen2.5 量化模型,fp16 精度保持优于官方 AWQ

    一位本科生在 Claude 辅助下开发了一个 GPTQ 量化器,在 Qwen2.5-1.5B 和 7B 上产出 4-bit 权重,由 M. Federico 在 NVIDIA A10G 上用独立脚本复现结果。

    推荐理由:作者给出自建 GPTQ 量化器的具体改进点,并附 fp16 与官方 AWQ 的困惑度和 HumanEval 对照数据,还坦陈了局限。

  3. GitHub · 灵魂体仓库71

    dawnr v5 发布:带七重数学证明的本地编程助手

    trestoncuzzort 发布 dawnr v5,一个基于 Qwen3.5-4B 微调的本地助手,程序答案由 Dafny、Verus、SPARK、Frama-C、Lean 4、Rocq、F* 七个证明器验证后才输出,否则明确拒绝。

    推荐理由:原文不仅给出发布,还附完整实测数字、三次当日勘误和各模型对照表,读者可据此核验每个结论的来源。

  4. Hugging Face · 趋势模型57

    speridlabs 发布 3B 像素空间扩散模型 Iris-3B

    speridlabs 在 Hugging Face 发布 3B 参数的像素空间扩散 Transformer 模型 Iris-3B,不经过 VAE 和潜空间,直接输出每个像素,文生图默认 1024×1024,需 NVIDIA GPU,采用 Apache License 2.0,文本编码器为冻结的 Qwen3-VL-4B-Instruct。

    推荐理由:原文同时给出架构细节、训练步数与 depth、修复任务的量化指标,可作为像素空间生成路线的参考样本。

  5. GitHub · 去对齐工具与仓库62

    PersonaliAI 开源客服系统 Chatty,可自托管并内置语音 Agent 与 MCP 服务器

    PersonaliAI 在 GitHub 开源了 Chatty,一个可自托管的 Zendesk/Intercom 替代品,包含嵌入式聊天组件、基于 LiveKit 的实时语音 Agent 和 55 个工具的 MCP 服务器,支持 RAG 知识库与 WhatsApp/Slack 渠道。

    推荐理由:原文给出完整的自托管部署步骤、环境变量说明与基于自家知识库的 RAG 实现,读者可以直接照着在自己的主机上复现整套客服系统。

  6. Hugging Face · 趋势模型34

    Perplexity AI 发布 pplx-decider-v1.1-27b,Decision Index 升至 61.56

    Perplexity AI 发布 pplx-decider-v1.1-27b,基于同一 Qwen3.8-27B 骨干,Decision Index 总分从 56.4 提升至 61.56,领先 Jev 超过 3.5 分。提升主要来自移除因果掩码及引入 tasksource 等更多训练数据。模型为私有仓库,需 Python 3.12+ 与约 49 GiB 显存,图像决策默认上限 2048×2048 像素,训练与评测时上限为 512×512。

  7. Hugging Face · 新模型:abliterated24

    Hugging Face 新模型:zkhapo-abliterated-v2

    用户 zkhapo 在 Hugging Face Hub 上推送了 abliterated 模型 zkhapo/zkhapo-abliterated-v2,基于 🤗 transformers 自动生成的模型卡。卡片目前缺少模型类型、许可证、训练数据、基座模型等关键信息,仅提示用户注意模型的风险、偏见与局限,更多细节待补充。

  8. Hugging Face · 趋势模型67

    AutoTrust 开放 GEV-26B-Decide 决策模型权重,基于 Gemma-4-26B-A4B-it 加决策头

    AutoTrust AI 在 Hugging Face 开放 GEV-26B-Decide 权重,基于 Gemma-4-26B-A4B-it(26B 参数、每 token 约 4B 激活)。

    推荐理由:作者公布了自适应思考的触发阈值、混合方式和各基准前后对比,读者可以据此评估该决策头在推理与分类任务上的取舍。

  9. Hugging Face · 趋势模型76

    autotrust 发布 JEV-27B-VL:为 JEV-27B 增加图像输入的视觉决策模型

    autotrust 在 Hugging Face 发布 JEV-27B-VL,在 JEV-27B 基础上加入视觉能力,权重基于未修改的 Qwen3.8-27B(Apache-2.0),附 JEV System 1 适配器与决策头。

    推荐理由:发布页附上了机器人臂、浏览器操作和多个评测基准的实测数据与对比表,读者可据此评估该视觉决策模型的真实水平。

  10. Hugging Face · 趋势模型65

    Liquid AI 发布基于 LFM2.5-VL-3B 的决策模型 d1-3B

    Liquid AI 发布 3.1B 参数的多模态决策模型 d1-3B,基于 LFM2.5-VL-3B 后训练,对状态(文本、JSON 或图片)中的一组问题一次前向返回带置信度的类型化答案,零输出 token。Decision Index 0.2.1 得分 48.57,高于所有 4B 和 9B 模型及 Decider 35B-A3B(47.11);RTX 4090 上单次决策 8 ms,AMD MI325X 上打包 64 个状态吞吐达 1,106/s。它不是聊天模型,适用于路由、分类、审核、reranking、LLM-as-a-judge 等场景。模型卡:https://huggingface.co/LiquidAI/d1-3B

    推荐理由:官方给出了完整基准表和各硬件实测延迟,读者可以据此判断这个 3B 决策模型在自己的部署场景里是否划算。

  11. Reddit · r/LocalLLaMA62

    DecisionTune 1.0 发布:395M 决策模型可离线从给定选项中挑选,MLX 上约 10 毫秒完成短决策

    作者 /u/Abe238 发布 DecisionTune 1.0,一个基于 ModernBERT-large 加 4 KB 评分头的 395M 决策模型(Apache-2.0),输入状态、问题和选项列表后单次编码即输出各选项概率或 yes/no 的 P(yes),不生成文本。

    推荐理由:作者给出了自家机器上的延迟、显存和 Decision Index 分数等实测数字,便于评估是否将其嵌入本地 Agent 决策环节。