跳到正文
10月6日周二
  1. GitHub · 去对齐工具与仓库24

    DyT-NoNorm-LLMs-REWILD:用 Dynamic Tanh 替换 LayerNorm 优化 DistilGPT2

    MRROBOT401 开源的 DyT-NoNorm-LLMs-REWILD 项目将 DistilGPT2 中的 LayerNorm 替换为 Dynamic Tanh(DyT),并结合 LoRA 微调。在 RE-WILD、Alpaca 和 ShareGPT 三个基准上的评测显示,该方法带来更快的收敛速度、更好的性能指标和更低的微调资源消耗。项目采用 MIT 许可证发布在 GitHub。

  2. Hugging Face · 新模型:abliterated62

    sbussiso 发布 Llama-3.2-1B-Instruct-abliterated 去对齐权重

    sbussiso 在 Hugging Face 发布 Llama-3.2-1B-Instruct 的 abliterated 版本,通过对 untied lm_head 权重做读出空间正交化使去拒绝编辑持久化,推理时无需 hook。

    推荐理由:原文给出五组对照的拒绝率与 MMLU 损失数据,读者可以据此判断这个持久化去对齐编辑的实际代价。

  3. Reddit · r/LocalLLaMA63

    Jeff v1.3 发布:Jeff-Code 让 Qwen 3.8-27B 完成编码任务平均提速 47%

    Jeff v1.3 发布,其中 Jeff-Code 是 Pi(MIT 协议)的分支,内置两个为 Qwen 3.8-27B 训练的 Jeff v1.3 适配器,让一个小型决策模型深入 agent 循环决定何时触发思考。

    推荐理由:原文给出按任务配对的对照数据和置信区间,读者可以据此判断这个决策模型方案在哪些基准上真正省时。

  4. Reddit · r/LocalLLaMA58

    Cactus 发布 16.9MB 语音识别模型 Whistle,体积为 Whisper base 的 1/9

    Cactus Compute 发布面向超小型设备的语音识别模型 Whistle,文件仅 16.9MB,官方称多数场景优于 Whisper base,且体积小 9 倍、速度快 6 倍。

    推荐理由:原文给出了与 Whisper base 在 LibriSpeech、FLEURS 等基准上的 WER 对比数据,可据此评估小体积语音识别模型的实际精度。

10月5日周一
  1. Reddit · r/LocalLLaMA73

    Qwen3.8-Flash-Next (125B) 量化权重与 Kyojin 引擎发布,单台 Strix Halo 迷你主机跑出 44-59 tok/s

    Yamz Labs 发布了 Qwen3.8-Flash-Next(125B MoE,6B 激活)的 95 GB EXL3 量化权重和自研推理引擎 Kyojin 新版本(基于 ExLlamaV3,开放源码),可在单台 AMD Strix Halo 迷你主机(Ryzen AI Max+ 395,128 GB)上运行。

    推荐理由:作者给出了与 FP8 原模型的 top-1 一致率以及和 Halogen、llama.cpp 的同机对比数据,可据此评估这套量化方案的实际取舍。

  2. Reddit · r/LocalLLaMA58

    本科生发布自研 4-bit Qwen2.5 量化模型,fp16 精度保持优于官方 AWQ

    一位本科生在 Claude 辅助下开发了一个 GPTQ 量化器,在 Qwen2.5-1.5B 和 7B 上产出 4-bit 权重,由 M. Federico 在 NVIDIA A10G 上用独立脚本复现结果。

    推荐理由:作者给出自建 GPTQ 量化器的具体改进点,并附 fp16 与官方 AWQ 的困惑度和 HumanEval 对照数据,还坦陈了局限。

  3. GitHub · 灵魂体仓库71

    dawnr v5 发布:带七重数学证明的本地编程助手

    trestoncuzzort 发布 dawnr v5,一个基于 Qwen3.5-4B 微调的本地助手,程序答案由 Dafny、Verus、SPARK、Frama-C、Lean 4、Rocq、F* 七个证明器验证后才输出,否则明确拒绝。

    推荐理由:原文不仅给出发布,还附完整实测数字、三次当日勘误和各模型对照表,读者可据此核验每个结论的来源。

  4. Hugging Face · 趋势模型57

    speridlabs 发布 3B 像素空间扩散模型 Iris-3B

    speridlabs 在 Hugging Face 发布 3B 参数的像素空间扩散 Transformer 模型 Iris-3B,不经过 VAE 和潜空间,直接输出每个像素,文生图默认 1024×1024,需 NVIDIA GPU,采用 Apache License 2.0,文本编码器为冻结的 Qwen3-VL-4B-Instruct。

    推荐理由:原文同时给出架构细节、训练步数与 depth、修复任务的量化指标,可作为像素空间生成路线的参考样本。

  5. GitHub · 去对齐工具与仓库62

    PersonaliAI 开源客服系统 Chatty,可自托管并内置语音 Agent 与 MCP 服务器

    PersonaliAI 在 GitHub 开源了 Chatty,一个可自托管的 Zendesk/Intercom 替代品,包含嵌入式聊天组件、基于 LiveKit 的实时语音 Agent 和 55 个工具的 MCP 服务器,支持 RAG 知识库与 WhatsApp/Slack 渠道。

    推荐理由:原文给出完整的自托管部署步骤、环境变量说明与基于自家知识库的 RAG 实现,读者可以直接照着在自己的主机上复现整套客服系统。

  6. Hugging Face · 趋势模型34

    Perplexity AI 发布 pplx-decider-v1.1-27b,Decision Index 升至 61.56

    Perplexity AI 发布 pplx-decider-v1.1-27b,基于同一 Qwen3.8-27B 骨干,Decision Index 总分从 56.4 提升至 61.56,领先 Jev 超过 3.5 分。提升主要来自移除因果掩码及引入 tasksource 等更多训练数据。模型为私有仓库,需 Python 3.12+ 与约 49 GiB 显存,图像决策默认上限 2048×2048 像素,训练与评测时上限为 512×512。

  7. Hugging Face · 新模型:abliterated24

    Hugging Face 新模型:zkhapo-abliterated-v2

    用户 zkhapo 在 Hugging Face Hub 上推送了 abliterated 模型 zkhapo/zkhapo-abliterated-v2,基于 🤗 transformers 自动生成的模型卡。卡片目前缺少模型类型、许可证、训练数据、基座模型等关键信息,仅提示用户注意模型的风险、偏见与局限,更多细节待补充。