跳到正文
今天10月26日周一9 条
  1. Reddit · r/LocalLLaMA15

    PolyStrata 如何使用不同的微调模型

    一位 Reddit r/LocalLLaMA 用户询问如何在 PolyStrata 中加载不同的微调模型。直接用 --gguf-dir 时必须声明基座模型架构,且显示的是原始模型名(CyberTiel 的 tiel 架构被显示为 TielCoder);手动改 JSON 和 config 文件虽部分有效,但换用 ./setup.sh 之外的启动脚本会出问题,用户希望找到更干净的自动生成正确名称与配置的方法。

  2. GitHub · 3D 生成新仓库23

    cpp-transformer-core:从零构建的 C++ 代码 decoder-only transformer 训练管线

    GitHub 新仓库 cpp-transformer-core 提供一套从零实现的 decoder-only transformer 训练管线,专注 C++ 源代码,包含自定义 BPE tokenizer、语料收集与清洗脚本、微调与本地推理脚本,训练配置版本化于 configs/training.json。该项目并非通用语言模型,原始数据集与 checkpoint 不纳入版本控制,依赖可通过 pip install -r requirements.txt 安装。

  3. GitHub · 3D 生成新仓库25

    sysofwan 开源 HifzGuide:古兰经跟读校验应用 Muraja 的模型与数据工具库

    sysofwan 在 GitHub 发布 HifzGuide 仓库,为 iOS 实时古兰经跟读校验应用 Muraja 提供数据与工具,采用 AGPL v3.0 许可。预构建资源以 GitHub Releases 分发,包含 6 段 Wav2Vec2-BERT CoreML 模型(6-bit 调色板量化,约 443 MB)、604 个 QCF2 页面字体、约 48 MB 的 quran.db 等。工具链含基于 Muaalem 音素头的 LoRA 微调与 Tadabur 质量过滤流水线,训练环境为 Linux + CUDA,CoreML 导出在 macOS/Apple Silicon 完成。

  4. Reddit · r/LocalLLaMA48

    ThousandML 平台推出 4-bit QLoRA 训练,采用自研 CQ 量化

    开发者推出 ThousandML 平台,用自研免校准量化 CQ 4-bit 做 QLoRA 微调以降低 GPU 成本。在 Qwen3.8-27B 的 Alpaca 微调对比中(单张 NVIDIA A40 48 GB,LoRA r=32、500 步),CQ 最终验证损失 1.0315 优于 Unsloth NF4 的 1.2484,且峰值显存略低,但每步耗时 27.60 s 远慢于 NF4 的 3.20 s,速度仍在优化中。已发布 thousandml/Qwen3.8-27B-CQ-4bit 等多个 CQ 4-bit 底座模型及复现脚本。

  5. Reddit · r/LocalLLaMA28

    如何用确定性 C# ValidationResolver 消除 Qwen2.5-Coder-14B 的 UI 与工作流幻觉

    一位开发者在单张 24GB NVIDIA A10 上本地运行 qwen2.5-coder:14b,实时生成企业表单且无需手写 HTML 或 SQL。模型被锁定在严格 DSL 中,每次输出必须通过确定性 C# ValidationResolver 校验后才能渲染到画布。原始输出与修复后的输出会自动评分并导出为 SFT/DPO .jsonl 数据对,供后续微调使用。

  6. GitHub · 3D 生成新仓库26

    Ruzivo:面向绍纳语的开源多模态对话 AI 系统上线 GitHub

    开发者 Recall T. Mabika 在 GitHub 开源 Ruzivo,一个专为绍纳语(ChiShona)打造的端到端多模态对话 AI 系统,采用 MIT 协议。系统在 4-bit 量化的 1.5B 基座模型上用 QLoRA(r=16, α=32)微调,下一 token 预测准确率从 32.1% 提升至 72.1%;RAG 子系统基于 14,201 句课程教材语料实现零幻觉检索。语音方面 WER 从 78.4% 降至 47.9%,并提供 Android App 与响应式 Web 客户端。

  7. Reddit · r/LocalLLaMA22

    如何用 QLoRA 微调 Qwen3.5-9B 处理约 500 GB 多格式原始数据:一位本地部署用户的求助

    一位 Reddit r/LocalLLaMA 用户用 8x T4 服务器部署 Qwen 3.5-9B Q5_K_XL,实现 87k 上下文、44 个 slot、单用户 35-40 tps,现想用 QLoRA 微调约 500 GB 的图像、扫描件、PDF、Word/Excel 数据。他持有 Mi50、V620、3060 等多块显卡但多台主板存在启动兼容问题,纠结于 3060 组合还是单价约 700 美元的单卡 R9700,并询问 unsloth 是否支持 Intel GPU。

10月25日周日
  1. Reddit · r/LocalLLaMA60

    Lure-TTS 与 Lure-Turbo:600M 语音模型跑出 4 倍实时速度,训练成本不到 $200

    /u/smirkishere 基于 Qwen3-TTS 0.6B 微调出 Lure-TTS 和 Lure-Turbo 两个语音模型,支持内联标签、语音方向控制和音色克隆,训练成本不到 $200。Turbo 的 RTF 为 0.14,对比 5B Fish S2 Pro 的 0.195,同时保持相同说话人相似度(ECAPA 0.699)。作者还发布了 Lure-TTS 推理引擎,基于 faster-qwen3-tts(CUDA)、mlx-audio(Mac)和 audio.cpp(CPU),在 4090 上首音频输出 0.17s(参考代码为 10.6s),整体快约 5 倍(RTF 0.53 vs 2.54),支持流式 0.32s 分块、CUDA graphs 和最多 8 路并发。

    推荐理由:作者公开了训练流程、RTF 与 ECAPA 对比数据和训练代码,可复现的低成本 TTS 微调路线有参考价值。

  2. GitHub · 灵魂体仓库24

    GitHub 仓库 ml-engineering-lab:全流程机器学习实验项目,从数据到 RAG 与 SFT/LoRA

    GitHub 仓库 trasher88/ml-engineering-lab 是一个覆盖数据准备、分类、检索、RAG、LLM 微调与部署的教学项目,分为 F1–F5 五个阶段共 43 个学习步骤。本地实验记录显示:经典 ML(TF-IDF + Logistic Regression)Test macro F1 为 0.8838,优于 PyTorch 分类器的 0.7813;向量检索 Recall@5 达 0.8500,高于 hybrid 的 0.5500;SFT tiny LLM 未带来提升。项目有意保留负结果与局限,数据采用 CC BY-NC-SA 4.0,暂未提供开源许可证。

  3. GitHub · 去对齐工具与仓库57

    Swedish Embedded 开源 brain:单个 Rust 程序完成模型推理、训练与量化部署

    Swedish Embedded AB 开源 brain,用单个 Rust 程序在现有硬件上下载、运行、微调、量化模型,并通过 OpenAI 兼容 API 提供服务,无需 Python、PyTorch 或独立推理运行时。支持 Qwen3、GLM、YOLOv8、FLUX.2 Klein、Qwen3-TTS 等文本、视觉、语音和世界模型,内置 wgpu、vulkan、cuda、cpu 四个后端,可跑在 NVIDIA/AMD/Intel GPU、CPU、Intel NPU 和浏览器中;每个导入模型与参考实现逐步对比测试,训练用有限差分数值校验,后端间做一致性检查,许可证为 Apache-2.0。

    推荐理由:一个 Rust 程序覆盖下载、推理、微调、量化和 OpenAI 兼容服务,不依赖 Python 或 PyTorch,并给出后端一致性等自检测试。

  4. GitHub · 3D 生成新仓库40

    emoji-studio:面向新 emoji 概念的开源模型后训练项目

    GitHub 开源项目 emoji-studio 探索用后训练生成新 emoji 概念,已完成 SDXL LoRA 试点训练和 72 组盲评,确定选用 step 25 checkpoint。单张 40 GB A100 负载测试中 18 个生成任务全部成功,吞吐 6.73 images/minute,p95 延迟 35.93 秒,总支出约 $1.49。两个模型都能渲染连贯物体但难以生成双手交互,机械物体如自行车仍是已知弱点,项目尚未训练交互 adapter。

  5. GitHub · 灵魂体仓库61

    llm-deployment-benchmarks 实测开源模型何时能替代 Claude Opus 5.5

    作者发布 llm-deployment-benchmarks 项目,在 Fireworks AI 上做两组实验,比较开源模型与 Claude Opus 5.5 的准确率、延迟和成本。支持工单分诊任务中,GPT-OSS 120B 以 34–45 倍更低成本追平 Claude Opus 5.5,9B 模型响应快 4–7 倍也打平,而对含噪标签微调反而变差;国际象棋任务中,对 73k 局面的微调把合法走子率从 36% 提到 71%,但最佳走子准确率仍是 3%,只有前沿级开源模型 Ember-1 接近 Claude,约为每步 4 倍时间和成本。

    推荐理由:作者用支持工单分诊和国际象棋两类任务实测开源模型与 Claude Opus 5.5 的差距,结论是 prompt 质量常比模型大小更关键。

  6. Reddit · r/LocalLLaMA12

    有没有适合 Blender 与 3D 建模的 LLM 微调模型?Reddit r/LocalLLaMA 用户求推荐

    Reddit r/LocalLLaMA 用户发帖询问是否有基于 Qwen 3.8 27B 或 Qwen 3.8 Flash Next 的微调模型,能显著提升生成 .glb / gltf 3D 资产的能力,用于游戏开发场景,包括按描述加参考图生成模型、编辑已有模型及 FBX 与 glTF 格式转换。发帖人称 Qwen 3.8 27B 写代码够用但建模能力存疑,而前沿模型 token 消耗过大。

  7. GitHub · 去对齐工具与仓库34

    LLM-CL:少数据多模态持续学习与紧凑模型研究进展记录

    LLMCL 项目记录少数据多模态持续学习与紧凑模型研究:基于 Qwen2-VL-2B-Instruct 与 LLaVA-OneVision-Qwen2-0.5B-OV 双骨干、1313 条训练数据与 21454 条测试,正式完成 8/16 组核验,唯一指标为 Answer F1。最新 FFN 真实删除对照使完整权重减少 199.5MiB(11.704%),但 DEV 宏 F1 从 43.791987 降至 19.620168,该构造已关闭;尚无权重更小且保留强参照质量的自研框架。

  8. Reddit · r/SillyTavernAI63

    zoracapri 发布 gemma-4-31B-Monadize-v0.1 微调模型,改善角色名重复问题

    作者 /u/zoraruha 微调 Gemma 4 31B 发布了 Monadize(gemma-4-31B-Monadize-v0.1),通过调整 next-token 概率分布和单字符分词来减少 "Elara" "Elias" 这类高频名字的重复。temperature 为 1 时生成 30 个角色名和 30 个城市名,基座 Gemma 大量重复,Monadize 产出 60 个不重复名字,起始字母的 token 分布也明显更宽。作者还观察到叙事风格有变化,并提示这是实验性模型,以关闭 thinking 的方式微调,建议保持 thinking 关闭;模型发布在 https://huggingface.co/zoracapri/gemma-4-31B-Monadize-v0.1。

    推荐理由:作者给出了基座与微调模型的 next-token 分布对比和 30+30 命名实测数据,方法与结果都可复现查看。

  9. Reddit · r/LocalLLaMA52

    zoracapri 发布 Gemma 4 31B 微调版 Monadize v0.1,缓解角色名重复问题

    作者 /u/zoraruha 基于 Gemma 4 31B 微调发布 Monadize v0.1,通过调整 next-token 概率分布和单字符分词来减少 Elara、Elias 这类高频名字的重复。对比显示起始 token 分布明显更宽,temperature 1 下生成 30 个角色名和 30 个城市名全部不重复,而基座模型大量重名;模型权重在 Hugging Face 开放,作者提示这是实验性模型,且以关闭 thinking 微调,建议保持关闭。

  10. Reddit · r/LocalLLaMA68

    mlx-decision 开源工具:在 Apple Silicon 上用 MLX 本地运行和微调决策模型

    作者发布开源 Python 包 mlx-decision,可在 Mac 上用 MLX 本地运行 Clef、pplx-decider、d3、H2O-Lightning、LiquidAI d1 等开放决策模型。输入消息、文档或截图加带类型的问题,一次前向即返回各选项的概率与置信度;与原 PyTorch 代码逐 token 校验,同答案下在 MPS 上通常快 1.4–6 倍,M5 Pro 上 d1-3B 短请求 0.06 秒。附带本地 Web Studio 支持对比模型、跑数据集评测和微调,d1-3B 微调 4 分钟在 TREC 上从 86.6% 提到 96.4%;MIT 协议,需 macOS 14+ 和 Python 3.12+,仓库 https://github.com/armbues/mlx-decision。

    推荐理由:作者给出了各模型在 Apple Silicon 上的实测延迟和微调前后准确率对比,本地部署决策模型时可参考这些数字选型。

10月24日周六
  1. GitHub · 灵魂体仓库26

    LLM Developer v1.0.0 发布:在本地 CPU 上训练、微调和测试小型语言模型

    GitHub 开源项目 LLM Developer 发布 v1.0.0,可在本地 CPU 上训练、微调和测试小型 GPT 语言模型,无需 GPU,建议至少 4GB 内存。项目基于 NanoGPT 从零实现,使用 Streamlit 界面与 PyTorch,支持自定义字符级 tokenizer、实时 loss 图表、预置模型(Cedar、Talkative Dumbo)加载及 Hugging Face transformers 集成。

  2. Reddit · r/SillyTavernAI38

    ReadyArt 推出 Wicked Stuff 系列模型,基于 Kitchoon-V3-26B-A4B 用 QLoRA 训练

    ReadyArt 发布 Wicked Stuff 系列模型,在 Wicked Tutu 数据集基础上新增约 1000 条 prompt,并加入反向角色 prompt 使数据更完整。该数据集以黑暗风格为主、混入部分常规内容,在 scotoma 2 基座上以 QLoRA(而非 LoRA)方式训练于 Kitchoon-V3-26B-A4B。作者提示需配合 RP prompts 才能正常使用。

  3. GitHub · 灵魂体仓库10

    enhancing-llms:先进微调技术提升 LLM 在 GLUE 和 SuperGLUE 上的表现

    GitHub 仓库 enhancing-llms 发布论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的实现与实验,探索面向领域任务的新型微调方法。该方法在 GLUE 上取得 92.5%(较基线 +8.3%)、SuperGLUE 上取得 89.3%(+12.5%)的 SOTA 结果,并提供高效训练管线,代码以 MIT 许可开源。

  4. GitHub · 灵魂体仓库17

    Beamoaadvance 开源 llm-adaptive-learning:ICML 2025 论文的 LLM 动态环境自适应学习实现

    Beamoaadvance 在 GitHub 开源了 ICML 2025 论文 "Adaptive Learning Strategies for Large Language Models in Dynamic Environments" 的实现,使 LLM 能在动态环境中实时自适应调整。该方法支持持续学习而不发生灾难性遗忘,无需完整重训练即可轻量更新,在多类动态环境中较基线提升 16.8%-19.1%(如 Temporal Changes 场景从 69.8% 提至 88.9%)。项目采用 Apache 2.0 许可证。

  5. Hugging Face · 新模型:uncensored34

    Qwen3.5-2B-Claude-4.6-OS-Auto-Variable-HERETIC-UNCENSORED-THINKING 微调模型发布

    Avichaudhry 基于 Unsloth 在本地硬件上用 4 个 Claude-4.6-OS 数据集微调 Qwen3.5-2B dense 模型,发布完全无审查的 HERETIC 版本。该模型在 arc、boolq、piqa 等多数 benchmark 上超过基座(如 arc 0.366 对 0.348),推理"size"经训练缩减,视觉图像功能测试可用,原生上下文长度 262,144,建议最低 q4ks 或 IQ3S 量化。

  6. GitHub · 去对齐工具与仓库31

    goya4140/minimind-training-lab:从零训练 LLM、VLM 与 Video-Omni 的可复现学习实验室

    goya4140 开源的 minimind-training-lab 是一个面向学习的可复现训练项目,沿同一能力路线从零训练 MiniMind LLM(Decoder-only,64M)、VLM 和 Video-Omni(视频+文本输入→文本输出)。LLM 已完成预训练 317,048 步与 SFT 40,000 步,2026-10-24 因本地空间不足迁至服务器进行 CUDA 重训,正式 run mm64-cuda-20261024T075332Z 已启动;VLM 与 Video-Omni 代码已实现,服务器重训待启动。项目交付模型代码、训练配置、评估与中文学习报告,代码采用 Apache-2.0 许可。

  7. GitHub · 去对齐工具与仓库45

    llm-posttrain-lab:用 Qwen2.5-1.5B 实验演示 LLM 后训练中偏好对齐为何用 RL 而非 SFT/DPO

    开源实验项目 llm-posttrain-lab 基于 Qwen/Qwen2.5-1.5B 全量微调,对比 SFT、DPO、PPO、GRPO 在偏好对齐中的表现,训练栈为 TRL 1.7 + accelerate/DeepSpeed。实验覆盖 helpful 与 math 两条任务线,math 线在全部 1319 条 GSM8K 测试题上评估 pass@1/pass@8 与 KL,并追踪 DPO 训练中 chosen 回答 log-probability 下降等失效模式。

  8. arXiv · cs.AI40

    Yalda Embedding:开源打造有竞争力的波斯语检索模型

    研究者基于 Qwen3-Embedding-0.6B 训练出 595.8M 参数的波斯语检索模型 Yalda Embedding,使用超过一百万查询-文档对。在 FaMTEB 八项波斯语检索任务上,其宏平均达 0.5488,为受评 0.6B 模型中最高,并在四项任务上胜过 Qwen3-Embedding-4B。借助 F2LLM-v2-8B 的关系型知识蒸馏,均值从 0.4813 提升至 0.5488,且模型权重、代码与数据集均已开源。

  9. arXiv · cs.AI54

    TopKLoRA 可解释稀疏微调方法支持忠实回路发现

    作者提出 TopKLoRA,一种每次仅激活 k 个最大 adapter 潜变量的可解释 LoRA 变体,仅以下游损失训练。在 gemma-2-2b、Qwen2.5-1.5B 和 Qwen2.5-7B 的 sleeper-agent 后门案例中,识别并消融了实现后门所必需且充分的回路,稀疏回路比稠密 LoRA 基线小至多一个数量级,可在不牺牲指令跟随性能的情况下手术式移除恶意能力,并开放了代码。

    推荐理由:论文给出可解释稀疏微调方法,并在多个模型上定位并消融后门回路,稀疏回路比稠密 LoRA 小约一个数量级。

10月23日周五
  1. arXiv · cs.CL49

    Frontier-OPD:发现智能体能力边界并引导其突破

    论文提出 Frontier-OPD,一种面向多轮智能体的在线策略蒸馏方法,通过学生学习前沿定位既有挑战性又可在短暂教师引导后自主延续的决策情境。方法将经验组织为共享状态轨迹图,用轨迹平衡聚合识别干预候选并过滤教师引导。在 ALFWorld、WebShop 和 ScienceWorld 上的实验显示,其平均自主性能高于所对比的蒸馏基线;在某个 ALFWorld 计时设置下,额外采集成本被更快达到目标成功率所抵消。

  2. arXiv · cs.CL17

    残差专家路由实现因子化 Transducer ASR 的纯文本领域自适应

    一项 arXiv 研究提出保守残差路由方法,用于因子化 Transducer ASR 的纯文本领域自适应:适配后的 predictor 作为基础模型的残差修正,由一个 16k 参数的门控在每个前缀决定采纳程度,关门时完全还原基础模型。在 40 小时会话语料上,两个留出域 WER 从 19.89/20.91 分别降至 16.74/16.21,源域 WER 基本不变(12.90 至 12.93),且无需目标域音频的按域调优。

  3. Reddit · r/LocalLLaMA35

    用户开源预训练小型 MoE 模型,供社区微调用于特定任务

    一位 Reddit 用户预训练了一个小型 SLM 并开放用于微调:该模型是基于 7.28M backbone 的稀疏 11M MoE(活跃参数 5.52M,top-1 路由、2 专家),在约 5.7B token 上训练,上下文窗口 2048。作者同时开源了整套训练管线,支持 CUDA 并针对 Blackwell 2.0 优化,CPU 完全对等;模型权重与快速上手指南已发布在 Huggingface。

  4. arXiv · cs.CL45

    伪标签作奖励而非目标:GRPO 用于半监督 ASR

    一项 arXiv 研究提出用伪标签作为 GRPO(Group Relative Policy Optimization)的奖励参考,而非 SFT 的微调目标,以降低半监督 ASR 中的标签噪声传递。在银行领域,基于 Whisper 生成标签时,GRPO 相对 SFT 提升 29.3% 到 56.2% 的相对 WER,且优势在四种 Whisper 尺寸、四个教师模型族、三个领域和四种语言上均成立。SFT 几乎逐字复现 100% 的教师错误,GRPO 仅传递 27%。

  5. GitHub · 去对齐工具与仓库27

    Candela:在笔记本上微调的开源金融分析 LLM 项目

    Candela 是一个正在开发中的开源金融分析 LLM 项目,基于 Gemma 4 12B 的 4-bit QAT 权重用 QLoRA 微调,可回答美股相关问题,所有数字均来自带日期和来源的工具调用。项目还包含从零训练、35M 参数起步的 Candela Spark 模型族,由 Go 网关提供服务,并通过终端风格 PWA 和 three.js 3D 视图探索模型内部,采用 Apache-2.0 许可证。

  6. GitHub · 灵魂体仓库15

    enhancing-llms:用高级微调技术提升 LLM 在 GLUE 与 SuperGLUE 上的性能

    GitHub 仓库 enhancing-llms 发布了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的实现代码,探索面向特定领域任务的新型微调方法。其方法在 GLUE 上取得 92.5%(较基线提升 8.3%),在 SuperGLUE 上取得 89.3%(提升 12.5%)。仓库含训练、评估脚本与实验配置,采用 MIT 许可证开源。

  7. arXiv · cs.CL28

    面向低资源黏着语巴什基尔语的大语言模型参数高效适配:语料库、数据集与可复现基准

    一项研究发布巴什基尔语开源资源套件与适配方法系统基准,含 71,567 篇文档、46.9M tokens 的网页语料及三个文本分类标注数据集。实验覆盖 82M-8B 的八种架构,比较全量微调、QLoRA、in-context learning 和持续预训练(CPT):QLoRA 在二分类上优于编码器微调,YandexGPT-5-Lite-8B 加 CPT 达 macro-F1 0.748,高于 XLM-R 的 0.653 和 mBERT 的 0.650。CPT 效果因模型而异,西里尔 tokeniser 更优,且 LLM 评审无法复现母语者的语言正确性评分,母语评测仍不可少。

  8. arXiv · cs.AI38

    开卷分数衡量了什么:Llama-3.1-8B-Instruct 上单文档 LoRA 适配器的“阅读”与“记忆”之辨

    该研究在 Llama-3.1-8B-Instruct 上为 150 篇 Wikipedia 文章各训练一个单文档 LoRA 适配器,发现开卷分数主要衡量所有适配器共享的阅读行为:随机适配器可恢复专家适配器 82% 的开卷优势,但在不提供原文的 cloze 探针上仅约 2%,与零无法区分。内容确实进入权重——专家适配器在 cloze 召回上超出基线 0.094,但 16 篇以上文档的合并只能恢复 12% 到 16% 的 cloze 优势(联合训练为 94%)。作者还报告了四个会产生看似干净却错误结果的隐性错误。

  9. Reddit · r/LocalLLaMA54

    ThousandML 发布 Training Factory 平台,支持 4-bit QLoRA 微调开源模型

    作者 /u/textclf 发布了用于微调开源模型的 Training Factory 平台,主打对 4-bit 量化模型做 QLoRA 而非全精度微调以降低 GPU 成本。所用 CQ(Coded Quantization)为免校准量化,作者在 Qwen 3.8 27B 上用 Wikitext-2 对比称其 KLD 优于 unsloth-bnb-4bit(磁盘占用 18GB 对 22.4GB,Top 1% 一致率 92.419% 对 91.954%);在 Alpaca 数据集上用单张 A40(48GB)跑通训练,峰值 PyTorch 分配显存 25.5 GiB、稳态中位每步约 14.99 秒。

  10. GitHub · 灵魂体仓库19

    thackerhelik/finetuningcourse:基于 TinyLlama-1.1B 的三阶段 LLM 后训练微调课程仓库

    GitHub 仓库 thackerhelik/finetuningcourse 提供端到端的三阶段 LLM 后训练流程(Domain Adaptation → SFT → DPO),将 TinyLlama-1.1B 适配到药理学领域,并通过 Ollama 本地部署。仓库包含 data、experiments/metformin、notebooks 目录及 export_to_ollama.py 导出脚本,目前尚无 star 和 fork。

  11. Reddit · r/LocalLLaMA63

    HuggingFaceBio 发布 Carbon-X:基于 Qwen3-14B 微调的 14.8B DNA 语言模型

    HuggingFaceBio 发布 Carbon-X,一个 14.8B 参数的 decoder-only 模型,在 Qwen3-14B 基础上用 DNA 序列与自然语言联合训练,可在普通对话中直接分析原始 DNA 并用英文回答。混合 tokenizer 用 BPE 处理文本、以 6-mer 编码 DNA,无独立 DNA 编码器;五个 DNA 基准平均 66.7%(关闭思考),比 Qwen3-14B 高 27 分,接近 GPT-6.1 Sol 的 67.5% 而推理成本约其 1/1,800;估计分析 ClinVar 240 万个意义不确定变异约需 $300,而所测前沿模型需 $32,000 至 $400 万。

    推荐理由:原文给出五个 DNA 基准的平均分、与基线模型的差距和成本对比,可据此评估这个 DNA 微调模型的实际水平。