跳到正文
10月19日周一
  1. GitHub · 灵魂体仓库52

    lablup 开源 llm-benchmark-inventory,韩英 LLM 基准与许可证清单

    lablup 在 GitHub 上线 llm-benchmark-inventory 仓库,以韩语整理韩文与英文 LLM 基准、推理性能工具、公开性能对比和 GPU·引擎资源监测资料,英文界面后续单独提供。清单收录韩语基准 57 个(商用可用 28 个)与英文基准 31 个(商用可用 21 个),每个条目附任务示例、许可证、修改/再分发条件、lm-evaluation-harness 是否内建,以及分数出处和确认日期;基准卡还列出同源同配置下得分最高的 3 个模型与 3 个开放权重模型。许可证于 2026-09-26 核对,仓库提醒后续可能变化,使用前需复查原文。

  2. GitHub · 灵魂体仓库31

    TokEval:开源多语言 LLM 分词效率评测项目,以韩语为首个优化案例

    TokEval 是一个开源研究与工程项目,用于测量、解释、可视化并降低多语言 LLM 分词低效问题,以韩语为首个优化案例、英语作为初始基线。项目包含 Explorer 分词可视化、Bench 可复现多语言评测、Train 受控 tokenizer 实验、Serve GPU 延迟与成本基准,核心原则是按成功任务衡量成本,并保留原始字节以避免 UTF-8 码点被切分。Explorer MVP 位于 dashboard/,基于 Astro 和 React island,通过 npm test 检查字节安全、npm run build 完成生产构建。

  3. GitHub · 去对齐工具与仓库34

    dci-bench:评估 LLM 直接语料交互(DCI)能力的基准

    dci-bench 是一个评估 LLM 直接语料交互(DCI)能力的基准,评测分为文档与代码两条赛道,沿用 Inspect/Pi 六任务工作流。代码赛道新增独立仓库文件指标、行覆盖率、函数/功能证据召回、显式无金标准弃答和 ARB 预算上下文收益;2026-10-15 协议数据索引覆盖 13 个文档任务(2,399 条查询)和 287 条 ARB 代码查询。Phase 0 至 Phase 5 已实现,检索评分默认报告 recall、F1 和 nDCG@1/3/5/10/20。

  4. GitHub · 灵魂体仓库31

    Qwen3-4B 试点研究:仅用结果奖励的 GRPO 会降低 LLM 法条推理的忠实度吗?

    Mert Ayvazoglu 的试点研究探讨仅用结果奖励的 GRPO 是否降低 LLM 法条推理的因果忠实度。Qwen3-4B 经 60 步训练后,OpenExempt Task AE 的 300 个测试用例准确率从 33.3% 升至 55.3%,但移除推理后答案不变的样本从 6% 升至 24%,反事实忠实度从 0.54 降至 0.50。单种子探索性结果下 H1 尚待确证性重跑验证。

  5. GitHub · 灵魂体仓库44

    FedLLM 复现:面向可解释交通流预测的隐私保护联邦大语言模型(Qwen2.5-1.5B + QLoRA)

    GitHub 上有研究者端到端复现了 Wilfrid Laurier University 团队的 FedLLM 论文,用 Qwen2.5-1.5B 结合 LoRA、4-bit QLoRA 与联邦学习做可解释交通流预测,仅训练 18,464,768 个权重(1.18%)。复现结果接近原论文:FedLLM 误差与论文相差 2% 以内,15/30/45/60 分钟预测的 R² 匹配到小数点后三位;复现中 5,000 条测试提示词 RMSE 为 31.84,低于论文的 35.66。仓库包含完整代码、LoRA adapter、合并模型与运行日志,GRU、DCRNN 等基线未在本次发布中运行。

  6. GitHub · 去对齐工具与仓库19

    优化 LLM 在多任务环境中的上下文推理(论文代码仓库)

    一篇题为《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的论文提出优化策略以增强 LLM 在多任务间的上下文推理,实验结果显示其在动态环境中适应性更优。该论文正在 COAI 2025 审稿中,仓库即将发布实现代码、benchmark 结果与预训练模型 checkpoint。

  7. Reddit · r/LocalLLaMA35

    80 年代计算时代遇上小型本地决策模型

    一位开发者设想如果 80 年代用汇编编程的程序员能使用本地模型会怎样,并演示了一个小型决策模型程序:将"太暗且出汗"这类提示词拆分为概率判断与确定性代码两部分,由模型在"太冷到太暖"五个选项中判断室温感受,置信度低于 0.5 时转交人工处理,否则按每步 3 摄氏度调节温度。

  8. GitHub · 3D 生成新仓库40

    anima-research/sim-review:跨代模拟器先验研究的协作文审阅仓库

    Anima Labs 开源 sim-review 仓库,研究各代模型在 distress、care 及对创作者态度上的模拟器先验,提供论文、结果表格、样本浏览器和 agent API(/agents.md、/results.md、/api)。审阅通过常驻 PR “Review: essay and results” 进行,按句子逐行评论 ESSAY.md 与 RESULTS.md;1.8 GB 的全部 completions SQLite 数据单独发布,由容器拉取,论文以 NeurIPS preprint 排版导出 PDF。

  9. GitHub · 去对齐工具与仓库18

    onrueamt1593-pixel 开源仓库:优化 LLM 在多任务环境下的上下文推理(论文在审 COAI 2025)

    GitHub 仓库 onrueamt1593-pixel/optimizing-llms-contextual-reasoning 为论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》提供实现与实验代码,该论文提出优化策略以增强 LLM 跨多任务的上下文推理,目前正投稿 COAI 2025 审稿中。仓库状态为待发布,后续将包含完整实现、实验配置、benchmark 结果、预训练模型 checkpoint 及文档教程。

  10. GitHub · 去对齐工具与仓库65

    FreeSolo 发布:线性时间稀疏注意力实现零样本长度外推

    Zekun Shi 发布 FreeSolo 架构、论文(arXiv 2610.17191)与 341M/743M 研究用 base 模型权重,通过学习 chunk mean keys 支持检索、剪枝与层级摘要,RoPE 保留在局部窗口。FS-L 为线性时间、FS-B 为超线性次二次复杂度,两者共享一套 checkpoint 格式;模型在 4k 上下文训练,8k 及以上零样本外推,可在 262k(64 倍训练长度)检索单针而无需长上下文微调。

    推荐理由:作者同时给出 RULER 准确率与 A100 实测吞吐显存表,读者可按复杂度和长度逐项对比各稀疏注意力方案。

  11. GitHub · 去对齐工具与仓库26

    onrueamt1593-pixel 开源 llm-adaptive-learning:LLM 动态环境自适应学习实现(ICML 2025)

    GitHub 仓库 llm-adaptive-learning 发布了 ICML 2025 论文 "Adaptive Learning Strategies for Large Language Models in Dynamic Environments" 的实现,让 LLM 实时适应动态环境且避免灾难性遗忘。在四类动态场景中,该方法较基线提升 16.8%–19.1%,如时序变化场景从 69.8% 提至 88.9%。项目采用 Apache 2.0 许可证开源。

  12. GitHub · 去对齐工具与仓库19

    jkhajem/enhancing-llms:LLM 高级微调技术实现与实验仓库

    GitHub 仓库 jkhajem/enhancing-llms 实现了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》中的高级微调方法,用于将预训练模型适配到特定领域任务。该方法在 GLUE 上取得 92.5%(较基线提升 8.3%)、SuperGLUE 上取得 89.3%(提升 12.5%),并提供优化训练管线以加快收敛,项目采用 MIT License 开源。

  13. GitHub · 去对齐工具与仓库19

    优化 LLM 在多任务环境中的上下文推理:论文配套代码仓库(待发布)

    GitHub 用户 ashashram445 上线论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的配套仓库,该论文提出优化策略以增强 LLM 在多任务间的上下文推理,目前正投稿 COAI 2025 审稿中。仓库标注“待发布”,将包含实现代码、实验配置、benchmark 结果、预训练模型 checkpoint 及文档教程。

  14. GitHub · 去对齐工具与仓库29

    llm-adaptive-learning:LLM 动态环境自适应学习策略实现(ICML 2025 论文代码库)

    GitHub 仓库 ashashram445/llm-adaptive-learning 实现了 ICML 2025 论文《Adaptive Learning Strategies for Large Language Models in Dynamic Environments》中的 LLM 自适应学习方法,支持实时参数调整、动态记忆管理与防灾难性遗忘。在多类动态环境测试中,该方法较基线提升 16.8%–19.1%,如话题切换场景从 72.3% 提升至 89.7%。项目采用 Apache 2.0 许可证开源。

  15. GitHub · 去对齐工具与仓库20

    enhancing-llms:用高级微调技术增强大语言模型的开源仓库

    GitHub 仓库 enhancing-llms 开源了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的实现与实验代码,探索面向领域任务的大语言模型微调方法。该方法在 GLUE 上取得 92.5%(较基线提升 +8.3%)、SuperGLUE 上取得 89.3%(提升 +12.5%),采用 MIT 许可证。

  16. GitHub · 3D 生成新仓库21

    enhansome 开源 talking-head-generation 项目:音频驱动说话人头生成资源汇总

    GitHub 仓库 enhansome/enhansome-talking-head-generation 汇总了音频驱动的说话人头生成领域研究与开源代码,收录 FunCineForge、TurboTalk、OmniHuman-1、Hallo2、MuseTalk、VASA-1、EchoMimic 等项目,并标注各自发表年份、会议和 Star 数。列表覆盖 2024 至 2026 年的工作,多数项目以 Python 实现,部分提供论文、代码或项目主页链接。

  17. GitHub · 灵魂体仓库11

    model-detective:仅凭文本输出检测 LLM 量化

    GitHub 上的 model-detective 项目研究能否仅通过 LLM 的文本输出来检测其量化状态,并在不同 bit-width 下衡量检测所需的查询次数与危害。项目目前处于 Phase 0 工作进行中阶段,仓库包含 app、configs、src/modeldetective 等模块,尚无 star 与 fork。

  18. GitHub · 灵魂体仓库38

    Funkey08/verilog-llm-agent:自我验证的 RTL 设计 LLM 智能体

    一个自我验证的 LLM 智能体可将英文硬件规格转为 Verilog,自行编译、编写 testbench、仿真并迭代修订代码,在 VerilogEval v2 上以 5 次设计版本预算对比单次调用基线,且不接触参考测试。实验设置 Baseline、Compile、Self-verified、Oracle 四种模式,计分始终使用隐藏参考 testbench,并跟踪自验通过但隐藏测试失败的概率,同时报告每个设计的 token 与美元成本。项目支持 gemini-* 与 claude-* 模型,因 VerilogEval 源自公开的 HDLBits,绝对通过率可能偏高,模式间差异更有意义。

  19. GitHub · 3D 生成新仓库24

    cfg_molecular_generation:基于 Classifier-Free Guidance 的分子生成研究框架开源

    GitHub 新仓库 cfg_molecular_generation 发布,这是一个用 Classifier-Free Guidance(CFG)做属性条件分子生成的研究框架,支持 QED、LogP、TPSA、SAS 四种分子属性条件,预扫默认 guidance scale 分别为 LogP=1.5、TPSA=2.0、QED=2.5、SAS=2.5。框架采用 LoRA 微调与可配置模型路径,可评估不同因果语言模型及其适配器,并提供 SMILES 有效性、唯一性、新颖性与属性误差评估;数据集与模型权重不含在仓库内。

  20. GitHub · 灵魂体仓库22

    LLM-KG4QA:LLM 与知识图谱结合问答的论文列表仓库(EMNLP2025 综述配套)

    GitHub 仓库 LLM-KG4QA 维护了一份关于 LLM 与知识图谱(KG)结合用于问答(QA)的论文列表,配套综述已被 EMNLP2025 主会接收。内容涵盖 KG 作为背景知识、推理指南、精炼与过滤器等分类,以及预训练、微调、KG 增强提示词和 RAG/Graph RAG 等方法,并收录复杂问答、可解释问答、多跳问答等场景与相关 Benchmark 数据集。该教程亦被 EDBT2025 接收,预print 于 2025-05 上线 arXiv。

  21. GitHub · 灵魂体仓库35

    基于Qwen2.5-3B的5岁儿童安全教育LLM项目(RLAIF + CoT + 知识蒸馏 + DPO)

    Fabyo Sousa Ramos 的 GenAI/LLM 硕士毕业项目训练了一个面向 5 岁儿童的安全教育助手模型,以 Qwen2.5-3B 为学生模型、Qwen2.5-7B 为教师模型,结合 CoT 合成数据、Logits 知识蒸馏与 DPO 内化安全 guardrails 和儿童化人格。最终模型经 LoRA 权重合并并量化为 GGUF(Q4_K_M)格式,可在资源受限设备上本地离线运行。DPO 训练 1 个 epoch 内 Loss 快速收敛,模型在无 system prompt 测试中也能拒绝恶意或越狱指令。

  22. GitHub · 3D 生成新仓库19

    Gabri739/RAG-for-unstructured-data:面向非结构化数据的 RAG 工作流仓库

    GitHub 新仓库 Gabri739/RAG-for-unstructured-data 旨在为非结构化数据构建 RAG(检索增强生成)流程。该工作流包括:用 Docling 智能摄取文档生成保留表格格式与章节标题的 Markdown,经 MarkdownHeaderTextSplitter 类工具分块、嵌入向量化并存入向量数据库;查询时检索最相关的 top 5 chunk,经 Re-ranker 重排后交给 LLM 生成带页码引用的对话式回答。

  23. GitHub · 3D 生成新仓库20

    euduar-da/acceptance-test-generation-llm:用 LLM 从 User Stories 自动生成 Gherkin 验收测试场景

    这是一个课程结业项目仓库,研究用大语言模型从 User Stories 自动生成 Gherkin(BDD)验收测试场景。评估结合四方面:METEOR 与 BERTScore 文本相似度指标、Gherkin 语法结构符合度验证、基于 Relevância/Clareza/Completude/Singularidade 四属性的人工评分,以及面向 QA 从业者的问卷调研。

10月18日周日
  1. GitHub · 3D 生成新仓库35

    Gaohui Ni 等开源基于离散隐空间扩散的孔隙度可控三维数字岩生成框架

    Gaohui Ni 等发布论文配套代码库,实现孔隙度可控的 3D 数字岩生成。框架采用轻量级 3D VQ-VAE 将 256^3 微观 CT 体数据压缩至 64^3 离散隐空间,通过 FiLM 条件化 latent DDPM 生成目标孔隙度结构,并用分位数自适应二值化精确控制输出孔隙度。代码库还包含 TP-AQB v2 后处理器、Fontainebleau 外推验证及孔隙网络、渗透率等评估工具。

  2. GitHub · 灵魂体仓库47

    hallutrace:基于 HALoGEN 的 96,000 次生成幻觉溯源研究仓库

    GitHub 仓库 Napat-hi/hallutrace 公开了基于 HALoGEN 基准的幻觉溯源研究全套代码与数据,包含按 seed 20260916 抽取的 3,200 个提示词、8 个模型共 96,000 次生成及其验证结果。仓库提供 Modal 运行入口、SQLite 存储、标注一致性检验(含 precision 0.93 的计数规则核查)、infini-gram 语料检索与 Wikidata 人名消歧脚本,用于追溯模型幻觉来源。

  3. GitHub · 3D 生成新仓库23

    GitHub 开源项目 enhansome-Awesome-3D-Scene-Generation:300+ 篇 3D 场景生成研究精选集

    GitHub 仓库 enhansome-Awesome-3D-Scene-Generation 收录 300+ 篇 3D 场景生成、数据集及下游应用研究,并持续更新。内容按层级分类,涵盖程序化生成、基于优化、基于 LLM、神经 3D、图像与视频生成等方法,以及室内、自然、城市数据集。应用方向包括 3D 场景编辑、人-场景交互、具身导航、机器人与自动驾驶。

  4. GitHub · 3D 生成新仓库55

    ORBIA 基准发布,评测交互式视频世界模型的 3D 一致性

    ORBIA 是一个评测交互式视频世界模型 3D 一致性的基准,已开源评测代码、模型适配器和数据构建流水线。基准包含 720 个案例(480 个 22 秒短案例、240 个 60 秒长案例),从 ScanNet++、SpatialVID、Sekai、MiraData、自录视频和 48 个 Unreal Engine 环境的 11 万样本中精选而来,按输入保持、生成内容持久性和 3D 自一致性等六个维度加权评分,并附 27 个模型的排行榜,SolarWM-H3 以 76.32 的 Overall 分居首。

  5. GitHub · 去对齐工具与仓库22

    FAHID-KHAN 开源基于 LLM 的 CI/CD 失败诊断对照研究仓库

    FAHID-KHAN 在 GitHub 发布一个受控 CI/CD 失败诊断研究工作流,从 6 个仓库收集 90 份 GitHub Actions 失败日志,按规则筛出 74 个合格案例,并创建盲测人工 ground truth。研究对比专有模型 openai/gpt-5.6-terra 与经 Ollama 本地运行的 qwen3.5:9b(24,576-token 上下文),两者共享 medium 推理力度、提示词与 JSON schema,最终以失败类别精确匹配和证据行准确率评分。

  6. GitHub · 3D 生成新仓库21

    J26-SE-331 团队构建需求可追溯的 BDD 测试 QA 框架,治理 LLM「假可运行测试」问题

    斯里兰卡 IT 学院 J26-SE-331 团队提出一个四组件 BDD 测试 QA 框架,针对 LLM 生成「能跑通但未真正验证需求」的 false-runnable test。四个组件 C1-C4 依次做接地需求细化、边界感知 Gherkin 生成、带 mock 理由的测试生成和需求可追溯的变异充分性评估,每个交接点用 JSON 契约并设人工审查决策。团队将通过条件化流水线与独立阶段基线的消融实验,验证端到端可追溯性能否改善测试充分性与缺陷定位。

  7. GitHub · 灵魂体仓库47

    Transcript Tax 工作论文发布:一次“琐碎”的 Agent 轮次到底要花多少时间

    一份 2026-10-17 发布的工作论文在一台机器上测量 Agent 单个“琐碎”轮次的时间成本,共 65 次运行、3 种 harness,Provider 花费约 8 cents。仓库开源了完整数据集 bench.csv、复现脚本 analyze.py 及路由分散研究。作者还自我纠正了部分初稿结论:缓存命中并未区分快慢运行,相关主张已撤回,中位数 0 秒的舍入误差也已修正为 3.055。

  8. GitHub · 灵魂体仓库13

    LLM 多任务环境上下文推理优化研究:论文代码仓库(投稿 COAI 2025,待发布)

    一个 GitHub 仓库为论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》预留实现与实验代码,该论文提出优化 LLM 跨多任务上下文推理的策略,目前处于 COAI 2025 审稿中。仓库标注为 To be released,将陆续提供优化策略实现、实验代码与配置、benchmark 结果分析、预训练模型 checkpoint 及文档教程。作者为 John Smith 等,引用信息以 @inproceedings smith2025optimizing 形式给出。

  9. GitHub · 灵魂体仓库49

    RootCause:测试 LLM 智能体能否胜过简单规则的微服务事故排查基准

    RootCause 是一个基于 OpenTelemetry 指标、链路和日志排查微服务事故的 LLM 智能体,同时也是一个包含 20 个事故(16 个故障加 4 个无故障对照)的基准。结果显示没有智能体明显优于 28 行启发式规则:所有配对 95% 置信区间都包含 0。模型比工具影响更大——在故障事故上 Nemotron 3 Super 比 Gemini 3.5 Flash-Lite 高 +0.26,但计入误报后差距缩至 +0.11 且区间包含 0,change-aware 工具也未带来可测量的提升。

  10. GitHub · 灵魂体仓库24

    llm-adaptive-learning:ICML 2025 论文提出 LLM 动态环境自适应学习框架

    GitHub 仓库 llm-adaptive-learning 发布了被 ICML 2025 接收的论文《Adaptive Learning Strategies for Large Language Models in Dynamic Environments》的实现代码,提出 LLM 在动态环境中的实时自适应学习方法,无需全量重训练且避免灾难性遗忘。实验显示其在主题切换、新领域、混合上下文、时间变化四类环境中分别较 baseline 提升 +17.4%、+18.1%、+16.8%、+19.1%。项目采用 Apache 2.0 协议开源。

  11. GitHub · 3D 生成新仓库8

    GitHub 新仓库 SanmayKB/GAN-based-model-for-generation-of-images-for-disease-classification 上线:基于 GAN 的疾病分类图像生成模型

    GitHub 上线新仓库 SanmayKB/GAN-based-model-for-generation-of-images-for-disease-classification,包含基于 GAN 的疾病分类图像生成代码,核心文件为 cgan_skin_disease.py 及 test 目录。该仓库目前尚无项目描述、topics、Releases 和 Packages,Stars、Watchers、Forks 均为 0,也无贡献者信息。

  12. GitHub · 3D 生成新仓库35

    snn-music-replication-nsga2:用 NSGA-II 优化脉冲神经网络 Bach 作曲模型的开源复现项目

    该 GitHub 仓库复现了 Liang、Zeng & Tang (2026) 发表于 Scientific Reports 的基于 Izhikevich 神经元与 STDP 可塑性的脉冲神经网络(SNN)巴赫众赞歌作曲研究,并使用 NSGA-II(pymoo)多目标遗传算法调整 6 个超参数,约束为自然音音符率 DPR ≥ 0.90。项目用 Wilcoxon 检验与 Holm 校正对比复现、原文与改进配置 C0/C1 各 30 个随机种子,运行需 Apple Silicon(M1+)、macOS 14+ 和 16 GB 内存,代码以 MIT 许可开源。

  13. GitHub · 去对齐工具与仓库62

    RotomArena 发布:用宝可梦对战评测大语言模型的竞技基准

    vibrunazo 在 GitHub 发布 RotomArena,一个让大语言模型自组宝可梦队伍并在 Pokémon Showdown 上逐回合对战的竞技基准,网站 rotomarena.org 公开评分、每局回放和各模型推理记录。主基准 Rotom Champ Bench 采用 c5 规则集(50 级、6 选 3、每回合 8192 token 预算、隐藏思考上限 4096 token),评分用 Bradley-Terry 拟合 Elo 并给出 bootstrap 95% 置信区间,参与者包括经 OpenRouter 接入的模型、本地 llama.cpp 模型、决策模型、去掉了语言模型的 PokéChamp 规则实现和随机 AI;代码采用 MIT-0,数据采用 CC0 1.0。

    推荐理由:原文写明了评分方法、隐藏思考 token 上限和幻觉判定规则,读者可以据此判断这个基准的公平性设计。

  14. GitHub · 灵魂体仓库33

    LEGA:长度校准的证据门控注意力机制研究

    LEGA(Length-calibrated Evidence-Gated Attention)提出一种注意力门控方法,让同一个门同时参考查询向量、注意力分布集中度和上下文长度,在注意力头找不到可靠信息时减少向残差流写入无关内容。相比仅看查询的输出门控和显式空注意力,LEGA 通过 b·log n 长度校准项解耦“读得集中”与“读得长”的混淆,每头仅新增 d_head+3 个参数。项目在 WikiText-103 上实现了 9 个变体(含去一法消融)的全因子对比,配备多种子统计检验、Holm 校正、基线调优与数据防泄漏审计。

  15. GitHub · 3D 生成新仓库20

    conditional-handwriting-generation:MLP cGAN 与 Residual U-Net DDPM 的 MNIST 手写数字生成对比

    该开源仓库在 MNIST 上训练 MLP 条件 GAN 和类条件 Residual U-Net DDPM,各跑三个种子共六次生成实验,每种模型生成 10,000 张图片并训练 20 epoch 的纯合成数据分类器。三种子平均真实测试准确率为 cGAN 86.59% ± 7.52 pp,DDPM 96.19% ± 0.36 pp。仓库提供完整训练/续训命令、验证脚本、生成样本网格与权重,支持 CPU 和 Apple Silicon MPS。