跳到正文
GitHub · 去对齐工具与仓库·· 18 天前精选AI 评分61

llm-bayesian-coherence:用贝叶斯相干性证书检测语言模型事实概率是否自洽的开源工具

trhlikfilip/llm-bayesian-coherence

来源与原文

GitHub · 去对齐工具与仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/trhlikfilip/llm-bayesian-coherence

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

GitHub 用户 trhlikfilip 发布 llm-bayesian-coherence 工具,检验因果语言模型的事实条件概率能否来自同一联合分布。核心是 Emerson (2026) 提出的四元组对数比证书,LR 不为 0 即证明两个方向的条件概率不相容;仓库提供 run.py、scorer.py、certificate.py 等 23 个测试覆盖的完整流水线,以及来自 Wikidata、ConceptNet 和 WordNet 的 140,751 个四元组(约 603,000 个 prompt-continuation 对),支持任意 Hugging Face 因果语言模型,输出 LR、F、B、R、K 等指标,并带评分缓存与断点续跑。

推荐理由

工具把概率一致性检验做成了可直接运行的开源命令行,附带 14 万四元组数据和缓存续跑设计,便于复现和移植。

来源:GitHub · 去对齐工具与仓库 · github.com