跳到正文
GitHub · 灵魂体仓库·· 12 天前AI 评分32

LatentHalt:在 Qwen2.5-1.5B 上实现子 token 层级神经符号拦截的实验性研究框架

vasiliypavlov/latent-halt

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/vasiliypavlov/latent-halt

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

LatentHalt 是一个实验性研究项目,针对解码器 Transformer 的计算对称性问题,在 Qwen2.5-1.5B 上通过 Unembedding 层探测发现语义概念在 18–24 层就已结晶,后续层仅做表层语法解码。基于此的 Sub-Token Interception 机制在第 18 层识别算法类任务后中断推理、交给 CPU/Python 计算,在 458 * 12 任务上实现 12.44 倍计算节省,准确率从 0% 提升到 100%。项目还提出认知摩擦指标 Δ_friction,量化模型内部表征漂移,反直觉问题(如不会飞的企鹅)上达到 6.86 的峰值。

来源:GitHub · 灵魂体仓库 · github.com