2026年9月，TRANS课题组最新研究成果《From document layout to causal topology: An end-to-end architecture for temporal causal reasoning》被NeurIPS 2026录用。NeurIPS 2026将于12月在悉尼、亚特兰大与巴黎联合召开，是中国计算机学会推荐的CCF-A类会议，与ICML、ICLR并称为机器学习与人工智能领域的三大会议。本研究面向能源管理系统、供应链分析与工业故障诊断等复杂场景，针对大语言模型深层时序因果推理能力不足的问题，提出了基于神经符号的智能体框架，以及结合因果拓扑注意力机制的端到端模型，有效提高了复杂时序因果推理的准确率，为时序因果推演场景提供了可靠、可解释的大语言模型基座。本研究的主要贡献如下：
- 面向深层时序因果推理的评估基准：结合能源与供应链等复杂场景中的典型时序因果问题，构建涵盖隐式时间窗口、多主体状态追踪与反事实推理等五个核心维度的标准化测试基准，弥补现有基准侧重表层时间线排序、缺乏深层因果关系推理能力评估的问题，为复杂时序因果推理提供统一评测依据。
- 免训练神经符号智能体框架：提出基于因果图与符号干预引擎的免训练框架，将时序约束实例化为有向无环图，通过拓扑排序与路由机制实现并发追踪与反事实截断，可适配开源与闭源大语言模型，为能源运维、工业故障诊断等场景提供系统级支持。
- 时序因果感知能力内化的端到端架构：将因果拓扑感知与反事实推理机制编码进Transformer前向计算链路，结合因果拓扑注意力掩码与显式时间跨度偏置，将时序因果先验融入底层表征，提升跨场景泛化与推理效率，为能源与供应链在线决策等复杂推理任务提供高效可靠的推理基座。
论文第一作者为TRANS课题组博士生杨智锋，通讯作者为欧士琪教授，合作作者包括TRANS课题组本科生罗炜、研究生陈永健。该研究得到了华南理工-沙特阿美合作项目、广东省人才引进团队项目以及琶洲实验室的支持。
1 论文摘要
在通用问答领域，大语言模型主要处理静态知识问答，通常不涉及时间因素。然而在能源管理、供应链分析与工业故障诊断等场景中，需要考虑事件先后顺序与状态演化之间的因果关系，因而对大语言模型的深层时序因果推理能力提出了更高要求，而现有模型在此类推理任务上仍存在明显不足。受文档版面重排序启发，本研究提出从离散叙事到因果拓扑的范式迁移，并构建了两种架构：免训练的神经符号框架TCR-Agent，通过外部因果图与符号干预引擎实现可解释的因果推演与反事实截断。以及端到端模型TCR-Former，通过因果拓扑注意力掩码与时间跨度偏置将其内化至Transformer注意力空间。实验表明，TCR-Agent在TempoCausal基准上全面超越现有免训练基线，而TCR-Former的准确率更比SOTA方法高出16.5%，以约8.6B参数量超越了GPT-5.4与DeepSeek-V3.2等大型模型。本研究的进一步分析揭示了现有方法中普遍存在的结构-推理脱节现象，即外部符号约束和思维链可改善推理步骤，却难以提升深层次的因果推演能力。TCR-Former通过将时序因果推理能力内化至模型中从而有效解决了这一问题，为能源与工业领域的复杂时序因果任务分析提供了可靠的端到端基座。
2 TempoCausal基准构建
现有时序推理基准主要基于显式时间戳进行锚定提问，模型易通过浅层匹配直接作答，难以触及深层时序因果推理。然而在能源调度、供应链协同与工业设备运维等场景中，运行日志、调度记录与事件文本通常具有较长的时间跨度，且分析任务常涉及隐式时间边界、多实体状态协同变化及长程因果滞后等特征。为系统评估大语言模型在上述复杂场景下的时序因果推理能力，本研究基于TimeQA-Hard基准样本构建了TempoCausal基准，通过采用五维重构范式将线性时序问答转化为结构化时序因果推理任务。TempoCausal基准包括隐式时间窗口与条件过滤、并发多实体状态追踪、时序滞后与多跳依赖、反事实级联推演与微小扰动的滞后放大效应五个维度，共包括6000个复杂时序因果推理问题，有效弥补了当前的研究空白。
3 研究方法
（1）TCR-Agent
TCR-Agent采用神经符号推理架构，通过因果图抽取、反事实干预与双轨推理三个核心环节，实现对运行日志、调度记录等复杂事件拓扑的显式建模。该框架融合了结构因果模型（SCM）与潜在结果框架（POF），SCM为因果拓扑提供形式化表示与操作，POF则用于评估反事实设定下的演变结果。TCR-Agent的核心在于利用图结构构建潜在的因果关系，使大语言模型能够在不调整内部参数的前提下，执行反事实推理与多跳时序推演，为故障诊断、供应分析等复杂任务提供有效支持。
（2）TCR-Former
TCR-Former将TCR-Agent架构中的时序因果建模逻辑内化至Transformer前向计算链路，由时序因果编码器与推理解码器两部分构成。编码器在文本令牌之外引入可学习的事件锚点与时间跨度偏置，通过因果拓扑注意力掩码区分文本间的双向语义理解与事件查询间的因果顺序约束，并叠加时间感知偏置与辅助时间戳预测，从运行日志、调度记录等碎片化叙事中抽取高维因果潜变量。解码器通过非线性投影器对齐潜变量后，采用事实与逻辑旁路融合策略，将原始文本嵌入、因果潜变量与用户查询指令共同馈入自回归生成。该架构支持在注意力层面执行原生反事实干预，通过拓扑剪枝切断目标事件的因果连接，使模型无需重新编码或调用外部图引擎即可完成反事实推演，从而实现端到端的时序因果拓扑感知与推理。
图 融合因果拓扑注意力与时间跨度偏置的TCR-Former架构
4 研究结果
（1）TempoCausal基准实验结果
图 TempoCausal基准实验结果（作答准确率）
基于TempoCausal基准的实验结果表明，复杂时序因果推理对现有LLM构成严峻挑战。GPT-5.4的平均准确率仅为51.3%，暴露了传统自回归模型在应对隐式时间窗口、长程滞后依赖与反事实推演时的根本局限。TG-LLM、Time-CoT与TISER等方法提升有限，表明外层提示工程难以系统性解决深层拓扑推理问题。相比之下，TCR-Agent在所有基座模型上均超越免训练基线，以GPT-5.4为基座模型时平均准确率达70.4%，较最佳基线TISER提升11.2个百分点。在此基础上，TCR-Former将结构感知内化至模型计算，实现了性能的二次跃升，其基于Qwen-3-8B的平均准确率为75.7%，全面领先于所有对比方案。实验结果表明因果拓扑注意力掩码与时间跨度偏置等设计将拓扑推理先验编码至前向计算，有效弥合了跨模态与神经符号转换的语义鸿沟，为能源与工业决策中的时序因果推理任务提供了可靠解决方案。
（2）域外泛化性测试实验结果
为评估模型的泛化能力，本研究在广泛使用的时序推理基准TempReason（L3）与TGQA上开展测试。实验结果显示，TCR-Former在TempReason（L3）基准上的EM为95.4%，在TGQA基准上EM为91.9%，均超越现有SOTA方法。这说明所提架构在复杂时序因果推理之外仍具备优秀的泛化性，从根本上强化了语言模型的时序因果感知与推理能力。
表 域外泛化性测试实验结果
（3）因果抽取图鲁棒性分析
为评估因果图抽取精度对下游推理的影响，本研究基于TempoCausal基准随机选取500个样本，基于TCR-Agent（GPT-5.4）及其移除双轨推理机制的变体进行噪声注入实验。设计边删除与节点干扰两种扰动范式，边删除通过随机移除有向边模拟依赖关系遗漏，节点干扰将节点文本替换为无关干扰文本模拟实体语义畸变。实验结果表明，在因果图中对节点的干扰影响大于对边的干扰，而且TCR-Agent的双轨推理机制有助于提高系统的鲁棒性。
图 因果抽取图鲁棒性分析实验结果
（4）错误样本归因分析
为系统剖析模型在复杂时序任务中的失效机制，本研究将错误归因总结为四类主要的错误模式，包括时间边界误判、因果链条断裂、规则推演失配和其他错误。深入分析实验结果，本研究揭示了大语言模型复杂推理中的结构-推理脱节现象，即外部图结构和思维链能够使模型的推理结构变得更为精准，却未能从根本上解决推演能力不足的问题。如实验结果所示，TCR-Agent相比现有方法大幅减少了时间边界误判（8.4%）与因果链条断裂（9.9%）的错误占比，但规则推演失配的错误占比仍高达13.0%，几乎与TISER（13.8%）持平。这表明结合外部图结构与思维链进行推理，仍难以解决规则推演失配这类对深层推理能力要求更高的错误类型。相比之下，TCR-Former在所有三类错误中的占比均不高于3.4%，其中规则推演失配仅为2.8%，这表明将时序因果先验内化至Transformer注意力空间，能够有效缓解结构-推理脱节的系统性问题。
图 错误样本归因分析实验结果
5 结论与未来工作
本研究围绕大语言模型在复杂事件序列中的时序因果推理难题，提出TCR-Agent与TCR-Former，分别从免训练神经符号框架与原生内化的因果架构两条路径，系统性地解决大语言模型在复杂叙事中的时序因果推理难题。在TempoCausal基准上，TCR-Agent在多个模型上均超越现有的免训练基线。而TCR-Former以约8.6B参数量取得75.7%的准确率，较先前最佳方法提升16.5%，突破了外部符号约束下结构-推理脱节的瓶颈。消融实验验证了TCR-Agent和TCR-Former中各个组件的有效性，为能源调度、供应链协同与工业设备运维等场景中的时序依赖分析与长程滞后预测提供了高效、可靠的推理范式。
未来研究将进一步简化TCR-Former的训练流程，探索端到端联合优化、表征蒸馏与稀疏注意力机制以降低动态掩码开销。同时进一步深入能源与工业场景，结合运行日志、调度记录与工单文本构建领域因果图与评测集，开展大语言模型领域适配、在线推理效率优化与可解释干预验证，推动时序因果推理深入实际决策流程。
原文链接：
https://doi.org/10.48550/arXiv.2610.34094
CITATION:
Yang, Z., Luo, W., Chen, Y., & Ou, S. (2026). From document layout to causal topology: An end-to-end architecture for temporal causal reasoning. arXiv preprint arXiv:2610.34094. https://doi.org/10.48550/arXiv.2610.34094.
感谢您的关注，敬请期待更多团队动态！
初稿：杨智锋
排版：高伟敏
终审：欧士琪