引言

本文精选因果推断圆桌会议议题及因果推断领域专家硬核观点，一起探讨因果推断遇见大模型会碰撞出哪些机遇与挑战。

精彩议题：

Q1：各位专家是如何与因果推断结缘的？

Q2：大模型会给因果推断带来哪些发展机遇？

Q3：随着大模型技术的出现，各位老师在接下来的工作中有哪些规划呢？

Q4：因果推断在不同行业的应用现状和需求是怎样的？

Q5：各位专家给从业者的一些建议。

硬核观点：

1. 大模型可能还是关联关系，而关联关系肯定会存在一些bias问题，当我们把大模型赋能到因果推断时还是会存在一些疑惑，即我们是否应该相信大模型。

2. 大模型可以帮助解决很多任务，每个任务之间可以协调，这极大地降低了人力和时间成本，并且模型的复杂度也降低了。

3. 大模型可以更好地帮我们处理非结构化数据，更好地利用其中的因果知识帮助我们处理因果发现。

4. 大模型是由大量语料训练而来的，也是一种知识库，因此，大模型有机会做反事实推理，反事实的文本生成等。

5. 大模型可以更好地帮助理解语义，帮助我们提升因果发现的效率。

6. 大模型是一个很好的终端，我们不需要将非结构化数据转换成机器能读懂的语言之后，再做因果发现或完成其它的任务。

7. 大模型可以做很多辅助决策的事情，但是如何帮助因果相关的任务还有待深入研究。

8. 大模型可以通过处理非结构化数据丰富知识来源来改善现有的决策框架。

9. 大模型训练语料里最为致命的一点是专业知识在大语料里占比是非常少的，很难在训练里面把专业知识给学习出来，所以在一个具体的应用领域还是需要精准专业的知识工具，如知识图谱。

DataFun社区｜出品

数据智能专家访谈 第20期｜来源

▼

01

Q1：各位专家是如何与因果推断结缘的？

况琨：

我在读博士期间看到过一篇统计方面的论文，通过这篇论文才明白变量之间不只有相关关联，还有因果关联。我和当时的博导一起交流讨论后，觉得这是一个很好的方向，于是开始接触因果推断，慢慢在这上面做一些积累。

郑嘉：

我与因果推断的结缘和直播间的各位老师都有关系，拜读过直播间两位老师的很多论文。真正开始接触因果推断是我在滴滴做用户增长和激励的项目时，那时候开始接触到Uplift模型、因果推断方法。

万世想：

我是在滴滴AI Lab做降本增效的项目时开始接触因果推断。最开始我是做时序预测相关的项目，很幸运在刚开始工作时就遇到了很棒的老板，带着我们做了很多对公司有价值的增长项目，我自己也从中收获了非常多的技术认知，由最开始的有兴趣转变为不断收获成就感。

董振华：

我是2017年开始接触因果反事实学习技术的。众所周知，推荐系统的正例非常少、负例非常多，所以我们使用one class构建推荐模型，但未知样本均当作负例显然是不合理的。为了解决这个问题，我们考虑用一些反事实的方法预估不可见样本的label，因此与因果推断技术结缘。

▼

02

Q2：大模型会给因果推断带来哪些发展机遇？

况琨：

大模型可以赋能因果推断，我们可以使用大模型去解决一些因果推断上的问题，比如因果发现、因果问题的回答等，但我不确定的是大模型是否见过这个数据集，所以不同的领域需要去构建一些benchmark，去看大模型能不能把某个领域的问题解决掉。我最近看了两篇讲解大模型对因果推断影响的文章，一篇文章认为大模型对因果推断的影响很大，一篇文章认为大模型还是解决不了因果推断上的一些问题。大模型赋能因果推断的前提是要知道现阶段的边界在哪里。大模型学习到的可能还是关联关系，关联关系肯定还是存在一些bias的问题，当我们把大模型赋能到因果推断，比如一些风险比较高的场景下，还是会存在一些疑惑，即我们是否应该相信大模型。整体上，我觉得能不能借助大模型这个热点把因果的作用发挥到更大，是大模型可能会给因果推断带来的一个发展机遇。

郑嘉：

关于这个问题，我们首先看大模型给我们带来了什么。个人总结大概有4点：第一点是以前完成任务需要构建很多不同的模型，还需要在不同的数据领域微调模型参数，模型之间是割裂的，当组合在一起也未必能够达到最优。现在一个大模型可以解决各种任务，而且每个任务之间可以协调，极大地降低了人力和时间成本，模型的复杂度也降低了。

在因果问题上，大模型可以更好地帮我们处理非结构化数据，更好地帮助我们处理因果发现。第二点是大模型对知识图谱的帮助。大模型是一大推语料训练而来的，也算是一种知识库，它能做到反事实推理、反事实的文本生成等。第三点是大模型可以更好地帮助理解语义，帮助我们提升因果发现的准确度。第四点是大模型对人类友好，我们不需要将非结构化数据转换成机器能读懂的语言之后再做因果发现或完成其它的任务，它是一个很好的终端，比如ChatGPT。

万世想：

大模型可以帮助我们做很多业务知识和提升认知的事情，在语义理解等各大任务上都有巨大的性能提升，但是对于因果类型任务的提升幅度是最低的。在金融领域，激励发放、定额定价等常见的金融决策场景，单笔交易额往往都在数万元，因此业务需要依赖因果链条非常清晰的框架。在这种框架要求下，高维的非结构化的数据往往是作为稠密表征来使用，对于业务因果链条的补充仍旧单薄。大模型可以赋予这样一个机会，通过丰富知识来源来改善现有的决策框架。每个垂直领域下的大模型可以学习各自领域的因果关系来取代现有的简单的决策框架。我们部门最新发布的首个金融大模型轩辕，在金融垂类领域的决策能力有了质的提升。

董振华：

大模型是否具有因果性？如何去评估？大模型蕴含了哪些因果关系？为了回答以上问题，需要构建一些benchmark。太阳升起与公鸡打鸣的因果关系，ChatGPT、newbing都可以回答的很好，但我们不清楚是因为大模型储备了这些知识，还是大模型真的学到了因果关系，具备了因果推断能力？当然大模型学习到的部分因果知识对后面的因果发现、知识图谱都有很好的帮助。但是，如果一些小众的知识不存在于训练大模型的数据中，ChatGPT可能很难回答好，因此，知识图谱有机会帮助大模型，让大模型的表现更好。

▼

03

Q3：随着大模型技术的出现，各位老师在接下来的工作中有哪些规划呢？

董振华：

大模型非常惊艳，但同时也存在一些问题，这些问题可以通过融合因果技术来缓解。大模型回答的问题并不是非常准确，给出的答案往往依据的是词语之间的共现性和文中距离的相近性【1】，而没有学到其中的因果关系。而先验知识（如知识图谱）则有机会提供事实性、因果性的关系。因果技术还能帮大模型做很多事，比如大模型的纠偏、可信。

况琨：

大模型可以用来做因果发现，将一些非结构的数据引进来，可以使因果推断更准确，我们还需要根据自己的任务来调整目标，如果是关注预测，只需要关注准确率提升就够了，如果是医疗等领域，还需要考虑风险的问题，这时候因果就能起到一些作用，大模型在公平性、安全，性别歧视上还是存在一些问题。另外，大模型的泛化能力还需要质疑，是因为大模型看了足够多的数据，还是真的具有了泛化性，仍然存在疑问。从因果的角度，如果模型学到了数据背后的因果机制，那就可以实现泛化。大模型也可以帮助我们获得更多的数据，可以帮助我们去增强模型的泛化能力。

万世想：

大模型在认知任务或简单的逻辑推理任务上展现出了一些惊人的能力，比如上下文的语义推理，简单的因果关系识别。通过引入一些垂直领域的因果关系的数据，因果推断可以很显著地提升大模型的因果识别能力。大模型帮助因果推断主要还是从大模型可以扩展和丰富因果推断可用的数据上起到作用。

郑嘉：

大语言模型始终是一个语言模型，所有学到的东西都来自于数据集，这样必然会导致各种偏差，因此，因果推断能够帮助大语言模型消偏，让大模型更鲁棒。对于一些没有的数据，可能需要用一些反事实的方法去构建，去帮助大语言模型看到这些数据。未来的发展上，大语言模型必然需要具有复杂的推理能力，这需要因果推理相关的知识。

▼

04

Q4：因果推断在不同行业的应用现状和需求是怎样的？

郑嘉：

先说怎么用因果推断来解决一些现实问题，我们做的更多的是对用户做一些现金激励，即对每一个用户提供一个什么样的策略会使得转化更高效，我们主要用基尼系数去检验效果，在实际业务中我们还会根据具体指标的提升来判断处理效应。在业界，因果效应的大小容易出现波动，可能是因为用户行为数据比较稀疏，所以我们还会做一些纠偏。

万世想：

金融领域对于因果推断的使用还存在很大的空间，主要是因为现有成熟方法聚焦于充足的随机数据。但是，金融领域的随机流量是很昂贵的，并且风险规模需要严格管控。金融领域也需要很强的变量解释性。正因为此，我们有机会探索在便宜的观测流量上做因果建模，这对不仅仅是度小满，也是对工业界来说，是一个非常有价值的事情。因果推断在观察数据上的发现以及与大模型的结合是一个价值高潜力大的趋势。

董振华：

在我们的行业，需要用到因果推断的地方很多，包括对于硬件故障的检测，以及故障的归因和定位分析等。通过归因分析可以帮助运营人员重点关注与根因相关的报警。在推荐系统方面，我们会用反事实的样本结合事实样本来构建模型，来提高模型预测的准确率。将不可见的用户行为引入模型的构建，并在这个基础上进行推荐。

况琨：

现阶段很多因果推断的论文都是在解决Confounding Bias的问题，我们知道高维数据中存在很多噪声，因此，怎么找到需要控制的变量是一个挑战。在实际应用场景中，难以保证观察到了所有的混杂因子，当然，我们可以用工具变量来解决内生性问题，但是如何找到工具变量也是一个挑战。对于复杂的treatment，也存在一些问题还需要去解决，比如treatment之间的交互。因果推断落地到业界本质上需要解决的问题是因果推断需要有假设，这个假设在实际任务中是否满足，假设没有办法去测试，因此，缺乏一套标准来指导因果在不同场景中的应用。

▼

05

Q5：各位专家给从业者的一些建议

万世想：

在整个互联网行业已经开始进入成熟发展期，各家业务普遍难以实现以往的提升，因此“降本提效”将会是各家在成熟市场里的必要手段。降本增效本质上是如何优化手中资源的问题，来达到整个公司的利润最优，这是一个决策问题，而因果推断是一个很好地做决策的工具。

作为新入行的互联网人，怎么进入这个行业呢？首先需要将基础打牢，进入一个行业之前建议先去看一看行业奠基性的文章，对这个领域有基本的理解，大概的技术脉络和最新进展是什么样，大家首先要去确定要在一个什么方向上努力，比如是做一个因果决策问题，还是利用因果推断做机器学习消偏，有很多细节方向可以选择。用技术武装完自己后，再结合业务做一些实践，主动和同行老师交流等。我们一定会遇到失败，那就在一次次的失败中总结经验。我们也会遇到成功，那就在一次次的成功中培养认知，不断提升自身的技术修为。

董振华：

因果推断技术是值得长期投入精力去做的。因果推断特别适合用在决策上，也可以用在归因分析上。我们还要有技术信仰，用因果思维和技术，逐步建立自己在这个领域的自信，同时也需要与优秀的人，包括学术界和业界，一起合作交流。

况琨：

我们要经常问自己为什么，为什么要用因果推断？这样你才能知道技术的原理和适用的范围，可以多看计算机、统计和经济学方面的文章。

郑嘉：

多看系列文章，根据时间脉络，学习作者们是如何一步一步解决问题、提升效果的。业界很难一直在一个方法上深耕，需要根据业务需要选择合适的算法，不要硬套因果方法到各个场景。但是，一定要持续关注、跟进现有技术，总会有量变到质变的效果，就像大语言模型的爆发一样。

【1】How Pre-trained Language Models Capture Factual Knowledge? A Causal-Inspired Analysis，[2203.16747] How Pre-trained Language Models Capture Factual Knowledge? A Causal-Inspired Analysis

- End -

访谈人：董振华 华为诺亚方舟实验室技术专家

访谈人：况琨 浙江大学计算机学院副教授，博士生导师

访谈人：万世想 度小满专家算法工程师

访谈人：郑嘉 腾讯OVBU 11级研究员

整理：Mars

编辑：刘晓坤 DataFun

▌专家介绍

董振华

公司：华为诺亚方舟实验室

职位：技术专家

个人介绍：董振华，博士毕业于南开大学，明尼苏达大学访问学者，目前在华为诺亚方舟实验室工作，历任研究员、主任研究员、技术专家、项目经理，负责推荐系统、搜索引擎、反事实学习、因果推理等方向的研究和落地，显著改进超过20个产品（如应用市场、浏览器、信息流、广告、媒体等）的关键指标。董振华博士申请专利超过40项，在TKDE, SIGIR, RecSys, WWW等国际会议、期刊发表学术论文40余篇，曾获WikiSym 2011 Best Paper Award。著有译著《奇点临近》。

况琨

公司：浙江大学计算机学院

职位：副教授、博士生导师

个人介绍：况琨，浙江大学计算机学院副教授，博士生导师，人工智能系副主任。主要研究方向包括因果推理、数据挖掘、因果可信机器学习。在数据挖掘和机器学习领域已发表近60余篇顶级会议和期刊文章，包括KDD、ICML、NeurIPS、MM、AAAI、TKDE、TKDD、Engineering等。曾获2022年ACM SIGAI China 新星奖（Rising Star Award），2021年度中国科协青年人才托举工程项目支持，2022年度高等学校科学研究优秀成果奖（科学技术）科技进步一等奖，2021年度中国电子学会科技进步一等奖，2020年度中国人工智能学会优秀博士学位论文提名奖。

万世想

公司：度小满

职位：专家算法工程师

个人介绍：万世想，度小满专家算法工程师，硕士毕业于天津大学计算机系，在滴滴和腾讯有三年因果推断工业实战经验。加入度小满后，专注于因果推断对金融核心业务的前沿研究与落地。目前发表顶会&SCI论文10余篇，谷歌学术引用数超900。

郑嘉

公司：腾讯

职位：OVBU 11级研究员

个人介绍：郑嘉，腾讯OVBU 11级研究员，微视期间负责补贴激励，供需调优相关算法工作，不断推进因果推断方法落地，大幅提升产品核心指标，并结合业务场景探索新的因果推断方法。目前负责应用宝搜索与增长相关工作。

▌2023数据智能创新与实践大会

4大体系，专业解构数据智能

16个主题论坛，覆盖当下热点与趋势

70+演讲，兼具创新与最佳实践

1000+专业观众，内行人的技术盛会

欢迎大家点击下面链接报名参会：

DataFunCon2023（北京站）：数据智能创新与实践大会 �-�百格活动

▌数据智能专家访谈

“数据智能专家访谈”是 DataFun 新推出的内容系列，本系列旨在访谈不同公司的核心技术人员，得到专家在不同领域的洞察，包括但不限于行业重点、热点、难点，增加读者对行业技术的了解。

▌大话数智

大话数智，是DataFun策划的智库类公众号，包括但不限于知识地图、深度访谈、直播、课程等学习资料，旨在为广大数据智能从业者、数据智能团队提供一个日常学习成长的平台，促进先进的数据智能技术的传播与广泛落地。