《自然》杂志文章：研究人员说，聊天机器人背后的模型编造了一个令人信服的假数据库，但法医检查显示它并不真实。

研究人员利用人工智能（AI）聊天机器人 ChatGPT 背后的技术创建了一个虚假的临床试验数据集，以支持一项未经证实的科学假设。

在11月9日发表在《美国医学会眼科学杂志》（JAMA Ophthalmology）上的一篇论文中，作者使用了GPT-4（ChatGPT运行所依赖的大型语言模型的最新版本）和高级数据分析（Advanced Data Analysis，ADA），后者是一种结合了Python编程语言的模型，可以执行统计分析并创建数据可视化。人工智能生成的数据比较了两种外科手术的结果，并错误地指出一种治疗方法优于另一种。

研究报告的合著者、意大利卡利亚里大学眼科外科医生朱塞佩-贾纳卡雷（Giuseppe Giannaccare）说："我们的目的是要强调，在几分钟内，你就可以创建一个没有真实原始数据支持的数据集，而且与现有的证据相比，它也是相反的或在另一个方向上。

人工智能编造令人信服的数据的能力增加了研究人员和期刊编辑对研究完整性的担忧。加利福尼亚州旧金山的微生物学家兼独立研究诚信顾问伊丽莎白-比克（Elisabeth Bik）说："生成式人工智能可以用来生成使用剽窃软件无法检测到的文本，这是一码事，但它能够创建虚假但逼真的数据集，这就更令人担忧了。"这将使任何研究人员或研究小组都能非常容易地对不存在的病人进行虚假的测量，对问卷进行虚假的回答，或在动物实验中生成大量的数据集"。

作者将这些结果描述为一个 "看似真实的数据库"。但经专家检查后发现，这些数据未能通过真实性检查，并含有捏造的明显迹象。

手术对比

作者要求 GPT-4 ADA 创建一个有关角膜炎患者的数据集，角膜炎会导致角膜变薄，从而影响聚焦和视力。对于 15-20% 的角膜炎患者来说，治疗方法包括角膜移植手术和穿透性角膜移植手术。

第一种方法是穿透性角膜移植术（PK），通过手术切除所有受损的角膜层，并用捐献者的健康组织取而代之。第二种方法是深前板层角膜移植术（DALK），只替换角膜前层，保留最内层。

作者指示大型语言模型编造数据，以支持 DALK 比 PK 效果更好的结论。为此，他们要求该模型在一项评估角膜形状和检测不规则角膜的成像测试中显示出统计学差异，并显示出试验参与者在手术前后视力的差异。

人工智能生成的数据包括160名男性参与者和140名女性参与者，结果显示，接受DALK手术的人在视力和成像测试中的得分都比接受PK手术的人高，这一结果与真正的临床试验显示的结果不符。2010 年的一份有 77 名参与者的试验报告显示，DALK 术后两年内的效果与 PK 相似。

英国曼彻斯特大学生物统计学家杰克-威尔金森（Jack Wilkinson）说："要创建至少表面上看似可信的数据集似乎很容易。英国曼彻斯特大学生物统计学家杰克-威尔金森（Jack Wilkinson）说："因此，在未经训练的人看来，这肯定是一个真实的数据集。

威尔金森对检测不真实数据的方法很感兴趣，他检查了几个由早期版本的大型语言模型生成的数据集，他说这些数据集在仔细检查时缺乏令人信服的元素，因为它们难以捕捉变量之间的真实关系。

更仔细的检查

应《自然》新闻团队的要求，威尔金森和他的同事吕泽文（Zewen Lu）使用一种旨在检查真实性的筛选方案对假冒数据集进行了评估。

这表明，许多 "参与者"的指定性别与根据其姓名通常应具有的性别不相符。此外，术前和术后的视力测量结果与眼成像测试之间也没有发现相关性。威尔金森和卢还检查了数据集中某些列的数字分布情况，以检查是否存在非随机模式。眼成像值通过了这一检验，但一些参与者的年龄值以一种在真实数据集中极为罕见的方式聚集在一起：年龄值以 7 或 8 结尾的参与者人数过多。

研究报告的作者承认，他们的数据集存在缺陷，只要仔细观察就能发现。但尽管如此，吉安纳卡雷说，"如果你快速查看数据集，就很难识别出数据源的非人类来源"。

《EMBO Reports》杂志主编 Bernd Pulverer 也认为这是一个值得关注的问题。他说："现实中的同行评审通常不会对数据进行全面的重新分析，也不太可能发现人工智能精心设计的完整性漏洞，"他补充说，期刊需要更新质量检查，以识别人工智能生成的合成数据。

威尔金森正在领导一个合作项目，设计统计和非统计工具来评估可能存在问题的研究。"人工智能可能是问题的一部分，同样，也可能有基于人工智能的解决方案。我们也许可以自动进行一些检查，"他说。但他警告说，人工智能生成技术的进步可能很快就会提供规避这些协议的方法。Pulverer 对此表示同意： "只要知道筛查的目的，人工智能就可以很容易地将这些东西作为武器来对付"。