文章欢迎您来评论区参与讨论，获取更多精彩文章，请您点一下关注，感谢您的支持。

文|江卿曻

编辑|江卿曻

前言

软件的开发和操作总是伴随着错误，例如Mozilla项目每天至少生成 300个错误当前的软件开发周期越来越短，这意味着软件没有得到充分的测试。

为了提高产品的健壮性和可用性，一些机构维护了大规模的bug存储库，和bug跟踪系统，用户或测试人员可以将错误的，某些功能和参数输入到系统中，以便更容易、更快速地跟踪和修复错误。

一些工作强调了与分析大规模存储库中，的错误报告相关的高成本，例如，研究人员可能需要40000美元的，大量投资和两周的不间断工作，才能对四个错误存储库的，相似性进行全面分析。

那么误存后会对之前的数据造成什么影响呢？通过什么方法会识别出这种错误呢？

误存储库带来的挑战

这强调了错误分类和重复数据删除，的重要性和必要性，以应对大规模错误存储库带来的挑战，一些组织甚至鼓励用户在，付费方案中查找和提交错误。

例如优步为每个发现错误的，用户提供600美元的奖励，在硬件测试领域，bug分类也非常有用，甚至更有必要，因为硬件bug的附着可能会受到，更多不可控的环境因素的影响，这使得bug相当难以重现，提取的特征与软件完全不同。

通常项目开发人员会长时间运行漏洞发现工具，例如模糊测试工具，以探索系统的漏洞，漏洞修复者面临大量错误需要处理，这是一个显而易见的事实。

但是有许多错误是重复的，一项调查声称，平均有12%的错误报告是重复的，就核生成的错误报告而言，几乎约50%是重复的。

在识别错误重复数据删除时需要考虑许多因素，例如调用相同的崩溃函数、触发相同类型的崩溃等，直观的错误重复数据删除和，分类方法是执行错误恢复和重放。

例如，符号执行、状态空间搜索和污点分析等，方法可用于执行 bug 恢复和重放，但这些方法具有相当高的运行，时错误重复数据删除和错误分类在，提高错误修复效率方面起着至关重要的作用。

前者有助于减少bug中的冗余，缓解当前大量bug提交等待分析的情况，后者根据某些逻辑相似性对错误进行分类，并将其转移给相应的开发人员。

这种方法最大限度地提高了将错误推送给潜在专家的机会，这些专家可以有效提高错误修复效率。

可以根据两种类型的信息执行错误，重复数据删除和错误分类，第一种类型是错误报告，其中包括错误的类别、优先级、涉及的人员以及一些实时记录。

典型的错误报告通常是包含各种信息的半结构化文件，内容包括崩溃线程的上下文，例如堆栈跟踪和处理器寄存器，以及崩溃时计算机内存内容的子集，它还包括有关错误的基本信息。

典型错误报告中包含的信息

错误报告生成bug后，将生成、删除重复数据并会，审其相应的bug报告，它最初标记为“未确认”，然后在正确的时间分配给适当的开发人员。

如果开发人员无法正确修复错误，则错误报告将扔回错误池中，并标记为“未确认”，否则，它将被标记为“已解决”并等待验证，验证程序确认bug已修复后，bug报告将标记为“已验证”，案例将关闭，如果未确认，则丢弃错误报告。

而且bug触发的运行时信息，如堆栈跟踪、覆盖率、控制流、崩溃点等，实现精确的错误重复数据删除，和分类具有挑战性，这两个概念都依赖于相似性。

重复数据删除主要关注内容相似性，而分类也可能考虑修复程序的特征，展示了 bug 报告的特征提取和相似度计算过程，它涉及使用主题建模技术进行特征提取。

随后使用余弦相似性和Jaccard相似性等，数学模型进行相似性计算，它首先从错误报告中的崩溃代码片段中提取控制流图，控制流图用作神经网络的输入，以计算重复或类似错误报告的可能性。

相关调查

许多关于错误重复数据删除和分类的，现有研究工作主要集中在错误报告上，这些方法通常需要领域专家的参与，而自动化方法的准确性有限，而实验结果表明在准确性或运行时，效率方面没有显著差异，

基于TF-IDF的IR方法具有较好的分类效果，涵盖了各种方法，例如用于bug识别，聚类，分类和评级的数据挖掘，和机器学习技术，它包括监督和无监督方法。

目前的方法仍有改进的余地，但是这项工作相对较早，仅关注使用错误报告确定错误优先级，以确保调查的相关性和最新性，学者根据错误报告对bug分类工作进行了调查，总结了基于文本的分类、基于推荐的方法和基于抛图的方法。

研究人员总结了错误报告重复数据，删除中常用的功能和一般步骤，突出了存在的问题和潜在的优化研究点，但是这些文章的覆盖范围并不全面，并且它们没有专门关注运行时信息进行分类。

他们调查了基于机器学习、配置文件或元数据的分类方法，比较并讨论了不同方法的优缺点，得出的结论是，没有一种方法在所有维度上都具有优势，并提供了对潜在研究点的见解，例如冷激活问题和负载平衡。

通过对多个开源项目的实验，他们发现基于IR的错误分类方法具有更好的性能，还关注基于错误报告的错误分类，缺乏对运行时信息和重复数据删除的研究，

之前的工作主要以调查与错误报告，相关的相关研究为目标，相比之前的调查，这次不仅包括错误报告，还包括与运行时信息相关的研究作为分析主题，

相关调查与我们的工作之间的比较

重复数据删除和分类从根本上涉及，考虑错误之间的相似性，错误特征的提取和相似度的计算，是主要的研究课题。

2010年左右，传统的文本匹配和机器学习方法，是确定相似性的主流方法，传统的文本匹配方法主要使用，基于动态规划的技术，例如最长公共子序列和最长公共子字符串。

随着时间的推移，信息检索方法开始得到广泛开发和应用，包括主题建模、模糊集和文本特征提取。

这些方法可以更准确地对，错误报告进行建模，提取特征向量，并使用相似性计算技术测量文本之间的距离。

后来得益于深度学习方法的快速发展，特别是各种神经网络模型，如基于NLP的模型，调整后的深度学习方法在大规模，相似性分析中表现出突出的效果，其他典型的神经网络模型，如CNN，也已应用于特征提取。

首先，结合 IR 和 ML 的优势进行重复数据删除，和分类可能是一种很有前途的方法，IR 在准确的特征提取方面表现出色，而 ML 在相似性分析、推荐和预测方面表现出色。

优化应用机器学习和信息检索方面的最新进展，例如大规模语言处理中使用的，变压器模型，经过适当的迁移学习可能会，产生比当前模型更好的结果。

它包括基于运行时信息的方法、错误报告的信息检索方法，和错误报告的机器学习方法，重复数据删除和分类是，近年来的热门研究课题。

在研究数量方面，大多数工作都集中在基于错误报告的，重复数据删除和分类上，这主要是因为错误报告，通常用作在错误跟踪系统中存储错误的媒介，使它们更容易获得。

利用运行时信息的工作面临更高的难度和复杂性，因为它们需要收集和分析，与崩溃相关的各种信息，在基于bug报告的工作中，显示出相对稳定的分布，而基于机器学习的方法近年来由于机器学习技术的快速发展而显着增加。

调查结果与未来方向

目前使用的基站使用基于bug报告的方法，实现重复数据删除和分类，这主要取决于获取和，传输bug报告的难易程度。

使用基于运行时信息的方法的，最大障碍在于运行时信息的，完全获取和格式转换，这也是未来可能的研究方向，BTS使用的相似度度量一般，也需要更准确的文本匹配。

这也降低了自动重复数据删除的有效性，需要更多的人力资源来完成，准确的重复数据删除和分类。

堆栈跟踪哈希因其现成的可用性和，一般优势而在许多工作中被广泛使用，它有助于识别根本原因并促进快速场景重建，并且具有一定程度的可用性，仅仅依靠覆盖信息也是不准确的。

这主要是因为可能存在与触发bug，无关的新执行路径，这可能会导致同一bug的覆盖率信息不同，使用程序的运行时信息进行错误重复数据删除和分类时，可能会发生误报，因为同一错误可能表现出不同的崩溃点、错误消息等。

结论

软件开发技术的不断迭代和成熟导致了两个后果，首先，开发人员和用户都要求提高，软件的健壮性和稳定性，软件开发周期变短，使得彻底的软件测试越来越具有挑战性。

目前许多组织维护错误存，储库和错误跟踪系统，以确保实时更新错误，每天都会发现大量错误并将其发送到存储库，这给错误修复人员带来了繁重的工作量。

有效的错误重复数据删除和分类，在软件开发中起着至关重要的作用，关于如何有效地对错误进行，重复数据删除和分类，已经进行了大量研究。

之后列出并详细讲解使用不同技术路线图的，重复数据删除和分类相关工作的具体实现，并对结果进行定量比较和评估。

文献：

安维克;嗨，L.;墨菲，G.C.应对一个开放的错误存储库，2005 年 技术交流研讨会论文集，美国加利福尼亚州圣地亚哥，16 年 17 月 2005 日至 35 日;第39-<>页。

班纳吉;赫尔米克;赛义德;两个大规模开源问题报告存储库的比较，2015 年 IEEE 第 16 届高保证系统工程国际研讨会论文集，美国佛罗里达州代托纳比奇海岸，8 年 10 月 2015 日至 263 日;第270-<>页。

班纳吉;库基奇，B.关于挖掘非常大的开源存储库的成本，2015年IEEE/ACM第一届大数据软件工程国际研讨会论文集，意大利佛罗伦萨，1年23月2015日;第37-43页。