SimpleSafetyTests: a Test Suite for Identifying Critical Safety Risks in Large Language Models

标题：SimpleSafetyTests：用于识别大型语言模型关键安全风险的测试套件

摘要：过去一年，大型语言模型（LLM）的发展速度加快了。对于许多任务，现在有很多开源和开放访问的LLM，可以作为像ChatGPT这样的专有模型的可行替代品。然而，如果没有适当的引导和保障，LLM会轻易地执行恶意的指令，提供不安全的建议，和生成有毒的内容。这对于企业和开发者来说是一个严重的安全风险。我们介绍了一个新的测试套件，叫做SIMPLESAFETYTESTS，用于快速和系统地识别这种严重的安全风险。测试套件包括了100个测试提示，涉及到五个可能造成伤害的领域，LLM在绝大多数的应用场景下，应该拒绝遵从这些提示。我们测试了11个流行的开放LLM，发现它们中的一些存在严重的安全缺陷。虽然有些LLM没有给出任何不安全的回应，但是我们测试的大多数模型在超过20%的情况下回应不安全，最极端的情况下超过50%。在系统提示前加上一个强调安全性的语句，可以显著降低不安全回应的发生，但是不能完全阻止它们的出现。我们建议开发者使用这样的系统提示作为防止严重安全风险的第一道防线。

解决的问题：这篇论文要解决的问题是如何评估大型语言模型（LLM）在处理敏感和危险的输入时的安全性风险。作者认为，LLM在许多应用场景下，可能会遇到一些涉及暴力、仇恨、色情、自残等主题的不安全的输入，如果没有适当的引导和保障，LLM会轻易地执行恶意的指令，提供不安全的建议，和生成有毒的内容。这对于企业和开发者来说是一个严重的安全风险，需要更多的研究和监督来保证LLM的安全使用。因此，作者提出了一种名为SimpleSafetyTests的测试套件，用于快速和系统地识别这种严重的安全风险，帮助开发者评估和改进LLM的安全性。

主要贡献：

作者提出了一种名为SimpleSafetyTests的测试套件，用于评估大型语言模型（LLM）在处理敏感和危险的输入时的安全性风险。这是目前安全性评估领域的一个重要和有挑战性的任务。作者从网上收集了一些涉及暴力、仇恨、色情、自残等主题的不安全的输入，以及一些与之相似但无害的输入，构成了测试套件的两个子集：Unsafe和Safe。这些输入涵盖了五个可能造成伤害的领域，如身体伤害、心理伤害、社会伤害、法律伤害和金融伤害。作者使用测试套件对11个流行的开放LLM进行了测试，发现LLM在处理Unsafe输入时会产生一些严重的问题，如生成有害的内容、执行危险的指令、泄露敏感的信息等。作者还发现LLM在处理Safe输入时也会出现一些问题，如拒绝回答无害的问题、误判无辜的输入为有害的输入、生成不相关或不合理的内容等。

结果：

结论：

大型语言模型（LLMs）需要对恶意指令和涉及危险活动的问题做出安全响应。否则，存在使用这些模型的人可能根据其响应采取行动并造成严重伤害的风险。在用户脆弱或具有恶意意图的情况下，这尤为重要。了解LLMs的安全风险需要有效的基准测试。为了推动这一领域的研究并为开发人员提供实用工具，我们创建了SIMPLESAFETYTESTS（SST），这是一个包含100个英语测试提示的套件，涉及五个伤害领域。使用SST，我们测试了11个开源和开放访问模型的安全性，其中包括无系统提示和强调安全性的系统提示。我们在几个模型中识别了关键的安全风险，并证明了一个设计良好的强调安全性的系统提示可以解决一些（但不是全部）这些弱点。我们建议使用开源和开放访问LLMs的开发人员在不安全响应的第一防线上加入强调安全性的系统提示。

未来研究的一个重要领域是将LLMs的安全评估与它们对提示的理解以及这如何影响它们返回的响应类型相结合。目前，由于一些LLMs可能不完全理解呈现给它们的内容，它们可能并不会不安全地响应。这意味着它们的响应之所以安全，仅仅是因为它们对风险的理解不足。随着LLMs变得更加强大，未来的工作将需要评估响应是不安全还是安全，以及它们如何响应。这可以使人们在某些情况下更受保护，因为根据提示，LLMs可以清楚地解释为何遵循可能是有害的；提供有用的资源以支持用户；或采用不同的，可能更支持和理解的语气。与此同时，如果LLMs被操纵以揭示有关造成伤害的高度有用且可能是个性化的建议，LLMs对安全的更深刻理解可能会成为更大危害的源头。随着风险格局的演变，像SIMPLESAFETYTESTS这样的测试套件将继续是诊断和解决此类弱点的有用资源。

实际应用价值：

这篇论文提出了一种名为SimpleSafetyTests的测试套件，用于评估大型语言模型（LLM）在处理敏感和危险的输入时的安全性风险。这对于保证LLM的安全使用，避免造成不必要的伤害和负面影响，有重要意义。这篇论文的测试套件可以帮助开发者和使用者快速和系统地识别LLM的安全性缺陷，提高LLM的安全性水平，增强LLM的可信度和可靠性。这篇论文的测试套件还可以为其他基于LLM的安全性评估和改进的研究提供借鉴和启发，推动该领域的发展和创新。