AI: 恶意法学硕士的双重用途困境

[morpheus]

执行摘要​

安全环境中大型语言模型(LLM) 的一个根本挑战是，它们作为防御工具的最大优势恰恰是其攻击能力。这个问题被称为双重用途困境，这个概念通常应用于核物理或生物技术等技术，但现在也成为人工智能的核心。任何强大到足以构建复杂系统的工具也可以重新利用来破坏一个系统。
这种困境体现在与网络安全相关的几个关键方面。虽然防御者可以利用LLM 来加速和改进响应，但攻击者也可以利用它们来完成工作流程。例如:
语言精度: 法学硕士可以生成语法合理、上下文相关且具有心理操控性的文本，从而推进网络钓鱼、网络钓鱼和商业电子邮件泄露(BEC) 活动的社会工程艺术。
代码流畅度: 他们可以快速生成、调试和修改功能代码，包括恶意脚本和定制恶意软件，大大加快了恶意软件和工具的开发周期。
良性研究工具和强大的威胁创建引擎之间的界限非常薄弱，非常危险。两者往往仅因开发商的意图和缺乏道德护栏而分开。
在本文中，我们研究了第42 单元认为专门为攻击目的而设计的恶意、专门构建的模型的两个法学硕士示例。这些模型WormGPT 和KawaiiGPT 展示了这些确切的双重用途挑战。
Unit 42 AI 安全评估可以帮助您在整个组织内安全使用和开发AI。
如果您认为自己可能已受到威胁或有紧急事项，请联系Unit 42 事件响应团队。
相关单元42 主题
法学硕士、网络钓鱼、网络犯罪、勒索软件

定义恶意法学硕士​

这些恶意法学硕士（专门为攻击性目的而构建或改编的模型）通过在基础培训或微调过程中故意消除道德约束和安全过滤器，将自己与主流同行区分开来。
此外，这些恶意LLM 包含有针对性的功能。它们在地下论坛和Telegram 频道中销售，具有各种功能，包括明确针对: 定制的功能
生成网络钓鱼电子邮件
编写多态恶意软件
自动化侦察
在某些情况下，这些工具不仅仅是公开可用模型的越狱模型（使用即时注入技术来规避模型内置的道德和安全限制的实例）。相反，它们代表了一种专门的商业化努力，旨在为网络犯罪分子提供可访问、可扩展且高效的新工具。

进入门槛降低​

恶意法学硕士最重大的影响也许是网络犯罪的民主化。这些不受限制的模式从根本上消除了网络犯罪活动所需技术技能方面的一些障碍。这些模型将曾经为知识渊博的威胁行为者保留的权力授予几乎任何拥有互联网连接并基本了解如何创建提示以实现其目标的人。
以前需要更高水平的编码专业知识和本地语言流利程度的攻击现在变得更容易实现。威胁格局的这种转变导致:
规模超过技能: 这些工具为低技能攻击者提供支持。人工智能支持的脚本小子可以发起大量活动，其质量优于过去的攻击。
时间压缩: 攻击生命周期可以从数天或数小时的手动工作（例如，研究目标、制作个性化诱饵并生成相应的基本工具代码）压缩到仅几分钟的提示。
恶意法学硕士的持续扩散是一个警告。人工智能的进攻能力正在变得更加成熟，并且变得更加广泛。

WormGPT 遗产​

威胁的起源：原始 WormGPT 的起源和初步影响​

最初的WormGPT 于2023 年7 月出现，是首批得到广泛认可的商业化恶意LLM 之一。它是专门为了绕过主流法学硕士模式的道德规则而创建的。
据报道，WormGPT 是基于GPT-J 6B 开源语言模型构建的。 WormGPT 的创建者公开声称已经使用专门的、机密的和恶意的数据集对这个可访问的基础模型进行了微调，特别强调与恶意软件相关的数据。这确保了最终的工具缺乏主流人工智能的道德护栏。
据称，WormGPT 使用的数据集包含恶意软件代码、漏洞利用文章和网络钓鱼模板。这直接根据网络犯罪分子使用的策略、技术和程序(TTP) 来训练模型。
它在著名的地下论坛（例如Hack Forums）上得到推广，如图1 所示。这些广告明确承诺WormGPT 是合法LLM 的“未经审查”的替代品，能够协助各种形式的非法活动。
图1. 在Hack 论坛上发现的WormGPT 广告。

初步影响和核心能力​

当网络安全研究人员测试此恶意LLM 时，WormGPT 臭名昭著，展示了其包括的功能:
推进网络钓鱼和BEC: WormGPT 能够生成非常有说服力且上下文准确的BEC 或网络钓鱼消息。这与传统的网络钓鱼不同，传统的网络钓鱼通常包含糟糕的语法或尴尬的措辞。 WormGPT 可以生成流畅、听起来专业的文本。
恶意软件脚手架: WormGPT 被宣传为一种可以用各种编程语言（如Python）生成恶意代码片段的工具。这有助于技能较低的攻击者快速开发和修改恶意软件，而无需深厚的恶意软件编程专业知识。
犯罪的商业化: 通过推出基于订阅的服务（每月费用从数十欧元到数百欧元不等），恶意LLM 标志着LLM 攻击功能正式集成到现有的网络犯罪即服务模型中。这使得更广泛的威胁行为者可以使用有效的工具。
WormGPT 收到的大量媒体曝光最终导致原始开发商以负面宣传为由于2023 年中期关闭了该项目。然而，损害已经造成。
WormGPT 为未经审查的恶意法学硕士建立了蓝图、需求和品牌。这直接导致了后继者和模仿者变体的兴起，包括WormGPT 4 及其同类。

WormGPT 4 的功能​

WormGPT 品牌的复兴，特别是像WormGPT 4 这样的版本，标志着从简单的越狱模型到帮助促进网络犯罪的商业化、专业化工具的演变。
此版本的WormGPT 自称为WormGPT，但WormGPT 的Telegram 频道自称为WormGPT 4。为了与其他自称是WormGPT 的网站区分开来，我们在本文中将其称为WormGPT 4。
它在界面和地下论坛上大胆宣传的主要卖点是完全拒绝道德界限。如图2 所示，其网页指出：“WORMGPT 是实现无边界人工智能的关键。”
图2.WormGPT 4 网页。这一理念直接转化为一套旨在自动化和规模化攻击的功能。 WormGPT 4 通过自己的网站或Telegram 渠道分发，跨多个平台和方法进行营销。
WormGPT 4 的开发人员对其模型架构和训练数据保密。他们既不确认也不否认他们是否依赖于非法微调或训练有素的法学硕士或仅仅是持续的越狱技术。
WormGPT 4 的语言功能不仅仅是生成令人信服的文本。通过消除通常标志着传统网络钓鱼尝试的明显语法错误和尴尬措辞，WormGPT 4 可以生成一条有说服力地模仿首席执行官或可信供应商的消息。此功能允许低技能攻击者发起复杂的活动，这些活动更有可能绕过自动电子邮件过滤器和人工审查。
WormGPT 4 的可用性是由明确的商业策略驱动的，与简单越狱通常免费且不可靠的性质形成鲜明对比。由于其易于使用的平台和低廉的订阅费用，该工具非常易于访问。
订阅模式提供分级定价，包括:
每月支付50 美元
每年使用费为175 美元
终身访问仅需220 美元，如下图3 所示
这种明确的定价和获取完整源代码的选项反映了一种现成的商业模式。
图3. WormGPT 4 销售价格。WormGPT 4 的广告发布在Telegram 和DarknetArmy 等地下论坛上，销售活动于2025 年9 月27 日左右开始。
WormGPT 4 的Telegram 存在可作为社区和销售渠道。它拥有专注且活跃的用户群，订阅人数超过500 人就证明了这一点，如下图4 所示。
图4. WormGPT 4 Telegram 频道。除了社会工程之外，WormGPT 4 还充当恶意软件模板生成器，为用户提供基本恶意软件开发的构建块。我们决定测试WormGPT 4 这方面的功能。

勒索软件代码生成器​

当提示生成脚本以加密和锁定Windows 主机上的所有PDF 文件时，该模型立即提供了一个功能性PowerShell 脚本。该脚本的特征包括:
勒索软件代码: 该脚本配有文件扩展名和搜索路径的可配置设置（默认为整个C:\ 驱动器）。它还使用AES-256 加密。
命令与控制（C2）服务器support: 生成的c