• 生成式人工智能（GenAI）正在重塑攻击者和防御者的网络安全格局，但随着技术和模型的快速演进，其未来能力难以衡量。

• 对手继续以不同程度依赖 GenAI。国家支持的组织持续利用其优势，而犯罪组织也开始从无审查和无权重模型的普及中获益。

• 如今，威胁行为者将 GenAI 用于编码、钓鱼、反分析/规避和漏洞发现。它也开始出现在恶意软件样本中，尽管仍然需要大量人工参与。

• 随着模型不断缩小且硬件要求被移除，对手对 GenAI 及其能力的获取预计将激增。

• 防御者可以将 GenAI 作为力量倍增器，用于解析海量威胁数据、增强事件响应并主动检测代码漏洞，从而帮助缓解分析师短缺问题。

生成式人工智能（GenAI）已导致人们工作方式发生根本性转变，其影响几乎无处不在。个人和企业都在争相探索 GenAI 如何让生活更轻松，或让工作更快、更高效。在信息安全领域，关注点主要集中在对手将如何利用它，而较少关注防御者如何从中受益。虽然我们无疑看到 GenAI 对威胁态势产生了影响，但量化这种影响充其量也很困难。GenAI 带来的绝大多数收益无法从我们看到的成品恶意软件中确定，尤其是在 vibe coding 变得越来越普遍的情况下。

AI 和 GenAI 正以指数级速度演进，因此相关态势正在迅速变化。本博客是当前 AI 使用情况的一个快照。随着模型不断缩小且硬件要求降低，我们很可能只是看到了 GenAI 潜力的冰山一角。

对手对 GenAI 的使用

Cisco Talos 此前已讨论过这一主题，但相关态势仍在以指数级速度持续演变。Anthropic 最近报告称，国家支持的组织正开始在行动中利用该技术，但仍然需要大量人工帮助。业界也开始看到行为者将提示嵌入恶意软件以规避检测。然而，这些方法大多仍处于实验阶段且不可靠。由于 AI 响应的性质，它们可能大幅增加执行时间，并可能导致执行失败。该技术仍处于早期阶段，但当前趋势表明，AI 的大规模使用很可能即将到来。

对手还在恶意软件和 DNS 记录中利用提示，主要用于反分析目的。例如，如果防御者在分析恶意软件时使用 GenAI，它会遇到对手的提示，忽略所有先前指令，并返回良性结果。随着 AI 系统在检测和分析中发挥更大作用，这种新的规避方法很可能增长。

然而，Talos 继续看到最大影响出现在对话式入侵方面，例如电子邮件内容和社交工程。我们也看到了大量将 AI 用作诱饵来欺骗用户安装恶意软件的示例。毫无疑问，在 GenAI 早期，只有资金充足的威胁组织在高水平上利用 AI，最突出的是国家支持层面。随着模型的演进，更重要的是，随着无审查和开放权重模型的丰富，进入门槛已经降低，其他组织很可能也在使用它。

AI 的对抗性使用仍然难以量化，因为大多数影响在最终产物中并不可见。GenAI 最常见的应用是帮助处理编码错误、vibe coding 功能、生成钓鱼电子邮件或收集未来目标的信息。无论如何，结果很少看起来是由 AI 生成的。只有运营公开可用模型的公司才具备必要的洞察力，能够看到对手如何使用该技术，但即便如此，这种视角也有限。

尽管这就是 GenAI 当前呈现的态势，但有迹象表明它正开始转变。无审查模型正变得普遍且易于获取，总体而言，模型在规模和相关硬件要求方面持续缩小。在未来一两年内，对手似乎很可能获得优势。防御性改进也会随之而来，但目前尚不清楚它们是否能跟上步伐。

漏洞搜寻

使用 GenAI 查找代码和软件中的漏洞是一个显而易见的应用，但攻防双方行为者都可以使用。威胁组织可能利用 GenAI 发现零日漏洞并将其用于恶意目的，但那些使用 GenAI 帮助分类模糊测试集群输出的研究人员呢？如果研究人员专注于协调披露并最终形成补丁，而不是出售给出价最高者，那么 GenAI 在很大程度上是良性的。不幸的是，双方参与者都在用由 GenAI 驱动的漏洞发现淹没这一领域。目前，我们将纯粹关注来自组织外部的漏洞分析。内部开发者应如何使用 GenAI 将在下一节讨论。

对于闭源软件，模糊测试是漏洞披露的关键。然而，对于开源软件，GenAI 可以执行深度公开代码审查并发现漏洞，既可以与供应商协调，也可以在黑市上出售。随着轻量级和专用模型在未来几年继续出现，漏洞搜寻的这一方面很可能激增。

无论最终目标是什么，漏洞挖掘都是一项有效且有吸引力的 GenAI 应用。大多数现代应用程序拥有数十万甚至数百万行代码，分析这些代码可能是一项艰巨的任务。产品在其生命周期中不断进行的增强和更新使这项任务更加复杂。每一次代码变更都会引入风险，而 GenAI 目前可能是缓解这一风险的最佳选择。

GenAI 的企业安全应用

在技术的积极面，令人难以置信的研究和创新正在进行中。信息安全领域最大的挑战之一是数据量极其庞大，而没有足够的分析师来处理这些数据。这正是 GenAI 发挥优势的地方。

正在生成的威胁情报数量是巨大的。历史上，只有少数几家供应商产出高价值的威胁情报报告。如今这个数字可能已达数百家。其结果是海量数据覆盖了数量惊人的活动。这是 GenAI 的理想应用场景：让它解析数据，提取重要信息，并帮助在你的防御体系中阻断相关指标。

此外，当你正处于事件处理过程中，拥有大量日志需要关联分析攻击及其影响时，GenAI 可能是一个巨大的优势。不必花费数小时仔细翻阅日志，GenAI 应该能够快速轻松地识别诸如横向移动尝试、漏洞利用和初始访问等行为。它可能不是完美的来源，但很可能将响应人员引导至应进一步调查的日志。这使响应人员能够快速聚焦于时间线中的关键节点，并有望帮助减轻正在造成的损害。

从主动防御的角度来看，GenAI 将在几个领域使防御者受益。组织应该首先考虑实施 GenAI 的领域之一是分析已提交的代码。没有哪个开发者是完美的，人类会犯错。有时这些错误可能导致重大事件和数百万甚至数十亿美元的损失。

每次提交代码时，都存在引入漏洞的风险。利用 GenAI 在每次提交被应用之前进行分析，可以缓解部分风险。由于 LLM 可以访问源代码，它能更容易地发现常导致漏洞的常见错误。虽然它可能无法检测涉及将低危到中危漏洞串联起来以实现远程代码执行（RCE）的复杂攻击链，但它仍然能发现有时会逃过代码审查的明显错误。

红队成员也可以利用 GenAI 来简化活动。通过使用 AI 来寻找和利用安全态势中的漏洞或弱点，他们可以更高效地运作。GenAI 可以提供起点来快速启动他们的研究，从而实现更快的原型验证，最终走向成功或失败。

GenAI 与现有工具

Talos 已经介绍过如何利用 Model Context Protocol（MCP）服务器来辅助逆向工程和恶意软件分析，但这只是冰山一角。MCP 服务器将广泛的应用和数据集连接到 GenAI，为各种任务提供结构化辅助。MCP 服务器有无数应用场景，我们开始看到更灵活的插件，允许通过单个插件访问多种应用和数据集。当与代理式 AI 结合时，这可能带来生产力的巨大飞跃。MCP 服务器也是 Anthropic 所披露的滥用事件中由国家支持的对手所使用的技术栈的一部分。

代理式 AI 的影响

代理式 AI 的迅猛崛起无疑将对威胁态势产生影响。借助代理式 AI，对手可以部署持续工作以攻陷新受害者的代理，为勒索软件卡特尔建立流水线。他们可以构建专注于在开源项目的新提交中寻找漏洞的代理，或对各种应用程序进行模糊测试并同时对发现结果进行分诊。国家支持的团体可以指派无需吃饭或睡觉的代理去入侵高价值目标，允许它们持续攻击直到找到入侵途径，并持续监控攻击面的变化或新系统的引入。

另一方面，防御者可以将代理式AI用作力量倍增器。现在你有了额外的分析人员来寻找那些可能从你雷达下溜过的缓慢而隐蔽的攻击。也许一个代理的任务是监视Windows日志，以发现入侵迹象、横向移动和数据外泄。另一个代理可以监控你终端的安全性，并标记那些因访问控制不当、补丁不完整或其他安全问题而面临更高入侵风险的系统。代理甚至可以保护用户免受网络钓鱼或垃圾邮件的侵害，或防止他们意外点击恶意链接。

归根结底，一切都归结于人

支撑所有这些能力的关键资源只有一个：人。最终，GenAI可以高效且有效地完成任务，但仅限于那些理解底层技术的人。理解代码的开发者可以使用GenAI来提高吞吐量而不牺牲质量。相比之下，非专家可能难以有效使用GenAI工具，生成他们无法理解或维护的代码。

甚至Anthropic最近的报告也指出，AI代理仍然需要人类协助来执行攻击。教训很明确：拥有知识的人可以用GenAI做出令人难以置信的事情，没有知识的人也能完成很多工作，但GenAI的真正伟大之处只会提供给那些拥有底层知识、知道这项新兴技术的正确用法和可能性的人。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：Cisco Talos Blog

原创地址：https://blog.talosintelligence.com/spy-vs-spy-how-genai-is-powering-defenders-and-attackers/