背景

阿里云WAF-AI内核技术简介

主动防御模型

主动防御采用阿里云自研的流量模式学习算法自动学习域名的合法流量，利用无监督的方式，对每个站点合法访问流量进行学习和刻画，机器自主生成对白流量的安全白规则。同时在线上生成数百万条规则，相当于增加了成千上万的安全专家。

异常检测模型

异常检测模型同样利用「千站千面」的思想，采用多种异常检测器从请求片段、时序序列等各种维度识别每个站点的灰流量，机器自主生成对灰流量的数百万个检测模型；

攻击检测模型

LTD攻击检测模型（Locate-Then-Detect）是基于机器视觉方法的深度学习攻击检测模型，由两个深度神经网络组成，分别为PLN（Payload Locating Network 攻击载荷靶向定位网络）与PCN（Payload Classification Network 攻击载荷分类网络）。通过两个深度神经网络的结合，可以准确的定位恶意Payload所在的位置，并对其类型进行精准识别。LTD一方面借助深度学习强大的特征提取能力，增强了对威胁检测的泛化，能够发现更多变种攻击，另一方面LTD模型结合了Object Detection和注意力机制的思想，首次解决了深度学习在网络攻击检测领域的可解释性问题。该成果已入选人工智能顶级学术会议IJCAI 2019。

其他模型

除此之外，阿里云WAF AI内核还具备故障预警模型、漏报主动感知模型、误报主动感知模型等。

阿里云WAF简介

防数据泄密：避免因黑客的注入入侵攻击，导致网站核心数据被拖库泄露。 防御恶意CC攻击：通过阻断海量的恶意请求，保障网站可用性。 阻止木马上传、网页篡改，保障网站的公信力。 提供虚拟补丁：针对网站被曝光的最新安全漏洞，最大可能地提供快速修复规则。

阿里云WAF应用的主要技术

1. 正则 + AI双引擎检测技术
2. Antibot实时模型算法反爬技术
3. 大数据威胁情报 + 百万级IP爬虫/黑名单一键封禁
4. 数据泄露防护技术
5. 海量日志存储及智能检索技术

阿里云WAF技术特点和优势：

业务功能拓展：

威胁检测/拦截方法创新：

将HTTP请求中的文本图像化表示，使用深度卷积神经网络对不同攻击类型的样本进行训练，避免人工提取和维护特征，通过添加样本提升模型的检测能力。 分离式GPU处理平台，通过模型调优和推理引擎优化，时延<1.5ms (一般平台时延在5ms以上)

流式回应注入采集脚本，用户接入无需改造自身服务逻辑。 云端直接集成大数据风控、人机识别能力。

对全量用户正常流量基线建模，对比基线数据模型实时检测用户流量异常发现cc攻击事件，并自动产生正则表达式规则，生成并下发决策动作。 解决了传统CC防护规则配置繁琐，用户学习门槛高，配置项只能基于经验进行配置，容易误杀漏杀的问题。

对用户正常流量中的请求参数进行文本归一化映射，对字符分布、字串长度进行隐马序列概率模型建模，实时对于用户流量中偏移正常概率的异常请求进行异常拦截、进一步攻击识别等后续工作。

传统基于关键字正则表达式的SQL注入攻击检测、XSS攻击检测方法容易误杀，且对于注释变形、字符串语法变形等高级攻击规避方法的检测效果差。 语义分析拦截引擎基于实际SQL语句、XSS语句词法、语法分析结合威胁等级综合判断攻击行为，解决了对于高级黑客变形手段的攻击检测、拦截问题。

传统WAF检测引擎基于特定的攻击特征进行攻击识别，无法检测业务层的异常，例如刷票、抢红包、恶意占座等场景。 云盾WAF的行为分析引擎对请求中的关键行为进行定义、识别。通过分析行为分布、个体行为历史特征、行为跳转概率、停留时长、时间和地区分布特征等行为上下文信息，分析识别业务层异常。 线上业务实测可以降低99.8%的验证码、滑块弹出场景，提升用户体验。

传统的令牌桶机制可以较好的解决单机限流问题，但是在云上业务应用场景下常见跨单机、跨集群、跨地域的分布式限流场景，使用传统单机技术难以解决。 本系统通过分布式协议, 结合预估-租约-动作执行的整体方案, 达到了可伸缩，低延时的资源全球统一管理效果。 通过实现本系统的匹配接口和动作执行接口，可在限流的同时减少对用户体验的影响。如基于用户流量价值的限流，或基于等待时间的限流。

传统WAF部署在网关端，无法直接获取用户客户端环境的信息执行强安全身份校验，云盾WAF通过与安全SDK联动，结合终端指纹、云上威胁判断和人机交互识别滑块/验证码提供传统网关型WAF无法实现的强身份校验和通信隧道加密的功能。

传统WAF需要对需要检测的数据进行缓存，在高并发场景下会存在大量的内存消耗，云盾WAF通过缓存检测过程中检测状态机的快照状态，不需要对具体的被检测数据进行缓存，可以支持超过1Gb的数据检测深度(当前市面上的商业化WAF普遍在100Mb以内)。

云盾WAF基于自研检测引擎支持对所处理流量进行HTML标签粒度的内容修改，可以动态插入新元素、替换现有流量数据，做到在不修改用户服务器端代码的情况下做到修改业务逻辑、插入执行代码等工作。

云盾WAF通过主动对用户的域名流量学习，定义出哪些是“白”，以达到最佳的防护效果的一种思路，目前主要采用归一化的技术来将用户流量中的合法的URL，参数通过模型自动生成正则表达式来表示。

安全事件分析方法创新：

通过对攻击者的攻击会话进行追踪，持久化的跟踪黑客攻击路径，云盾WAF可以分析单个黑客的攻击链条、并捕获真人黑客的定向web攻击。

通过对流量日志特征分析挖掘恶意IP，如代理IP、各类爬虫IP、肉鸡IP等多种情报信息。通过将恶意IP情报系统与云防护引擎联动实现协同防御。

基于飞天大数据基础设施，所有经过云WAF处理的数据在经过用户同意后可以做到PB级别全量数据存储，并进行基于自定义统计语句的快速自定义实时分析和报表定义，并可以作为数据源与用户自有的安全数据分析系统进行数据对接。

云盾WAF的数据分析系统可以基于用户业务返回值、延迟时间、访问分布分析客户业务的实际运行情况与运行质量，为用户提供性能优化建议。

基于实时大数据分析技术和三维数据呈现渲染，云盾WAF提供实时的拦截报警大屏，可以通过WEB端或者YUNOS终端智能设备作为投屏源，帮助用户实时感知安全威胁。

技术架构创新：

阿里云WAF获奖情况：

1. 作为国内唯一厂商入选2019 Gartner WAF魔力象限，2018年进入Gartner亚太地区报告
2. 连续两年获得Frost&Sullivan 大中华区云WAF市场占有率第一
3. 获得CNCERT 2018年网络安全创新产品一等奖
4. 产品的Antibot能力进入到Forrester全球技术评测第一阵营
5. 荣获Freebuf 2016年互联网安全创新大会”年度云安全产品及服务”
6. 2017、2018年两次获得阿里云产品飞天奖、云鼎奖

评委点评

金湘宇 Sec-UN网站创始人/威胁情报推进联盟发起人：

人工智能技术已经进入了新的应用阶段，比起早年对于基础技术、 平台的关注，当前业界更加关注于落地的业务场景、实际效果。阿里云将AI技术与其早已成熟的WAF产品结合，将传统的基于规则、特征的WAF防护产品，利用AI技术实现了异常检测、攻击检测、故障预警、漏洞主动感知和误报主动感知，将传统的WAF产品从之前的被动防御逐渐过渡至主动防御，并且在阿里云的众多用户中成功进行了运用。阿里云WAF AI驱动的智能防御体系是近年网络安全领域真正的实质创新之一，也是我今年WitAwards我最推荐的项目之一。