ITPub博客

首页 > 云计算 > 公有云实践 > 云原生网站威胁扫描系统

云原生网站威胁扫描系统

原创 公有云实践 作者:京东云技术新知 时间:2020-02-12 23:00:45 0 删除 编辑
随着企业上云的业务需求,扫描业务需求和使用场景也发生了变化,网站威胁扫描产品逐步受到云上租户的青睐,特别是云原生的网站威胁扫描系统。网站威胁扫描系统可以广泛用于以下业务场景:
  • 云上业务系统上线或者重要活动保障,需要对业务系统简装修做一次安全体检。
  • 0day漏洞爆发的时候,全面掌握云上业务资产的漏洞情况,有针对性及时修复漏洞。
  • 合规检查过等保的时候,需要提供业务系统漏洞扫描结果。
  • 每年对云上业务系统做渗透测试的时候,需要通过自动化扫描器降低人力的投入。

在设计和开发公有云威胁扫描系统之前,我们对公有云和传统厂商的扫描器进行了竞品分析,我们发现传统扫描器有以下缺点:
1. 扫描速度很慢
  • 传统的以硬件盒子交付的扫描产品,不支持分布式扫描部署。同时,由于业务线承压访问能力,必须要对QPS限速,限制了整体扫描速度。无法通过增加机器资源,提升整体扫描速度。
  • 扫描模块包含Web漏洞扫描、主机漏洞扫描、配置核查扫描等太多的扫描模块,导致扫描速度受限。特别是对海量的企业资产,扫描速度完全无法满足用户要求。
  • 智能动态爬虫以及POC扫描插件优化力度不足。
2. SaaS化服务能力不足
  • 传统厂商0day漏洞更新速度很慢,降低了企业用户的漏洞发现和修复时间。

针对以上缺陷,京东云与AI网络威胁扫描产品功能定位:
  • 支持分布式扫描架构。
  • 扫描模块只包含Web漏扫扫描、端口漏洞扫描。
  • 智能爬虫&精选POC扫描插件。
  • SaaS化更新0day扫描插件。

01 产品架构

产品技术架构图如下:

1. 网站威胁扫描产品采用分布式、松耦合的设计理念,主要分为API、调度、Worker 3大模块,数据存储采用Redis与MySQL。各个组件的功能如下:
  • API负责对完服务,所有设置、获取类别的请求都通过API接口进行。
  • 调度属于扫描的“核心”,负责worker信息的收集、监控,任务的获取、分发等工作。
  • Worker主要是“干活”的,执行调度派下来的任务,并将通过API存入数据库。
  • Redis主要存储运行中的一些临时信息,比如任务进行中时,需要频繁的读写任务的状态和结果都存在Redis中。任务结束后,会将Redis中的数据内容同步到MySQL中。
  • MySQL存储所以的任务以及结果信息。
  • POC插件以及worker组件支持热更新升级, 升级文件存放在文件中心中。
2.网站威胁扫描产品的Worker部分采用分步骤执行:
  • 每个步骤可以单独使用并进行扫描,步骤之间松耦合。
  • 但也支持部分Worker组件依赖前面的Worker组件的结果。例如端口漏洞扫描可以依赖端口扫描与端口指纹的结果,这样会提升扫描的准确性与扫描速度。
3.产品采用分布式架构,满足一致性、可用性和分区容错性的特点,可以提供高质量、高稳定的扫描服务:
  • 任务分派与执行任务分模块工作,并且会有任务状态监控机制,保证出错的任务会被重新派发。
  • 会有Worker工作资源的监控机制,如果Worker主机状态不可用,调度会将该主机提出可用列表,并不会再向其派发任务。
  • 采用多区域,双、多活部署,防止某区域的主机出问题时,依然可以正常提供服务。
  • 如果当前没有运行任务,或者运行任务较少时,Worker会进入睡眠状态。减少资源无意义的使用率。当有新的任务派发下来后,会酌情唤醒Worker去工作。
  • 下面是产品工作时序图,阐述了worker工作的简化流程:

02 技术优势与产品功能亮点

产品功能
集资产自动关联发现、Web漏洞扫描、端口漏洞扫描、弱密码检测四大核心功能,发现网站或服务器在网络中的安全风险,为云上业务提供多维度的安全检测服务,满足合规要求,让网站安全漏洞无所遁形。
产品优势
深度漏洞扫描:支持:OWASP Top10 漏洞检测类型,PoC插件检测,资产指纹扫描关联能力。
全面报告:提供详尽的漏洞扫描报告,包括:系统存在的Web安全漏洞、应用系统安全漏洞,系统存在的弱口令等及修复建议,引导并帮助用户修补漏洞。
高效精准:采用web2.0智能爬虫技术,内部验证机制不断优化,提高检测准确。
分布式扫描架构:基于云原生分布式扫描框架,可以充分利用云平台的技术优势,对系统中的各个模块要尽量解耦,降低他们之间的依赖程度,使得整个系统具有较高的稳定性和扩展性。
入门指南:
点击【 阅读 】,了解更多京东云网站威胁扫描相关信息
欢迎点击“ 京东云 ”了解更多精彩内容


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69912185/viewspace-2675349/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
京东科技开发者(Developer of JD Technology)是京东科技集团旗下为AI、云计算、IoT等相关领域开发者提供技术分享交流的平台。平台将发布京东产品技术信息、行业技术内容、技术活动及大赛等资讯。拥抱技术,与开发者携手预见未来!

注册时间:2019-03-06

  • 博文量
    509
  • 访问量
    339645