ITPub博客

首页 > > > 【微学堂】聊聊开源安全运维平台OSSIM的企业实践~

【微学堂】聊聊开源安全运维平台OSSIM的企业实践~

作者:u_453e1a12781dea 时间:2016-01-14 15:32:54 0 删除 编辑
本文编辑整理自【微学堂】第三期活动实录。


嘉宾介绍

李晨光,毕业于中国科学院研究生院,目前就职于世界500强企业,资深网络架构师、51CTO学院讲师、IBM精英讲师、UNIX/Linux系统安全专家,现任中国计算机学会(CCF)高级会员;在国内《计算机安全》、《程序员》、《计算机世界》、《网络运维与管理》、《黑客防线》等专业杂志发表论文六十余篇。曾独著畅销书《Linux企业应用案例精解》、《Linux企业应用案例精解第2版》,《Unix/Linux网络日志分析与流量监控》等经典学习教程,均被中科院图书馆、国内重点高校图书馆和国立台湾大学图书馆等200多家图书馆收藏。《Unix/Linux网络日志分析与流量监控》一书,于2015年获最受读者喜爱的本版类图书奖。
直播实录
开源安全运维平台OSSIM企业实践

最开始我们公司采用清一色思科设备。网管工作站配置的是Ciscoworks2000。当时开源监控工具不多,主要还是配合商业软件使用。

随着设备增多,网络改造,扩建,这种设备蜂拥而至。异构网络环境的到来,给管理维护增加了难度。


很多事情,费力不讨好。尤其是网络安全隐患令人担忧。


我想安全孤岛是很多企业面临解决的问题。设备的堆积,还是无法解决现有的问题。


运维人员大部分时间和精力都用于处理简单、重复的问题,由于故障预警机制不完善,往往故障发生后才会进行处理,运维人员经常处于被动“救火”状态。


以前使用传统的商业工具也就成为了历史,之后我们尝试开源的MRTG、Nagios、Cacti、Zabbix、OpenNMS、Ganglia等工具。可是各系统彼此之间并无关联,需要人工去整合数据,数据分析中心还是“人脑"。


而且当查看各种监控系统时需要多次登录,查看繁多的界面,更新管理绝大多数工作主要是手工操作,即使一个简单的系统变更,需要运维人员逐一登录系统。


若遇到问题,管理员便会在各种平台间来回查询,或靠人肉方式搜索故障关键词,不断的重复着这种工作方式。


我想这或许是大多数朋友以前会遇到的问题。


接着我们开启了手工整合开源工具的时代。开源深似海,如何挑选好的工具呢?系统架构如何,数据如何存储,都是我们面临的问题。


在人工整合初期,主要依靠一些简单的Shell脚本完成一些基础工作。比如PHP+SSH等方式进行管理。


没头脑的安装了一些,认为好用的工具,而各种运维工具仍无法实现数据共享,此时整个防御体系面对网络威胁“反应迟钝”,每当故障来袭,总是“马后炮”,难以查找攻击者的踪迹,就好像一个人总被蚊子叮咬,想打蚊子可手眼又跟不上的感觉。


我们遇到的以下问题尤为突出:

l 安装时软件依赖问题难以解决。
l 各子系统界面重复验证和界面风格不统一。
l 各子系统之间数据无法共享。
l 无法实现数据之间关联分析。
l 无法生成统一格式的报表。
l 缺乏统一的仪表板以展示重要信息。
l 系统维护难度大。


尝试将资产管理模块、入侵检测模块、流量监控模块、漏洞扫描模块集成到一台服务器中进行统一管理的思路似乎是对的,但效果极为不利。


这时,我们停下来反思,这条路要不要继续走下去。干脆,自己开发一套全新的系统算了。但完全自己开发,谈何容易?网络随时可能有突发事件,可能你根本没由精力精下心来做这件事,逼近牵扯东西太多。


说起来,我和OSSIM还是挺有缘分。研究生时曾开发过开源统一安全管理平台项目,主要目标是将不同网络设备和服务器的日志,通过标准化转化为事件,然后统一进行日志分析与设备联动。


上学时研究的OSSIM 0.9版本,还有些感情。一日,拿出源码阅读,感觉它里面的思路非常好,是我们目前迫切面临需要解决的。最原始的版本可将不同网络设备和服务器的日志,通过标准化转化为事件,然后统一进行日志分析。就这一基本的功能也就差不多,随后开始了对0.9版 OSSIM进行深入分析。同时请开发组的同时帮忙。


那么,就说说这个OSSIM吧。我想既然来参加讨论的朋友,或多或少都搜索过OSSIM关键词,对其了解一二。


OSSIM最初(2003-2007)是完全开源,2008年之后被Alienvault收购,并持续开发,现分为开源OSSIM和商业版USM两种,通过该平台实现对用户操作规范的约束和对计算机资源进行监控,包括服务器、数据库、中间件、存储备份、网络基础设施,通过自动监控管理平台实现故障综合处理和集中管理,能够为您的网络构建起一套敏感的、全方位的中枢神经系统,达到感知网络威胁的效果。


大家一看到感知威胁,觉得有些高大上。平时总看见XXX利器“Nagios”、“Cacti”“Ganglia”、“Splunk”,可没有一个是终极解决方案。


这些只是相当于某一个工具,如果要对整个网络进行分析,态势分析和评估,那这些工具还远远不够。需要一个超级平台。



一套好的平台就能解决以前一堆设备所能发挥的作用。需要用这一完善的平台所提供的整体解决方案,来帮助企业用户快速而准确地确定在大量事件数据中,哪些事件构成关键事件和安全异常。而不是传统企业编写几个脚本来完成所谓的自动化监控任务。


下面看看OSSIM的基本组成:



我想这张图在我以前的书上都看到过,是个基本的雏形。当然,现在你去下载OSSIM,安装后发现远比它复杂。



SIEM系统全靠收集全面的数据,下面深入讲讲OSSIM如何收集采集数据。



OSSIM采集数据的方式之一,通过插件的方式。插件这个词被叫滥啦,在OSSIM里到底什么是插件?插件长什么样儿?我们进入系统里截屏看看。



这是agent的配置文件



如果熟悉Unix/Linux正则的朋友应该看着这些内容比较亲切。对,主要就是依靠这些正则在里面起作用。



这张图就反应了它和其他系统的不同之处。如果要在高级威胁和复杂安全事件中关联分析,这一步工作必须要做。事件的预处理,不标准化,就没有后来的关联分析。


这里有说到了关联分析,在继续展开一点内容,最常见的SSH暴力破解问题。我想很多朋友都曾遇到或听说过,如果现在发生了一起疑似暴力破解,你如何定性,如何解决,事后如何专业报告。这一系列? 足以让你思考一会儿。



下面我做了段视频,看看用OSSIM如何轻松解决。

http://www.tudou.com/programs/view/uP0V9fQlzuo


当然OSSIM功能,如果这样介绍,到明天也完不了。下面讲讲他的部署问题,有过抓包经历,或者IDS部署的朋友不难理解。



这几个位置是放置探针(Sensor)。合理的放置Sensor可以在分布式部署时为你省去不少麻烦。



合理设置探针,也是对付高级威胁攻击的有效手段,对于上面的分布式日志采集,就不展开了。



下面过度到APT攻击的发现问题。


那么我们需要在攻击的各个阶段来发现异常,怎么办?人工去抓包?除非你是神仙。OSSIM通过Snort架设的IDS来实现,新版本采用Suricata,再配合一个前端。这些还不够,还需要规则和策略的扶持。



规则的实现,默认在开源版中带84条规则,USM中有2000+条。而且根据业务需要,不断的进行添加,删除。这跟snort自己的规则,是两码事,这个不要搞混淆。Snort自己有9000+条,但不是都启用。对于关联规则如何去解读,snort规则如何修改,我在书中也做了详解。


下面认识一下刚才实现SSH暴力破解的有功之臣,看看这条规则是如何写的。



这里漏了一个重要概念数据源,数据源在OSSIM非常重要,如同优先级,可靠性一样。


下面讲如何安装,安装是这样的,如果你会安装Debian Linux就行,因为OSSIM就是精简了的debian linux,装好之后,打开浏览器输入ServerIP。



就能看到类似这样的界面,当然前提是你要有数据支撑,有关配置问题。


不得不啰嗦几句,由于OSSIM结构复杂,都是些消耗内存的大户,你不得不准备大内存。如果是目前OSSIM 5.2 64位版本,那么内存至少16G。如果真的要使用达标,就得32GB内存。


如果配置觉得高,那还有解决办法,就是降低软件的版本。4-8GB内存的服务器,推荐安装4.3及以下版本。如果4G内存都没有的笔记本,想要做OSSIM实验,只有选择2.3.1版本32位系统。内存不足,千万别做这个实验,卡死是常有的事。


所以首先解决内存,其次就是磁盘IO,那么通过SSD就可以解决,最后就是网卡IO。网卡推荐intel pro千兆网卡,很多服务器的版载网卡都不行,比如dell,hp gl380。


如果连网卡都不想投入,那么只有你在Windows上安装虚拟机,and VirtualBox。什么Xen,KVM就不要去尝试了,存在问题。所以如果你手里管理上千台云端机器,还是打消部署OSSIM的念头。



有很多东西想说,可惜时间太短,大家可以去我的OSSIM专栏看看。今晚就到这里了,谢谢大家!


互动筛选

Q1:部署OSSIM对硬盘有啥要求吗?
A1:因为要收集分析存储大数据,所以磁盘空间至少500GB。如果在云端安装OSSIM Server会拖垮其他的VM。

Q2:一台服务器就好,还是需要几台整合呢?最好的部署方式还是和其他第三方的工具集成部署?
A2:OSSIM针对的debian是6.x系列,内核2.6.28。可以和任何你喜欢的工具整合。

Q3:OSSIM有没有哪个版本的分析是不需要许可的?
A3:USM的需要许可。

Q4:整合后数据能关联吗?还是仅在ossim框架下展现,比如zabix。
A4:目前的现状就是这样,不太好深说。可以结合Zabbix。

Q5:这个ossim能与国内产品集成不,华为,h3c等。
A5:这个问题,可以开发对应h3c的插件。如果没有可以用syslog转发的方式。

Q6:里面的eps是怎样一个概念?是每秒接收的日志条目吗?事件不等同于日志?
A6:每秒处理事件的数量,这个值根你处理消息的条数不同,是两个概念。

Q7:开源版ossim的日志字段提取,我也是发现无法正确提取,也不知怎么解决。
A7:提取的问题我们也遇到过,只需少量修改即可。包括处理中文字符的消息问题。
招募令
【微学堂】招募啦~


【微学堂】是什么?

【微学堂】是由IT168打造的,面向广大IT人士的一档在线互动栏目。在这里,你能认识更多的朋友,分享更多的案例经验,学习更强的技术才能。

如果,你……
对系统运维、大数据、云计算、移动互联网……等IT领域有独特的见解~
对某一行业,或某一工具有深入的研究~
热衷分享,在表达上极具感染力~
……

那么,你将会得到……
丰富的人脉资源!
强大的曝光推广!!
可观的福利酬劳!!!

现在,你需要做的……
E-mail:shixinlong@it168.com



原文作者:;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2019-07-17

  • 博文量
    1982
  • 访问量
    17892