ITPub博客
首页
博客
专栏
学院
社区
IT新媒体评选
发博
首页
>
>
>
庖丁解牛!深挖网络流量的那些秘密
庖丁解牛!深挖网络流量的那些秘密
作者:
u_453e1a12781dea
时间:2016-11-04 15:39:11
0
删除
编辑
本文编辑整理自【微学堂】第二十一期活动实录。
嘉宾介绍
马虹斌,参与流量分析、流量控制、流量统一管理平台等网络优化类产品规划,专注于用户网络体验,多次参与部队、能源、政府等大型网络流量项目管理工作,目前担任东华网智流量统一管理平台产品经理。
直播实录
庖丁解牛!聊聊网络流量的真实价值
各位朋友大家好,本期我们分享的主题为 “网络流量的真实价值”。
“流量管理与流量分析”想必在企业运维中并不陌生,他们自06年起在国内大量兴起,10年的时间内历经云计算、大数据等新技术变革,并以更新的形式展现在我们面前,市场的相关产品也从即用工具型转为增值服务型产品,那么我们就来谈谈网络流量在市场中的应用和存在的价值。
IT资源扩展与数据分析的转变
谈到网络流量我们先看一下,网优类产品的变化。首先,随着IT资源不断的发展,我们日常的管理方式逐渐转变,这种转变体现在管理方式上和数据收集上,80%的企业面临原有信息基础资源的拓展,包括职能系统的整合、分析系统的整合等。如今在新增IT系统资源时,企业应考虑到与原有系统对接,在模块化工具的基础上将数据进行收集和分析,对数据结果进行分类、筛选,因此对数据整合也提出了新的要求。
那么具体到流量分析与流量管理中我们应该如何面对这种变化呢?举个例子来看下,某企业有N条广域网链路,这N条链路在不同地域的分支出口,随着企业基础设施逐渐完善,分支机构的出口都有相应的流量分析与管理设备,管理员需要登录每台系统查看各链路的信息。
同时应对上文信息系统数据集中的要求,管理员是可以在同一个分析平台上对各链路进行汇总、分类、筛选的。通过统一流量分析汇总平台从客观上就改变了传统的管理方式,将操作从登陆N台设备简化到登陆1个平台,可以大大提升管理员的日常分析效率,这就是我们常说的流量设备的统一管理。在设备级的统一管理的基础上,研究数据级集中和深度分析,在平台中即可以查看每条链路的详细信息,也可以将各链路信息的横向对比,并实现应用、用户的汇总。
流量产品多融合的趋势
流量产品的采集模式呈现多样化趋势,用户需求需要多种流量采集设备相互配合使用,例如将flow分析设备与DPI设备相结合等等,从而实现全网分析、局部控制的功能。同时各系统间实现数据共享,例如可以将流量分析数据与网管平台对接等,都是目前考虑的问题。
如上图所示,路由器的接口信息来源于snmp,而链路接口下的协议、IP均来自flow数据,同时随着核心链路部署DPI设备后,可实现对核心链路从拓扑视图上的策略管理,将传统的网络拓扑管理、flow数据分析、链路管理融合。
流量矩阵的探索
随着各流量采集设备的分布部署,目前管理模式下需要利用流量采集工具,比如利用flow采集等获取网络各条链路的流量,对数据进行汇总,并以视图的方式宏观展现。那么任意两个节点对间的流量大小就成为很多网络管理任务的关键输入信息,而矩阵视图又成为解决网络规划、性能诊断、流量计费和业务规划等问题的有效工具。
按地域划分的区域矩阵。
或是按照运营商来源矩阵进行探索分析
流量的深度挖掘
网络流量分析无论从趋势还是内容对企业来讲都越来越重要,从趋势层面需要与时间维度充分融合,包括到流量的起点、增速点、流量波峰持续时间等。了解核心链路流量趋势,总结用网时间偏好。
从区域来看,我们可以发现流量热点,这个热点可以来自用户、应用或者某链路,对于不同的企业来讲不同的维度的组合具有不同的意义。
同时,单一的采集流量不能充分体现数据的价值,如何将原始数据源转化成有效的信息或知识,是未来流量管理与分析的又一重大课题。因此对数据报表的灵活性有了更高的要求,包括设定筛选条件(业务、接口等条件的组合)、传统报表类型(日报、周报、月报、年报等),对比类型(同比、环比)、对象级别(内网间、内网网交互等),灵活的数据报表筛选工具可以大大的节省数据分析的工作,更容易找到流量数据的价值。
当越来越多的互联网厂商将各自的数据信息作为最重要的资源的时候,企业网络中也同样存在数据的商业价值,网络作为数据传播的载体,连接着用户终端与服务器集群,并以业务为核心展现在各自领域中,企业若能发觉流量数据来改善业务计划,更好的理解业务系统,并主动发挥执行能力,也就具备更强劲的竞争力。
东华网智专注于流量分析与控制领域,为运营商、政府、能源等各行业提供优质解决方案。主要解决如下几个问题:
我们以某能源公司为例,提出流量统一管理平台的解决方案,本方案中将总部数据中心核心链路和分支出口链路上部署流量采集设备,通过采集flow数据和DPI设备相配合,实现流量统一管理,旨在发回流量数据的巨大潜能,对数据分析、管控和信息智能进行全盘考虑,作为云计算技术的缩影,将流量数据汇总至数据中心,帮助企业对流量信息进行数据挖掘。
1.设备级的管理,将各采集设备和数据进行统一管理,在平台中管理各采集器状态。
随着企业信息化的完善,需要高效归纳各数据来源,对繁杂的采集点进行设备管理,对着数据环境不断增加,需要各采集点高效融合在原有数据平台中。流量统一管理平台支持实时查看各采集层设备的具体信息,实时了解采集设备的状态信息,支持采集节点自动发现,同时此类部署方式为带宽管理提供了更弹性的分析平台。
2.业务组概览数据与核心链路数据展现
为企业提供数据分析,并将流量数据进行汇总融合,处理合并数据并预测未来趋势,从业务、链路中进行海量数据筛选,帮助用户从业务角度分析重点链路以及带宽压力链路,支持广域网改在扩容决策,有限考虑流量压力过重的业务或链路,为用户提供数据依据。
3.针对某一关键应用的优化管理
应对全面的数据分析结果,需要我们进行快速灵活的决策。东华流量统一管理平台解决了企业对于业务的管控要求,通过流量统一管理平台可以策略定制和分发,对重点业务进行保障,对非关键应用或压力链路进行限制,快速实现操作和管理的高效性。
3.与网管融合,实现直观视图展示
地理位置也是数据的一种展现方式,初具规模的网络数据中心常常形成扩地域分布,当认知网络拓扑时,实际上就得到了网络分布的数据信息,流量统一管理平台的解决方案提供广域网拓扑展现,并支持多级地图跳转、链路悬停展示当前流量信息和应用分布,北京地图可以根据企业广域网情况进行定制,企业通过拓扑展现直观了解挡墙网络流量和带宽情况。
由于时间的关系,今天的内容分享就到这里,您可以通过关注“东华网智”微信公众号持续关注我们的方案分享,谢谢各位。
互动筛选
Q1
:
流量的来源根据什么判断?
A1
:
这个问题很有水平,数据都是客观的,其实数据来源不同你的分析结果可能展现会有所差异,这个我们就要结合来看,也是经常说的把snmp、flow、dpi采集都一起综合起来在平台展示。
Q2
:
流量数据的采集和分析是基于hadoop吗?
A2
:
hadoop用于速存储和分析 是实现流量分析的一种技术手段之一
Q3
:
在工商数据中心工作,如何体现数据的价值?
A3
:
政府行业目前有的是应对各种强制性条款上类似设备,但是实际使用效果较之企业及互联网或数据中心用户还需要大力扩展。
Q4
:
老师您好,我想问一下流量分析在园区网是否有意义?还有就是相对开源软件东华的优势是啥呢?
A4
:
首先校园网络比一些广域网用户更复杂,管理员经常会接到学生用网的投诉,而且应用繁多,如果没有有效的管理措施的话,分配多少出口带宽都不够用的。所以要从应用层做好识别和管理。
其实挖掘流量价值的事情不仅仅是一个产品能解决的,优势来自于整体方案和挖掘价值过程中的服务,我们在金融行业里做出的流量报表送至其他银行中,认可的往往是挖掘数据过程的服务大于产品,开源软件有些人用的顺手,但是要考虑问责制度哟,一旦出了问题,用开源软件最后领导很可能怪罪管理员的日常工具选择哟。
【招募令】
“
【微学堂】是什么?
【微学堂】
【微学堂】是由IT168打造的,面向广大IT人士的一档在线互动栏目。在这里,你能认识更多的朋友,分享更多的案例经验,学习更强的技术才能。
“
如果,你……
【微学堂】
对系统运维、大数据、云计算、移动互联网……等IT领域有独特的见解~
对某一行业,或某一工具有深入的研究~
热衷分享,在表达上极具感染力~
……
“
那么,你将会得到……
【微学堂】
丰富的人脉资源!
强大的曝光推广!!
可观的福利酬劳!!!
“
现在,你需要做的……
【微学堂】
E-mail:shixinlong@it168.com
原文作者:;如有侵权,请联系管理员删除。
上一篇:
Linux 运维工程师学习成长路线上要经历哪四个阶段?
下一篇:
Linus 谈软件开发经验
请登录后发表评论
登录
全部评论
u_453e1a12781dea
注册时间:
2019-07-17
博文量
1982
访问量
17873
最新文章
流批一体在京东的探索与实践
高效沟通的5个原则,解决90%的沟通问题
IBM新设计,Linux性能有望大幅提升
MySQL数据库上线前要进行哪些优化?
61个案例!国资委发布!国有企业数字化转型案例汇总!
vivo统一告警平台建设与实践
两年滴滴和头条的后端开发经验!字字都是肺腑之言!
中移动离职中层自述:中国移动如何从优秀到崩溃
大数据拯救地球环境的10种方式
从技术走向管理,你准备好了么?【文末有惊喜】