Docker, Kubernetes, DCOS 不谈信仰谈技术
看来容器编排系统的争夺已经白热化了,乱花渐欲迷人眼,最近老是有各种文章比较这三个框架,这篇文章不谈信仰,不对比优劣,只谈技术,甚至会谈如果从一个平台转向另一个平台,都要了解些啥。一、架构啥都不说,先上三个架构图DockerSwarmModeDCOS这张图主要显示了一些组件,还是上一张Mesos的图最
从Pacemaker看高可用性的层次和思路
Pacemaker是一个通过管理多台机器的资源来实现系统的高可用性框架。虽然你不一定用Pacemaker,但是其中的一些层次和思路还是会经常能够见到的,例如虚拟机的高可用性,容器的高可用性,HDFS的NameNode的高可用性,都能看到这些思路的影子。一、Pacemaker的架构最底层是通信层cor
数据中心长啥样?
如图是数据中心的一个基本架构最上层是InternetEdge,也叫EdgeRouter,也叫BorderRouter,它提供数据中心与Internet的连接。连接多个网络供应商来提供冗余可靠的连接对外通过BGP提供路由服务,使得外部可以访问内部的IP对内通过iBGP提供路由服务,使得内部可以访问外部
定制化Mesos任务运行的几种方法
Mesos架构如下这个图比较的著名了,也有很多文章介绍这个图,详情可以看文章http://mesos.apache.org/documentation/latest/architecture/,这里不做过多的介绍。从图中可以看到,Mesos有Framework(Framework里面有Schedul
技术变化太快,程序员咋办? 从Adobe Flash想到那些年我幸运躲过的MFC和塞班
随着年龄越来越大,越来越开始觉得技术变化快给程序员的压力也越来越大。这篇文章是我的职业生涯的历程,和一些思考。2005年的时候,MFC当时还是非常火的,当时互联网应用还没有那么兴起,手机还是老版诺基亚的手机,所以桌面应用的开发还是有一席之地的。当时连大学里面的老师都不怎么教Linux下的程序设计,C
支撑大规模公有云的Kubernetes改进与优化 (3)
接着上两篇支撑大规模公有云的Kubernetes改进与优化(1)支撑大规模公有云的Kubernetes改进与优化(2)这一篇我们来讲网易为支撑大规模公有云对于Kubernetes的定制化。一、总体架构网易的Kubernetes集群是基于网易云IaaS平台OpenStack上面进行部署的,在外面封装了
支撑大规模公有云的Kubernetes改进与优化 (2)
接着上一篇支撑大规模公有云的Kubernetes改进与优化(1)接下来我们按照kubernetes创建容器的详细过程,以及可能存在的问题。一、APIServer的认证,鉴权,Quota当客户需要创建一个pod的时候,需要先请求APIServer。Kubernetes的APIServer要负责进行认证
支撑大规模公有云的Kubernetes改进与优化 (1)
今天飞机晚点了,本来一天一篇的,应该昨天写完的只好凌晨完成,只能先写一部分了。Kubernetes是设计用来实施私有容器云的,然而容器作为公有云,同样需要一个管理平台,在Swarm,Mesos,Kubernetes中,基于Kubernetes已经逐渐成为容器编排的最热最主流的平台,网易基于Kuber
神经网络的胜利是市场经济的胜利!
什么时候机器能够像人一样懂人呢,我告诉机器我想要什么,机器就会像人一样的体会,并且做出人一样的反馈,多好啊。这个思想已经不是一天两天了,那怎么做的这件事情呢?人们首先想到的是,人类的思维方式有固有的规律在里面,如果我们能够将这种规律表达出来,告诉机器,机器不就能理解人了吗?人们首先想到的是告诉计算机
从Openvswitch代码看网络包的旅程
我们知道,Openvwitch可以创建虚拟交换机,而网络包可以通过虚拟交换机进行转发,并通过流表进行处理,具体的过程如何呢?一、内核模块Openvswitch.ko的加载OVS是内核态和用户态配合工作的,所以首先要加载内核态模块Openvswitch.ko。在datapath/datapath.c中
从个人电脑登陆云主机总共分几步?至少20步!
1.AggregationSwitch和OpenStack的NetworkNode是在同一个broadcastdomain里面的,因而它知道floatingip15.126.205.101可从它到达2.AggregationSwitch和BorderRouter是通过L2Core是二层互联的,将路由
大数据就是众人拾柴火焰高
这个图是一个经典的搜索引擎的架构图。说到大数据,首先我们来看一下数据的分类,我们生活中的数据总体分为两种:结构化数据和非结构化数据。结构化数据:指具有固定格式或有限长度的数据,如数据库,元数据等。非结构化数据:指不定长或无固定格式的数据,如邮件,word文档等当然有的地方还会提到第三种,半结构化数据
金融创新业务基于容器的微服务化(特补充两张核心图片)
上次文章中,一张微服务化知识图谱比较模糊,另外是咨询培训流程比较模糊,这里特附上清晰图片,并最后附上知识图谱的详情。云计算发展至今,从普通的虚拟化到OpenStack再到容器云,解决方案的设计日趋复杂,尤其是容器云和微服务化的解决方案,已经不像传统的解决方案,给客户讲解一下就可以进行招标了,需要和对
有了Openvswitch和Docker,终于可以做《TCP/IP详解》的实验了!
所有做过网络编程的程序员,想必都会看《TCP/IP详解》卷一:协议后来出了第二版,但是由于第一版才是RechardStevens的原版,本人还是多次看了第一版。对这一版印象最深的就是下面这个拓扑图书上的很多实验,都是基于这个图做的,看了实验结果,很多理论才有真实的感觉。看这本书的时候,不尽感慨Rec
玩转Openvswitch之综合篇
这是一个Openvswitch的综合实例。1.创建一个bridgeovs-vsctladd-brhelloworld创建四个vethpairiplinkaddfirst_brtypevethpeernamefirst_ifiplinkaddsecond_brtypevethpeernamesecon
玩转Openvswitch第八站:Interface和Tunnel (下)
IPSec顾名思义,安全隧道,意味着下面三个方面:信息完整性——认证信息的私密性——加密信息不会被Replay所以IPSec有一套协议来保证这三点。IPSec隧道的连接也有两端,两端之间多通过对称加密来保证私密性。所以两端都要建立SecurityAssociation,保存两边约定好的加密协议,对称
玩转Openvswitch第八站:Interface和Tunnel (上)
Openvswitch支持三种隧道的方式:grevxlanipsec_gre我们先来看GRE。GRE全称GenericRoutingEncapsulation,是一种隧道协议,通过将其他协议封装在一个点对点的连接中,实现跨公网的网络互联。如图所示,在左面数据中心的服务器HostA要访问右面数据中心的
玩转Openvswitch第十站:Flow Table
对于FlowTable的管理,由ovs-ofctl来控制add−flowswitchflowmod−flowsswitchflowdel−flowsswitch[flow]一行flowentry主要有下面两部分组成:MatchFieldActions其中MatchField是对网络包进行解析,解析如
玩转Openvwitch第七站:Port和QoS
对于控制一台机器的QoS,分两个方向,一个是入方向,一个是出方向。其实能控制的只有出方向,通过Shaping,将出的流量控制成自己想要的模样。而进入的方向是无法控制的,只能通过Policy将包丢弃。OpenVwitch中有关QoS的表结构如下:我们可以通过TC控制网络的QoS,主要通过队列的方式。第
DC/OS的服务发现与负载均衡功能
方式一:Mesos-DNS和marathon-lb只有有了服务发现和负载均衡功能,才能使得服务的物理布局,服务之间的依赖关系,服务挂掉之后的自动修复不需要用户关心,才能使得用户像用一台电脑一样使用整个数据中心。如果服务之间的相互调用不使用IP地址,而使用域名的话,问题会简单很多。对于Mesos上运行