ITPub博客

首页 > 数据库 > 数据库开发技术 > 数据&UMP系统架构之LVS、controller、日志分析、信息统计、愚公系统【下】

数据&UMP系统架构之LVS、controller、日志分析、信息统计、愚公系统【下】

原创 数据库开发技术 作者:小南瓜开发平台 时间:2023-11-07 08:02:00 0 删除 编辑

UMP系统架构特点

UMP(Unified Management Platform)架构的优势主要体现在以下几个方面:

  1. 集中管理:UMP架构提供了一个集中的管理平台,可以统一管理多个服务器和应用程序,减少了管理的复杂性和成本。

  2. 灵活扩展:UMP架构具有良好的扩展性,可以随着业务的发展进行灵活的扩展和调整。无论是添加新的服务器、应用程序还是扩大系统的容量,都可以快速、简便地完成。

  3. 高可用性:UMP架构采用了高可用性设计,确保系统的稳定性和连续性。通过负载均衡、故障转移等技术,可以最大限度地减少故障和停机时间,保证业务的正常运行。

  4. 安全性:UMP架构注重安全性设计,采用了多种安全措施,如访问控制、加密通信、防火墙等,确保系统的安全性和数据的保密性。

  5. 自动化管理:UMP架构提供了自动化管理功能,可以自动完成许多日常任务和管理工作,如监控、备份、恢复等,减少了人工干预和管理成本。

  6. 可视化界面:UMP架构提供了直观的可视化界面,使得管理员可以轻松地监控和管理系统,快速了解系统的运行状态和性能情况。

综上所述,UMP架构的优势主要在于集中管理、灵活扩展、高可用性、安全性、自动化管理和可视化界面等方面,可以为企业提供高效、稳定、安全的管理解决方案。


UMP系统架构组成

UMP系统架构包括一个Controller服务器和多个UMP集群成员。

Controller服务器向UMP集群提供各种管理服务,包括集群成员管理、元数据存储、MySQL实例管理、故障恢复、备份、迁移、扩容等。

UMP集群成员包括多个节点,它们通过分布式数据库管理系统Mnesia实现数据存储和事务处理。Mnesia运行在Controller服务器上,支持事务、提供透明的数据分片、利用两阶段锁来实现分布式事务、具有线性扩展性(可扩展到至少50个节点)。

UMP系统中还部署了多台Controller服务器,由Zookeeper的分布式锁功能来帮助选出一个“总管”,负责各种系统任务的调度和监控。


LVS

LVS,全称Linux Virtual Server,即Linux虚拟服务器,是一个虚拟的服务器集群系统,使用负载均衡技术将多台服务器组成一个虚拟的服务器集群。

它在多台服务器之间进行负载均衡,使每个服务器的资源得到最大化的利用,同时提供对外服务的稳定性和高可用性。

LVS集群系统通常由负载调度器(Load Balancer,简称LB)和真实服务器(Real Server,简称RS)组成。

LB负责接收客户端的请求,并根据一定的策略将请求转发给RS进行处理,最终将处理结果返回给客户端。

controller服务器

Controller服务器的作用是为UMP集群提供各种管理服务,包括集群成员管理、元数据存储、MySQL实例管理、故障恢复、备份、迁移、扩容等。

此外,Controller服务器上运行了一组Mnesia分布式数据库服务,其中存储了各种系统元数据,主要包括集群成员、用户的配置和状态信息,以及用户名到后端MySQL实例地址的映射关系(或称为“路由表”)等。

当其它服务器组件需要获取用户数据时,可以向Controller服务器发送请求获取数据。为了避免单点故障,保证系统的高可用性,UMP系统中部署了多台Controller服务器,然后,由Zookeeper的分布式锁功能来帮助选出一个“总管”,负责各种系统任务的调度和监控。

Controller服务器上运行了一组Mnesia分布式数据库服务

PROXY服务器

UMP架构中的代理服务器作用重大,可以节约资源、提高效率、保障安全等。

在UMP架构中,代理服务器的作用主要有以下几点:

  1. 作为网络防火墙,保障局域网络的安全。当存在代理防火墙时,客户端和服务器都被迫通过代理服务器进行会话。

  2. 节约网络资源。代理服务器可以减少对IP地址的需求,对于使用局域网方式接入Internet的用户,如果每一个用户都申请一个IP地址,费用是相当巨大的。但使用代理服务器后,只需代理服务器上有一个合法的IP地址,局域网内其他用户可以使用私有IP地址,这样大大节省了IP资源,降低了网络维护成本。

  3. 提高访问速度。代理服务器有一个很大的缓存文件区,用户在使用代理服务器访问互联网时,代理服务器会先查询缓存文件区中的文档,若是有用户请求的文件,便会从缓存文件区提取后直接发送给用户。这样大大缩短了数据传送的时间,提高了用户的访问速度。

  4. 隐藏IP地址,防止信息泄露,起到安全的防护作用。

  5. 对人们的使用次数与情况做出记录,从而达到记录访问时间、地点、以及信息流量的效果,对使用网络起到一定的验证的作用。

  6. 代理服务器还能起到防火墙的作用。


Agent服务器

在UMP架构中,Agent服务器的作用主要是管理每台物理机上的MySQL实例。它部署在运行MySQL进程的机器上,可以执行主从切换、创建、删除、备份、迁移等操作,同时还负责收集和分析MySQL进程的统计信息、慢日志查询(Slow Query Log)和bin-log。


愚公系统

愚公系统的特点和优势:

  1. 平台化和开放性:愚公系统的关键特色在于其平台化和开放性,使系统能快速链接各种矿用装备,并与系统融合,这样就可以推进整个产业生态的智能化集成。

  2. 总体效率提升:相比有人运营,愚公YUGONG系统总体可提高矿山生产效率30%,节油15%,轮胎寿命提升40%,人工成本节约80%以上,而且几乎完全杜绝了安全事故。

  3. 适应性强:愚公系统解决方案目前已应用于国内二十余个露天及井工矿区,覆盖煤炭、冶金、有色、水泥四大行业,是目前世界唯一提供全机型适配,国内唯一多矿种、兼顾露天矿与井工矿全场景的解决方案。

  4. 安全性高:通过机器模拟点击和自动行为识别等技术,有效防御点击劫持、智能黄牛党、恶意爬虫等恶意行为,保护企业营销资金,提升活动运营效果。

愚公系统的缺点:

  1. 技术复杂性:愚公系统基于多种先进的技术,如机器模拟点击和自动行为识别等,这可能对一些用户来说难以理解和使用。

  2. 技术更新快:由于技术更新迅速,愚公系统可能需要经常进行升级和更新,以保持其性能和适应性。

  3. 依赖度高:愚公系统的高度智能化和自动化可能导致其对硬件和网络环境的依赖度较高。

  4. 成本高:引进和使用愚公系统可能需要较高的成本,包括购买费用、维护费用、升级费用等


彩蛋:你知道有多少种数据源在项目种使用吗?

在日常工作种,我们较为熟悉的数据源有如下:

  1. 数据库数据源:包括关系型数据库(如MySQL、Oracle等)、非关系型数据库(如MongoDB、Cassandra等)以及数据仓库(如Hive、Redshift等)。这些数据源通常用于存储和管理大量的结构化或半结构化数据。

  2. 文件数据源:包括文本文件、CSV文件、JSON文件、XML文件等。这些数据源通常用于存储和管理非结构化数据,如日志文件、配置文件、数据挖掘结果等。

  3. 网络数据源:包括RESTful API、SOAP API、Web爬虫等。这些数据源通常用于从互联网获取数据,如网页内容、社交媒体数据、新闻报道等。

  4. 流数据源:包括消息队列(如Kafka、RabbitMQ等)、实时数据管道(如Apache NiFi、Apache Flink等)等。这些数据源通常用于处理高速流动的数据,如实时传感器数据、交易数据等。

除了以上列举的数据源类型,还有许多其他类型的数据源,,作者在工作种用到的数据源类型就高达60种以上。后续将为大家介绍各个数据源的特点已经适用的业务场景。

            星球优惠活动正在进行中,期待您的加入,现在加入立即获得:



原文作者:小南瓜开发平台;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2020-08-21

  • 博文量
    209
  • 访问量
    89501