ITPub博客

车联网上云最佳实践 七

国内数据库 作者:代码派就是我 时间:2018-09-10 14:54:03 0 删除 编辑

使用阿里云带来的价值

原文链接  https://yq.aliyun.com/articles/632666?spm=a2c4e.11155435.0.0.a5a43312pX2g7n

1、 节约成本
自建机房往往需要投入的大量人力成本,时间成本,资金成本。而且传统IDC不仅成本很高,而且网络还不稳定,数据存储安全性低,需要投入大量运维人员维护。如果随着用户量不断增加,带宽和服务器存储都需要扩容,严重制约了产品迭代速度。阿里云不但帮助企业减少IT基础设施的投入,还提升了业务部署效率。从前面的云数据库RDS和自建数据库成本对比可以看出同样的数据库服务能力(IOPS为600),自够服务器搭建数据库成本要比云数据库的成本高的多。而且云数据库方面提供了完善的容灾、备份、恢复、监控、迁移的解决方案。不但保证了数据读写的准确性,而且彻底解决了数据库运维的烦恼。

构建智能车联网平台涉及的云产品、作用及价格
_2018_08_31_8_44_17
_2018_08_31_8_46_09
_2018_08_31_8_47_26

2、 弹性扩展
随着公司业务不断壮大,面对如此大规模的汽车用户增长,系统需要应对高并发的访问量,给我们带来了很大的挑战。以往应对大规模用户增长我们需要大量购买服务器和盘阵来解决计算、存储和网络流量的问题,服务器和存储和互联网带宽需要不断扩容,而且对扩容时间要求很苛刻,对于IDC机房位置比较偏远的,非常麻烦;而且往往还要经过复杂的商务、设备运送、施工过程。上云之后,阿里云云计算弹性伸缩、高性能、高可用、快速部署、安全稳定服务,大大降低了系统部署的复杂度,借助于阿里云云计算服务,我们快速实现了分布式部署架构,并构建了服务化架构,面对业务高峰,可以快速弹性扩容云服务器资源,在节假日出行高峰期间以及日常早晚高峰期间,可以根据用户的量,进行弹性配置,弹性添加服务器,轻松应对业务访问高峰,在访问低峰期,可以删减服务器,最大程度节省成本。

3、 安全稳定
传统的普通机房,运维成本高、网络不稳定、安全性差,需要专业的运维人员进行维护,同时难以应对网络攻击。阿里云实例可用性达 99.95%,云盘数据可靠性不低于 99.9999999%,自动宕机迁移,自动快照备份,数据恢复非常方便;而阿里云云服务器免费提供DDoS防护、木马查杀、防暴力破解等服务,同时数据库支持主备架构,可以拦截SQL注入、暴力破解等,拥有同城容灾及异地容灾,数据可以自动备份,拥有高可靠的数据保障。借助云监控,随时监控各项云服务性能,借助报警服务,及时做出反应,保障系统畅通运行。阿里云安全、稳定的优势,帮助车联网企业更快更好地为用户提供车联网的各项的服务。

4、 快速运维
使用阿里云之前,我们采用的是传统服务器,但传统服务器的存储数据安全性不高,硬盘的浪费率也比较高,在应用、扩展方面有一定的局限性,如果我们有了新的应用,则需要再买一台,这样就造成了服务器严重的浪费。所以日常运维我们有庞大的团队,各主要数据中心还有值班人员来处理日常的突发事件,比如机柜紧急迁移,电源故障处理,网络故障排查等,而且某地机房的物理障碍和灾害会给我司业务造成不确定性冲击,风险不可预测不可控制。自从使用阿里云之后,阿里云替我们提供了一个高可靠的稳定底层架构,我们不再对不可预测的灾害和物理损耗而担心我们的客户和业务受到波及,可以随时随地连上网络,通过高效的后台数据系统精确控制所有服务器的状态,随时定位问题,必要的时刻,阿里云专家服务会介入帮助我们一起定位和解决问题。添加新应用只需简单点击购买,并能快速部署环境,我们可以把更多精力放在自己的业务发展上。我们用原来十分之一的运维人员实现了更高效的日常运维。

5、 解决瓶颈和痛点
 采用阿里云负载均衡SLB消灭海量车辆及用户访问瓶颈;
 采用弹性伸缩服务消灭早晚及节假日出行流量高峰痛点;
 采用分布式数据库DRDS消灭数据库扩展瓶颈;
 采用数据传输服务消灭数据迁移同步瓶颈;
 采用对象存储OSS消除静态资源存储访问瓶颈;
 采用HiTSDB + iot套件消除车联网数据采集及存储瓶颈;
 采用消息队列kafka消灭消息处理瓶颈;
 采用DDOS高防IP和WAF消灭安全瓶颈;
 采用MaxCompute+Dataworks+云数据库HBase版消除大数据存储,大数据分析瓶颈;
 采用云监控+codePipeline+RAM+应用配置管理+操作审计消灭运维管理瓶颈;
 采用数据可视化DataV大致酷炫展示大屏,消除企业形象,运维形象瓶颈;
 采用云计算服务可以快速完成计算,存储,数据库等资源的创建,并且低成本,按需灵活配置和高资源利用率,解决了传统自建模式中的建设周期长,成本高,配置不灵活,资源利用率低等诸多痛点。

6、 站在巨人的肩膀上起跳

车辆网行业是一个新型朝阳行业,许多中小创业公司以及科技巨头投入到这个行业来,与科技巨头以及实力强的大企业相比他们具有雄厚的经济实力和强大的人才储备等诸多优势。那么对于那些中小企业来说他们怎样才能和大企业大公司站在同一起跑线上呢?我们公司的做法是借助于云计算的能力可以让我们快速补齐基础设施短板,技术底子薄,IT建设资金投入有限等劣势,实现弯道超车。目前在阿里云已经有150多款云产品,并且每年保持很高的新产品发布频率。 这些产品都是这些年阿里巴巴的技术大拿们通过在阿里巴巴内部真实场景的积累和沉底,将一些技术能力通过创新并输出成阿里云产品提供给广大阿里云用户。 比如说人工智能,机器学习,大数据平台,人脸识别,语音识别,国产高性能数据库,自研芯片等等。中小企业通常要具备这些技术往往是不可能的,成本也不划算,现在有了阿里云的这产品,可以帮助更多中小企业用户赋能高科技能力。正是有了这些赋能,中小企业才可以站在巨人肩膀上起跳。
最后总结下,我们是如何在云上构建这套智能车联网数据平台的。首先是采用了阿里云DDOS高防IP,web应用防火墙构建安全防护层,为后端的应用系统提供强大防DDOS攻击能力,以及其他安全防护能力;采用阿里云SLB构建了高性能负载均衡层,提供强大的数据请求转发能力;采用阿里云codepipeline,kubernetes,应用配置管理ACM打造DevOps体系,提供敏捷开发,代码构建,自动发布,自动测试等全流程持续集成的能力;采用阿里云的IOT套件+HiTSDB快速的搭建起了高性能车联网数据采集管理平台,提供了海量车机数据采集,设备管理,命令下发等能力以及千万级写入性能的数据存储能力;采用云数据库Redis,消息队列Kafka服务构建性能强大的缓存集群和消息队列集群,提供可灵活扩展的高性能缓存服务以及消息队列服务;其次采用阿里云流计算服务,MaxCompute服务构建强大的大数据平台,提供大数据实时在线计算分析能力和离线计算分析能力;采用OSS,DRDS,HBase,Elasticsearch等服务构建高性能数据存储层,提供海量数据高性能写入,查询以及搜索等能力;最后采用阿里云域名,云监控,DataV数据可视化,堡垒机,RAM,操作审计等服务构建安全高效的企业级运维管理平台,提供功能强大的资源监控,域名管理,跳板机管理,访问控制管理,操作审计,运维大屏设计等能力。最终通过智能车联网平台为广大车联网用户提供丰富贴心的智能车联网服务。

附录-云产品简介
既然我们要上云肯定要对云产品的特性要所了解,云厂商的选择,最近看到一句广告词,上云就上阿里云,目前阿里云在全球排名前三,在国内是绝对的领导地位,有冲击AWS的潜力,所以了下阿里云的云产品。大致看了下需要使用到大约几十款云产品。运维人员尤其需要掌握这些产品功能特性以及组合使用方法。

1、 云服务器
1.1 ECS
云服务器Elastic Compute Service(ECS)是阿里云提供的一种基础云计算服务。使用云服务器ECS就像使用水、电、煤气等资源一样便捷、高效。无需提前采购硬件设备,而是根据业务需要,随时创建所需数量的云服务器ECS实例。在使用过程中,随着业务的扩展,可以随时扩容磁盘、增加带宽。如果不再需要云服务器,也能随时释放资源,节省费用。更多关于ECS产品介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/document_detail/25367.html?spm=a2c4g.11186623.6.555.9Lx2Oz

1.2 ESS
弹性伸缩(Elastic Scaling Service, ESS)是一种根据业务需求和策略,自动调整其弹性计算资源的管理服务。在满足业务需求高峰增长时无缝地增加ECS实例,并在业务需求下降时自动减少ECS实例以节约成本。更多关于ESS产品介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/document_detail/25857.html?spm=a2c4g.11186623.6.539.cxNsCw

2、 网络
2.1 VPC
专有网络VPC(Virtual Private Cloud)是基于阿里云构建的一个隔离的网络环境,专有网络之间逻辑上彻底隔离。专有网络是自己独有的的云上私有网络。可以完全掌控自己的专有网络,例如选择IP地址范围、配置路由表和网关等,可以在自己定义的专有网络中使用阿里云资源如ECS、RDS、SLB等。更多关于VPC产品介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/document_detail/34217.html?spm=5176.11065259.1996646101.searchclickresult.5d91422d0yIx2m

2.2 SLB
负载均衡(Server Load Balancer)是将访问流量根据转发策略分发到后端多台云服务器(ECS实例)的流量分发控制服务。负载均衡扩展了应用的服务能力,增强了应用的可用性。负载均衡通过设置虚拟服务地址,将添加的ECS实例虚拟成一个高性能、高可用的应用服务池,并根据转发规则,将来自客户端的请求分发给云服务器池中的ECS实例。负载均衡默认检查云服务器池中的ECS实例的健康状态,自动隔离异常状态的ECS实例,消除了单台ECS实例的单点故障,提高了应用的整体服务能力。此外,负载均衡还具备抗DDoS攻击的能力,增强了应用服务的防护能力。更多关于SLB产品介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/document_detail/27539.html?spm=5176.11065259.1996646101.searchclickresult.70a16a88umNczr

3、 数据库
3.1 RDS
阿里云关系型数据库(Relational Database Service,简称 RDS)是一种稳定可靠、可弹性伸缩的在线数据库服务。基于阿里云分布式文件系统和SSD盘高性能存储,RDS 支持 MySQL、SQL Server、PostgreSQL 和 PPAS(Postgre Plus Advanced Server,一种高度兼容 Oracle 的数据库)引擎,并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。阿里云数据库 MySQL 版基于 Alibaba 的 MySQL 源码分支,经过双 11 高并发、大数据量的考验,拥有优良的性能和吞吐量。除此之外,阿里云数据库 MySQL 版还拥有经过优化的读写分离、数据压缩、智能调优等高级功能。更多关于RDS产品介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/document_detail/26092.html?spm=5176.11065259.1996646101.searchclickresult.3dc515f7NMYlhZ

3.2 Redis
云数据库 Redis 版(ApsaraDB for Redis)是兼容开源 Redis 协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。云数据库 Redis 版支持字符串(String)、链表(List)、集合(Set)、有序集合(SortedSet)、哈希表(Hash)等多种数据类型,及事务(Transactions)、消息订阅与发布(Pub/Sub)等高级功能。通过“内存+硬盘”的存储方式,云数据库 Redis 版在提供高速数据读写能力的同时满足数据持久化需求。云数据库 Redis 版支持灵活的部署架构:单副本、双副本、集群版,能够满足不同的业务场景。更多关于Redis产品介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/document_detail/26342.html?spm=5176.11065259.1996646101.searchclickresult.2542692eDeOwhb

3.3 Elasticsearch
阿里云Elasticsearch提供开源Elasticsearch 5.5.3版本及商业版X-pack插件服务,致力于数据分析、数据搜索等场景服务。在开源Elasticsearch基础上提供企业级权限管控、安全监控告警、自动报表生成等功能。
特点及优势
 分布式的实时文件存储,每个字段都被索引并可被搜索
 分布式的实时分析搜索引擎
 商业版X-pack插件,提供企业级权限管控、实时系统监控等强大服务
 弹性扩展到上百台服务器,处理PB级结构化或非结构化数据
 默认主流插件,包括第三发的IK分词插件等
 Elastic官方技术支持团队7*24小时技术支持
更多关于Elasticsearch产品介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/document_detail/57770.html?spm=a2c4g.11186623.6.539.SyPWIT

3.4 HBase
云数据库 HBase 版(ApsaraDB for HBase)是基于 Hadoop 且100%兼容HBase协议的高性能、可弹性伸缩、面向列的分布式数据库,轻松支持PB级大数据存储,满足千万级QPS高吞吐随机读写场景。阿里集团在10年开始研究HBase并使用在生产之中,目前阿里集团有10000台左右的HBase机器,数百个集群,服务数百个业务。
https://help.aliyun.com/document_detail/57770.html?spm=a2c4g.11186623.6.539.ALwCl1

3.5 DRDS
分布式关系型数据库服务(Distributed Relational Database Service,简称 DRDS)专注于解决单机关系型数据库扩展性问题,具备轻量(无状态)、灵活、稳定、高效等特性,是阿里巴巴集团自主研发的中间件产品。DRDS 兼容 MySQL 协议和语法,支持分库分表、平滑扩容、服务升降配、透明读写分离和分布式事务等特性,具备分布式数据库全生命周期的运维管控能力。
DRDS 主要应用场景在大规模在线数据操作上,通过贴合业务的拆分方式,将操作效率提升到极致,有效满足用户在线业务对关系性数据库要求。
DRDS 主要解决了以下问题:

 单机数据库容量瓶颈: 随着数据量和访问量的增长,单机数据库会遇到很大的挑战,依赖硬件升级并不能完全解决问题。
 单机数据库扩展困难:传统数据库容量扩展往往意味着服务中断,很难做到业务无感知或者少感知。
 传统数据库使用成本高: 当业务数据和访问量增加到一定量时,传统数据库需要依赖特定的高端存储和小型机设备,成本曲线快速上升。
更多关于DRDS产品介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/document_detail/29659.html?spm=a2c4g.11186623.6.539.41MtkV

3.6 HiTSDB
高性能时间序列数据库 (High-Performance Time Series Database , 简称 HiTSDB) 是一种高性能,低成本,稳定可靠的在线时序数据库服务;提供高效读写,高压缩比存储、时序数据插值及聚合计算,广泛应用于物联网(IoT)设备监控系统 ,企业能源管理系统(EMS),生产安全监控系统,电力检测系统等行业场景。HiTSDB 提供百万级时序数据秒级写入,高压缩比低成本存储、预降采样、插值、多维聚合计算,查询结果可视化功能;解决由于设备采集点数量巨大,数据采集频率高,造成的存储成本高,写入和查询分析效率低的问题。物联网套件是阿里云面向物联网领域开发人员推出的设备管理平台,旨在帮助开发者搭建数据通道,方便终端(如传感器、执行器、嵌入式设备、智能家电等)和云端进行双向通信。
更多关于DRDS产品介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/document_detail/55652.html?spm=a2c4g.11186623.6.539.Ct1Zc9

4、 对象存储
阿里云对象存储服务(Object Storage Service,简称 OSS),是阿里云提供的海量、安全、低成本、高可靠的云存储服务。它具有与平台无关的RESTful API接口,能够提供99.999999999%的服务持久性。可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。OSS适合各种网站、开发企业及开发者使用。可以使用阿里云提供的API/SDK接口或者OSS迁移工具轻松地将海量数据移入或移出阿里云OSS。数据存储到阿里云OSS以后,可以选择标准类型(Standard)的阿里云OSS服务作为移动应用、大型网站、图片分享或热点音视频的主要存储方式,也可以选择成本更低、存储期限更长的低频访问类型(Infrequent Access)和归档类型(Archive)的阿里云OSS服务作为不经常访问数据的备份和归档。更多关于OSS产品介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/document_detail/31817.html?spm=5176.11065259.1996646101.searchclickresult.2efe47beRfriA4

5、 运维管控
5.1云监控
云监控(CloudMonitor) 是一项针对阿里云资源和互联网应用进行监控的服务。云监控服务可用于收集获取阿里云资源的监控指标,探测互联网服务可用性,以及针对指标设置警报。云监控是阿里巴巴集团多年来服务器监控技术研究积累的成果,结合阿里云云计算平台强大的数据分析能力。为阿里云用户提供云服务监控、站点监控和自定义监控,为用户的产品、业务保驾护航。更多关于云监控产品介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/document_detail/43393.html?spm=5176.11065259.1996646101.searchclickresult.57c726b4LHNZ8G

5.2 数据可视化DataV
DataV 可以让更多的人看到数据可视化的魅力,并帮助非专业的工程师通过图形化的界面轻松搭建具有专业水准的可视化应用。DataV 提供了丰富的可视化模板,极大程度满足会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求。PS:利用DataV可快速构建炫酷的企业应用监控大屏。更多关于DataV数据可视化产品介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/document_detail/30360.html?spm=a2c4g.11186623.6.539.kWHHNl

5.3 访问控制服务
RAM (Resource Access Management) 是阿里云提供的资源访问控制服务。通过RAM,可以集中管理用户(比如员工、系统或应用程序),以及控制用户可以访问名下哪些资源的权限。RAM允许在云账户下创建多个RAM用户,并给这些用户分配资源操作权限。RAM用户不允许拥有资源,没有独立的计量计费,这些用户由云账户统一控制和付费。可以给每个RAM用户创建单独的登录密码或访问密钥,但在默认条件下,这些用户并没有任何操作权限。RAM提供基于访问策略的授权机制,支持实现对RAM用户的细粒度授权。
RAM包括下列功能:
 集中控制RAM用户及其密钥 —— 可以管理每个用户及其访问密钥,为用户绑定/解绑多因素认证设备;
 集中控制RAM用户的访问权限 —— 可以控制每个用户可以访问名下哪些资源的操作权限;
 集中控制RAM用户的资源访问方式 —— 可以确保用户必须使用安全信道(如SSL)、在指定时间、以及在指定的网络环境下请求访问特定的云服务;
 集中控制云资源 —— 可以对用户创建的实例或数据进行集中控制。当用户离开组织时,这些实例或数据不会丢失;
 统一账单 —— 账户将收到包括所有用户的资源操作所发生的费用的单一账单;
更多关于ECS产品介绍请详见阿里云官网,链接地址如下:

6.4 数据迁移工具
数据传输(Data Transmission)服务 DTS 是阿里云提供的一种支持 RDBMS(关系型数据库)、NoSQL、OLAP 等多种数据源之间数据交互的数据流服务。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输能力。通过数据传输可实现不停服数据迁移、数据异地灾备、异地多活(单元化)、跨境数据同步、实时数据仓库、查询报表分流、缓存更新、异步消息通知等多种业务应用场景,助构建高安全、可扩展、高可用的数据架构。
更多关于RAM产品介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/document_detail/28672.html?spm=5176.11065259.1996646101.searchclickresult.755435d9KCMinM

5.5 容器服务
容器服务提供高性能可伸缩的容器应用管理服务,支持用 Docker 和 Kubernetes 进行容器化应用的生命周期管理,提供多种应用发布方式和持续交付能力并支持微服务架构。容器服务简化了容器管理集群的搭建工作,整合了阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器运行环境。Swarm 和 Kubernetes 双支持,无缝将已有系统从线下迁移至云上。更多关于容器服务介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/document_detail/25974.html?spm=a2c4g.11186623.6.539.CDCW4C

5.6 域名
阿里云域名服务是集域名注册、交易、解析、监控和保护为一体的综合域名管理平台。域名服务帮助实现以下需求:
 域名注册:提供丰富的域名种类供选择。
 域名交易:基于支付宝担保交易打造的域名交易平台,为买卖双方提供安全、便捷的域名交易服务,让可以像淘宝一样简单地买卖域名。
 域名保障:基于隐私保护、安全锁等安全服务,全面保障注册信息和域名信息,免遭恶意骚扰。
 品牌保护:用域名保护品牌,帮助集团及大型企业安全、高效的管理品牌和域名。
 域名解析:依托阿里云解析,提供免费、高效、安全的 DNS 服务器,保障域名即买即用。
更多关于域名服务介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/document_detail/61257.html?spm=5176.11065259.1996646101.searchclickresult.462226d44gQYEt

5.7 日志服务
日志服务(Log Service,简称 Log)是针对日志类数据的一站式服务,在阿里巴巴集团经历大量大数据场景锤炼而成。无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能,提升运维、运营效率,建立 DT 时代海量日志处理能力。PS:替代传统的ELK日志系统的最佳解决方案。核心功能如下:
 实时采集与消费(LogHub)
 投递数仓(LogShipper)
 查询与实时分析(Search/Analytics)
更多关于ECS产品介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/document_detail/48869.html?spm=5176.11065259.1996646101.searchclickresult.54c369bdDiiZmU

5.8 数据管理
数据管理(Data Management,简称DMS)支持MySQL、SQL Server、PostgreSQL、MongoDB、Redis等关系型数据库和NoSQL的数据库管理,同时还支持Linux服务器管理。它是一种集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。DMS功能特性图如下所示:
image212

更多关于数据管理产品DMS介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/document_detail/47550.html?spm=a2c4g.11186623.6.539.Kf16h8

5.9 Codepipeline
阿里云CodePipeline是一款提供持续集成/持续交付能力,并完全兼容Jenkins的能力和使用习惯的SAAS化产品。通过使用阿里云CodePipeline,您可以方便的在云端实现从代码到应用的持续集成和交付,方便您快速的对您的产品进行功能迭代和演进。
产品功能
 提供了多套源代码管理平台的集成,可以与GitHub、Bitbucket、阿里云Code等平台无缝集成获取源码。
 提供了多种开发语言的编译及单元测试能力,目前包含Java,Node.js,Python2,Python3和PHP五种语言,以及通用文件打包模式,未来将集成更多的开发语言种类。
 提供了容器化集成解决方案,可以独立支持Docker镜像编译,同时支持通过阿里云容器镜像服务 进行编译和安全检查,并与阿里云容器服务打通,目前支持蓝绿/灰度发布等多种发布方式。
 提供了应用部署到ECS的能力,同时完全兼容开源自动化运维软件Salt,透明整个应用发布和部署能力。
更多关于codpiepeline产品介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/document_detail/56512.html?spm=a2c4g.11186623.6.539.S2Vxcj

6、 大数据计算服务
6.1 流计算
不同于现有的离线/批量计算模型(和批量计算差异性在下一小节细述),流计算全链路整体上更加强调数据的实时性,包括数据实时采集、数据实时计算、数据实时集成。三大类数据的实时处理逻辑在全链路上保证了流式计算的低时延。全链路流计算示意图如下: 
image213

更多关于流计算产品介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/knowledge_detail/62437.html

6.2 离线计算
大数据计算服务(MaxCompute,原名 ODPS)是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。MaxCompute 为提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决海量数据计算问题,有效降低企业成本,并保障数据安全。
同时,DataWorks 和 MaxCompute 关系紧密,DataWorks 为 MaxCompute 提供了一站式的数据同步,任务开发,数据工作流开发,数据管理和数据运维等功能。
MaxCompute 主要服务于批量结构化数据的存储和计算,可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。随着社会数据收集手段的不断丰富及完善,越来越多的行业数据被积累下来。数据规模已经增长到了传统软件行业无法承载的海量数据(百 GB、TB 乃至 PB)级别。更多关于MaxCompute产品介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/document_detail/27800.html?spm=a2c4g.11186623.6.539.XGRXk3

7、 安全
7.1 DDOS高防IP
云盾DDoS高防IP产品是针对解决互联网服务器(包括非阿里云主机)在遭受大流量的DDoS攻击后导致服务不可用的情况,推出的付费增值服务。可以通过配置DDoS高防IP,将攻击流量引流到高防IP,确保源站的稳定可靠。
DDoS攻击防护峰值带宽 20 Gbps ~ 300 Gbps。同时,提供按天弹性付费方案,按当天攻击规模灵活付费。购买DDoS高防IP服务后,把域名解析到高防IP(Web业务把域名解析指向高防IP;非Web业务,把业务IP替换成高防IP),并配置源站IP。所有公网流量都经过高防IP机房,通过端口协议转发的方式将访问流量通过高防IP转发到源站IP,同时将恶意攻击流量在高防IP上进行清洗过滤后将正常流量返回给源站IP,从而确保源站IP稳定访问。配置DDoS高防IP服务后,当遭受DDoS攻击时,无需额外做流量牵引和回注。更多关于DDOS高防IP产品介绍请详见阿里云官网,链接地址如下:

7.2 Web应用防火墙
云盾Web应用防火墙(Web Application Firewall, 简称 WAF)基于云安全大数据能力,用于防御SQL注入、XSS跨站脚本、常见Web服务器插件漏洞、木马上传、非授权核心资源访问等OWASP常见攻击,并过滤海量恶意CC攻击,避免网站资产数据泄露,保障网站的安全与可用性。更多关于ECS产品介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/document_detail/28464.html?spm=5176.11065259.1996646101.searchclickresult.533c6c640Ecq22

7.3 堡垒机
云盾堡垒机集中了运维身份鉴别、账号管控、系统操作审计等多种功能。基于协议正向代理实现,通过正向代理的方式实现对 SSH 、Windows 远程桌面、及 SFTP 等常见运维协议的数据流进行全程记录,并通过协议数据流重组的方式进行录像回放,达到运维审计的目的。更多关于云堡垒机产品介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/document_detail/28464.html?spm=5176.11065259.1996646101.searchclickresult.533c6c640Ecq22

7.4 证书服务
云盾证书服务(Alibaba Cloud Certificates Service)是阿里云联合多家国内外知名 CA 证书厂商,在阿里云平台上直接提供服务器数字证书,阿里云用户可以在云平台上直接购买、甚至免费获取所需类型的数字证书,并一键部署在阿里云产品中,以最小的成本实现将所持服务从 HTTP 转换成 HTTPS。更多关于证书服务介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/document_detail/28535.html?spm=a2c4g.11186623.6.539.GvrCxR

8、 其他服务
8.1 CDN
阿里云内容分发网络(Alibaba Cloud Content Delivery Network,简称CDN)是建立并覆盖在承载网之上、由分布在不同区域的边缘节点服务器群共同组成的分布式网络,替代以Web Server为中心的传统数据传输模式。
CDN的工作原理就是将源站的资源缓存到各地的边缘节点服务器(CDN节点)上,用户请求访问和获取资源时,就近调用CDN节点上缓存的资源。这种分布式数据传输方式,使得用户请求的资源不需要都回源站获取,从而避免网络拥塞、分担源站压力,保证用户访问资源的速度和体验。
功能介绍:
节点缓存、精准调度、多场景业务支持,多组件配合服务、自助管理、实时监控。
CDN节点分布:
1000+ 国内节点,完整覆盖 34 个省级区域,大量节点位于省会等一线城市。
200+ 海外节点,完整覆盖全球六大洲 30 多个国家和地区。
更多关于CDN产品介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/document_detail/27101.html?spm=5176.11065259.1996646101.searchclickresult.529147109YJWjq

8.2 消息队列服务
消息队列 Kafka 是一个分布式的、高吞吐量、高可扩展性消息队列服务,广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域,是大数据生态中不可或缺的产品之一。消息队列 Kafka 针对开源的 Kafka 提供全托管服务,彻底解决开源产品长期以来的痛点,用户只需专注于业务开发,无需部署运维,低成本、更弹性、更可靠。
更多关于消息队列kafka产品介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/document_detail/68151.html?spm=a2c4g.11186623.6.539.X5A3kV

8.3 物联网IOT套件

物联网套件是阿里云面向物联网领域开发人员推出的设备管理平台,旨在帮助开发者搭建数据通道,方便终端(如传感器、执行器、嵌入式设备、智能家电等)和云端进行双向通信。
物联网套件的主要功能如下:
设备接入
 物联网套件提供设备端SDK让设备轻松接入阿里云。
 提供2/3/4G、NB-IoT、LoRa等不同网络设备接入方案,解决企业异构网络设备接入管理痛点。
 提供MQTT、CoAP等多种协议的设备SDK,既满足长连接的实时性需求,也满足短连接的低功耗需求。
 开源多种平台设备端代码,提供跨平台移植指导,赋能企业基于多种平台做设备接入。

设备通信
设备可以使用物联网套件,通过IoT Hub与云端进行双向通信。物联网套件提供了设备与云端的上下行通道,为设备上报与指令下发提供稳定可靠的支撑。

设备管理
提供完整的设备生命周期管理功能,支持设备注册、功能定义、脚本解析、在线调试、远程配置、固件升级、远程维护、实时监控、分组管理、设备删除。
 提供设备物模型,简化应用开发。
 提供设备上下线变更通知服务,方便实时获取设备状态。
 提供数据存储能力,方便用户海量设备数据的存储及实时访问。
 支持OTA升级,赋能设备远程升级。
 提供设备影子缓存机制,将设备与应用解耦,解决不稳定无线网络下的通信不可靠痛点。

安全能力
阿里云物联网套件提供多重防护有效保障设备云端安全。
身份认证
 提供芯片级安全存储方案(ID²)及设备秘钥安全管理机制,防止设备密钥被破解。安全级别很高。
 提供一机一密的设备认证机制,降低设备被攻破的安全风险,适合有能力批量预分配ID密钥烧入到每个芯片的设备。安全级别高。
 提供一型一密的设备预烧,认证时动态获取三元组,适合批量生产时无法将三元组烧入每个设备的情况。安全级别普通。
通信安全
支持TLS(MQTTHTTP)、DTLS(CoAP)数据传输通道,保证数据的机密性和完整性,适用于硬件资源充足、对功耗不是很敏感的设备。安全级别高。
支持TCP(MQTT)、UDP(CoAP)上自定义数据对称加密通道,适用于资源受限、功耗敏感的设备。安全级别普通。
支持设备权限管理机制,保障设备与云端安全通信。
支持设备级别的通信资源(TOPIC等)隔离,防止设备越权等问题。

规则引擎解析转发数据
规则引擎将物联网套件与阿里云的产品无缝打通,您可以配置简单规则,将设备数据转发至云产品中,进而获得存储、计算等其他服务。例如,基于规则引擎您可以:
 配置规则实现设备与设备之间的通信,快速实现M2M场景。
 将数据转发到消息队列(MQ)中,保障应用 消费 设备上行数据 的稳定可靠性。
 将数据转发到表格存储(Table Store),提供设备数据采集 + 结构化存储的联合方案。
 将数据转发到流计算(StreamCompute)中,提供设备数据采集 + 流式计算的联合方案。
 将数据转发到HiTSDB,提供设备数据采集 + 时序数据存储的联合方案。
 将数据转发到函数计算中,提供设备数据采集 + 事件计算的联合方案。
更多关于消息队列kafka产品介绍请详见阿里云官网,链接地址如下:
https://help.aliyun.com/document_detail/30522.html?spm=a2c4g.11186623.6.539.MO9mzX


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31550522/viewspace-2213886/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
最新阿里云,新技术,新产品,以及相关活动介绍。

注册时间:2018-08-17

  • 博文量
    108
  • 访问量
    31140