-
天翼云中南数字产业园落地长沙 “天心数谷”初具雏形
4月27日下午，中国电信集团湖南分公司与长沙天心经开区管委会共同举行“中国电信天翼云中南数字产业园”项目签约仪式。本次签约标志着中国电信正式布局中南地区，未来将在长沙天心经开区打造国家级大数据中心和天翼云核心节点。
-
尚硅谷Flink（Java）新版视频教程发布
我是一个清华落榜生。高考成绩仅比武老师低了三百多分，遗憾地与清华园失之交臂。每次他在我面前晃来晃去，脑门上仿佛有字：“清华的来了，闪开”。我挤兑他：一个人越炫耀什么，说明他越缺少什么。他回怼我：一个人越缺少什么，越觉得别人在炫耀什么。作为学渣，我哑口无言。桥洞下面盖小被，小被里面抹眼泪，抹完眼泪无所谓，逢人就说对对对。真是考又考不过，怼又怼不赢……误解是人生的常态，理解是稀缺的例外。一个人可以骄傲
-
大数据培训：HiveSQL技术优化与面试
Hive SQL 编译成MapReduce过程编译 SQL 的任务是在上节中介绍的 COMPILER（编译器组件）中完成的。Hive将SQL转化为MapReduce任务，整个编译过程分为六个阶段： 词法、语法解析: Antlr 定义 SQL 的语法规则，完成 SQL 词法，语法解析，将 SQL 转化为抽象语法树 AST Tree；Antlr是一种语言识别的工具，可以用来构造领域语言
-
大数据培训：Hadoop和MPP有什么区别
在最近的时间里，我听到了很多关于该主题的讨论。同样，这是一个非常受欢迎的问题，是由在“大数据”领域经验不足的客户提出的。实际上，我不喜欢这个含糊不清的流行语，但这就是客户通常会来找我们的原因，因此我必须使用它。如果回头看5年前，那是大多数公司都不选择Hadoop的时候，尤其是对于那些要求稳定和成熟平台的企业而言。那时，选择非常简单：当分析数据库的大小超过5-7 TB时，您只需启动一个MPP迁移项目
-
大数据Flink培训：维表Join/双流Join的方法
一、背景事实表通常存储在kafka中，维表通常存储在外部设备中(比如MySQL，HBase)。对于每条流式数据，可以关联一个外部维表数据源，为实时计算提供数据关联查询。维表可能是会不断变化的，在维表JOIN时，需指明这条记录关联维表快照的时刻。需要注意是，目前Flink SQL的维表JOIN仅支持对当前时刻维表快照的关联(处理时间语义)，而不支持事实表rowtime所对应的的维表快照。二、维表Jo
-
以数字化为引领 天翼云助力中安公司应急管理云平台上线
日前，国务院印发了《“十四五”国家应急体系规划》（以下简称《规划》），对安全生产、防灾减灾救灾等工作进行了全面部署。《规划》中提到，要以防范化解重大安全风险为主线，深入推进应急管理体系和能力现代化，坚决遏制重特大事故，最大限度降低灾害事故损失，全力保护人民群众生命财产安全和维护社会稳定。
-
大数据培训：Kafka存储结构及Log清理机制
日志存储结构首先我们来看一张 Kafka 的存储结构图。如上图所示，Kafka 中消息是以主题 topic 为基本单位进行归类的，这里的 topic 是逻辑上的概念，实际上在磁盘存储是根据分区存储的，每个主题可以分为多个分区、分区的数量可以在主题创建的时候进行指定。例如下面 kafka 命令创建了一个 topic 为 test 的主题、该主题下有 4 个分区、每个分区有两个副本保证高可用。./bi
-
大数据培训：Hive日常操作分享
Hive 表基本操作1.创建表CREATE TABLE if NOT EXISTS table_name(column_name1 string comment '字段名的释义',column_name2 int comment '字段名的释义',column_name3 int comment '字段名的释义',column_name4
-
大数据开发join的运行原理_大数据培训
基本描述Hive的join过程，即hive将sql的join转化为mapreduce来执行的过程。关键词主要有三个：执行计划、Shuffle join和map join。因此回答本问题时，可以先回答hive是怎样执行sql的，再对join的过程进行说明。当遇到让你结合例子来说明join过程的问题时，大数据培训根据总结选择性回答即可。总结回答1 简单解释hive解析sql到mrok，首先
-
大数据培训：Flink CDC 高频面试题
1 cdc 简介CDC (Change Data Capture) 是一种用于捕捉数据库变更数据的技术，Flink 从 1.11 版本开始原生支持 CDC 数据（changelog）的处理，目前已经是非常成熟的变更数据处理方案。 Flink CDC Connectors 是 Flink 的一组 Source 连接器，是 Flink CDC 的核心组件，这些连接器负责从 MyS
-
煤炭行业供应链集采系统数字化推进产业转型升级，提升招标采购管理水平
利用互联网以及数字化工具提升采购质量，推动业务协同和流程再造，以数字化助力煤炭行业采购合规管控、风险防范、成本管理和效率提升，驱动采购业务的转型升级成为了煤炭企业的重中之重。
-
大数据培训：Flink面试连环17问
1.Flink checkpoint 与 Spark Flink 有什么区别或优势吗spark streaming 的 checkpoint 仅仅是针对 driver 的故障恢复做了数据和元数据的 checkpoint。而 flink 的 checkpoint 机制 要复杂了很多，大数据培训它采用的是轻量级的分布式快照，实现了每个算子的快照，及流动中的数据的快照。2.Flink 中的 Time 有
-
大数据培训：构建Flink SQL流式计算平台
一、背景Flink 由于阿里在国内的助推，火爆程度可以想象，大数据培训且目前Flink 有非常明显的趋势是往SQL 方向进行的。很多大厂已经实现了Flink SQL化，那我们怎么去实现一个流式计算平台呢？ 二、Flink SQL 初探以及代码实现连接kafka 对数据进行处理写入mysqlpackage org.example; import org.apa
-
大数据培训：Flink 快照分析
在 Flink 作业中，无论是 SQL 还是 JAR 模式，常常会直接或者间接地使用到状态（State）。当 Flink 进行快照时，用户定义的这些状态数据可以被保存在状态点中，以供后续的崩溃恢复。Flink 的状态分为 Operator State 和 Keyed State，而 Keyed State 又可以分为 ValueState、MapState、ListState、Aggregatin
-
大数据培训：Flink窗口的开始时间的计算
我还记得的在我刚学习flink的时候，B站的老师说过，Flink窗口的开始时间和结束时间和你想的不一样。那个时候我好像记得老师说过，flink的窗口大小会根据你的时间单位来进行修正。然后在现如今，很多人还是不是很了解窗口机制，以及watermark。更别提什么窗口什么时候，什么时候结束。所以呢，今天从大数据培训源码角度给大家普及一下窗口什么时候开始，什么时候结束。我们可以来编写一个简单的代码，来看
-
尚硅谷Kafka新版视频教程发布
周一，情人节。你孑然一身，自己过。周二，元宵节。你孑然一身，自己过。一生之重，不过饱餐与被爱。一生所求，不过温饱与良人。周三，一个普通的日子。你孑然一身，但海哥陪你一起过！打怪升级涨姿势，不是节日胜似节日。成长的道路上，重要的不是你怎么走，而是，你和谁一起走。人生中一个关键的问题就是：解决和谁在一起的问题。你可以永远相信女足和海哥！海哥是一个什么样的男人？有的人去某巴克，必须带着苹果笔记本，而且不
-
Hadoop常见错误及解决方案
1)防火墙没关闭、或者没有启动YARNINFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:80322)主机名称配置错误3)IP地址配置错误4)ssh没有配置好5)root用户和atguigu两个用户启动集群不统一6)配置文件修改不细心7)未编译源码Unable to load native-h
-
大数据培训：在 flink 中使用 hive udf的原因分析
1.序篇废话不多说，咱们先直接上本文的目录和结论，小伙伴可以先看结论快速了解博主期望本文能给小伙伴们带来什么帮助： 背景及应用场景介绍：博主期望你能了解到，其实很多场景下实时数仓的建设都是随着离线数仓而建设的（相同的逻辑在实时数仓中重新实现一遍），因此能够在 flink sql 中复用 hive udf 是能够大大提高人效的。flink 扩展支持 hive 内置 udf：flink
-
大数据培训：Hadoop HDFS 实现原理
一、HDFS体系结构1.1 HDFS 简介Hadoop分布式文件系统 (HDFS) 是运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，大数据培训
-
大数据培训：Hadoop生态系统圈
Hadoop概述Hadoop体系也是一个计算框架，在这个框架下，可以使用一种简单的编程模式，通过多台计算机构成的集群，分布式处理大数据集。Hadoop是可扩展的，它可以方便地从单一服务器扩展到数千台服务器，每台服务器进行本地计算和存储。大数据培训机构除了依赖于硬件交付的高可用性，软件库本身也提供数据保护，并可以在应用层做失败处理，从而在计算机集群的顶层提供高可用服务。Hadoop核心生态圈组件如图
