ITPub博客

关于 “Hadoop” 的内容如下：

• 什么是 Hadoop ？它主要能解决 “大数据” 的哪两个问题？

  之前工作中,有接触到大数据的需求,虽然当时我们体系有专门的大数据部门,但是由于当时我们中台重构,整个体系的开发量巨大,共用一个大数据部门,人手已经忙不过来,没法办,为了赶时间,我自己负责的系统的大数据相关操作,由我们自己承担了。此前对大数据的知识了解的很少，于是晚上回去花时间突击大数据知识，白天就开始上手干，一边学一边做，总算在部门规定的时间，跟系统一起上线了。

  熬夜不加班 Hadoop 288 2021-05-29 17:32

• OpenCore Configurator 2.40.0.1 原生中文：黑苹果OC配置工具

  OpenCore是非常优秀的开源引导，逐步通过提供更通用和正确的系统来解决Clover带来的限制和问题，拦截内核加载以加入更高权限的rootkit，而该rootkit则以替代Clover引导。 OpenCore目前的主要用途是黑苹果系统引导，但实际上它也支持其他作业系统。OpenCore目前引导相关功能已非常稳定，喜欢动手调整设置的朋友现在已经是个可以转行的时机了。有部分人不推荐使用OpenCor

  mac小搭档 Hadoop 685 2021-05-27 14:45

• hbase region server 无法启动一例。

  regionserver.HRegionServer: error telling master we are up

  babyyellow Hadoop 961 2021-05-26 15:03

• 数栈技术分享：如何使用数栈进行数据采集？

  一、从哪里采集数据我们谈大数据、用大数据、让数据产生价值的前提是，我们首先要有数据。我们讲数据中台“存”、“通”、“用”，首先就是“存”，我们要将数据放到中台里，以前是放在数据仓库里，在“存”的基础上，我们会将不同来源不同格式的数据进行梳理、把一个个数据孤岛打通，数据资源形成数据资产，然后根据用户的具体场景，进行数据应用。数据的产生不是凭空而来的，袋鼠云数栈提供离线数据同步采集和实时数据同步采集两

  数栈DTinsight Hadoop 460 2021-05-17 17:32

• 数栈产品分享：干货解读数据中台产品「模块化」设计思路

  一、前言在做企业服务类(ToB)的产品时，我们经常会遇到如下场景：每个客户拿着他们的需求清单，来咨询我们的产品是否可满足他们的诉求。如图所示：每个客户的需求有重叠的内容，也有不一样的内容，而这些需求，在某一领域均具有较强的通用性。如何满足这些客户需求的同时又能使各个需求沉淀为标准功能，而不仅仅是为了交付项目？这成为ToB类产品经理思考最多的问题。为支撑客户诉求，基本的做法是抽象各个需求，落地为标准

  数栈DTinsight Hadoop 600 2021-05-12 14:23

• 数栈技术分享：OTS数据迁移——我们不生产数据，我们是大数据的搬运工

  「表格存储」是 NoSQL 的数据存储服务，是基于云计算技术构建的一个分布式结构化和半结构化数据的存储和管理服务。表格存储的数据模型以「二维表」为中心。表有行和列的概念，但是与传统数据库不一样，表格存储的表是稀疏的每一行可以有不同的列，可以动态增加或者减少属性列，建表时不需要为表的属性列定义严格的 schema。一、概述OTS的数据迁移可以使用「DataX」完成全量数据迁移。但由于部分数据表的数据

  数栈DTinsight Hadoop 466 2021-05-10 20:08

• 数栈人：从青铜到星耀，10年大数据人的奋战晋级之路

  今天，大家就请跟着数栈君一起，和申杭聊聊他从青铜到星耀的大数据之路。数栈君：申杭，你是07年从华中科技大学软件工程专业毕业的，能说说你当时为什么选择这个专业吗？申杭：当时会计、师范、机械制造、土木类专业比较热门，一般家人都会让报这些专业，出来好就业。而电子、计算机、软件工程类的专业刚刚兴起，前景并不是很明朗，不过我那时对计算机还是挺好奇的，觉得电脑上开几个黑窗口，随便敲一堆英文字母,就可以做很多事

  数栈DTinsight Hadoop 413 2021-05-07 18:25

• hbase 故障修复

  HBase 常见错误修复方法eriolchan关注2017.09.14 16:54:36字数 209阅读 7,190在重启HBase Region Server后经常会使用hbase hbck 命令进行检测，有时会检测出一些错误，以下是对于一些常见的错误的处理方法。1. Found lingering reference file hdfs:...hadoop dfs -rm&

  babyyellow Hadoop 921 2021-05-07 17:37

• 数栈技术分享：详解FlinkX中的断点续传和实时采集

  数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star！github开源项目：https://github.com/DTStack/flinkxgitee

  数栈DTinsight Hadoop 267 2021-05-06 18:57

• 数栈产品分享：简析数据中台如何通过DataAPI实现数据共享

  如果把企业数字化转型比作一辆自行车，那么技术与数据便是这辆车的两个轮子，骑在车上的则是企业战略、文化以及各种资源，它们决定了转型将走向哪个方向。不管数字化转型之路多么正确、战/术如何高明，其最终结果还是要通过这两个轮子落地。DT时代，“大数据”不是强调量大，是指数据来源多、维度多。现在很多系统的数据没法给第三方用，只有打破这种壁垒，才会产生新的价值。在数智化转型过程中，实现数据开放共享，是企业在D

  数栈DTinsight Hadoop 555 2021-04-29 18:00

• 数栈产品分享：Kafka—实时离不开的那个TA

  一、前言随着技术不断的成熟及市场需求的日益旺盛，实时开发已经成为当前大数据开发不可或缺的一部分。在整个实时开发的链路中，数据采集需要写入到Kafka，数据处理也需要使用到Kafka。今天我们就针对Kafka这个时下主流的消息中间件进行简单的介绍。二、消息队列：数据流的归宿在实时开发的场景中，来源于各类行为、事件的数据是随着发生时间源源不断如同河流一般进入实时任务并不断产出结果的。传统的异构数据源，

  数栈DTinsight Hadoop 165 2021-04-28 16:16

• 数栈技术干货：从0到1实现谷歌插件开发探索及应用

  本文整理自：技术干货丨谷歌插件开发探索及其应用数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，记得给我们点个star！star！star！gitee开源项目：https://gitee.com/dtstack_dev_0/flinkxgithub开源项目：https://github.com/DTStack/flinkxFlinkX是一个基于

  数栈DTinsight Hadoop 389 2021-04-14 18:35

• 数栈精品分享：史上最全babel-plugin-import源码详解

  本文将带领大家解析babel-plugin-import 实现按需加载的完整流程，解开业界所认可 babel 插件的面纱。首先供上babel-plugin-import插件一、初见萌芽首先 babel-plugin-import 是为了解决在打包过程中把项目中引用到的外部组件或功能库全量打包，从而导致编译结束后包容量过大的问题，如下图所示：babel-plugin-import 插件源码由两个文件

  数栈DTinsight Hadoop 424 2021-03-31 18:53

• Flink基础教程：FlinkX RDB介绍与基本演示

  一、RDB模块介绍与演示针对关系型数据库，FlinkX-RDB封装了基于JDBC规范的查询与插入等公共操作，各个数据源可通过继承FlinkX-RDB模块实现各自逻辑，目前已支持绝大部分市面上的RDB数据源：    MySQL    Oracle    SqlServer    P

  数栈DTinsight Hadoop 472 2021-03-29 18:45

• 浅析Hadoop基础原理

  2011年的时候我们在百度搜索Hadoop相关的问题每天只有零星几个，2015年再去百度搜索Hadoop已经有800多万个问题，而如今已然已经过亿了，Hadoop已成为大数据必备的基础设施了。Hadoop被公认是一套行业大数据标准开源软件，在分布式环境下提供了海量数据的处理能力。几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。近年大型IT公司，如EMC、Microsof

  数栈DTinsight Hadoop 643 2021-03-19 13:50

• Cloudera hadoop认证总结

  前言：     关于Hadoop课程及认证证书的事，想着整理一下，可能觉得有用的。     首先我所知道的在做Hadoop认证的有两家，Hortonworks跟Cloudera。因为工作的原因接触Cloudera比较多，所以就只能讲讲Cloudera的认证了。主要认证    &n

  zhcunique Hadoop 1554 2021-03-19 09:06

• 深入浅出学习HBASE

  一、HBase概述Apache HBase  是 Hadoop 数据库，一个分布式、可伸缩的大数据存储。HBase是依赖Hadoop的。为什么HBase能存储海量的数据？因为HBase是在HDFS的基础之上构建的，HDFS是分布式文件系统。二、为什么要用HBaseHBase在HDFS之上提供了高并发的随机写和支持实时查询，存储数据的”结构“可以地非常灵活，这是HDFS不具备的。把数据存储

  zhcunique Hadoop 669 2021-03-17 08:44

• hive常用函数

  由 创建, 最终由 修改于 1、日期函数1、to_date：日期时间转日期函数 select to_date('2015-04-02 13:34:12'); 输出：2015-04-022、from_unixtime：转化unix时间戳到当前时区的时间格式 select from_unixtime(1323308943,’y

  liuhongwei Hadoop 800 2021-03-15 09:16

• 945水面舰船钢

  ​945钢执行GJB 5537-2006标准。国产军工舰艇钢板，非民用造船钢。 现代战争中,舰船不可避免地会受到来自空中或水中的接触或非接触爆炸冲击波的作用,还会受到海浪砰击产生的冲荡、冰块等硬物的撞击、飞机着舰时对航母的冲击等动载荷的作用。

  50mn18cr5 Hadoop 706 2021-03-12 10:30

• JAVA环境变量配置

  windows java环境变量配置

  yhj20041128001 Hadoop 501 2021-03-05 10:29