ITPub博客

-d —-使用一个驱动类：beeline -d driver_class -e —-使用一个查询语句：beeline -e “query_string” -f —-加载一个文件：beeline -f filepath 多个文件用-e file1 -e file2 -n —-加载一个用户名：beeline -n valid_user -p —-加载一个密码：beeline -p valid_

Linux下使用oracle 存储过程：先设置对应的oracle 环境变量 function exe_proc{ oracle_sid=$1 user_name=$2 user_pwd=$3 proc_name=$4 etl_date=$5error_code=sqlplus -S -L /nolog

1.sqoop产生的原因： A. 多数使用hadoop技术的处理大数据业务的企业，有大量的数据存储在关系型数据中。 B. 由于没有工具支持，对hadoop和关系型数据库之间数据传输是一个很困难的事。 依据以上的原因sqoop产生的。 sqoop的介绍 sqoop是连接关系型数据库和hadoop的桥梁，主要有两个方面(导入和导出)： A. 将关系型数据库的数据导入到Hadoop 及其相关

hive是facebook开源，并捐献给了apache组织，作为apache组织的顶级项目(hive.apache.org)。 hive是一个基于大数据技术的数据仓库(DataWareHouse)技术，主要是通过将用户书写的SQL语句翻译成MapReduce代码，然后发布任务给MR框架执行，完成SQL 到 MapReduce的转换。可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

@TOC Survive by day and develop by night.talk is cheap, show me the code,make a better result. 目录 Hive客户端工具后续将使用Beeline 替代HiveCLI ，并且后续版本也会废弃掉HiveCLI 客户端工具,Beeline是 Hive 0.11版本引入的新命令行客户端工具,它是基于SQL

@TOC Survive by day and develop by night.talk is cheap, show me the code,make a better result. 目录Linux 下设置环境的变量的方法 概述需求：Linux 下设置环境的变量的方法 设计思路主要通过export 命令或者是2、修改profile文件： 实现思路分析1.export 直接设

@TOC Survive by day and develop by night.talk is cheap, show me the code,make a better result. 目录我们一般用sqoop抽取数据，可是有时由于单表数据量太大（每天千万级别）导致sqoop抽数使用单实例报内存溢出以及抽数时间过长，这时我们该怎么办？现总结方法如下供借鉴。 概述sqoop 的参数

Linux  tee命令：Tee是一个行工具，它从标准输入读取数据，同时将结果打印到文件中和标准输出到屏幕中。tee 的功能是从标准输入读取，再写入标准输出和文件。用法：tee [OPTION]... [FILE]...-a, --append                    &nb

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来

一。分区创建年表和分区：分区方案分区表是由多个相关的底层表实现，这些底层表也是由句柄对象表示，所以我们也可以直接访问各个分区，存储引擎管理分区的各个底层表和管理普通表一样（所有的底层表都必须使用相同的存储引擎），分区表的索引只是在各个底层表上各自加上一个相同的索引，从存储引擎的角度来看，底层表和一个普通表没有任何不同，存储引擎也无须知道这是一个普通表还是一个分区表的一部分。这个方案也不错，它对用户

oracle 在做表空间时，需要修改的方式如下：1.数字更改维字符串 这里进行数据拆分即可        2.前缀处理         使用update 更改数据即可     3.特殊日期格式问题       选择自定义即可。&n

Oracle数据库报错ORA-00904 标识符无效问题解决办法.txt首先检查字段名和表名是否写错字段中是否包含了oracle中的关键字，查询时包含关键字的字段要用双引号括起来建表语句中字段或表名带双引号了，查询时也要加双引号推荐阅读：https://blog.csdn.net/jajavaja/article/details/49122639

Presto性能不足的原因split调度模式，线程切换极高，而有效利用率不高设计上嵌入了大量的实时统计，这些损耗太多谓词过滤性能不行，如TupleDomain体系的Predicate可能模糊/in/等条件没有spark的定向优化好内存数据结构，buff有限，又是流水线式作业，有类似flink的背压问题，缓存处理不了时导致上游阻塞 降低了吞吐（尤其是stage较多的时候）Task上的Pipeline

Presto简介Presto是Facebook开源的大数据分布式SQL查询引擎，可对从数G到数P的大数据进行交互式的查询，查询的速度达到商业数据仓库的级别。支持查询包括Hive、Cassandra以及某些商业的数据存储产品。单个Presto查询可合并来自多个数据源的数据进行统一分析。Presto不使用MapReduce，只需要HDFS。Facebook在内部已经在多个数据存储中使用Presto交互

java 和C++的区别java 垃圾回收 ,java hashmap 数据结构和源码Linux 命令tail ,cat,wc,grep大数据面试的咋样了数据库复制的实现    7.高可用的实现和理解   8.hive ,prosto 的实现   9.hive,prosto,spark sql 性能比较 10. mpp 数据库的

大规模并行分析（MPP）数据库（Analytical Massively Parallel Processing (MPP) Databases）是针对分析工作负载进行了优化的数据库：聚合和处理大型数据集。MPP数据库往往是列式的，因此MPP数据库通常将每一列存储为一个对象，而不是将表中的每一行存储为一个对象（事务数据库的功能）。这种体系结构使复杂的分析查询可以更快，更有效地处理。这些分析数据库将

2PC （ Two-Phase Commit缩写）即两阶段提交协议，是将整个事务流程分为两个阶段，准备阶段（Preparephase）、提交阶段（commit phase），2是指两个阶段，P是指准备阶段，C是指提交阶段。在计算机中部分关系数据库如Oracle、MySQL支持两阶段提交协议两个阶段过程：准备阶段（Prepare phase）：事务管理器给每个参与者发送Prepare消息，每个数据库

ACID属性：ACID，是指数据库管理系统（DBMS）在写入或更新资料的过程中，为保证事务（transaction）是正确可靠的，所必须具备的四个特性：原子性（atomicity，或称不可分割性）、一致性（consistency）、隔离性（isolation，又称独立性）、持久性（durability）。范式设计：第⼀范式：⽆重复的列第⼆范式：属性完全依赖于主键第三范式：属性不能传递依赖其他⾮主属

GoldenDB整体架构GoldenDB整体架构如下图所示包括：计算节点CN、数据节点DN、全局事务节点GTM、管理节点，其中管理节点分为集群管理和Insight运维管理平台。集群管理部分包括元数据管理Metadataserver、ClusterManager和ProxyManager，这一部分实现分布式数据库架下的整个集群元数据、数据节点和计算节点的管理和维护。

批量调度功能：2.批量调度现状分析2.1.目前主要实现方式目前，由于银行内部缺乏一款专业批量产品支撑，缺乏一定的批量调度规范与标准，使银行内部几十上百个系统相关批量调度实时混乱。这种现象不仅体现在银行不同系统之间，甚至体现在同一系统的不同建设周期之间。2.1.1.应用系统内置，手工调度调度目前，在银行内有很多系统的后台批量处理，无论从后台调度层面，还是前台应用层面，都与业务系统本身高度耦合，而且调