ITPub博客

excel 本质上就是对应的数据格式视图。一。    公式视图新增一列，插入对应的公式，输入对应的纵横角标，向下复制即可。就可以将对应的字母转变为大小写等。同样也是可以变成对应的格式的，具体百度函数。这里又分为财务，逻辑， 文本date的格式内容。主要是一些函数的使用。二。    数据视图数据的导入，筛选，组

一致性算法 包括2PC 、3PC 、Paxos 、Raft 等四种：2PC / 3PC 协议用于保证属于多个数据分片上操作的原子性。这些数据分片可能分布在不同的服务器上，2PC / 3PC 协议保证多台服务器上的操作要么全部成功，要么全部失败二阶段提交2PC （Two-Phase Commit ）： 用来保证分布式系统数据的一致性的一致性协议，大部分基于关系型数据库的分布式事务处理都是采用二阶段提

Basically Available(基本可用)基本可用是相对于正常的系统来说的,常见如下情况响应时间上的损失：正常情况下的搜索引擎0.5秒即返回给用户结果，而基本可用看的搜索结果可能要1秒，2秒甚至3秒（超过3秒用户就接受不了了）功能上的损失：在一个电商网站上，正常情况下，用户可以顺利完成每一笔订单，但是到了促销时间，可能为了应对并发，保护购物系统的稳定性，部分用户会被引导到一个降级页面Bas

ＰＵｔｔｙ是在学校接触的，太小了，ＳＳＨ能连接上但是功能不足，出国校门没用过，看别人用过，开放源码的软件。比这稍微好一点的是SSH Secure Shell，也是一款免费软件，比ｐｕｔｔｙ　好一些。securecrt在功能上跟xshell（ XManager中文版网站）差不多，但是securecrt是英文版的还要收费，所以就果断抛弃了。以上三款基本都不用了。推荐阅读：https://bl

MobaXterm优点：1.不需要安装，直接点击一个exe文件就可运2.有对应的文件视图,可以用外部软件打开在linux里面的文件3.上传文件直接拖入软件中就可进入连接之后，左侧是一个可视话目录，使用windows习惯的人有很大的使用体验，这是xshell所不具有的功能：此外最强大的还得是他与windows系统之间的互相传输文件传功能，当你想要把windows的东西传入linux中，直接拖入左侧文

连接配置JDK注意JDK的版本，有时会产生不匹配的问题   2.直接安装即可一. Db工具的使用，怎么新建一个数据库连接？新建一个数据库连接，点击 Tools > Connection Wizard 来新建一个数据库；或者直接点击 +号绿色图标；二。连接完毕之后就可以基本的数据库的操作了推荐阅读：https://www.jianshu.com

使用plsql devlelopement时 调试存储过程时，首先新建一个名称，填写存储过程调试存储过程底部传参Testdebug，执行跳入和跳出等查看结果plsql 创建时常用的窗口有3个：command窗口是最常用的窗口，包含Oracle的基础命令，RMAN等恢复等数据profile 窗口是性能窗口，主要用于SQL调优SQL：窗口主要用来查询当下午我想用Mobaxterm连接时出现交互省份问题

引用及转义（单引号/双引号/反斜杠/反引号）1. 单引号去除字符串中的所有特殊含义，也即保持引号内的原始内容。$ echo &  # 在后台执行echo$ echo '&'  # 打印&$ echo "$PATH&quo

date -d ‘-1 day’ +%Y-%m-%d ， 简单吧。 如果是要计算月就用month，计算年就用year。 获取前一天日期的方法 ..写SHELL时,有时候很有用的.. linux下前一天的日期date -d “1 day ago” +”%y%m%d” 前一个月的日期date -d “1 month ago” +”%y%m%d” 类似的还有date -d “-1 day

-d —-使用一个驱动类：beeline -d driver_class -e —-使用一个查询语句：beeline -e “query_string” -f —-加载一个文件：beeline -f filepath 多个文件用-e file1 -e file2 -n —-加载一个用户名：beeline -n valid_user -p —-加载一个密码：beeline -p valid_

Linux下使用oracle 存储过程：先设置对应的oracle 环境变量 function exe_proc{ oracle_sid=$1 user_name=$2 user_pwd=$3 proc_name=$4 etl_date=$5error_code=sqlplus -S -L /nolog

1.sqoop产生的原因： A. 多数使用hadoop技术的处理大数据业务的企业，有大量的数据存储在关系型数据中。 B. 由于没有工具支持，对hadoop和关系型数据库之间数据传输是一个很困难的事。 依据以上的原因sqoop产生的。 sqoop的介绍 sqoop是连接关系型数据库和hadoop的桥梁，主要有两个方面(导入和导出)： A. 将关系型数据库的数据导入到Hadoop 及其相关

hive是facebook开源，并捐献给了apache组织，作为apache组织的顶级项目(hive.apache.org)。 hive是一个基于大数据技术的数据仓库(DataWareHouse)技术，主要是通过将用户书写的SQL语句翻译成MapReduce代码，然后发布任务给MR框架执行，完成SQL 到 MapReduce的转换。可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

@TOC Survive by day and develop by night.talk is cheap, show me the code,make a better result. 目录 Hive客户端工具后续将使用Beeline 替代HiveCLI ，并且后续版本也会废弃掉HiveCLI 客户端工具,Beeline是 Hive 0.11版本引入的新命令行客户端工具,它是基于SQL

@TOC Survive by day and develop by night.talk is cheap, show me the code,make a better result. 目录Linux 下设置环境的变量的方法 概述需求：Linux 下设置环境的变量的方法 设计思路主要通过export 命令或者是2、修改profile文件： 实现思路分析1.export 直接设

@TOC Survive by day and develop by night.talk is cheap, show me the code,make a better result. 目录我们一般用sqoop抽取数据，可是有时由于单表数据量太大（每天千万级别）导致sqoop抽数使用单实例报内存溢出以及抽数时间过长，这时我们该怎么办？现总结方法如下供借鉴。 概述sqoop 的参数

Linux  tee命令：Tee是一个行工具，它从标准输入读取数据，同时将结果打印到文件中和标准输出到屏幕中。tee 的功能是从标准输入读取，再写入标准输出和文件。用法：tee [OPTION]... [FILE]...-a, --append                    &nb

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来

一。分区创建年表和分区：分区方案分区表是由多个相关的底层表实现，这些底层表也是由句柄对象表示，所以我们也可以直接访问各个分区，存储引擎管理分区的各个底层表和管理普通表一样（所有的底层表都必须使用相同的存储引擎），分区表的索引只是在各个底层表上各自加上一个相同的索引，从存储引擎的角度来看，底层表和一个普通表没有任何不同，存储引擎也无须知道这是一个普通表还是一个分区表的一部分。这个方案也不错，它对用户

oracle 在做表空间时，需要修改的方式如下：1.数字更改维字符串 这里进行数据拆分即可        2.前缀处理         使用update 更改数据即可     3.特殊日期格式问题       选择自定义即可。&n