ITPub博客

　数据可以分为结构化数据和非结构化数据，比如说我们常用的sql语句就都是操作结构化数据，邮件等信息都是非结构化数据；　　　　对于结构化数据的查询可以使用sql语句进行查询，速度较快；　　　　对于非结构化数据的查询可以把非结构化数据变成结构化数据：先根据空格进行字符串拆分，得到一个基础的单词列表。需要去掉标点符号、转换大小写、去除停用词、重复的单词只记录一次，就得到了一个最终的单词列表。然后基于单词

一般的数据仓库的建设采取的做法是：如ETL到ODS表，然后到数据仓库，最后做成对应的数据集市。如ETL到ODS表中的通常一般是怎么样做的呢？首先会采用调度工具，执行调度脚本完成调度工具有kettle等脚本的一般的逻辑创建日期文件夹，迁入入数据等。

begin:第一步生成流水号调用服务end:无论失败，还是成功插入流水好开始一个定时任务，发送失败的重新请求。  

在 TCC 模式中，我们会把原来的一个接口分为 Try 接口、Confirm 接口、Cancel 接口。Try 接口用来检查数据、预留业务资源。Confirm 接口用来确认实际业务操作、更新业务资源。Cancel 接口是指释放 Try 接口中预留的资源。所以 TCC 模式是一个很麻烦的方案，除了每个业务代码的工作量 X3 之外，出错的概率也高，因为我们需要通过相应逻辑保证上面的注意事项都被处理。0

事务补偿机制什么是事务补偿机制？针对每个操作，都要注册一个与其对应的补偿（撤销）操作在执行失败时，调用补偿操作，撤销之前的操作A给B转账的例子，A和B在两家不同的银行A账户减200元，B账户加200元两个操作要保证原子性，要么全成功、要么全失败由于A和B在两家不同的银行，所以存在分布式事务的问题转账接口需要提供补偿机制如果A在扣减的过程出现问题，直接抛出异常，事务回滚B在增加余额的过程中，出现问题

1 事务事务(Transaction)是访问并可能更新数据库中各种数据项的一个程序执行单元(unit)2 事务的特性原子性：指事务是一个不可分割的工作单位，事务中的操作要么都发生，要么都不发生。 一致性：事务必须使数据库从一个一致性状态变换到另外一个一致性状态。转账前和转账后的总金额不变。隔离性：事务的隔离性是多个用户并发访问数据库时，数据库为每一个用户开启的事务，不能被其他事务的操作数

一、处理方式不同1、手动提交：用显式的方式定义其开始和结束的事务，当使用start transaction和 commit语句时则表示发生显式事务2、自动提交：指每一条数据操作语句都自动地成为一个事务，事务的开始是隐式的，事务的结束有明确的标记。1、手动提交：逻辑相关的操作分成了一个组，在数据永久改变前，可以预览数据变化。2、自动提交：能够保证数据的读一致性。1、手动提交：务被提交给了DBMS（数

int result=  runner.update(" insert into student_info values(?,?,?,?)",new Object [ ] {6,"name6","loc6","psw6"} );System.out.print(result);删除（自动提交事务）int re

1.数据块（Data Blocks）数据块是Oracle最小的存储单位，Oracle数据存放在“块”中。一个块占用一定的磁盘空间。特别注意的是，这里的“块”是Oracle的“数据块”，不是操作系统的“块”。Oracle每次请求数据的时候，都是以块为单位。也就是说，Oracle每次请求的数据是块的整数倍。如果Oracle请求的数据量不到一块，Oracle也会读取整个块。所以说，“块”是Oracle读

Ｌｉｎｕｘ　Ｚｉｐ　命令：-q不显示指令执行过程-r递归处理，将指定目录下的所有文件和子目录一并处理-z替压缩文件加上注释-v显示指令执行过程或显示版本信息-d更新压缩包内文件unzip命令用于解压缩zip格式文件，虽然Linux系统中更多的使用tar命令进行对压缩包的管理工作，但有时也会收到同Windows系统常用的.zip和.rar格式的压缩包文件，unzip格式便派上了用场。直接使用unzi

上篇说到了SQL，command，profile 窗口还有其他的Test窗口，主要用于测试存储过程debug.5.报告窗口(report window)：就是可以方便用于展示有聚合查询的用图表形式展示的窗口，例如sum(),count()等，有x,y轴的。程序窗口(program window) ：可以执行 sql,sqlplus 相关的语句，例如存储过程，方法，一般用来开发程序用的。测试窗口(t

excel 本质上就是对应的数据格式视图。一。    公式视图新增一列，插入对应的公式，输入对应的纵横角标，向下复制即可。就可以将对应的字母转变为大小写等。同样也是可以变成对应的格式的，具体百度函数。这里又分为财务，逻辑， 文本date的格式内容。主要是一些函数的使用。二。    数据视图数据的导入，筛选，组

一致性算法 包括2PC 、3PC 、Paxos 、Raft 等四种：2PC / 3PC 协议用于保证属于多个数据分片上操作的原子性。这些数据分片可能分布在不同的服务器上，2PC / 3PC 协议保证多台服务器上的操作要么全部成功，要么全部失败二阶段提交2PC （Two-Phase Commit ）： 用来保证分布式系统数据的一致性的一致性协议，大部分基于关系型数据库的分布式事务处理都是采用二阶段提

Basically Available(基本可用)基本可用是相对于正常的系统来说的,常见如下情况响应时间上的损失：正常情况下的搜索引擎0.5秒即返回给用户结果，而基本可用看的搜索结果可能要1秒，2秒甚至3秒（超过3秒用户就接受不了了）功能上的损失：在一个电商网站上，正常情况下，用户可以顺利完成每一笔订单，但是到了促销时间，可能为了应对并发，保护购物系统的稳定性，部分用户会被引导到一个降级页面Bas

ＰＵｔｔｙ是在学校接触的，太小了，ＳＳＨ能连接上但是功能不足，出国校门没用过，看别人用过，开放源码的软件。比这稍微好一点的是SSH Secure Shell，也是一款免费软件，比ｐｕｔｔｙ　好一些。securecrt在功能上跟xshell（ XManager中文版网站）差不多，但是securecrt是英文版的还要收费，所以就果断抛弃了。以上三款基本都不用了。推荐阅读：https://bl

MobaXterm优点：1.不需要安装，直接点击一个exe文件就可运2.有对应的文件视图,可以用外部软件打开在linux里面的文件3.上传文件直接拖入软件中就可进入连接之后，左侧是一个可视话目录，使用windows习惯的人有很大的使用体验，这是xshell所不具有的功能：此外最强大的还得是他与windows系统之间的互相传输文件传功能，当你想要把windows的东西传入linux中，直接拖入左侧文

连接配置JDK注意JDK的版本，有时会产生不匹配的问题   2.直接安装即可一. Db工具的使用，怎么新建一个数据库连接？新建一个数据库连接，点击 Tools > Connection Wizard 来新建一个数据库；或者直接点击 +号绿色图标；二。连接完毕之后就可以基本的数据库的操作了推荐阅读：https://www.jianshu.com

使用plsql devlelopement时 调试存储过程时，首先新建一个名称，填写存储过程调试存储过程底部传参Testdebug，执行跳入和跳出等查看结果plsql 创建时常用的窗口有3个：command窗口是最常用的窗口，包含Oracle的基础命令，RMAN等恢复等数据profile 窗口是性能窗口，主要用于SQL调优SQL：窗口主要用来查询当下午我想用Mobaxterm连接时出现交互省份问题

引用及转义（单引号/双引号/反斜杠/反引号）1. 单引号去除字符串中的所有特殊含义，也即保持引号内的原始内容。$ echo &  # 在后台执行echo$ echo '&'  # 打印&$ echo "$PATH&quo

date -d ‘-1 day’ +%Y-%m-%d ， 简单吧。 如果是要计算月就用month，计算年就用year。 获取前一天日期的方法 ..写SHELL时,有时候很有用的.. linux下前一天的日期date -d “1 day ago” +”%y%m%d” 前一个月的日期date -d “1 month ago” +”%y%m%d” 类似的还有date -d “-1 day