ITPub博客

Oracle数据库报错ORA-00904 标识符无效问题解决办法.txt首先检查字段名和表名是否写错字段中是否包含了oracle中的关键字，查询时包含关键字的字段要用双引号括起来建表语句中字段或表名带双引号了，查询时也要加双引号推荐阅读：https://blog.csdn.net/jajavaja/article/details/49122639

Presto性能不足的原因split调度模式，线程切换极高，而有效利用率不高设计上嵌入了大量的实时统计，这些损耗太多谓词过滤性能不行，如TupleDomain体系的Predicate可能模糊/in/等条件没有spark的定向优化好内存数据结构，buff有限，又是流水线式作业，有类似flink的背压问题，缓存处理不了时导致上游阻塞 降低了吞吐（尤其是stage较多的时候）Task上的Pipeline

Presto简介Presto是Facebook开源的大数据分布式SQL查询引擎，可对从数G到数P的大数据进行交互式的查询，查询的速度达到商业数据仓库的级别。支持查询包括Hive、Cassandra以及某些商业的数据存储产品。单个Presto查询可合并来自多个数据源的数据进行统一分析。Presto不使用MapReduce，只需要HDFS。Facebook在内部已经在多个数据存储中使用Presto交互

java 和C++的区别java 垃圾回收 ,java hashmap 数据结构和源码Linux 命令tail ,cat,wc,grep大数据面试的咋样了数据库复制的实现    7.高可用的实现和理解   8.hive ,prosto 的实现   9.hive,prosto,spark sql 性能比较 10. mpp 数据库的

大规模并行分析（MPP）数据库（Analytical Massively Parallel Processing (MPP) Databases）是针对分析工作负载进行了优化的数据库：聚合和处理大型数据集。MPP数据库往往是列式的，因此MPP数据库通常将每一列存储为一个对象，而不是将表中的每一行存储为一个对象（事务数据库的功能）。这种体系结构使复杂的分析查询可以更快，更有效地处理。这些分析数据库将

2PC （ Two-Phase Commit缩写）即两阶段提交协议，是将整个事务流程分为两个阶段，准备阶段（Preparephase）、提交阶段（commit phase），2是指两个阶段，P是指准备阶段，C是指提交阶段。在计算机中部分关系数据库如Oracle、MySQL支持两阶段提交协议两个阶段过程：准备阶段（Prepare phase）：事务管理器给每个参与者发送Prepare消息，每个数据库

ACID属性：ACID，是指数据库管理系统（DBMS）在写入或更新资料的过程中，为保证事务（transaction）是正确可靠的，所必须具备的四个特性：原子性（atomicity，或称不可分割性）、一致性（consistency）、隔离性（isolation，又称独立性）、持久性（durability）。范式设计：第⼀范式：⽆重复的列第⼆范式：属性完全依赖于主键第三范式：属性不能传递依赖其他⾮主属

GoldenDB整体架构GoldenDB整体架构如下图所示包括：计算节点CN、数据节点DN、全局事务节点GTM、管理节点，其中管理节点分为集群管理和Insight运维管理平台。集群管理部分包括元数据管理Metadataserver、ClusterManager和ProxyManager，这一部分实现分布式数据库架下的整个集群元数据、数据节点和计算节点的管理和维护。

批量调度功能：2.批量调度现状分析2.1.目前主要实现方式目前，由于银行内部缺乏一款专业批量产品支撑，缺乏一定的批量调度规范与标准，使银行内部几十上百个系统相关批量调度实时混乱。这种现象不仅体现在银行不同系统之间，甚至体现在同一系统的不同建设周期之间。2.1.1.应用系统内置，手工调度调度目前，在银行内有很多系统的后台批量处理，无论从后台调度层面，还是前台应用层面，都与业务系统本身高度耦合，而且调

一种简单的方法是先对齐表结构和EXcel，对齐表结构的数据，编辑增加一列。表，编辑数据，插入即可。第二种简单的方法：使用plsql 文本导入器：依次选择选项，主要格式的重要区别，选择导入即可。但是优缺点：第一种简单方法，适合小批量数据插入第二种适合大批量数据导入

从业务的角度看集群和分布式区别数量的角度看2个节点的主机模式：但是每台机器都可以安装对应的不同IP数据库。假设是集群，从物理上根据划分DB了。部署模式上划分：既然是一致的，所以，访问的时候2个IP都是一样的，但是在开发的时候可能会出现不一样的情况，毕竟数据不一定同步。一、主备、主从、主主1、主备1）简介主：主机，备：备机。主机的意思当然是以它为主了，读写都是主机上，而备机呢就是备用，默默的在背后吸

两台主机常见模式部署：1、双机热备：通过双机热备软件进行部署，主机-备机模式。2、RAC：通过oracle RAC模式进行部署。3、ODG：采用oracle dataguard进行部署。首先，IP SAN组网尤其是用在数据库环境，不是首选不推荐。其次假如使用IP SAN前提下，双机热备部署也得根据实际操作系统版本，检查Oracle版本与操作系统兼容性，最好根据Oracle最佳实践部署，实际此场景用

1、teradata：Teradata数据仓库拥有全球领先的技术，其主要软件和硬件产品包括：Teradata数据库、Teradata数据仓库软件、企业数据仓库、动态企业数据仓库、数据仓库专用平台。2.GreenPlum数据库介绍GP(GreenPlum)是业界最快最高性价比的关系型分布式数据库，它在开源的PG(PostgreSql)的基础上采用MPP架构（Massive Parallel Proc

ODS--操作性数据：DW--数据仓库：DM--数据集市：数据中心整体架构：简单概述就是：各个系统的元数据通过ETL同步到操作行数据仓库ODS中，对ODS数据进行面向主题域剑魔形成DW，DM是针对某一个业务领域建立模型，具体用户（决策层）查看DM生成的报表。参考资料：https://www.jianshu.com/p/72e395d8cb33