-
编辑 删除
pgsql查询优化之模糊查询实例详解
前言一直以来，对于搜索时模糊匹配的优化一直是个让人头疼的问题，好在强大pgsql提供了优化方案，下面就来简单谈一谈如何通过索引来优化模糊匹配案例我们有一张千万级数据的检查报告表，需要通过检查报告来模糊搜索某个条件，我们先创建如下索引：1CREATEINDEXlab_report_report_nam
-
编辑 删除
postgresql中的ltree类型使用方法
postgresql有很多比较妖的数据类型，ltree算一个。简介ltree是Postgresql的一个扩展类型http://www.sai.msu.su/~megera...，在解决树形结构的数据存储上使用。查看是否安装了插件1select*frompg_extensionwhereextname
-
编辑 删除
PostgreSQL 如何获取当前日期时间及注意事项
在开发数据库应用或者调试代码时，经常需要获取系统的当前日期和时间，我们来看一下PostgreSQL中提供的相关函数。当前日期CURRENT_DATECURRENT_DATE函数用于获取数据库服务器的当前日期：12345postgres=#SELECTCURRENT_DATE;current_date
-
编辑 删除
PostgreSQL图(graph）的递归查询实例
背景在树形递归查询这篇文章，我记录了使用CTE语法查询树形结构的办法。在一个树形结构中，每一个节点最多有一个上级，可以有任意个数的下级。在实际场景中，我们还会遇到对图(graph）的查询，图和树的最大区别是，图的节点可以有任意个数的上级和下级。如下图所示因为图可能存在loop结构（上图红色箭头），所
-
编辑 删除
Mac系统重置PostgreSQL密码的方法示例代码
PostgreSQL是一种特性非常齐全的自由软件的对象-关系型数据库管理系统（ORDBMS），是以加州大学计算机系开发的POSTGRES，4.2版本为基础的对象关系型数据库管理系统。POSTGRES的许多领先概念只是在比较迟的时候才出现在商业网站数据库中。PostgreSQL支持大部分的SQL标准并
-
编辑 删除
spark监控实战
转载请注明出处。更多文章请访问大数据随笔-hadoop/spark/hive1.概述数据准确性，稳定性，时效性是数据开发中需要重点关注的，一般称之为数据质量。保证数据质量往往会占用数据开发工程师的很多精力，所以一个好的数据监控系统或者一个合理的数据监控方案对于数据质量的保证至关重要。本文将展示一种实
-
编辑 删除
kylin入门到实战：cube详述
版权申明：转载请注明出处。文章来源：kylin入门到实战：cube详述-大数据随笔排版乱？请移步原文获得更好的阅读体验1.什么是cube？cube是所有dimession的组合，每一种dimession的组合称之为cuboid。某一有n个dimession的cube会有2n个cuboid，如图：对应
-
编辑 删除
kylin入门到实战：cube详述
版权申明：转载请注明出处。文章来源：kylin入门到实战：cube详述-大数据随笔排版乱？请移步原文获得更好的阅读体验1.什么是cube？cube是所有dimession的组合，每一种dimession的组合称之为cuboid。某一有n个dimession的cube会有2n个cuboid，如图：对应
-
编辑 删除
kylin从入门到实战：实际案例
版权申明：转载请注明出处。文章来源：kylin从入门到实战：具体案例-大数据随笔排版乱？请移步原文获得更好的阅读体验前面两篇文章已经介绍了kylin的相关概念以及cube的一些原理，这篇文章将从一个实际的案例入手，介绍如何在kylin平台上创建一个多维分析项目。1.创建project进入kylin操
-
编辑 删除
Hadoop机架感知
版权申明：转载请注明出处。文章来源：大数据随笔1.数据分块HDFS作为Hadoop中的一个分布式文件系统，而且是专门为它的MapReduce设计，所以HDFS除了必须满足自己作为分布式文件系统的高可靠性外，还必须为MapReduce提供高效的读写性能，那么HDFS是如何做到这些的呢？首先，HDFS将
-
编辑 删除
hadoop分布式缓存
版权申明：转载请注明出处。文章来源：大数据随笔1.前言DistributedCache是hadoop框架提供的一种机制,可以将job指定的文件,在job执行前,先行分发到task执行的机器上,并有相关机制对cache文件进行管理。DistributedCache可将具体应用相关的、大尺寸的、只读的文
-
编辑 删除
HDFS压缩与解压工具
版权申明：转载请注明出处。文章来源：大数据随笔1.压缩方式及实现类hdfs上解压和压缩文件不像本地这么方便，所以写了一个工具。可以解压和压缩，使用的时候指定压缩或者解压使用的类就行。先列举一下hdfs各种压缩及解压方式的实现类：压缩格式|实现类---|--DEFLATE|org.apache.had
-
编辑 删除
本地及MapReduce作业读取SquenceFile
版权申明：转载请注明出处。文章来源：大数据随笔排版乱？请移步原文获得更好阅读体验1.SquenceFile简介（1）SequenceFile是一个由二进制序列化过的key/value的字节流组成的存储文件。（2）SequenceFile可通过fileWriter.append(key,value)来
-
编辑 删除
kafka的高可靠性实现方案及保障机制
1.文件存储机制前面提到消息在逻辑上以topic存在，而在物理存储上是partition，在实际存储中partition是作为目录存在于broker上。假如server.properties中log.dirs和num.partitions配置如下：log.dirs=/tmp/kafka-logsnu
-
编辑 删除
1.flume简介
版权申明：转载请注明出处。文章来源：大数据随笔1.简介flume是一个分布式、高可用的系统，它用来收集，合并，移动不同来源的大量数据到一个指定的存储。它不仅限于处理文本类的日志数据，还能处理社交媒体数据，二进制数据以及邮件信息等几乎所有的数据格式。2.架构（1）flumesource消费来自于外部传
-
编辑 删除
2.flume sources
版权申明：转载请注明出处。文章来源：2.flumesources-大数据随笔bigdataer.netflume中提供了多种source来应对不同场景的数据传输，最常用的有execsource和spoolingdirectorysource。下面对flume的source做详细的说明。1.Spoo
-
编辑 删除
3.flume channel
版权申明：转载请注明出处。文章来源：3.flumechannel-大数据随笔bigdataer.netchannel可以理解为一种临时的存储，source将event放入channel,sink取走它。flume提供了四种可以用于生产环境的channel。1.MemoryChannel基于内存的c
-
编辑 删除
4.flume sink
1.HDFSSinkhdfssink支持将text类型或者sequenceFile类型的event写入hdfs，同时也支持在写入的时候进行压缩。flume使用hadoop提供的FileSystem相关的操作工具，使用hsync或者hflush的方式将数据写入hdfs。HDFS在写数据务必要保证数据的
-
编辑 删除
flink的datastream必须掌握的内容
flink作为目前比较火的流处理引擎，学好还是很有必要的，但是很多人喜欢问浪尖flink会不会超越spark，我觉得短期内还是不会，而且spark批处理领域还是很高效靠谱的。但是作为大数据开发者，spark和flink并不是必须二选一的，而是都要掌握，所以也不用再问浪尖，关于是否直接跳过spark直
-
编辑 删除
Spark SQL的Parquet那些事儿
Parquet是一种列式存储格式，很多种处理引擎都支持这种存储格式，也是sparksql的默认存储格式。SparkSQL支持灵活的读和写Parquet文件，并且对parquet文件的schema可以自动解析。当SparkSQL需要写成Parquet文件时，处于兼容的原因所有的列都被自动转化为了nul
