-
java操作Hdfs
package hdfs; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IOUtils; public class App2 { public static final String HDFS_PATH="hdfs://192.
-
hadoop环境伪分布安装
1.hadoop的伪分布安装 1.1 设置ip地址 执行命令 service network restart 验证: ifconfig 1.2 关闭防火墙 执行命令 service iptables stop 验证: service iptables status 1.3 关闭防火墙的自动运行 执行命令 chkconfig iptables off 验证: chkconfig --list | grep iptables 1.4 设置主机名 执行命令 (1)hostname chaoren (2)vi /etc/sysconfig/network 1.5 ip与hostname绑定 执行命令 vi /etc/
-
hadoop命令
1、列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help 2、显示关于某个命令的详细信息 $ bin/hadoop fs -help command-name 3、用户可使用以下命令在指定路径下查看历史日志汇总 $ bin/hadoop job -history output-dir 这条命令会显示作业的细节信息，失败和终止的任务细节。 4、关于作业的更多细节，比如成功的任务，以及对每个任务的所做的尝试次数等可以用下面的命令查看 $ bin/hadoop job -history all output-dir 5、 格式化一个新的分布式文件系统： $ bin/h
-
NoSQL之【MongoDB】学习（三）：配置文件说明 - jyzhou
摘要： 继上一篇NoSQL之【MongoDB】学习（一）：安装说明 之后，知道了如何安装和启动MongoDB，现在对启动时指定的配置文件（mongodb.conf）进行说明，详情请见官方。 启动MongoDB有2种方式，一是直接指定配置参数，二是指定配置文件。这里先介绍配置文件，启动方式如下： mongod --config /etc/mongodb.conf 配置如下： verbose：日志信息冗余。默认false。提高内部报告标准输出或记录到logpath配置的日志文件中。要启用verbose或启用verbosity 用vvvv参数，如： verbose = true vvvv = true ps
-
上海软件招聘——上海建业信息科技有限公司
建业科技是一家提供建设行业信息化整体解决方案的服务商，现已与软件英才网合作软件招聘一事。建业自创立以来，建业科技以驱动行业进步为使命，专注于自有知识产权的建筑施工企业信息化管理综合平台及延伸领域的系列产品研发。目前，公司已建立起涵盖施工企业信息化、建设行业政务信息及公共服务平台的产品体系，并在市场得到广泛应用，迅速成为国内该领域中独立软件开发商和解决方案提供商的后起之秀。 不断以市场和客户需求为导向，建设有效益的信息化，为每一个用户提供简便、
-
Apache Spark学习：利用Eclipse构建Spark集成开发环境
Hadoop 2.2.0上的Spark jar包，而本文则在此基础上，介绍如何利用Eclipse构建Spark集成开发环境。 （1） 准备工作 在正式介绍之前，先要以下软硬件准备： 软件准备： Eclipse Juno版本（4.2版本），可以直接点击这里下载：Eclipse 4.2 Scala 2.9.3版本，Window安装程序可以直接点击这里下载：Scala 2.9.3 Eclipse Scala IDE插件，可直接点击这里下载：Scala IDE(for Scala 2.9.x and Eclipse Juno) 硬件准备 装有Linux或者Windows操作系统的机器一台 （2） 构建Spark集成开发环境 我是在windows操作系统下操作的，流程如下： 步骤1：安
-
MySql 数据类型
一、数字类型 数字类型按照我的分类方法分为三类：整数类、小数类和数字类。 我所谓的“数字类”，就是指 DECIMAL 和 NUMERIC，它们是同一种类型。它严格的说不是一种数字类型，因为他们实际上是将数字以字符串形式保存的;他的值的每一位 (包括小数点) 占一个字节的存储空间，因此这种类型耗费空间比较大。但是它的一个突出的优点是小数的位数固定，在运算中不会“失真”，所以比较适合用于“价格”、“金额”这样对精度要求不高但准确度要求非常高的字段。 小数类，即浮点数类型，根据精度的不同，有 FLOAT 和 DOU
-
hadoop2.3 安装配置开发记录(三)
hadoop2.3 配置（二） 1 环境准备 Hadoop1(Master): NameNode/ResouceManager Hadoop2(Slave): DataNode/NodeManager Hadoop3(Slave): DataNode/NodeManager 假定三台虚拟机的IP地址如下，后面会用到。 Hadoop1:10.3.0.3 Hadoop2:10.3.0.4 Hadoop3:10.3.0.5 分别检查并修改三台虚拟机的/etc/hosts中的内容，确保包含如下配置： 10.3.0.3 hadoop1 10.3.0.4 hadoop2 10.3.0.5 hadoop3 检查三台虚拟机的/etc/hostname中的内容，分别为： hadoop1 hadoop2 hadoop3 2 配置文件 查找hadoop-env.sh，位置在/home/username/hadoop/etc/hadoop
-
大数据：Hadoop2.x架构图
-
大数据：Cloudera的impala
1、Impala发布于2012年末，Google Dremel的开源实现，由知名Hadoop解决方案供应商Cloudera开发，是当下最为流行的流处理框架之一。Cloudera研发这头藏羚羊的初衷很明了——提高Hive SQL查询的速度，在1.0测试版发布时更声称比Hive快3-90倍。 另， 通过在Strata-Hadoop大会上与厂商和用户交流，我们发现，厂商和用户只是将Hadoop视为一堆水桶的零件而已，它们还需要被焊接起来才能充分地发挥作用。 程同学对impala的调研结果：可以在apache hadoop上部署使用.
-
Android开发实例 简单拨打电话
手机打电话是最常用的功能了,再Android手机开发当中打电话的功能是怎样实现的呢?我来看下简单的拨打电话的代码实例:步骤一::新建一个Android工程,命名为Callph.步骤二:设计程序的界面,打开activity_main.xml把内容修改如下:<linearlayout xmlns:android="http://schemas.android.com/apk/res/android" android:layout_width="fill_parent" android:layout_height="fill_parent" android:orientation="vertical"> <Textview android:layout_width="fill_parent" android:layout_height="wrap_c
-
大数据：Hadoop贡献公司图
说明一下，Hortonworks原属Yahoo！，自2011年脱离yahoo！开始独立发展。 大数据洪流势不可挡，基于google的DFSMAPREDUCEBIGTABLE的优秀设计思想，HADOOP及周边工具诞生，并因为开源的特性，具有庞大的社区力量，发展迅速。截止本文撰写时间，Hadoop已发布2.3版本。
-
6个用于大数据分析的最好工具
大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志，报纸，文章。大数据产生的其他例子包括购买交易记录，网络日志，病历，军事监控，视频和图像档案，及大型电子商务。 在大数据和大数据分析，他们对企业的影响有一个兴趣高涨。大数据分析是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。
-
解决mysql数据局中文乱码问题
MYSQL数据库出现中文乱码问题，可以通过修改MYSQL默认的字符集来解决。 方法/步骤 1 找到MYSQL安装目录中的一个名为my.ini的数据配置文件。 2 找到文件中两处“default-character-set=latin1”,将latin1改成GBK。 3 重新启动MYSQL服务即可。如果在此之前创建过数据库，应先删除数据库，在服务启动后再重新建立。 END
-
hadoop2.3 安装配置开发记录(二)
hadoop2.3 配置（一） hadoop的初衷是为了用普通的(commodity)硬件设备搭建强大的分布式文件系统集群，因此集群上的硬件并不需要非常昂贵的硬件设备，例如，小型机、ssd、高端存储等，就是通常所说的"IOE"。但是普通并不意味着低档，因为hadoop的集群通常由成百上千的机器组成，低档意味着增加集群的维护成本。在配置hadoop前，我们需要熟悉几个名词。 1 NameNode NameNode通常需要配置较大的物理内存，这由hadoop的机制所决定的，NameNode会在内存中存储整个HDFS的文件(file)和块(block)的元信息(metadata)。随着集群规模的增大，Na
-
FAST DATA PROCESSING WITH SPARK
BOOK DESCRIPTION Spark is a framework for writing fast, distributed programs. Spark solves similar problems as Hadoop MapReduce does but with a fast in-memory approach and a clean functional style API. With its ability to integrate with Hadoop and inbuilt tools for interactive query analysis (Shark), large-scale graph processing and analysis (Bagel), and real-time analysis (Spark Streaming), it can be interactively used to quickly process and query big data sets. Fast Data Processing with
-
pig-在网关机上搭建pig客户端
所谓网关机是指颠末该机械去会见hadoop散群，果为在真际的死产情况中通常没有是直接将pig安装到hadoop散群中的某个节面上，而是在一台能够会见hadoop散群的机械上安装pig。pig只是作为一个特地的hadoop客户端，它能够利用local形式也能够利用mapreduce形式，在死产情况中pig都是利用mapreduce形式的，所以它需求hadoop散群的hdfs取mapreduce的收持，浅易的说就是pig客户端能够肯定NameNode取JobTracker的位置,而那两个信息都是颠末hadoop安装目录中conf目录下的设置文件中肯定的，所以pig只需求定位到hadoop的conf目录即可。
-
[NoSQL技术相关]关系数据模型
前言 Martin大叔已经指出短时间内，NoSQL生态系统还不够成熟，无法完全替换关系型数据库。 从DB-Engines上看NoSQL型数据库前10才排入2位(MongoDB,Cassandra，观察时间2014.3)。 跟同事笑谈，为什么关系型数据库还这么有生命力的原因是这个是博士干出来的活儿(Doctor Edgar F. Codd)。 鉴于数据是这么重要，甚至数据的存活时间远远比数据应用程序的生命周期要长的多得多；而现在Java信息应用研发动辄要求会什么ORM框架，说明至少存在关系型数据库的模式迁移问题，而理解模式迁移的本质是理解其深层次的数据模型。 基于此考虑，在深入
-
hadoop hdfs 命令行 设置文件夹大小的上限 quota：配额
》bin/hdfs dfs -put readme.txt /finance 》bin/hdfs dfs -du -s /finance 》3901 /finance 》bin/hdfs dfsadmin -setSpaceQuota 4000 /finance 设置/finance的大小上限为4000个字节 》bin/hdfs dfs -put readme1.txt /finance 由于已经超出4000个字节，则会报错 14/03/04 11:56:31 WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.hdfs.protocol.DSQuotaExceededException: The DiskSpace quota of /finance is exceeded: quota = 4000【配额】 B = 3.91 KB but diskspace consumed = 268443258【消耗】 B =
-
Tornado 和 MongoDB 以及 Motor
链接： Tornado Motor -- 依赖于 PyMongo, Greenlet, Tornado 简介： Tornado -- Web 框架 MongoDB -- 数据库 PyMongo -- MongoDB 的驱动 Motor -- MongoDB 的异步驱动，配合 Tornado 使用，Mo(ngoDB)Tor(nado)
