-
基于openstack上的hadoop平台搭建
一、环境准备 1、在openstack（G版）平台上创建三台ubuntu-12.04-server-amd64为操作系统的虚拟机,并使得三台机子在同一个网段中，能访问外网,如下图所示： 图一 三台虚拟机的创建  
-
活用迅雷与网页源代码下载网页上所需资源
众所周知，大部分的下载链接实质上可以看成是某一文件的网络地址，一般地址最后都是“文件名”+“文件后缀”，例如：“http://data4.5sing.com/T1H2E5ByVT1R47IVrK.mp3”。当我们把这个地址复制粘贴到迅雷的新建任务对话框内后，就可以开始下载。 另一方面，每个网页都有各自不同的源代码，网页上一切都可以从源代码中找出，包括一切媒体信息。因此，我们可以从源代码中运用“查找”功能，查找所需资源的后缀名，复制所需下载地址，就可以用迅雷下载了。以下是图片实例：
-
Web开发者注意：请不要忽略API的安全性
不管你采用什么样的技术或是平台总会轻易遭到攻击，没有任何方法可以保证百分之百安全。 俗话说：“道高一尺，魔高一丈”。但你可以做的是达到适当的安全级别并且时刻准备解决安全问题。原文作者Ole Lensmar发表了一篇博文《Please Stop Ignoring API Security》，笔者对原文进行了摘译： 6月初，OWASP更新了其十大安全漏洞列表，这也是自2010年至今首次更新。通过评估看以看出，安全一直是应用程序首要关注的问题，尤其是在API领域，因
-
hive配置文件详解
hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行） true hive.exec.mode.local.auto.inputbytes.max 如果 hive.exec.mode.local.auto 为 true，当输入文件大小小于此阈值时可以自动在本地模式运行，默认是 128兆。 134217728L hive.exec.mode.local.auto.tasks.max 如果 hive.exec.mode.local.auto 为 true，当 Hive Tasks（Hadoop Jobs）小于此阈值时，可以自动在本地模式运行。 hive.auto.co
-
五大主流数据库模型
访问数据库中的数据取决于数据库实现的数据模型。数据模型会影响客户端通过API对数据的*作。不同的数据模型可能会提供或多或少的功能。一般而言，数据模型不会直接提供过多的功能，许多功能必须由客户端自行实现。数据模型决定了客户端如何对数据进行编*存储。应用程序需要某种域模型与存储技术支持的特性进行映射。迄今为止，主导的数据模型仍然是关系模型。在这里，我们主要想为大家介绍一下非关系模型，作为对比，本文也会简要介绍一下关系模型。 数据模型概述1.关系模型关系模型使用记录（由元组组成）进行存储，记录存储
-
编程先学什么语言好
这是一个新手话题，但是很多新手朋友基本都遇到这样一个问题。学编程的时候就要知道，编程语言没有最好，只有最实用。 方法/步骤 选择一门目前比较流行的编程语言。因为只有流行的编程语言才会有更多的学习资料，而且学的人多。 坚持专一学习一门语言。因为编程语言都是互通的，你有了思想即使换一门语言也很快上手。 爱上自己学习的语言，这会让你更有东西学好。 END 注意事项 爱护自己的眼睛，保护颈椎。
-
java一道面试题(大数据量 内存限制)
3000w数据的表，取某项字段前50项数据 ，内存2g 方案： 一个数据文件，有3000W行，每行有一个id号，文件内容无任何排序。 现在让你把id前 TOP 位取出来, TOP = 50. 要求：你的程序最多能吃2G的内存，其他不限，要求考虑io/cup最优。 解决思路： 1 建一个top_array, 长度为50. 2 再建一个buffer, 长度为2^20 (1G) 3 循环开始 4 读取文件到buffer，直到buffer满为止 5 将Buffer的前50位读到top_array 7 将top_array排序，按照id升序 6 循环开始 7 &nbs
-
Ubuntu 12.10 安装JDK、Hadoop全过程
目睹这头大象是怎么跳的舞。以下是我在Ubuntu 12.10下面安装JDK以及Hadoop的整个过程。 说明：在最开始时，我在网上各处搜比较妥当的安装hadoop的方法，过程比较纠结；后来才发现直接在官方文档中就可以找到可靠的安装过程，传送门：Hadoop Single Node Setup 一、安装Java开发环境（Ubuntu自带openjdk：可java -version查看版本；或执行sudo apt-get install java提示已安装openjdk） 1、火狐下载jdk-6u37-linux-i586.bin，下载后原目录为：/home/baron/Downloads/ 2、在/usr/下新建java目录：sudo mkdir /usr/java 3、拷贝文件至
-
hadoop学习---3.hadoop在ubuntu下的安装配置
hadoop学习---3.hadoop在ubuntu下的安装配置 前面均在windows下进行，但是在安装hadoop过程中出了一些问题，先暂时切换到linux下，回头再补充windows下的安装。不过通过对比确实发现，在linux下的安装配置确实比较简单。 一.安装ubuntu 我是下载的ubuntu12.04,在64位的虚拟机上使用virtualbox安装的，没错，是在虚拟机上在安装虚拟机，然后安装ubuntu 具体安装过程就不描述了，不过安装过程确实慢，除非你的网络很快。12.04的新主题使用真是别扭，在登陆界面切换到gonme classic，这里可以使用windows共享，可
-
安装单机游戏时要注意的几点
除非是国产的游戏,其他的单机游戏安装目录不要有中文,不能可能会报错。在下载游戏要注意配置，自身电脑不符合最低配置的最好不要下载，以免下了之后不能玩浪费时间。下载游戏后要注意游戏所需要的运行库，如VC+等，电脑中没有此类运行库游戏将不能运行，如果需要下载只需要百度一下就能够查找到官方下载地址。提示***.dll缺少时同样可以在网上搜索下载，然后放在指定位置。某些游戏有最小镜像时最好使用镜像而非破解补丁，不然可能在升级时带来不便。
-
魔卡幻想最新版本11,12地图过关通关攻略[上篇]
《魔卡幻想》新图已出几日,为大家提供一些简单易懂的新图针对参考方案。每个人的想法和思路都是不同的希望此贴写的不好的地方高手帮忙补充,目的只有一个方便大众过图舒心。● 《魔卡幻想》新版本11,12地图过关思路[上篇]注:过图推荐不分星级别~推荐好用的卡片不需要全有只是建议;全图所有关卡都推荐月亮或先知;新图开始守卫多半都是合成卡技能变得更多更全面针对方式也变得相对减少但是大部分地图还是有一套简单通用的办法。11-1- 推荐好用的卡恐惧、loli、魔法输出推荐凤凰。老头、各种物理输出卡传墓地卡各种免疫卡。守卫符
-
微软windows 8.1安装方法
微软在2013年的开发者大会上发布了Windows 8.1，随后相关的下载地址也提供给了出来，Windows 8.1可以通过两种方式获取，一种是Windows8用户通过Windows Store免费升级至Windows 8.1，一种是直接下载ISO镜像文件来进行安装。 当Windows 8.1发布时，Windows 8用户在Windows Store里有提示是否升级到Windows8.1，Windows 8用户可以选择是否要进行升级安装。 下面我们要说的时，下载了windows 8.1预览版ISO镜像文件之后是怎么进行安装的，方
-
关于企业数据分析
前段时间培训中心邀请我给公司的员工讲讲Excel，提高一下员工的技能。提了好多次不好推辞，就答应了。 但是，Excel是一个非常不好讲的内容。来听的人层次各不同，有企业里真正的表哥、表嫂、表弟、表妹们，他们才是Excel高手，有的连什么是报表都不知道。举例来说，你讲一堆函数，会的人没感觉，不会的人其实基本上也在听天书。如何在一次课上，能把大家都吸引住，让每个人都能有收获，成了我这次培训最大的挑战。 潜心准备两个星期，一套培训方案出炉——Excel数据分析（企业数据分析）！ 方案分两部分，前部分
-
思密达是什么意思
思密达是什么意思？现在很流行的一句话，现在90后很多都常常挂在嘴边的一个语气肋词，其实它并没有意思，据说是放在句尾的敬语思密达。比如说，你见了朋友，你问：吃饭了吗？回答：吃过思密达。在朝鲜这是一种礼貌。而本词在网络上往往被网友作为贬义词使用，比如说“哇你真漂亮思密达”，其实意思是在说“真难看”。思密达，放在句末，用作否定的意思。
-
在Ubuntu上安装Hadoop（单机模式）
最近开始学习Hadoop，在这里记录一下学习的过程。 Hadoop是一个用Java编写的用于运行与物理集群中的框架，吸收了GFS和mapreduce编程模型的特性。Hadoop的HDFS是一个高容错的分布式文件系统，并且它被设计运行于低成本的硬件上，能够提供很大的数据吞吐量，很适合那些数据量很大的应用程序。 接下来，开始准备安装hadoop。我用的操作系统是 ubuntu 12.10 server，hadoop的版本是1.2.0。 安装准备 JDK 6 Hadoop需要在JDK1.5以上的环境下才能运行，目前推荐使用JDK 6 。 $ sudo apt-get update
-
书房的转角位用什么柜子来装饰比较好
在选购家具的时候我们常常会因为尺寸跟款式与我们的房型不相符，或者会出现大小漏缝，转角位等问题，书房也如此;现代住宅的书房除了有工作、学习的功能外，还应有休息及娱乐功能。如何让出空间来使书房具有更多的功能呢，让每一寸地方都利用得极致，选择定制家具就是比较好的方法，下面给大家介绍几个定制性书房的转角位设计方案： 方法/步骤 1 柱子凹位处选择设计装饰书柜结合休闲坐凳设计，展示书柜半开放半封闭形式，即使在会客或者躺着看书，方便随手摆放书籍，封闭式掩门让
-
PHP视频教程下载
LAMP兄弟连http://www.lampbrother.net兄弟连专注于软件开发技术培训，于2006年成立，我们的主营业务包含：PHP培训、JavaAndroid培训、Linux培训、软件开发、软件外包、人才输出、教材出版、企业培训等，是国内最早从事PHP/LAMP技术的培训学校。拥有中国PHP培训第一人高洛峰和Linux知名技术专家李明领衔的国内最专业的师资及研发团队，团队中多人都是国内最早从事PHP与Linux技术的研发人员。7年的成长和对教育的深刻理解，成就了兄弟连在PHP/LAMP培训方向的领导地位。截止2012年底，已累计培训超过4000人，学员就业平均就业薪
-
手把手教你安装安卓虚拟机：[3]安装安卓4.2.2
这是我们的最后一个教程，开始吧。 安装安卓4.2.2系统 1 找到我们的安装目录，找到AVD Manager.exe，双击打开。 2 点新建按钮，新建android 虚拟机。 3 进行一下基本设置，名字随便填，设备根据自己的喜好选择，target选择我们下载的android4.2.2，cpu选择arm，RAM需要改一下，最好小于768，再加一个存储卡。下面是我的设置，仅供参考。 4 设置好后，选择我们建立的虚拟机，点击start，按下面步骤操作。
-
imagesmagick 详细安装以及使用
ImageMagick是一个用来创建、编辑、合成图片的软件。它可以读取、转换、写入多种格式的图片。图片切割、颜色替换、各种效果的应用,图片的旋转、组合,文本,直线,多边形,椭圆,曲线,附加到图片伸展旋转。ImageMagick是免费软件:全部源码开放,可以自由使用,复制,修改,发布。支持大多数的操作系统。具体请到官方网站查看:http://www.imagemagick.org在安装 imagemagick 之前要 先确定服务器如果没有安装Jpeg v6b、libPng、FreeType库等,如果没有安装imagemagick读取不了图片 导致处理的图片出现问题。安装jpeg包下载地址:http://w
-
从HDFS看分布式文件系统的设计需求
分布式文件系统的设计需求大概是这么几个：透明性、并发控制、可伸缩性、容错以及安全需求等。我想试试从这几个角度去观察HDFS的设计和实现，可以更清楚地看出HDFS的应用场景和设计理念。首先、透明性。如果按照开放分布式处理的标准确定就有8种透明性：访问的透明性、位置的透明性、并发透明性、复制透明性、故障透明性、移动透明性、性能透明性和伸缩透明性。对于分布式文件系统，最重要的是希望能达到5个透明性要求：1）访问的透明性：用户能通过相同的操作来访问本地文件和远程文件资源。HDFS可以做到这一点，如果
