-
部署Hadoop 单机部署
部署Hadoop 1.1 Hadoop单机部署 首先我们从在单机上完成Hadoop的安装与使用以便可以对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会，比如在HDFS上运行示例程序或简单作业等。 1.1.1先决条件 1 支持平台 1）GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。 2）Win32平台是作为开发平台支持的。由于分布式操作尚未在Win32平台上充分测试，所以还不作为一个生产平台被支持。 2 所需软件 Linux和Windows所需软件包括: 1） JavaTM1.5.x以上版本必须安装，建议选择Sun公
-
Hadoop技术论坛
http://bbs.hadoopor.com http://www.hadoopor.com http://forum.hadoopor.com
-
windows 连接hadoop分布式系统
连接时，提示如下错误： javax.security.auth.login.LoginException: Login failed: Cannot run program "whoami": CreateProcess error=2, ϵͳÕҲ»µ½ָ¶ at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:250) at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:275) at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformat
-
oracle数据仓库培训
BI（商业智能）和数据仓库 数据仓库的概念和术语 计划和管理数据仓库项目 数据仓库建模 构建数据仓库: 抽取数据 构建数据仓库: 转换数据 构建数据仓库: 加载数据仓库数据 数据仓库数据的更新 元数据 管理和维护数据仓库 Oracle 的工具和技术 业务、逻辑和维建模 ETL 工具的选择标准；描述 ETL 流程的 Oracle 解决方案 Oracle 提供的装入技术 汇总管理：讨论汇总管理和 Oracle 实施总结 元数据 OLAP 和数据挖掘：定义联机分析处理 OWB等工具
-
CPDA项目数据分析师简介
CPDA 项目数据分析专业技术 简 介 CPDA 英文全称为CERTIFIED PROJECTS DATA ANALYST，是目前国际上项目投资领域很流行的职业，目前中国学术界统一翻译为“项目数据分析师”。“项目数据分析师”是专业从事投资项目财务数据分析的高级决策人，通过掌握的大量行业数据以及科学的计算工具，将经济学原理用数学模型表示，科学合理的分析投资项目未来的收益及风险情况，为投资机构做出科学合理的投资决策提供依据。 为履行我国加入世贸的承诺，适应世界经济一体化的进程，结束我国
-
【软件介绍090701】COMSOL软件特点
求解多场问题 = 求解方程组，用户只需选择或者自定义不同专业的偏微分方程进行任意组合便可轻松实现多物理场的直接耦合分析。 完全开放的架构，用户可在图形界面中轻松自由定义所需的专业偏微分方程。 任意独立函数控制的求解参数，材料属性、边界条件、载荷均支持参数控制。 专业的计算模型库，内置各种常用的物理模型，用户可轻松选择并进行必要的修改。 内嵌丰富的CAD建模工具，用户可直接在软件中进行二维和三维建模。 全面的第三方CAD导入功能，支持当前主流CAD软件格式文件的导入。 强大的网格剖分能力，支持多种网格剖份，支持
-
CPDA项目数据分析专业技术培训考试招生简章
CPDA 项目数据分析专业技术培训考试 招生简章 CPDA 英文全称为CERTIFIED PROJECTS DATA ANALYST，是目前国际上项目投资领域很流行的职业，目前中国学术界统一翻译为“项目数据分析师”。“项目数据分析师”是专业从事投资项目财务数据分析的高级决策人，通过掌握的大量行业数据以及科学的计算工具，将经济学原理用数学模型表示，科学合理的分析投资项目未来的收益及风险情况，为投资机构做出科学合理的投资决策提供依据。 为履行我国加入世贸的承诺，适应世界经济一体化的
-
Hadoop 分布式存储分布式计算
http://hadoop.apache.org/core/docs/current/cluster_setup.html http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop2/index.html实际操作：[@more@]vi /etc/hosts192.168.1.212 web02192.168.1.214 lvs192.168.1.215 nqssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys scp ~/.ssh/authorized_keys lvs:~/.ssh/scp ~/.ssh/authorized_keys nv:~/.ssh/vi conf/masterweb02vi conf/slavelvsnqvi conf/hadoop-site.xml<?xml version="1.0"?><?xml-styleshe
-
oracle数据仓库设计指南
在一般的数据仓库应用系统中，根据系统体系结构的不同，数据仓库设计的内容和范围不尽相同，并且设计方法也不尽相同，下面的两幅图示分别表示带有ODS的数据仓库应用系统体系结构和不带ODS的数据仓库应用系统体系结构。本文将说明两个体系结构上的差异以及这种差异造成的设计方法的不同，并且重点介绍带有ODS的体系结构中数据仓库的设计方法。 在数据仓库的设计指导思想中，数据仓库的概念定义是非常重要的，数据仓库概念规定了数据仓库所具有的几个基本特性，这些特性也正是对数据仓库设计结果进行检
-
类似Google构架的开源项目Hadoop近获社区关注
类似Google构架的开源项目Hadoop 已经存在一年多了，现在正受到来自开发社区的广泛关注。下面是来自Hadoop官网 的消息： Hadoop是一个软件平台，可以让你很容易地开发和运行处理海量数据的应用……Hadoop是MapReduce 的实现，它使用了Hadoop分布式文件系统（HDFS）。MapReduce将应用切分为许多小任务块去执行。出于保证可靠性的考虑，HDFS会为数据块创建多个副本，并放置在群的计算节点中，MapReduce就在数据副本存放的地方进行处理…… Hadoop是由Java编写的，该项目已到得Yahoo的全面支持，项目的领袖Doug Cutting从2006年一月开
-
HBase 基本入门篇
无论是 NoSQL，还是大数据领域，HBase 都是非常"炙热"的一门数据库。本文将对 HBase 做一些基础性的介绍，旨在入门。
-
HFR:在RBF上实现跨NameSpace Rename
随着HDFS数据量越来越大，NameNode内存已不足以装下全部元数据，这限制了HDFS的扩展。社区提出的RBF(Router Based Federation)比较高效地解决了这个问题。它将用户视角的目录拆分到多组互相独立的子集群(名字空间或者NameSpace)中，这一过程被称为挂载。Router层记录挂载表信息，并转发用户请求，使得RBF看起来和普通HDFS一样。
-
分布式文件系统设计，该从哪些方面考虑？
分布式文件系统是分布式领域的一个基础应用，其中最著名的毫无疑问是 HDFS/GFS。如今该领域已经趋向于成熟，但了解它的设计要点和思想，对我们将来面临类似场景 / 问题时，具有借鉴意义。并且，分布式文件系统并非只有 HDFS/GFS 这一种形态，在它之外，还有其他形态各异、各有千秋的产品形态，对它们的了解，也对扩展我们的视野有所俾益。本文试图分析和思考，在分布式文件系统领域，我们要解决哪些问题、有些什么样的方案、以及各自的选择依据。
-
干货 | 阿里巴巴HBase高可用8年抗战回忆录
2011年毕玄和竹庄两位大神将HBase引入阿里技术体系，2014年接力棒转到东8区第一位HBase commiter天梧手中，多年来与淘宝、旺旺、菜鸟、支付宝、高德、大文娱、阿里妈妈等几乎全BU合作伙伴携手共进，支撑了双十一大屏、支付宝账单、支付宝风控、物流详情等核心业务。
-
基于HBase构建千亿级文本数据相似度计算与快速去重系统
随着大数据时代的到来，数据信息在给我们生活带来便利的同时，同样也给我们带来了一系列的考验与挑战。本文主要介绍了基于 Apache HBase 与 Google SimHash 等多种算法共同实现的一套支持千亿级文本数据相似度计算与快速去重系统的设计与实现。该方案在公司业务层面彻底解决了多主题海量文本数据所面临的存储与计算慢的问题。
-
一场HBase2.x的写入性能优化之旅
首先，简单介绍一下我们的测试环境：集群由5个节点组成，每个节点有12块800GB的SSD盘、24核CPU、128GB内存；集群采用HBase和HDFS混布方式，也就是同一个节点既部署RegionServer进程，又部署DataNode进程，这样其实可以保证更好的写入性能，毕竟至少写一副本在本地。关于软件版本，我们使用的HBase2.1.2版本以及HDFS 2.6.0版本，Java使用OpenJDK1.8.0_202。
-
1000亿文本信息，高并发MD5查询，这么大数据量的业务怎么弄？
沈老师，你好，想请教一个身份证信息检索的问题。公司有一个每秒5万并发查询的业务，（假设）根据身份证MD5查询身份证信息，目前有1000亿条数据，纯文本存储，前几天看你写LevelDB，请问这个业务能利用LevelDB内存数据库进行存储么？有没有其他优化方案？
-
HDFS3.2升级在滴滴的实践
Hadoop 3的第一个稳定版本在2017年底就已经发布了，有了很多重大的改进。在HDFS方面，支持了Erasure Coding、More than 2 NameNodes、Router-Based Federation、Intra-datanode balancer 等功能，大家可能对这些功能很感兴趣，打算将集群升级到HDFS 3.x 版本。本篇文章会介绍我们是如何将 HDFS 从2.7滚动升级到3.2版本的，在升级中会遇到哪些问题以及我们是如何解决掉的。HDFS 升级过程漫长，但是收益是非常多的。在此基础上，我们可以继续做非常有意义的工作，持续在稳定性、性能、成本等多个方面深入探索，使用技术为公司创造可见的价值。
-
小米Kylin平滑迁移HBase实践
根据美团等其他公司在Kylin社区的公开分享资料，跨HBase集群升级方案需要在新集群重新构建历史的Cube，或者有一段时间的服务停止。
