Titan-hadoop访问DBpedia文件内容
环境: Centos, Titan-0.5.0-Hadoop2Titan-hadoop 实现对N_TRIPLES格式的RDF 访问,从dbpedia下载nt格式的文件(例如: http://data.dws.informatik.uni-mannheim.de/dbpedia/2014/zh/labels_en_uris_zh.nt.bz2),编写访问属性文件,如下:[cloudera@localhost titan-0.5.0-hadoop2]$ vi conf/hadoop/rdf-input.pr...
titan-hadoop “Too many open files”修正
环境: CentOS 5.7, Titan-0.5.0-Hadoop2在titan-hadoop启动gremlin.sh运行图遍历时经常出现"too many open files"的报错, 发现最终的问题超出系统最大的打工的文件数据。解决如下:查询系统设置ulimit -n默认是1024修改参数:sudo vi /etc/security/limits.conf增加或修改这两项即可 ,然后重启...
Titan-hadoop 分布式图计算框架
环境: Centos 5.7, titan-0.5.0-hadoop2titan-hadoop是一款支持在hadoop上做分布式图计算的框架, 它的前身是faunus,是图分析引擎,后来归并到titan项目上。 可以在http://s3.thinkaurelius.com/downloads/titan/titan-0.5.0-hadoop2.zip下载安装文件。 具体使用请参考 http://s3.thinkaurelius.com...
Cascalog简介
环境: CentOS 5.7, CDH 4.2.0Cascalog是一款基于cascading和hadoop上用clojure定义的DSL。由于clojure的元数据和函数编程范式,它很好地定义函数和查询。下面讲解下使用场景:1. 使用lein创建一个工程lein cascalog_incanter2. 切入到cascalog_incanter,编辑project.clj 如下所示:(defproject casc...
RocksDB, pyrocksdb 的安装与使用
环境:Ubuntu 12.04, RocksDB, pyrocksdbRocksDB是FB基于google的LevelDB基础上改良的键值对数据库,类似于memcache和redis,支持RAM, Flash, Disk存储,写速度快过LevelDB 10倍左右, 听起来有点高大上的感觉,可参考https://github.com/facebook/rocksdb/wiki/Performance-Benchmarks 。不管这么多了,...
NoSQL数据库笔谈
链接:http://sebug.net/paper/databases/nosql/Nosql.html
淘宝图片存储系统架构
链接:http://wenku.baidu.com/view/c5504a08bb68a98271fefaaa.html