文章来源：加米谷大数据
HBase包含几种将数据加载到表中的方法。最直接的方法是使用MapReduce作业中的TableOutputFormat类，或者使用普通的客户端API；然而，这些并不总是最有效的方法。
批量加载功能使用MapReduce作业以HBase的内部数据格式输出表格数据，然后直接将生成的StoreFiles加载到正在运行的群集中。使用批量加载将比使用HBase API使用更少的CPU和网络资源。
HBase批量加载限制
当批量加载绕过写入路径时，WAL不会被写入作为过程的一部分。复制通过读取WAL文件来工作，因此它不会看到批量加载的数据 - 对于使用Put.setDurability(SKIP_WAL)的编辑也是如此。处理这种情况的一种方法是将原始文件或HFile发送到其他群集，并在那里进行其他处理。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/31537575/viewspace-3122235/ ，如需转载，请注明出处，否则将追究法律责任。
下一篇：
MongoDB高可用集群搭建示例
请登录后发表评论
登录
全部评论
