龙空技术网

HBase批量加载

会飞的鱼go 37

前言:

此刻大家对“js批量加载”可能比较关注,大家都需要分析一些“js批量加载”的相关知识。那么小编同时在网络上网罗了一些有关“js批量加载””的相关内容,希望各位老铁们能喜欢,咱们快快来了解一下吧!

文章来源:加米谷大数据

HBase包含几种将数据加载到表中的方法。最直接的方法是使用MapReduce作业中的TableOutputFormat类,或者使用普通的客户端API;然而,这些并不总是最有效的方法。

批量加载功能使用MapReduce作业以HBase的内部数据格式输出表格数据,然后直接将生成的StoreFiles加载到正在运行的群集中。使用批量加载将比使用HBase API使用更少的CPU和网络资源。

HBase批量加载限制

当批量加载绕过写入路径时,WAL不会被写入作为过程的一部分。复制通过读取WAL文件来工作,因此它不会看到批量加载的数据 - 对于使用Put.setDurability(SKIP_WAL)的编辑也是如此。处理这种情况的一种方法是将原始文件或HFile发送到其他群集,并在那里进行其他处理。

标签: #js批量加载