ITPub博客

首页 > 数据库 > SQL on Hadoop > 【北亚数据恢复】分布式存储hbase和hive数据库底层文件被误删除的数据恢复案例

【北亚数据恢复】分布式存储hbase和hive数据库底层文件被误删除的数据恢复案例

原创 SQL on Hadoop 作者:北亚数据恢复 时间:2022-02-23 10:59:31 0 删除 编辑

分布式存储环境:


Dell PowerEdge机架式服务器;

数据库类型:Hbase、Hive;

16台物理服务器。



故障:


16台服务器节点,在每台物理服务器上平均有3台虚拟机,在虚拟机上配置分布式,上层部署的hbase数据库和hive数据库。

数据库底层文件被误删除,导致数据库不可用。管理员联系北亚数据恢复中心恢复hbase和hive数据库的数据。



分布式存储数据恢复过程:


经过现场对环境的简单检测,北亚数据恢复工程师发现虚拟机还可以正常启动,但是虚拟机上部署的数据库块文件丢失。块

文件丢失之后整个集群环境没有新的数据写入,底层数据损坏可能性比较小,具有较大的可恢复性。由于还没有对底层结构

进行分析,再加上hbase和hive的算法和底层结构十分复杂,恢复概率无法准确判断。


1、备份:

A、将存储设备断电、关机,对物理服务器底层做备份。

B、从虚拟机层面备份,通过网络直接备份虚拟机底层磁盘文件。

C、北亚数据恢复工程师准备了一台数据恢复服务器,在这台数据恢复服务器上以只读方式挂载原服务器的硬盘,使用北亚

磁盘备份工具进行完整的扇区对扇区的备份。

D、备份完成后,由北亚数据恢复工程师提供详细报告,然后将原服务器硬盘交还给管理员。


2、块文件结构分析:

A、对每个虚拟机磁盘的块文件进行分析;

B、分析文件底层的聚合方式;

C、分析每个磁盘中数据的分布情况。


3、Block文件key分析:

A、定位数据库文件中的key信息;

B、提取并解析数据库文件中key信息;

C、整合数据库文件key信息。


4、Block文件拼接:

A、根据Block文件的key信息提取文件片段;

B、对Block文件的片段进行拼接;

C、校验拼接后的Block文件的正确性。


5、Block文件导入:

A、校验提取出的Block文件完整性及正确性;

B、把提取出来的Block文件导入到hbase和hive数据库中。


6、数据验证:

A、由管理员对恢复出来的数据进行详细验证;

B、如发现新问题,则复盘数据恢复过程查找问题原因并加以解决。



北亚数据恢复服务:

1、整个过程不会对原盘有任何的写操作,以确保原盘的数据安全;

2、尽最大可能保证服务的操作可逆,确保人力可控范围内操作可回溯;

3、提供后期数据保管和服务跟踪;

4、以上所有操作在有备份的情况下进行,若不成功不影响其他数据恢复方案的进行。



本次数据恢复周期:

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31380569/viewspace-2857381/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
从事服务器数据恢复、磁盘阵列数据恢(DEll、HP、IBM、华为、NetApp等),虚拟化数据恢复(VSAN、VMware、Kvm等),数据库数据恢复(Oracle、Sql Server、MySql、Mongodb等),小型机数据恢复等方面的。24h数据救援13439392933

注册时间:2016-08-02

  • 博文量
    1127
  • 访问量
    876064