# Oracle一键迁移MySQL工具oracle_mig_mysql使用

## 1.简介

功能特性

- 支持Linux,Windows,MacOS，Oracle 11.2.0.4及以上，MySQL 5.7,8.0及以上测试通过

- 支持在线迁移Oracle到MySQL的表、视图、索引、触发器、外键、自增列、以及部分触发器，不支持存储过程以及函数的迁移

- 自动分析源库Oracle字段的长度并适配到MySQL合适的长度，避免MySQL字段长度太长问题 “Row size too large 65535”

- 自动处理Oracle触发器+序列形式的自增列适配到MySQL原生自增列

- 转储Oracle的函数、存储过程到平面文件以便修改人工翻译适配到MySQL

- 后台多进程数据迁移，数据迁移更快

- 支持迁移部分表结构以及数据功能

- 支持迁移Oracle与MySQL共同存在的列数据，即目标数据库的列字段是源数据库列字段的超集

- 记录迁移日志，转储表、视图等DDL对象创建失败的sql语句

- 支持Oracle与MySQL表数量快速比对功能

环境要求

- 运行此工具的PC需要能连通源端Oracle以及目标MySQL数据库

- 依赖oracle客户端环境(release已集成instant client)

## 2.下载
工具[下载](https://github.com/iverycd/oracle_to_mysql/)

## 3.平台测试

硬件平台：

| CPU | 内存 | 硬盘 | 数据库信息 |
| :---------------: | :----------------: | :-----------------: | :-----------------: |
| Intel i7-12700 2.10 GHz(12核20线程)| 芝奇皇家戟 DDR4 3600 32G    | 西数SN850        | Oracle 19c,MySQL 5.7.24

SN850磁盘iops性能:

| 随机读 | 108816.88 |
|--------|-----------|
| 随机写 | 94763.05  |
| 顺序读 | 111201.16 |
| 顺序写 | 22127.80  |
| 块大小 | 8K        |

![image](https://img-blog.csdnimg.cn/img_convert/9c99d5ccbad361e35db9931f320e57f2.png)

源端表结构

```sql
CREATE TABLE TEST 
(
ID NUMBER,
NAME VARCHAR2(100),
SEX VARCHAR2(100)
)

```

在以上测试平台迁移Oracle一张2000万的表，迁移耗时`68秒`

![截图](https://img-blog.csdnimg.cn/img_convert/3fe47da1d5b4fcd79754ef7310911d30.png)

****

`v1.9.21.1版本及以下`为单线程迁移数据，迁移Oracle一张2000万的表耗时`709秒`

![在这里插入图片描述](https://img-blog.csdnimg.cn/70351fa579944e29ab3b41dde9d9c74e.png)

## 4.运行概览

`全库迁移`

![](http://img.blog.itpub.net/blog/2022/10/13/c2b137d742aad946.jpeg?x-oss-process=style/bb)

`比对数据`

![image](https://img-blog.csdnimg.cn/img_convert/af841e4cb59cd9dcb472eae3f6330f8a.png)

`记录迁移失败的DDL`

![image](https://img-blog.csdnimg.cn/img_convert/285dcff81e522c7721499806ac42d24d.png)

`转储索引、视图、存储过程、函数DDL`

![image](https://img-blog.csdnimg.cn/img_convert/e2deb32c15068ca3f2bfce6be39f37ff.png)

`多进程并行迁移表数据`

![image](https://img-blog.csdnimg.cn/img_convert/2e1c129187d8d237924bbfa0bf23405a.png)

## 5.开箱使用

下载[release](https://github.com/iverycd/oracle_to_mysql)
![在这里插入图片描述](https://img-blog.csdnimg.cn/38c1197accc247dcab47cf00fac648af.png)

解压之后即可运行此工具

1、解压，例如将`oracle_mig_mysql.zip`上传到/opt目录

2、在root用户下解压

```bash
[root@localhost root]# cd /opt

[root@localhost root]# unzip oracle_mig_mysql.zip
```

### 全库迁移示例

#### Linux环境

1、进入迁移工具目录

```bash
[root@localhost opt]# cd /opt/oracle_to_mysql
```

2、运行环境变量脚本

```bash
[root@localhost ]# sh env_ora.sh && source run_env

```

![image](https://img-blog.csdnimg.cn/img_convert/71ebbdfe936e6649a9c117827e8b340d.png)

:warning:注意：此步骤仅Linux环境需要，Windows以及MacOS无需执行

3、编辑配置文件 config.ini文件，修改源数据库以及目标数据库信息

```bash

[root@localhost ]# vi config.ini

[oracle]
host = 192.168.212.23
port = 1521
user = admin
passwd = admin123
service_name = orcl
split_page_size = 10000  # 每个表分页查询的结果集总数
split_process = 16 # 并行执行分页查询的线程数

[mysql]
host = 192.168.209.24
port = 3306
user = root
passwd = Gep
database = temptest
dbchar = utf8mb4
row_batch_size = 10000 # 每次插入到目标表的行数

```

4、执行全库迁移

`须知：如果是通过堡垒机或者是vpn连接的非图形化界面，强烈建议使用后台方式运行此工具，避免数据迁移中断`

```bash

后台执行命令(需要命令后面带-q)：

示例:[root@localhost ]# nohup ./oracle_mig_mysql -q &

前台执行命令：（不推荐，如果源库数据量很大，建议使用后台迁移，避免putty等终端工具超时自动断开）

示例:[root@localhost ]#  ./oracle_mig_mysql

```

4、查看数据迁移运行过程

如果是在后台运行`nohup ./oracle_mig_mysql -q &`，可通过如下命令查看实时迁移过程

```bash

[root@localhost ]# tail -100f nohup.out

```

迁移已经完成

![image](https://img-blog.csdnimg.cn/img_convert/597d619068686029a4b9c75dbe38bf83.png)

5、迁移完成后查看迁移任务日志

[root@localhost ]# cd /opt/oracle_to_mysql/mig_log/

此文件夹下面以时间戳名命的子文件夹内有如下日志需要关注：

`ddl_failed_table.log` --> 创建失败的表、视图、索引、触发器等对象的DDL创建语句，此部分需要修改语法适配并重新在MySQL创建即可

`insert_failed_table.log ` --> 表数据插入失败的对象名称，此部分需要重新对个别表重新迁移数据

`ddl_function_procedure.sql`  --> Oracle导出的存储过程以及函数的定义，此部分需要修改语法适配并重新在MySQL创建即可

#### MacOS环境

终端内执行即可：
![](http://img.blog.itpub.net/blog/2022/10/13/37059e32eeae7301.png?x-oss-process=style/bb)

![](http://img.blog.itpub.net/blog/2022/10/13/c9f4c2a829daff50.png?x-oss-process=style/bb)

#### Windows环境

Windows环境与Linux环境类似，下载压缩包之后解压到任意目录

1、编辑配置文件 config.ini文件，修改源数据库以及目标数据库信息

```bash
[oracle]
host = 192.168.212.23
port = 1521
user = admin
passwd = admin123
service_name = orcl
split_page_size = 10000  # 每个表分页查询的结果集总数
split_process = 16 # 并行执行分页查询的线程数

[mysql]
host = 192.168.209.24
port = 3306
user = root
passwd = Gep
database = temptest
dbchar = utf8mb4
row_batch_size = 10000 # 每次插入到目标表的行数
```

2、cmd进入迁移工具目录

```bash
在cmd命令行窗口内执行

进入工具所在目录

C:\Users\Administrator>g:

G:\>cd G:\oracle_mig_mysql
```

3、执行全库迁移

```bash
G:\oracle_mig_mysql>oracle_mig_mysql.exe
```

4、迁移完成后查看迁移任务日志

迁移工具目录下面会生成以时间戳名命的日志需要关注：

`ddl_failed_table.log` --> 创建失败的表、视图、索引、触发器等对象的DDL创建语句，此部分需要修改语法适配并重新在MySQL创建即可

`insert_failed_table.log ` --> 表数据插入失败的对象名称，此部分需要重新对个别表重新迁移数据

`ddl_function_procedure.sql`  --> Oracle导出的存储过程以及函数的定义，此部分需要修改语法适配并重新在MySQL创建即可

## 6.比对Oracle以及MySQL表数据量

oracle_compare_mysql.py，可以在数据迁移完成后快速比对Oracle以及MySQL的表数据量，检查是否有数据缺失。

```bash

以下执行后开始比对数据量

Linux：
[root@localhost ]# ./oracle_compare_mysql

Windows：
G:\oracle_mig_mysql>oracle_compare_mysql.exe

```

![在这里插入图片描述](https://img-blog.csdnimg.cn/bc79ce097525420da46c797b2e345a2c.png)

比对完之后，可以通过连接对应的MySQL数据库，查询比对结果
例如：
连接对应MySQL库之后查询

`select * from DATA_COMPARE;`

![在这里插入图片描述](https://img-blog.csdnimg.cn/b50fc8ba62dd404fa7601e0e3fd90a87.png)

## 7.迁移部分表以及数据

### 仅迁移数据（不创建表结构以及表索引）

以下以Linux环境示例，windows环境操作方式类似

:warning:`备注：使用-d命令前，需要确保mysql数据库已经创建了该表的表结构`

:warning:`需了解，使用-d命令，会先truncate（清空）目标表的数据再迁移数据`

1、编辑`custom_table.txt`文件输入要迁移数据的表名称

示例如下：

```bash

[root@localhost ]# vi custom_table.txt

Z_AD_I_SN
Z_D_SN
Z_F_SN 
Z_R_SN

```

2、开始迁移部分表数据

```bash

Linux下执行命令:

[root@localhost ]# ./oracle_mig_mysql -d

Windows下执行命令:

G:\oracle_mig_mysql>oracle_mig_mysql.exe -d

```

```bash
Source Database information:
+----------+-------------+-----------------------------------------------------------+
| database | schema_info |                        connect_info                       |
+----------+-------------+-----------------------------------------------------------+
| Oracle   |    admin    | ((HOST=192.168.212.23)(PORT=1521))((SERVICE_NAME=orcl))) |
+----------+-------------+-----------------------------------------------------------+
+---------------------------------------+
| migrate mode                          |
+---------------------------------------+
| Migration Mode:migrate partion tables |
+---------------------------------------+

READY FOR MIGRATING DATABASE ?：(PLEASE INPUT "Y" OR "N" TO CONTINUE)
y --------> 这里输入Y确认是否迁移
GO
START MIGRATING ROW DATA! 2021-12-23 18:17:03.715882

[Z_AD_I_SN] 插入完成 源表行数：100 目标行数：100  THREAD 1 2021-12-23 18:17:04.077622
[Z_D_SN] 插入完成 源表行数：100 目标行数：100  THREAD 1 2021-12-23 18:17:04.361066
[Z_F_SN] 插入完成 源表行数：100 目标行数：100  THREAD 1 2021-12-23 18:17:04.639245
[Z_R_SN] 插入完成 源表行数：100 目标行数：100  THREAD 1 2021-12-23 18:17:04.900548

```

## 8.完整命令列表
通过编辑`custom_table.txt` 文件以及配合命令参数可自定义哪些表需要迁移

命令示例：

- 仅迁移自定义表的表结构以及数据包括索引等约束

```python
./oracle_mig_mysql -c
```

- 仅迁移自定义表的表数据，不包括表结构以及索引等约束

```python
./oracle_mig_mysql -d
```

- 仅迁移自定义表的元数据，即表结构（表定义、视图、索引、触发器自增列等约束），不迁移数据

```python
./oracle_mig_mysql -m
```

- 静默模式,输入-q之后无需在命令行界面键入“y”进行迁移前确认，默认为一键全库迁移

```python
./oracle_mig_mysql -q 
```

ITPub博客

一款DBA开发的Oracle迁移MySQL工具-oracle_mig_mysql