(一)       配置要求

1.     CPU Intel Core i3以上(或者AMD AthlonⅡ X4以上)，推荐Core i5以上(AMD PhenomⅡ X4以上)；

2.     内存至少4GB以上，推荐配置8GB；

3.     磁盘空余至少在40GB以上；

4.     安装好虚拟机，推荐使用Oracle Virtualbox；

5.     有Oracle Linux 5安装介质。可前往https://edelivery.oracle.com/下载，介质名为V27570-01.ZIP。也可以到http://mirrors.dotsrc.org/oracle-linux/ 上下载。这里用的是OEL5.7；

6.     有Exadata 11.2.3.2 Cell的安装介质。下载地址同上，Cell介质名为V33693-01.ZIP；

7.     准备Oracle Clusterware以及Oracle database的安装介质，这里用的11.2.0.4版本；

8.     准备补丁工具Opatch；

9.     准备最新的Exadata RDBMS Bundle Patch。

(二)       安装步骤

1.     搭建Exadata存储服务器虚拟机

1)     安装OEL 5.7

安装过程省略，主要是内存和磁盘分配，分别给1GB内存和100GB的虚拟硬盘空间。注意的是需要选上软件开发包，例如gcc/aio之类的。这里安装完成之后可以先拷贝一份虚拟机镜像，后续用作数据库服务器。

2)     修改静态IP地址及hosts文件

3)     修改内核

Oracle Linux默认使用UEK，如果使用UEK，则在后面的步骤中无法正常启动cellsrv服务。使用grub修改配置，将默认启动内核修改为redhat兼容内核：

[root@cell ~]# vi /etc/grub.conf

将default=0修改为default=1，然后重启。

4)     上传解压

解压V33693-01.ZIP得到cellImageMaker_11.2.3.2.0_LINUX.X64_120713-1.x86_64.tar，继续解压得到一个名为dl180的文件夹。

在dl180/boot/cellbits下找到cell.bin文件。这个bin文件实际上是一个zip压缩包。可以使用unzip对它进行解压。

解压后得到cell-11.2.3.2.0_LINUX.X64_120713-1.x86_64.rpm和jdk-1_5_0_15-linux-amd64.rpm两个rpm包。

5)     安装jdk和cell

安装jdk：

安装cell可能会报错，提示有LWP依赖包，这是因为默认没有安装perl-libwww-perl，安装这个包建议使用yum配置。

再次安装cell，仍然出现报错：

通过以下命令生成具体的检查条件的脚本，在进行分析:

查看diag.log文件，发现所有的的判断信息都会记录到/opt/oracle/cell11.2.3.2.0_LINUX.X64_120713/.install_log.txt文件里，查看这个文件，发现里面只有一条记录，/var/log/oracle这个目录不存在。

6)     建立虚拟磁盘和闪盘

执行dd.sh创建对应的磁盘和闪盘：其中磁盘12块，每块大小为1GB，闪盘4块，每块大小1GB，并修改权限为660：

7)     启动cell服务

切换到celladmin用户（该用户在安装完cell之后会建立），然后重启celld服务：

启动cellrv失败，可以去查看/opt/oracle/cell11.2.3.2.0_LINUX.X64_120713/log/diag/asm/cell/cell/trace/alert.log，该日志是cellcli工具相关日志，可以看到报错说明cellinit.ora文件里缺少ip的参数。

在cellinit.ora中添加网卡的信息:

执行成功可以看到文件里添加了一行ipaddress1等的信息:

然后再次重启celld服务，可以看到cellsrv、ms、rs都正常启动了：

8)     创建celldisk、griddisk、flashcache和flashlog

登陆cellcli工具界面，创建celldisk，flashcache和flashlog也会自动创建，先创建完celldisk后再建立griddisk。

可以使用下面的命令查看信息，加detail可以查看详细信息：

到这一步，我们的存储节点虚拟机就基本创建完成了。

1.     搭建Exadata数据库服务器虚拟机

1)     安装OEL 5.7

这里我们直接使用之前克隆的一台虚拟机做为数据库服务器的虚拟机，修改相应配置，这里也是需要选择开发的安装包，如果没有也可以直接通过oracle-validated来配置，虚拟机的内存最好也相应调大一点。

2)     修改静态IP地址及安装oracle-validated

点击(此处)折叠或打开

1. [root@db ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0
   
2. 
   
3. # Intel Corporation 82545EM Gigabit Ethernet Controller (Copper)
   
4. 
   
5. DEVICE=eth0
   
6. BOOTPROTO=none
   
7. HWADDR=00:0C:29:2B:82:02
   
8. ONBOOT=yes
   
9. NETMASK=255.255.255.0
   
10. IPADDR=192.168.56.102
    
11. GATEWAY=192.168.56.1
    
12. TYPE=Ethernet
    
13. USERCTL=no
    
14. IPV6INIT=no
    
15. PEERDNS=yes
    
16. 
    
17. [root@db yum.repos.d]# yum -y install oracle-validated

安装完成后就会把所有Oracle需要的rpm包并且默认创建好所有用户组和用户，但无GRID用户，需要另外创建。

同时建议关闭SELinux，在/etc/selinux/config中将SELINUX=disabled，重启操作系统就能关闭SELinux，或者使用命令echo 0 >/selinux/enforce关闭SELinux。

点击(此处)折叠或打开

1. [root@db yum.repos.d]# echo 0 >/selinux/enforce
   
2. [root@db yum.repos.d]# cat /etc/selinux/config
   
3. # This file controls the state of SELinux on the system.
   
4. # SELINUX= can take one of these three values:
   
5. # enforcing - SELinux security policy is enforced.
   
6. # permissive - SELinux prints warnings instead of enforcing.
   
7. # disabled - SELinux is fully disabled.
   
8. SELINUX=disabled
   
9. # SELINUXTYPE= type of policy in use. Possible values are:
   
10. # targeted - Only targeted network daemons are protected.
    
11. # strict - Full SELinux protection.
    
12. SELINUXTYPE=targeted

1)     创建Exadata所需的配置文件

Cellinit.ora，此文件中填入数据库节点的IP地址和子网掩码：

Cellip.ora，此文件填入存储节点的IP地址:

点击(此处)折叠或打开

1. [root@db u01]# mkdir -p /etc/oracle/cell/network-config
   
2. [root@db u01]# chown -R grid:oinstall /etc/oracle/cell/network-config/
   
3. [root@db u01]# vi /etc/oracle/cell/network-config/cellinit.ora
   
4. [root@db u01]# cat /etc/oracle/cell/network-config/cellinit.ora
   
5. ipaddress1=192.168.56.102/24
   
6. [root@db u01]# vi /etc/oracle/cell/network-config/cellip.ora
   
7. [root@db u01]# cat /etc/oracle/cell/network-config/cellip.ora
   
8. cell="192.168.56.101"

2)     开始安装

这里由于内存不充足，所以只是搭建了Standalone Server的服务器，Exadata并不是强制要求安装RAC，如果内存充足可以搭建RAC，步骤都是和非Exadata的差不多，下面我只把有区别的部分截出来。

到ASM这一步可以看到Cell的Griddisk了，这些以o/开头的ASM磁盘就是Exadata

 Cell端创建的griddisk。

         如果没有找到griddisk，也可以手工修改ASM_DISKSTRING到“o/cell的ip地址/*”。如：“o/192.168.56.101/data*”。

         最后就按照标准的流程来安装Oracle Database，这样模拟的Exadata虚拟环境就搭建完成了。

(三)       报错问题

 

1.     ORA-56865

l  问题：

安装GI到最后一步ASMCA启动asm资源时失败，报错ORA-56865错误地址的CLELLINIT.ORA文件

 

l  日志：

点击(此处)折叠或打开

1. INFO: Read: Configuring ASM failed with the following message:
   
2. INFO: Read: Configuring HA resource failed. The following error occured:
   
3. INFO: Read: PRCR-1079 : Failed to start resource ora.asm
   
4. INFO: Read: CRS-5017: The resource action "ora.asm start" encountered the following error:
   
5. INFO: Read: ORA-56865: Invalid IP address in CELLINIT.ORA
   
6. INFO: Read: . For details refer to "(:CLSN00107:)" in "/u01/app/grid/product/11.2.0/grid/log/db/agent/ohasd/oraagent_grid/oraagent_grid.log".
   
7. INFO: Read:
   
8. INFO: Read: CRS-2674: Start of 'ora.asm' on 'db' failed
   
9. 
   
10. ERROR: diskgroup DATA1 was not created
    
11. ORA-15018: diskgroup cannot be created
    
12. ORA-15072: command requires at least 2 regular failure groups, discovered only 1

l  解决：

检查CELLINIT.ORA文件，对比文档是否有差异

[oracle@db ~]$ cat /etc/oracle/cell/network-config/cellinit.ora

ipaddress1=192.168.56.102/24

无差异，后面改用DB介质为11.2.0.3之后就没有出现这个报错了。