VIO Server配置方法
1
交行
目 录
一.VIO功能介绍 .......................................................................................................................... 3
1.1磁盘虚拟共享技术介绍(Storage Virtualization) ....................................................... 3 1.2 网络虚拟共享技术介绍 (Ethernet Virtualization) ....................................................... 4 1.3 VIO Server及Client分区整体架构 ............................................................................... 4 二.VIO Server创建 ...................................................................................................................... 6
2.1 激活VIO密码 ............................................................................. 错误!未定义书签。
2.1.1 确认VIO licence 信息 .......................................................... 错误!未定义书签。 2.1.2 激活VIO licence .................................................................... 错误!未定义书签。 2.2 VIO Server分区Profile文件创建 ............................................................................ 6 2.3 VIO Server 软件安装 ............................................................................................... 13 三. VIO Server配置 ............................................................................................................ 16
3.1 VIO rootvg镜像 ........................................................................................................ 16 3.2 VIO virtual disk创建 ............................................................................................... 16 3.3 VIO Shared Ethernet创建 ....................................................................................... 17 3.4 VIO Shared CD 创建 ............................................................................................... 18 四. Clent分区创建 .............................................................................................................. 19 五. 外置存储MPIO配置 .................................................................................................... 23
5.1 VIO Server MPIO简介 .................................................................................................. 23 5.2 VIO Server MPIO 配置 ................................................................................................. 23
5.2.1 安装存储多路径软件 ........................................................................................... 23 5.2.2 两个VIO Server分区核对外置磁盘信息 .......................................................... 23 5.2.3 修改物理卷属性 ................................................................................................... 24
六. VIO创建AIX分区与普通AIX分区特点区别.......................................................... 26
6.1 VIO Server操作特点 ...................................................................................................... 26 6.2 通过VIO Server创建的AIX分区与普通AIX分区比较 ......................................... 26
6.2.1 内置磁盘速度测试 ............................................................................................... 26 6.2.2 网络速度测试 ....................................................................................................... 26
2
交行
一.VIO功能介绍
本文档主要介绍IBM Virtual I/O Server技术,介绍了P系列服务器中虚拟化配置实用物理IO设备。目前交通银行数据中心P系列服务器设备主要采用Dedicated模式固定使用指定整数颗CPU,及全部使用物理IO设备(网口,内置SCSI及光纤外置磁盘)。
Virtual I/O Server技术是需要硬件支持IBM System p PowerVM标准版或企业版技术,要求IBM Power5及Power6系列服务器并安装AIX5.3及以上版本软件。下图介绍VIO技术的概述情况
VIO技术主要提供以下技术特点,能方便用户更有效提高硬件设备使用率与有效性 磁盘虚拟共享技术(包括SCSI内置磁盘及光纤外置磁盘) 网络虚拟共享技术(多分区共用公共网口)
通过复用磁盘及网络可以大大提升物理设备使用效率
1.1磁盘虚拟共享技术介绍(Storage Virtualization)
如图,Virtual SCSI技术通过虚拟SCSI协议支持虚拟磁盘共享,通过在VIO Server端的创建虚拟磁盘能将实际物理磁盘划分为多块虚拟磁盘分配给分区,将实际物理磁盘建立成pool池的概念,其中物理磁盘可以包括内置SCSI物理硬盘,通过光纤连接的外置存储设备或网络存储设备。
3
交行
如图,为了保证光纤外置存储链接冗余性,外置存储还可以通过多路径软件建立MPIO,由双通道链接VIO Server确保设备的高可用性
1.2 网络虚拟共享技术介绍 (Ethernet Virtualization)
VIO Server及Client分区通过共享物理网口SEA(Shared Ethernet Adapter)链接外部网络
1.3 VIO Server及Client分区整体架构
如图,通过搭建VIO Server,可以共享Ethernet设备,并将磁盘设备建立成池,从而更有效
4
交行
的使用网络及存储空间资源,达到物理设备的高效率应用,在一台IBM P系列服务器之上能创建更多应用分区。
5
交行
二.VIO Server创建
2.1 VIO Server分区Profile文件创建
以下建立VIO Server实例建立在7版本HMC所管理的P570服务器分区上 1) 如下图HMC管理两台机器,选取其中一台服务器建立VIO Server Configuration -> Create Logic Partition -> VIO Server
2) 输入Partition ID 和Partition name, 完成后继续选择Next
6
交行
3)输入Profile name 默认一般设为default,完成后继续选择Next
4)在划分CPU时有Shared及Dedicated两种选项,根据交行数据中心实际情况,当需要动态调整CPU或者不需要使用整颗CPU的系统,选择Shared方式。如果确定了分区使用整数颗CPU时,建议选择Dedicated方式(对于VIO Server,由于其CPU需求较少,建议使用Shared方式,不需要分配整颗以上CPU)
7
交行
5)根据需求划分CPU使用量(VIO Server不占用很多CPU,可以根据实际情况分配少量CPU及可),如果需要动态调整CPU模式,参见VIO动态调节CPU配置文档
6)根据需求划分内存使用量
8
交行
7)选择Desired及Required 实际IO资源
对于使用双VIO Server配置的系统,建议平均分配IO资源
特别对于P505服务器,由于只有一根SCSI总线,只能建立一个VIO Server,建议将全部资源划为Required模式
特别:由于光驱DVD或CD设备能够通过VIO Server动态划分,建议也平均分配给VIO Server并选为Required模式
9
交行
8)Virtual Adapter设置
i)对于共享Ethernet的系统,根据需要共享的Ethernet总线数量建立相应数量的Virtual Ethernet Adapter个数
10
交行
ii) 根据需要建立的Client分区个数建立相应数量的Virtual SCSI Adapter
完成以上两类Virtual Adapter建立后,选择Next
9)预览Profile配置信息,如果确认完成,选择Finish. VIO Server Profile 配置建立完成
11
交行
12
交行
2.2 VIO Server 软件安装
Active 该分区,并选择SMS模式启动 选择Open Terminal Windows打开终端
进入SMS菜单,更改启动顺序
选择CD安装作为第一启动顺序
13
交行
进入欢迎界面
选择全新安装
14
交行
选择一块硬盘安装VIO Server操作系统,然后回车开始安装
开始安装,安装完后会自动启动进入操作系统
15
交行
VIO Server配置
进入VIO操作系统后,用户名和密码都设为padmin 输入命令
license –accept
不然系统不允许任何操作
3.1 VIO rootvg镜像
查看VIO操作系统版本 $ioslevel 1.5.2.0
$oem_setup_env 可以切换到AIX shell命令模式#。
查看PV,并将hdisk1加入rootvg,并mirror rootvg 操作系统做完镜像后会自动重启 $lspv
hdisk0 00c1e99fecdf855b rootvg active hdisk1 none None hdisk2 none None hdisk3 none None $extendvg –f rootvg hdisk1 $mirrorios –f hdisk1
SHUTDOWN PROGRAM
The Jan 05 14:12:21 CDT 2008
镜像完成后设置启动顺序bootlist $bootlist –mode normal hdisk0 hdisk1
3.2 VIO virtual disk创建
如果有别的空余内置磁盘,可以建立新的VG,划分LV划出虚拟磁盘 $mkvg –f –vg viovg1 hdisk2 $mkvg –f –vg viovg2 hdisk3 建立LV作为虚拟磁盘,注意LV命名规则,方便后面的划分,建立在不同的PV上,在client分区时把这两个LV分给一个client分区,然后再分区中就能把这两个虚拟PV做镜像了,在VIO这边就是两个物理PV镜像 $mklv –lv vhost0lv viovg1 40G vhost0lv
$mklv –lv vhost1lv viovg2 40G vhost1lv
如果没有空余内置磁盘建立新的VG,比如P505设备,只有两块内置磁盘,可以在rootvg空余空间中划分LV
查看虚拟设备,并将LV定义成虚拟设备
运用mkvdev命令将虚拟磁盘分配给相应分区的vhost $lsdev –virtual
16
交行
name status description
vhost0 Available Virtual SCSI Server Adapter vhost1 Available Virtual SCSI Server Adapter
$mkvdev –vdev vhost0lv –vadapter vhost0 –dev vhost0dev vhost0dev Available
$mkvdev –vdev vhost1lv –vadapter vhost1 –dev vhost1dev vhost1dev Available
运用lsmap命令查看mapping信息,确认虚拟磁盘划分正确 $ lsmap -all
SVSA Physloc Client Partition ID
--------------- -------------------------------------------- ------------------ vhost0 U9117.MMA.101F170-V1-C20 0x00000000 VTD vhost0dev Status Available
LUN 0x8100000000000000 Backing device vhost0lv Physloc
SVSA Physloc
3.3 VIO Shared Ethernet创建
查看虚拟网口,及实际物理网口设备 $lsdev –type adapter
name status description
ent0 Available 2-Port 10/100/1000 Base-TX PCI-X Adapter (14108902) ent1 Available 2-Port 10/100/1000 Base-TX PCI-X Adapter (14108902) ent2 Available Virtual I/O Ethernet Adapter (l-lan)
运用mkvdev命令建立Shared Ethernet Adapter设备并分配给对应分区vhost _$ mkvdev -sea ent0 -vadapter ent2 -default ent2 -defaultid 1 ent3 Available en3 et3
运用lsmap命令检查net mapping $ lsmap -all -net SVEA Physloc
------ -------------------------------------------- ent2 U9117.MMA.101F170-V1-C11-T1 SEA ent3
Backing device ent0 Status Available
17
交行
Physloc U789D.001.DQDYKYW-P1-C4-T1
3.4 VIO Shared CD 创建
在划分Profile时将光驱DVD或CD设备选成Required为VIO Server占有 运用mkvdev命令建立virtual CD设备并分配给对应分区vhost $mkvdev –vdev cd0 –vadapter vhost0 –dev vcd vcd Available
18
交行
三. Client分区创建
建立VIO Client分区时和平时新建AIX分区步骤类似 Configuration -> Create Logic Partition -> AIX or Linux
与普通创建AIX分区的区别在于创建Virtual Adapter
19
交行
首先创建Virtual Ethernet Adapter
根据与VIO Server共用的Virtual Ethernet,选择相应的VLAN ID
20
交行
然后创建Virtual SCSI Adapter
根据VIO Server中的定义选择相应SCSI Adapter
21
交行
最后完成Profile配置,以SMS启动client分区,并在找到的磁盘上安装AIX操作系统
22
交行
四. 外置存储MPIO配置
5.1 VIO Server MPIO简介
在配置一台主机中有两个VIO Server分区的环境中,当连接外置存储设备后,为了保证链路的冗余,需要通过两条不同链路分别连接两台VIO Server,并通过两台Server划分磁盘空间给Client分区使用,MPIO设置。
假定,方案实施中VIO服务器的命名分别为vio_a和vio_b,共享外置存储EMC的LUN。EMC的LUN已经映射到服务器vio_a和vio_b,结构如下图:
5.2 VIO Server MPIO 配置
5.2.1 安装存储多路径软件
首先分别在两台VIO Server上根据存储类型安装对应VIO版本的存储软件 5.2.2 两个VIO Server分区核对外置磁盘信息 在服务器vio_a端确定要使用的PV,如下: $ lsdev -type disk
name status description ..
hdisk3 Available MPIO Other FC SCSI Disk Drive hdisk4 Available MPIO Other FC SCSI Disk Drive hdisk5 Available MPIO Other FC SCSI Disk Drive …
$lspv ..
hdisk3 00c3e35c99c0a332 None hdisk4 00c3e35c99c0a51c None hdisk5 00c3e35ca560f919 None
23
交行
..
在以上列出的PV中,将hdisk5映射到虚拟AIX客户端分区,生成MPIO物理盘。通过以下命令确定PV hdisk5的属性,确保客户端能正确识别PV,正确配置MPIO。
$lsdev -dev hdisk5 -attr
algorithm fail_over Algorithm True
lun_id 0x5463000000000000 Logical Unit Number ID False
pvid00c3e35ca560f9190000000000000000 Physical volume identifier False reserve_policy single_path Reserve Policy True
注意,物理卷hdisk5的属性 lun_id, pvid和reserve_policy。
在VIO服务器vio_b端确定对应hdisk5的LUN,可以根据pvid查找。与vio_a对应DS8300的同一个LUN在vio_b系统的逻辑标示可能与vio_a标示不同,但pvid是一致的。过程如下: $ lspv
hdisk7 00c3e35ca560f919 None
物理卷hdisk7的pvid与vio_a的hdisk5一致,为同一个LUN。
查看hdisk7的类型: $ lsdev -type disk
name status description
hdisk7 Available MPIO Other FC SCSI Disk Drive
确定hdisk7的属性: $lsdev -dev hdisk7 -attr
algorithm fail_over Algorithm True
lun_id 0x5463000000000000 Logical Unit Number ID False
pvid 00c3e35ca560f9190000000000000000 Physical volume identifier False reserve_policy single_path Reserve Policy True
可以注意到hdisk7的属性与hdisk5的属性一致。
5.2.3 修改物理卷属性
为能在虚拟AIX客户端分区正确的将hdisk5和hdisk7识别MPIO的卷,需要修改PV的reserve policy属性为no_reserve。使用命令chdev修改,使用如下:
修改vio_a的hdisk5的reserve policy属性:
$ chdev -dev hdisk5 -attr reserve_policy=no_reserve hdisk4 changed
同样在vio_b VIO服务器端修改hdisk7的属性如下: $ chdev -dev hdisk7 -attr reserve_policy=no_reserve hdisk6 changed
24
交行
在VIO服务器端创建虚拟目标设备
在上一步骤中,已经确定要使用的PV。再次在VIO服务器vio_a和vio_b端确定使用的虚拟SCSI适配器,使用命令mkvdev建立PV到虚拟SCSI适配器的映射关系。命令格式如下: mkvdev –vdev hdisk# -vadapter vhost# -dev vhdisk#
在两个VIO服务器上成功运行以上命令后,在不同VIO服务器的同一个LUN映射到同一个虚拟客户端。
注意:
如果PV的reserve_policy的属性没有设置为no_reserve,在第二个VIO服务器运行以上命令可能会失败。
25
交行
五. VIO创建AIX分区与普通AIX分区特点区别
6.1 VIO Server操作特点
1). 以特殊用户padmin用户登录,密码应该建议统一设置为padmin
2) 不支持普通AIX系统的GUI 或者smitty 菜单操作,仅支持部分shell命令,指令级及参数与AIX命令有部分区别
3) 没有root用户可以登录VIO Server环境
4) 可以通过”oem_setup_env”命令可以转到root 用户身份的AIX Shell 环境
6.2 通过VIO Server创建的AIX分区与普通AIX分区比较
通过VIO Server创建的AIX分区理论上对系统使用者是透明的,在操作层面上普通AIX系统分区使用完全一致。但因为VIO创建的AIX系统通过共用物理网络和存储资源,在性能上和直接使用物理设备的AIX系统有所差异。 6.2.1 内置磁盘速度测试
测试环境同为P系列9115-505机器,4CPU, 8G 内存 A结果为普通AIX系统分区
A# time dd if=/dev/hd1 of=/dev/null bs=128M real 48.13s user 0m0.35s sys 0m9.71s
B结果为VIO创建的AIX分区
B# time dd if=/dev/hd1 of=/dev/null bs=128M real 253.62s user 0m3.75s sys 0m35.71s
由此可见在内置硬盘读写速度上VIO AIX系统还是和普通AIX系统有差别 6.2.2 网络速度测试
由于网络环境还没有通,在配通网络环境后会补上测试结果
26
因篇幅问题不能全部显示,请点此查看更多更全内容