H3C云平台建设方案

H3C云计算平台项目

技术方案V1.0

2013年4月11日

- 1 -

目 录

第1章 建设云计算平台的重要意义 ........................................................................................ - 3 - 1.1 传统IT面临的困境 ......................................................................................................... - 3 - 1.2 云计算概述 ....................................................................................................................... - 5 - 1.2.1 什么是云计算 ............................................................................................................ - 5 - 1.2.2 云计算的价值 ............................................................................................................ - 7 - 1.3 H3CLOUD云计算解决方案特色 ....................................................................................... - 8 - 1.3.1 H3Cloud云计算解决方案组件 ................................................................................. - 9 - 1.3.2 H3Cloud云计算解决方案亮点 ............................................................................... - 13 - 第2章 需求分析...................................................................................................................... - 18 - 2.1 项目背景 ......................................................................................................................... - 18 - 2.2 需求分析 ......................................................................................................................... - 18 - 2.3 建设目标 ......................................................................................................................... - 19 - 2.4 建设要求 ......................................................................................................................... - 19 - 第3章 总体设计...................................................................................................................... - 21 - 3.1 建设目标 ......................................................................................................................... - 21 - 3.2 建设内容 ......................................................................................................................... - 22 - 3.3 建设原则 ......................................................................................................................... - 22 - 3.4 建设思路 ......................................................................................................................... - 24 - 第4章 建设方案...................................................................................................................... - 27 - 4.1 系统总体架构 ................................................................................................................. - 27 - 4.2 计算资源池 ..................................................................................................................... - 31 - 4.3 存储资源池 ..................................................................................................................... - 48 - 4.4 网络资源池 ..................................................................................................................... - 57 - 4.4.1 网络设计要点 .......................................................................................................... - 57 - 4.4.2 网络资源池设计 ...................................................................................................... - 60 - 4.4.3 虚拟机交换网络 ...................................................................................................... - 65 - 4.4.4 安全设计 .................................................................................................................. - 69 - 4.5 云层设计 ......................................................................................................................... - 75 - 4.5.1 自助式云业务工作流 .............................................................................................. - 76 - 4.5.2 详尽的用户分级管理 .............................................................................................. - 78 - 4.5.3 数据的集中保护与审核 .......................................................................................... - 79 - 4.6 虚拟桌面部署 ................................................................................................................. - 80 - 4.7 应用系统迁移 ................................................................................................................. - 82 - 4.7.1 应用系统迁移规划 .................................................................................................. - 82 - 4.7.2 物理机虚拟化迁移（P2V） ................................................................................... - 84 -

- 2 -

第1章 建设云计算平台的重要意义

1.1 传统IT面临的困境

自从上世纪90年代开始，IT行业在全球范围内得到了迅猛的发展，IT平台的规模和复杂程度出现了大幅度的提升，与此同时，很多企业的IT机构却因为这种提升而面临着一种新的困境：高昂的硬件成本和管理运营成本、缓慢的业务部署速度以及缺乏统一管理的基础架构。

高昂的成本支出

随着IT规模的不断膨胀，数据中心内的服务器数量、网络复杂程度以及存储容量急剧增长，随之带来的是高昂的硬件成本支出以及运营成本支出（电力、制冷、占地空间、管理人员等）。

基础结构成本：托管、冷却、连接服务器以及为服务器提供电源都会随着服务器数量的增长而导致成本大量增加。仅服务器电力需求一项就占总成本一大块，估计数据中心的 1000 台服务器的电力成本每年都在 45,000 美元以上。

硬件成本：每年服务器在容量和计算能力上都呈增长趋势。随着服务器变得越来越强大，最大化的利用这些超强资源也变得愈加困难。IT 组织和应用服务用户习惯为每个应用服务部署一台独立服务器以确保完全控制该应用服务。几

- 3 -

乎在所有情况下，部署这些功能强大的服务器将会使服务器过剩50-500%。

软件成本：通常服务器需要从操作系统或应用软件厂商那里获取许可证与支持。

管理成本：迄今为止，管理成本是服务器成本中最大的一个部分，分析专家估计管理成本占服务器总拥有成本的50-70%。IT技术 人员不得不对软硬件进行升级、打补丁、备份以及修复，部署新的服务器及应用，维护用户账户并执行许多其他任务。随着服务器数量的增长，IT 部门发现他们面临着满足相关服务器管理需求的挑战。

缓慢的业务部署速度

新的服务器、存储设备和网络设备的部署周期较长，整个过程包括硬件选型、采购、上架安装、操作系统安装、应用软件安装、网络配置等。一般情况下，这个过程需要的工作量在20～40小时，交付周期为4～6周。

分散的管理策略

数据中心内的IT基础设施处于分散的管理状态，具体表现为：

机房管理员遵循“根据最坏情况下的工作负载来确定所有服务器的配置”这一策略导致服务器的配置普遍过高。

容易出现大量“只安装一个应用程序”而未得到充分利用的x86服务器。 提交变更请求与进行运营变更之间存在较长的延迟。

缺少统一的集中化IT构建策略，无法对数据中心内的基础设施进行监控、管理、报告和远程访问。

- 4 -

1.2 云计算概述

1.2.1 什么是云计算

云计算是一种基于网络的计算服务供给方式，它以跨越异构、动态流转的资源池为基础提供给客户可自治的服务，实现资源的按需分配、按量计费。云计算导致资源规模化、集中化，促进IT产业的进一步分工，让IT系统的建设和运维统一集中到云计算运营商处，普通用户都更加关注于自己的业务，从而提高了信

息化建设的效率和弹性，促进社会和国家生产生活的集约化水平。 云计算主要包含两个层次的含义：一是从被服务的客户端看：在云计算环境下，用户无需自建基础系统，可以更加专注于自己的业务。用户可按需获取网络上的资源，并按使用量付费。如同打开电灯用电，打开水龙头用水一样，而无需考虑是电从哪里来，水是哪家水厂的。二是从云计算后台看：云计算实现资源的集中化、规模化。能够实现对各类异构软硬件基础资源的兼容，如电网支持水电厂、火电厂、风电厂、核电厂等异构电厂并网；还能够实现资源的动态流转，如西电东送，西气东输、南水北调等。支持异构资源和实现资源的动态流转，可以更好的利用资源，降低基础资源供应商的成本。

云计算的特征

- 5 -

基于网络

云计算是从互联网演变而来，云计算本质通过网络将计算力进行集中，并且通过网络进行服务，如果没有网络，计算力集中规模、服务的种类和可获得性就会受到极大的限制，如集群计算虽然也是基于网络的计算模式，但是不能提供基于网络的服务，还不能称之为云计算。

支持异构基础资源

云计算可以构建在不同的基础平台之上，即可以有效兼容各种不同种类的硬件和软件基础资源。硬件基础资源，主要包括网络环境下的三大类设备，即：计算（服务器）、存储（存储设备）和网络（交换机、路由器等设备）；软件基础资源，则包括单机操作系统、中间件、数据库等。从横向维度考虑，支持异构资源，意味着在同一时期内，可以采购不同厂商的软硬件。对云计算平台的构建者而言，这种形式更为灵活；而从纵向维度考虑，意味着云计算平台既可以兼容当下采购的新设备，也可以兼容以前的老设备，既可以兼容当前的新软件系统，也可以兼容以前遗留的老软件系统。支持异构的基础资源这一特性，在有效利用老资源的同时，也保证了新老资源的平滑过渡。

支持资源动态扩展

支持资源动态伸缩，实现基础资源的网络冗余，意味着添加、删除、修改云计算环境的任一资源节点，亦或任一资源节点异常宕机，都不会导致云环境中的各类业务的中断，也不会导致用户数据的丢失。这里的资源节点可以是计算节点、存储节点和网络节点。而资源动态流转，则意味着在云计算平台下实现资源调度机制，资源可以流转到需要的地方。如在系统业务整体升高情况下，可以启动闲置资源，纳入系统中，提高整个云平台的承载能力。而在整个系统业务负载低的情况下，则可以将业务集中起来，而将其他闲置的资源转入节能模式，从而在提高部分资源利用率的情况下，达到其他资源绿色、低碳的应用效果。

支持异构多业务体系

- 6 -

在云计算平台上，可以同时运行多个不同类型的业务。异构，表示该业务不是同一的，不是已有的或事先定义好的，而应该是用户可以自己创建并定义的服务。这也是云计算与网格计算的一个重要差异。

支持海量信息处理

云计算，在底层，需要面对各类众多的基础软硬件资源；在上层，需要能够同时支持各类众多的异构的业务；而具体到某一业务，往往也需要面对大量的用户。由此，云计算必然需要面对海量信息交互，需要有高效、稳定的海量数据通信/存储系统作支撑。

按需分配，按量计费

按需分配，是云计算平台支持资源动态流转的外部特征表现。云计算平台通过虚拟分拆技术，可以实现计算资源的同构化和可度量化，可以提供小到一台计算机，多到千台计算机的计算能力。按量计费起源于效用计算，在云计算平台实现按需分配后，按量计费也成为云计算平台向外提供服务时的有效收费形式。

1.2.2 云计算的价值

云计算是能够提供动态资源池、虚拟化和高可用性的下一代计算模式。如果把一个计算的资源，比如一台服务器，看成一个小水滴，当很多资源汇聚在一起的时候，它就形成了计算的云，正如我们不关心水滴是怎么产生的，用户也不需要关心计算资源位于哪台物理的服务器上。用户关心的是需要什么样的计算能力，需要什么时刻拥有这些计算能力。云计算管理平台可以为用户提供“按需计算”服务。

从资源共享方面

在整合XXX信息中心现有软硬件资源基础上建设云计算平台。充分发挥云计算平台虚拟化计算、按需使用、动态扩展的特性，为XXX各个部门提供计算、存储和信息资源服务，实现软硬件集中部署、统建共用、信息共享，避免重复投资。

- 7 -

基于云计算技术建设公共的云服务平台来运行企业正常运行所需要的业务，可以将企业运维中共性的业务部分进行提炼和归纳，并实现，可以保证共性业务实现的规范性、安全性、全面性和稳定性，也避免了公共功能模块的多次开发实现所造成的冗余浪费乃至系统不兼容错误。更重要的是公共的云服务平台可以提供一系列支撑服务，业务应用子系统在这些支撑服务的基础之上进行开发，大大降低了开发难度和成本，使各部门可以更加专注于其本身综合的、深层次的、相关联的业务需求，而不是基础设施的建设，把精力用在企业高效运行和企业创新的关键点业务需求上，比传统的建设模式更好的把握业务需求，将会大大提高企业信息化的建设效益。

从管理工作方面

企业工作的本质就是服务。如果各部门的业务应用子系统都是按照“企业云计算”的统一标准进行开发实施、注册部署，可以方便的对机关各类业务工作进行标准化管理，从统一管理的的角度对系统进行规范管理，而不是各扫门前雪，在大大降低管理成本的同时，也大量的节约系统的运行成本。

从技术实现方面

基于云计算的企业公共服务平台可以按照SOA的松耦合方式来建设，模块间通过标准协议实现相互调用和消息传递，这种技术架构较为成熟，具有较好的扩展性，可以确保信息系统技术层面可持续发展，更有助于企业不同服务业务之间的信息共享，提高企业各部门业务之间的协同。

从标准化实现方面

基于云计算的企业公共服务平台可以提供一种标准化的建设模式，可以统一制定共性办公业务标准、管理工作实现标准、技术安全标准、保密安全标准、软硬件技术实现标准等，这对企业标准的实施和推广具有重要意义。

1.3 H3Cloud云计算解决方案特色

H3C公司依托强大的研发实力、广泛的市场应用和技术理解，以客户需求

- 8 -

为导向，为企业新一代云计算数据中心基础架构提供一体化的云计算平台解决方案，帮助用户实现快速、可靠的虚拟化数据中心和云业务应用部署。H3Cloud云计算解决方案包含统一的计算资源池、统一的网络资源池、统一的存储资源池，并提供了一体化的监控和部署工具进行统一的虚拟化与云业务管理，通过简洁的管理界面，轻松地统一管理数据中心内所有的物理资源和虚拟资源，不仅能提高管理员的管控能力、简化日常例行工作，更可降低IT环境的复杂度和管理成本。

1.3.1 H3Cloud云计算解决方案组件

H3Cloud云计算解决方案面向于私有云IaaS（基础设施即服务），主要包含以下几个部分：

云计算平台

现有的企业计算环境通常是x86平台，H3Cloud可以通过服务器的虚拟化进行计算资源的整合与灵活利用，进行服务器计算资源的整合、动态调整、迁移。

H3C FlexServer服务器系列定义了下一代2U双插槽机架式服务器的标准。借助可维护性方面的改进、无与伦比的性能、强大的配置灵活性和受用户启发的设计模式，H3C FlexServer所提供的完美解决方案能满足当今不断扩展的数据中心所需的动态计算机要求。H3C FlexServer服务器支持iLO管理引擎，这是一套全面的嵌入式管理特性，可支持服务器的完整生命周期（从初始部署到运行管理、再到服务警报和远程支持）。

云存储平台

实现IaaS的一个重要组成部分是云存储，一个云计算的基础设施要服务于很多个不同的业务系统或者应用，每个业务系统或应用都会有不同的存储需求，H3Cloud可以通过存储虚拟化管理，进行存储需求的整合，灵活的容量控制。

- 9 -

H3Cloud云计算解决方案中的存储组件提供了经济实惠的企业功能，并具有全面的功能集，简化了对所有位置的集中管理，是具有各种虚拟服务器、客户端虚拟化、数据库、电子邮件和业务应用程序的环境的理想选择。

存储组件中集成了各种出色的应用程序可用性和灾难恢复功能，在任何情况下都可进行自动故障转移/故障恢复， 并针对虚拟化环境进行了优化，并为用户和应用程序提供了即时满足需求的连续数据可用性。

虚拟化网络基础平台

随着云计算环境下虚拟化技术的大规模部署，传统的网络架构将面临着很多新的挑战，包括规格与性能、虚拟机接入与控制、大二层网络部署、流量突发与拥塞等等，如下图所示：

H3C虚拟网络方案通过数据中心级设备、网络虚拟化及虚拟机网络接入新标准（EVB）等产品与技术的创新，可以实现网络基础平台对云计算虚拟化环境的良好支撑，同时大大简化网络的运维管理。

云管理平台

- 10 -

服务器虚拟化、存储虚拟化和网络虚拟化只是构成云计算基础设施的硬件资源池，在云计算环境中，最重要的一点是实现资源池的自动化，避免人力对于基础设施的过多干预。H3Cloud通过自动化的管理平台和手段，帮助用户实现对云硬件资源和业务流程的快速部署与自动化维护和管理。

H3Cloud云管理平台由Cloud Virtualization Kernel（CVK）、Cloud Virtualization Manager(CVM)和Cloud Intelligence Center(CIC)三个组件完成：

Cloud Virtualization Kernel（CVK）：虚拟化内核与管理代理

运行在基础设施层和上层操作系统之间的“元”操作系统，用于协调上层操作系统对底层硬件资源的访问，减轻软件对硬件设备以及驱动的依赖性，同时对虚拟化运行环境中的硬件兼容性、高可靠性、高可用性、可扩展性、性能优化等问题进行加固处理。

Cloud Virtualization Manager(CVM)：虚拟化管理软件包

主要实现对数据中心内的计算、网络和存储等硬件资源的软件虚拟化，形成虚拟资源池，对上层应用提供自动化服务。其业务范围包括：虚拟计算、虚拟网络、虚拟存储、高可靠性（HA）、动态资源调度（DRS）、虚拟机容灾与备份、虚拟机模板管理、集群文件系统、虚拟交换机策略等。

Cloud Intelligence Center(CIC)：云业务运营软件包

由一系列云基础业务模块组成，通过将基础架构资源（包括计算、存储和网络）及其相关策略整合成虚拟数据中心资源池，并允许用户按需消费这些资源，从而构建安全的多租户混合云。其业务范围包括：组织（虚拟数据中心）、多租户数据和业务安全、云业务工作流、自助式服务门户、兼容OpenStack的REST API接口等。

- 11 -

APIHyperStack业务编排层组织/虚拟数据中心自助服务门户云业务工作流帐管理层HyperCenter虚拟机生命周期管理镜像文件管理多租户安全管理策自动化服务层弹性计算服务容灾备份服务 弹性负载均衡服务虚从逻辑架构上，H3Cloud云管理平台包括虚拟化层、自动化服务层、管理层、业务编排层、API层：

虚拟化层

虚拟计算资源池HyperKernel虚拟化层虚拟存储资源池虚拟网络资硬件基础设施层计算存储网络利用Cloud Virtualization Kernel（CVK）提供的底层虚拟化能力和上层Cloud Virtualization Manager(CVM)提供的管理能力，屏蔽底层物理硬件基础设施的异构性和复杂度，对外以虚拟资源池的形式呈现。

自动化服务层

强调业务运行的高可用性和可扩展性，并未业务提供自动的容灾备份与资源调度能力。

管理层

对虚拟化资源及云运营要素进行管理，如虚拟机生命周期的管理、虚拟机镜

- 12 -

像文件和配置文件的管理、多租户的安全隔离、网络策略配置的管理等。

业务编排层

对云计算资源进行可运营性管理，包括对虚拟资源池的编排、最终用户的自助服务门户、业务的申请、审批与开通、用户帐务的管理与报表输出等。

API层

为第三方云运营管理平台提供RESTful的API接口。

1.3.2 H3Cloud云计算解决方案亮点

1.3.2.1 直观的配置与管理

完全基于B/S架构的管理控制台，不仅让您轻松组织和快速部署整个IT环境，而且还能对包括CPU、内存、磁盘I/O、网络I/O等重要资源在内的关键元件进行全面的性能监测，为管理员实施合理的资源规划提供详尽的数据资料。

- 13 -

1.3.2.2 智能化的资源自动优化配置

H3Cloud云计算软件为虚拟机中运行的应用程序提供简单易用、成本效益高的高可用性功能。硬件故障导致的服务器或虚拟机宕机再也不会造成灾难性的后果，H3Cloud提供的资源智能调度能力会为这些服务器或虚拟机自动选择最佳的重新运行位置。

1.3.2.3 支持IEEE 802.1Qbg标准草案

支持IEEE 802.1Qbg（VEPA）协议标准草案，与H3C 5820V2交换机及iMC VCM网管组件配合，能够实现对虚拟机流量的全面监控。

1.3.2.4 快速业务部署能力

支持虚拟机的快速克隆功能，所有链接到主镜像文件的虚拟桌面都可以通过更新主镜像文件来修补或更新，而不会影响用户的设置、数据或应用程序，大幅简化了桌面的管理，同时极大地减少存储空间的浪费和缩短了部署虚拟桌面的时间。

支持虚拟机系统的增量备份功能，仅备份上一次完全/增量备份后发生变化的文件，极大地减少了每次备份文件的数量和备份的时间，提高了备份效率。

1.3.2.5 自助式云业务电子流

自助式服务管理为用户提供了一个安全的、多租户的、可自助服务的IaaS，是一种全新的基础架构交付和使用模式。通过H3Cloud云计算软件提供的虚拟化资源池功能，使IT部门能够将计算、存储和网络等物理资源抽象成按需提供的弹性虚拟资源池，以消费单元（即组织或虚拟数据中心）的形式对外提供服务，IT部门能够通过完全自动化的自助服务访问，为用户提供这些消费单元以及其它包括虚拟机和操作系统镜像等在内的基础架构和应用服务模板。这种自助式的服务真正实现了云计算的敏捷性、可控性和高效性，并极大程度地提高了业务的

- 14 -

响应能力。

云资源系统管理员云服务组织管理员云用户最终用户2云资源申请5云服务申请1物理资源整合与资源池化4组织策略配置与虚拟机模板管理7使用虚拟资源最终用户计算资源最终用户6云服务申请审核通过虚拟资源分配3存储资源云资源申请审核通过组织创建与云资源分配最终用户最终用户网络资源

1.3.2.6 多租户业务安全

通过用户数据安全隔离与网络安全策略模板，确保虚拟化、多租户环境下的用户隐私信息及数据的安全。

虚拟化资源位置信息的唯一标识，避免了虚拟化技术引起的物理边界模糊可能导致的司法取证问题。

通过用户权限的精细化控制、管理帐号的分级管理以及详细的操作访问日志，避免权限滥用问题。

- 15 -

最终用户系统管理员云服务用户自助服务门户虚拟机模板虚拟网络系统管理用户组管理组织 #1组织 #2权限管理多租户安全隔离日志管理云资源物理资源虚拟资源系统配置管理计算资源存储资源网络资源虚拟机虚拟机模板License管理

1.3.2.7 为高性能、高效率和轻松访问而构建的云计算服务器

符合能源之星标准的H3C FlexServer服务器配置充分体现了H3C一贯的帮助客户节市能源、降低成本的宗旨。

借助通用免工具的新型滑轨，可以快速安装H3C FlexServer，快速释放杆可实现快速服务器访问。非常灵巧的电缆管理支架选项，可实现灵活布线和出色的布线管理，让您可以快速访问该服务器。

率先推出的3D阵列温度传感器可精确控制服务器风扇直接散热，从而避免了不必要的风扇功耗。

1.3.2.8 存储组件确保出色的应用可用性和灾难恢复能力

H3Cloud云计算解决方案中的存储组件可跨存储节点集群分割和保护多份数据副本，并消除SAN中的单点故障。 应用程序在发生电源、网络、磁盘、

- 16 -

控制器、存储节点或站点故障的情况下，具有连续的数据可用性。

H3Cloud云计算解决方案中的存储组件高可用性架构的优点是，一个单一的存储集群可托管不同网络RAID级别的卷，每个卷的可用性和/或性能水平依应用的需求而异。

H3Cloud云计算解决方案中的存储组件具备集成复制功能，通过自动化和透明的故障转移与故障恢复简化管理。 如果有一个存储节点脱机，它就会从脱机时间开始跟踪数据变化；当节点重新联机时，变更的数据块就会恢复到当前水平。

1.3.2.9 经济实惠的企业级存储功能和全面的特性集

横向扩展存储集群允许将多个存储节点整合到共享存储池中。 汇聚所有可用的容量和性能，用于集群中的每个卷。 随着存储需求的增长，存储组件可在线横向扩展性能和容量。

网络RAID可跨存储节点集群分割和保护多份数据副本，从而消除存储组件中的任何单点故障。 应用程序在发生电源、网络、磁盘、控制器、存储节点或站点故障的情况下，具有连续的数据可用性。

多站点SAN可用性使存储组件能够将集群中的存储节点分配到不同的地点（机架、机房、建筑和城市），并提供无缝的应用高可用性，跨不同地点自动实现故障转移/故障恢复。

无须预留快照，实现精简配置，只分配写入数据所需的空间，无需预分配存储容量，从而提高存储组件的整体利用率和效率。

- 17 -

第2章 需求分析

2.1 项目背景

为推动XXX信息化的发展，XXX致力于私有云服务平台的建设。

本项目将依据“加速成长、优势互补、资源汇聚、持续发展、创新增值”的原则，有效地整合和配置企业的公共服务资源，提供IT基础架构及应用的完整支撑和公共服务解决方案。本项目建成后不但将支撑企业在信息建设工作中的普遍需求，提供共性的技术和服务，而且会针对不同行业对于信息应用的特殊需求，提供面向特定行业领域的技术和服务。

依据“资源共享、业务合作、优势互补、可持续发展”原则，有效地整合和配置企业的公共服务资源，提供软件研发及应用的完整支撑和公共服务解决方案。在充分依托现有资源的基础上，重点建设数据中心及云计算公共服务中心等服务模块。

2.2 需求分析

对于数据中心的建设，云计算是多种概念和技术并行发展，融合过程中逐渐形成的一个多层次，多模式，多维度的复合概念，不同的企业应用可以选择使用不同的云计算技术来构建。云计算不仅有助于提高资源利用率，节约成本，还能大幅度提高应用程序从设计开发到业务部署的速度，并有助于加快创新步伐，创造更大的业务成效。

针对本次项目的需求，通过分析，认为此次项目的方案架构也应该从面向云服务和云计算的角度出发，搭建具有先进性的方案架构。

云服务具有5个特征： （1）面向服务的

（2）具有可扩展性，是一个弹性的框架 （3）是共享的平台 （4）按需计量的

- 18 -

（5）云服务是基于互联网技术的

“云计算”平台为企业提供共享计算、共享存储、开发环境平台搭建、支撑服务软件等内容的公共技术服务。建设内容包括：中心机房、服务器设备、存储设备、网络设备、安全设备、支撑软件、业务软件等模块。

2.3 建设目标

数据中心及云计算服务中心依托先进技术，能统一管理标准，确保平台的保密性、安全性、稳定性和可扩展性。统一标准的平台降低了IT维护成本，提高了对需求的响应速度，从而达到以下目标：充分利用现有的硬件、软件资源；支持计算、存储资源共享能力；为企业提供业务支撑服务。

平台不管从系统安全、可靠性、大容量，还是可扩充性等诸多方面，都应给予非常全面的考虑：

1. 经济性

2. 可靠性,避免单点故障 3. 大容量,可扩展性 4. 安全性，实现安全域划分 5. 分级网管

2.4 建设要求

在本次项目的设计和建设中，需严格遵循以下原则： （1）稳定性

应采取各种必要技术措施，保证公共服务平台具备有优秀的稳定性，在保证性能的前提下，为主要业务提供7x24小时持续的支撑服务。

（2）安全性

平台系统应能充分考虑用户数据的安全，避免用户受到异常攻击或敏感数据窃取。应能主动评估业务系统的安全状况及提供弥补措施，并提供各种操作行为的可回溯能力。同时，应能提供独立的机房、专用的门禁及专享的运营管理团队，确保机房及公共服务平台运行的安全。

（3）可扩展性

- 19 -

各平台应具备良好的扩展能力，满足数据中心长期发展的要求。根据业务的发展预测，平台系统定期按照适度预留的原则进行建设，能在规定时间内快速响应新的用户，新的业务的新增要求。

（4）灵活的 IT 基础架构

满足资源的随时随地按需分配，需要建立一个灵活的硬件基础架构。硬件基础架构通常由虚拟的服务器池、共享的存储系统、网络和硬件管理软件组成。

（5）自动化资源部署

云计算运行管理平台的核心功能是自动为用户提供服务器、存储以及相关的系统软件和应用软件。用户、管理员和其他人员能通过 Web 界面使用该功能。要实现资源的自动部署，必须做到：

首先，建立一个中心数据库来管理数据中心的硬件资源；其次，要规范化资源的使用，包括标准化操作系统、数据库软件、中间件软件的种类和版本。

自动化的部署流程不仅能做到“随需应变”，适应用户的需求，而且能够带来以下好处：引入技术和创新的时间缩短，设计、采购和构建硬件和软件平台的人力成本降低，以及通过提高现有资源的利用率和复用率节省成本。

（6）完善的资源监控及故障处理手段

云计算服务管理平台提供资源和服务的各种运维能力，可以监控资源的使用情况，对于平台故障提供及时地预警报警，保证云计算平台的稳定运行。

（7）有助于建立IT管理规则

为了实现数据中心的规范管理，需要以云计算运行管理平台为基础，有助于为数据中心制定一套完整的管理规则。

（8）开放性

要求各类系统设计、产品及网络构建都要满足相关的国际标准和国家标准，提供标准结构及接口，有效地兼容各种品牌、厂商、电子运营商的系统和网络，实现多系统、多平台的互联互通。

- 20 -

第3章 总体设计

3.1 建设目标

目前IT信息技术已经延伸到企业的各个层面，从企业角度看，云计算有利于整合信息资源，实现信息共享，促进企业信息化的发展。从用户角度看，利用云计算可以独立实现或享受某一项具体的业务和服务。因此云计算将在企业的IT政策和战略中正扮演越来越重要的角色。企业云计算中心的建设，未来的核心业务涵盖如下范围：

以“统规、统建、统维”思想为指导，以丰富的云基础设施，云存储，云安全和各类云服务构件共同构建XXX云服务平台，服务于：

1. 为XXX企业提供计算环境，降低企业的IT硬件投资

2. 为XXX内部应用提供基于云计算平台办公应用、生产经营运行监控。 3. 为XXX企业提供通用企业管理软件，为企业建立低成本的管理系统 4. 为XXX企业提供基于云计算平台的开发测试环境

5. 为XXX企业提供IaaS/PaaS/ SaaS平台，为企业向云计算转型服务 6. 优化投资环境，节省企业IT软硬件投入和开发环境的投入，吸引企业加

快企业自身信息化发展。

本方案将云数据中心“IT基础设施”的“按需使用”以及”自动化管理和调度”作为云计算的实践，形成可落地实施的、可持续发展的云计算平台，即IaaS云计算平台。

作为XXX的云计算实践，云计算数据中心的建设建议达到以下目标： 统一管理

通过最新的云计算核心技术之一虚拟化技术，整合现有所有应用，整合内容

- 21 -

包括WEB、MAIL、FTP、域控管理、OA系统、后台数据库等应用，将整个业务系统作统一的规划和部署，统一数据备份，从而形成自上向下的有效IT管理架构。

强调整体方案的可扩展性、高可用性、易用性和易管理性

采用最新的2路双核服务器，保证整个硬件系统的可靠性和可用性，为用户的应用提供可靠的硬件保障；建设云计算平台，发挥云计算平台的优越性，为用户提供HA高可用，保证用户业务系统的连续性和高可用性，让用户的业务实现零宕机风险；专业的管理软件，保证硬件系统和软件系统的可管理性，为用户节市管理投资成本。

3.2 建设内容

云计算平台建设主要包括以下建设内容： 1、资源池化系统（服务器、存储、网络资源池） 2、云平台管理及运营系统 3、云计算安全支撑系统

3.3 建设原则

本项目建设遵循以下建设原则：  先进性

基础设施平台建设采用的产品和技术具有云平台的特征及技术的先进性，保障平台的资源使用周期最大化。但采用先进的技术也有一定的风险，即可能存在技术不成熟问题。我们采用充分论证及测试的方式，在选择先进技术时，把技术风险降低。并通过平台的小规模运营实践，逐步淘汰不成熟、不可行的技术，将整个平台建设成技术领先的基础设施系统。

 高可靠性

- 22 -

云计算平台作为承载未来企业应用的重要IT基础设施，承担着稳定运行和业务创新的重任。伴随着数据与业务的集中，云计算平台的建设及运维给信息部门带来了巨大的压力，因此平台的建设从基础资源池（计算、存储、网络）、虚拟化平台、云平台等多个层面充分考虑业务的高可用，基础单元出现故障后业务应用能够迅速进行切换与迁移，用户无感知，保证业务的连续性。  可扩展性

可实现通过简单的硬件扩容达到系统动态扩容的目的，可动态伸缩，满足应用和用户规模增长的需要。  易管理

云计算的最终目标是要实现系统的按需运营，多种服务的开通，而这依赖于对计算、存储、网络资源的调度和分配，同时提供用户管理、组织管理、工作流管理、自助Portal界面等。从用户资源的申请、审批到分配部署的智能化。管理系统不仅要实现对传统的物理资源和新的虚拟资源进行管理，还要从全局而非割裂地管理资源，因此统一管理与自动化将成为必然趋势。  开放性

当前阶段云计算整个产业化还不够成熟，相关标准还不完善。为保证多厂商的良好兼容性，避免厂商技术锁定，方案的设计充分保证与第三方厂商设备保持良好的对接。此外，为保证方案的前瞻性，设备的选型应充分考虑对已有的云计算相关标准（如EVB/802.1Qbg等）的扩展支持能力，保证良好的先进性，以适应未来的技术发展。

传统的管理系统与上层系统对接，注重故障的上报和信息的查询。而云计算的管理系统更关注如何实现自动化的部署，在接口方面更关注资源调度和分配，这就需要管理系统在业务调度方面实现开放。为保证服务器、存储、网络等资源能够被云计算运营平台良好的调度与管理，要求系统提供开放的API接口，云计算运营管理平台能够通过API接口、命令行脚本实现对设备的配置与策略下发联动。同时云平台也提供开放的API接口，未来可以基础这些接口进行二次定制开

- 23 -

放，将云管理平台与企业应用相融合，实现面向云计算的企业应用管理平台。

3.4 建设思路

随着XXX信息化的深入，数据大集中以及信息交换的要求很高的计算能力。传统企业数据中心建设和运维的成本（包括电力成本、空间成本、维护成本等）在不断上升。简单的通过设备叠加和设备性能增强已经难以适应上述的要求。因此，当XXX数据中心建设的核心需求为在IT建设模式上进行转变。改变传统的“竖井式”IT建设模式而引入云计算建设模式来整合优化当前信息中心内的硬件资源，提升数据中心的资源弹性、运行效率、交付能力以及扩展能力，并从根本上降低数据中心的建设成本，如下图所示。

云计算架构下的IT建设模式并没有完全颠覆传统IT的建设方式，在硬件资源大集中的前提下，先完成计算、存储、网络的资源集中化，同时增加虚拟化层与云层解决硬件统一整合以及资源按需分配的问题。

- 24 -

有别于传统建设模式单机单用的情况，虚拟化层通过在裸金属服务器上加装虚拟化内核Hypervisor这一层从而实现单个物理计算节点能够虚拟出多个逻辑隔离的计算节点即虚拟机的方式来承载多个应用，通过虚拟化层的集中管理能够为企业带来如下好处：

 提高现有资源的利用率，传统单机单用的业务部署模式对硬件资源独占

无法共享，而大部分时间硬件资源利用率都较低部分业务甚至不足3%，虚拟化层可通过一虚多的方式，充分利用每一个计算服务器的资源，提高现有资源的利用率；

 降低数据中心成本，传统建设模式业务部署或扩容更多的都是硬件设备

的追加，通过虚拟化层可以利用现有的服务器进行业务整合，未来新建部署的业务系统也可以通过虚拟机承载的方式快速部署，建设硬件成本的追加，同时硬件设备数量的减少也可以带来数据中心空间成本的节省以及数据中心耗电的节省；

 提高 业务连续性，基于虚拟化迁移、集群、负载均衡等技术，任何虚

拟机或者承载于虚拟机上的业务系统并不依托于某一个硬件节点存在，

- 25 -

所以对于整个数据中心计算资源池节点，单个物理节点出现问题并不会出现业务服务的中断，在不追加任何冗余设备的技术上日高了业务本身的连续性；

如果说虚拟化层解决的是资源整合管理的技术问题，那么云层解决的就是资源按需申请分配的管理问题，系统管理员能够通过云层资源编排的功能把后台的资源通过模板的方式行程服务发布出来，而使用者能够通过云层自主Portal的方式按需申请资源，真正实现使用者---资源---管理者间的流程自动化。

需要强调的是，转变现有的建设模式而引入云计算架构并不是彻底的推翻现有IT系统进行重建，建设中需要充分考虑对现有业务系统的兼容和平滑升级，在方案部分也会重点从虚拟化层以及云层这两个方面详细描述。

- 26 -

第4章 建设方案

4.1 系统总体架构

本项目的总体架构如下图所示：

图例： 千兆链路 管理中心 H3C 业务系 iMC+VCM 管理网交换机 网络池 万兆链路 H3C S5120SI 业务系统 H3C 云计算软件套件 统 管理链路 计算池 IP SAN交换机 操作系统 H3C S5820X 操作系统 云接入交换机 H3C S5820V2存储池 根据本期工程的需求和建设目标云计算平台总体逻辑拓扑结构如上图所示。整个平台由网络资源池、计算资源池、存储资源池、管理中心四部分组成，网络出口与XXX广域网相连。

- 27 -

网络资源池

采用业界主流的“核心+接入”扁平化组网，核心交换机采用2台H3C S10508数据中心级交换机，部署IRF2虚拟化技术，并在机框内部署入侵检测（IPS）和防火墙（FW）插卡，实现业务的入侵防御和安全隔离防护，外联至2台广域网出口路由器SR6602X，实现与XXX各单位互通；接入交换机采用2台H3C 5820V2设备，部署IRF2虚拟化技术，通过10G链路和2台核心交换机相连。管理网交换机采用1台H3C S5100EI设备，与服务器、存储设备的管理接口互联。IP SAN交换机采用2台H3C 5820X设备，部署IRF2虚拟化技术，1套H3C P4500存储通过10G链路和X台H3C R390服务器相连。

计算资源池

采用H3Cloud云计算操作系统软件，将X台h3C R390机架服务器组建HA集群，在虚拟机上部署企业业务应用，并配合HA和动态负载均衡等高级功能，实现业务的连续性，减少计划内宕机时间，提高资源利用率。

H3C FlexServer R390机架式服务器

H3C FlexServer R390机架服务器系列定义了下一代2U双插槽机架式服务器的标准。借助可维护性方面的改进、无与伦比的性能、强大的配置灵活性和受用户启发的设计模式，H3C FlexServer R390所提供的完美解决方案能满足当今不断扩展的数据中心所需的动态计算机要求。H3C FlexServer R390服务器支持iLO管理引擎，这是一套全面的嵌入式管理特性，可支持服务器的完整生命周期（从初始部署到运行管理、再到服务警报和远程支持）。

处理器 处理器数 内存 H3C FlexServer R390 英特尔至强E5-2620（6 核、2 GHz、15 MB） 2 64GB - 28 -

内存类型 网络控制器 H3C FlexServer R390 DDR3 1 个 1 Gb 331FLR 以太网适配器（4 端口） 1 个智能阵列 P420i/1GB FBWC 2 个 460 瓦通用插槽金级热插拔电源 存储控制器 电源类型

存储资源池

采用1套H3C p4500存储阵列，统一存放虚拟机镜像文件和业务系统数据，这样做不会在运行虚拟机的云计算计算节点主机上引起任何额外的负载。

H3C FlexStorage P4500 SAS存储系统

H3Cloud云计算解决方案中的存储组件提供了经济实惠的企业功能，并具有全面的功能集，简化了对所有位置的集中管理，是具有各种虚拟服务器、客户端虚拟化、数据库、电子邮件和业务应用程序的环境的理想选择。

存储组件中集成了各种出色的应用程序可用性和灾难恢复功能，在任何情况下都可进行自动故障转移/故障恢复， 并针对虚拟化环境进行了优化，并为用户和应用程序提供了即时满足需求的连续数据可用性。

对虚拟环境来说，FlexStorage P4500 14.4TB SAS虚拟化SAN提供了优化的共享存储，可确保实现经济高效的高可用性、可扩展的性能以及无中断的配置变更。

硬盘说明 支持24块LFF SAS硬盘 600GB 6G 15K LFF双端口ENT SAS硬盘； 附带24块 - 29 -

硬盘类型

最小14.4TB 容量 最大230.4TB 存储扩展选件 使用存储集群能力，并向SAN环境逐步添加FlexStorage P4500存储系统，以扩展存储容量：H3C FlexStorage P4500 7.2TB SAS存储系统。 1GbE iSCSI （4）端口 可升级到10GbE iSCSI （4）端口 Apple OS X Citrix XenServer HP-UX IBM AIX Microsoft Windows 2003 支持的操作系统 Microsoft Windows 2008 Novell NetWare Oracle Enterprise Linux Red Hat Linux SUN Solaris SUSE Linux VMware 超冗余集群存储 冗余、热插拔电源；冗余风扇；冗余、热插拔硬盘；集成的存储控制器（带电池支持的DDR2高速缓存）；磁盘RAID 5、6和10；超冗余集群存储；网络RAID级别（每卷） 0、5、6、10、10+1和10+2最多支持4个数据拷贝，即使在电源、网络、磁盘、控制器、存储节点或站点出现故障时，您的数据将仍然可用。 基于SAN/IQ的全面的企业级特性 精简配置功能 集成应用的快照 远程复制。异步复制和带宽遏制；多站点/灾难恢复解决方案包和同步复制。 SmartClone 集中的管理控制——H3C Integrated Lights-Out 2 Remote Management、Baseboard Management Controller IPMI 2.0 保修 三年部件、三年人工、三年现场、下一工作日 主机接口

管理中心

采用2台H3C R390机架服务器，分别部署H3C iMC DCM数据中心管理套件和H3Cloud CAS（含CVM、CIC），实现对云计算资源池的统一管理及调度。

- 30 -

4.2 计算资源池

服务器是云计算平台的核心，其承担着云计算平台的“计算”功能。对于云计算平台上的服务器，通常都是将相同或者相似类型的服务器组合在一起，作为资源分配的母体，即所谓的服务器资源池。在这个服务器资源池上，再通过安装虚拟化软件，使得其计算资源能以一种虚拟服务器的方式被不同的应用使用。这里所提到的虚拟服务器，是一种逻辑概念。对不同处理器架构的服务器以及不同的虚拟化平台软件，其实现的具体方式不同。在x86系列的芯片上，其主要是以常规意义上的VMware虚拟机或者H3Cloud虚拟机的形式存在。

4.2.1.1 资源池分类设计

在搭建服务器资源池之前，首先应该确定资源池的数量和种类，并对服务器进行归类。归类的标准通常是根据服务器的CPU类型、型号、配置、物理位置来决定。对云计算平台而言，属于同一个资源池的服务器，通常就会将其视为一组可互相替代的资源。所以，一般都是将相同处理器、相近型号系列并且配置与物理位置接近的服务器——比如相近型号、物理距离不远的机架式服务器或者刀片服务器。在做资源池规划的时候，也需要考虑其规模和功用。如果单个资源池的规模越大，可以给云计算平台提供更大的灵活性和容错性：更多的应用可以部署在上面，并且单个物理服务器的宕机对整个资源池的影响会更小些。但是同时，太大的规模也会给出口网络吞吐带来更大的压力，各个不同应用之间的干扰也会更大。如果有条件的话，通常推荐先审视一下企业自身的业务应用。可以考虑将

- 31 -

应用分级，将某些级别高的应用尽可能地放在某些独立而规模较小的资源池内，辅以较高级别的存储设备，并配备高级别的运维值守。而那些级别比较低的应用，则可以被放在那些规模较大的公用资源池（群）中。

初期的资源池规划应该涵盖所有可能被纳管到云计算平台的所有服务器资源，包括那些为搭建云计算平台新购置的服务器、企业内部那些目前闲置着的服务器以及那些现有的并正在运行着业务应用的服务器。在云计算平台搭建的初期，那些目前正在为业务系统服务的服务器并不会直接被纳入云计算平台的管辖。但是随着云计算平台的上线和业务系统的逐渐迁移，这些服务器也将逐渐地被并入云计算平台的资源池中。

对于x86系列的服务器，除了用于生产系统的资源池以外，还需要专门搭建一个测试用资源池，以便云计算平台项目实施过程以及平台上线以后运维过程中使用。

在云计算平台搭建完毕以后，企业的服务器资源池可以如下图所示：

在云计算平台上线以后，原有非云计算平台上的应用会逐步向云计算平台迁移，空出的服务器资源池也会逐渐并入云计算平台的资源池中。其状态可以用下图所示：

H3Cloud CVM虚拟化管理平台体系将IT数据中心的物理服务器资源以树形结构进行组织管理，统一称之为云资源。

- 32 -

云资源是H3Cloud云计算软件分层管理模型的核心节点之一，用来统一管理数据中心内所有的、复杂的硬件基础设施，不仅包括基本的IT基础设施（如硬件服务器系统），还包括其它与之配套的设备（如网络和存储系统）。默认情况下，H3Cloud云计算管理平台出厂配置中已经添加了一个名为“云资源”的根节点，准备使用H3Cloud云计算软件进行管理的所有物理资源都需要手工逐一添加到该节点下进行统一的管理。

云资源中的被管理对象之间的关系可以用下图描述：

4.2.1.2 主机池设计

在H3Cloud云计算软件体系架构中，主机池是一系列主机和集群的集合体，主机有可能已加入到集群中，也可能没有。没有加入集群的主机全部在主机池中进行管理。

在H3Cloud云计算管理平台主界面导航菜单窗口中点击“云资源”，在快捷工具栏中选择<增加主机池>按钮。

或者右键单击“云资源”，在弹出的上下文菜单中选择<增加主机池>子菜单。

- 33 -

在弹出的增加主机池对话框中，输入主机池名称后，单击<确定>按钮完成主机池的添加。

4.2.1.3 HA集群设计

传统数据中心内的服务器高可靠性保障通常会选择依赖于集群技术的部署。而云计算平台将计算资源虚拟化以后，可以利用虚拟服务器自身虚拟化的特点实现传统物理服务器上无法实现的高可靠性。

为了提升云业务系统的可靠性，在云计算平台的计算资源池建设时，可以将多个物理主机合并为一个具有共享资源池的集群。CVM HA功能会监控该集群下所有的主机和物理主机内运行的虚拟主机。当物理主机发生故障，出现宕机时，HA功能组件会立即响应并在集群内另一台主机上重启该物理主机内运行的虚拟机。当某一虚拟服务器发生故障时，HA功能也会自动的将该虚拟机重新启动来恢复中断的业务。具体操作如下图所示：

- 34 -

除了对集群中的物理服务器节点进行持续检测之外，H3C CAS HA软件模块还对运行于物理服务器节点之上的虚拟机进行持续检测。

在每台服务器节点上都运行了一个LRMd（Local Resource Manager daemon，本地资源管理器守护进程），它是HA软件模块中直接操作所管理的各种资源的一个子模块，负责对本地的虚拟化资源进行状态检测，并通过shell脚本调用方式实现对资源的各种操作。

当LRMd守护进程检测到本机的某台虚拟机出现通信故障时，首先将事件通知给DC，由DC统一将该虚拟机状态告知集群内所有的物理服务器节点，并按照一定的策略算法，为该故障的虚拟机选择一个空闲的服务器节点，在该节点上重启该虚拟机。

共享存储池SAN/iSCSI/NFS在集群内自动为虚拟机选择空闲的服务器节点，实现动态迁移和业务的高可靠性服务器集群VMVMVMLRMdCVKVMVMVMDCCVKVMVMVMLRMd持续检测本机虚拟机运行状态，由DC为故障的VM自动选择迁移后的服务器节点。CVKIP network使用H3C CAS云计算软件HA特性进行虚拟机故障切换

H3C CAS HA技术有效的解决了目前其它高可用性解决方案面临的问题：

当物理服务器发生硬件故障时，所有运行于该服务器的虚拟机可以自动切

换到其它的可用服务器上，相对传统的双机容错方案，H3C CAS HA可以最大程度减少因硬件故障造成的服务器故障和服务中断时间。

- 35 -

不同于其它HA的双机热备方式，所有参与HA的物理服务器都在运行生产

系统，充分利用现有硬件资源。同时，对众多的操作系统和应用程序，H3C CAS提供统一的HA解决方案，避免了针对不同操作系统或者应用，采用不同的HA方案带来的额外开销和复杂性。

通过H3C CAS HA，IT部门可以：

为没有容错功能的应用提供冗余保护

传统意义上HA实现很复杂并且价格昂贵，多用于关键性的服务或应用，而H3C CAS HA为所有的应用程序提供了高性价比的HA解决方案。

为整个IT环境提供“第一条安全防线”

不同于其它基于操作系统和应用的HA实现方式，H3C CAS HA为IT系统提供了更统一、更易于管理的高可用性解决方案。H3C CAS用最少的成本和最简单的管理方式为所用的应用提供了最基本的冗余保护功能。

综上所述，H3C CAS HA解决方案的技术特点总结如下： 1.自动侦测物理服务器和虚拟机失效

H3C CAS会自动的监测物理服务器和虚拟机的运行状态，如果发现服务器或虚拟机出现故障，会在其它的服务器上重新启动故障机上所有虚拟机，这个过程无需任何人为干预。

2.资源预留

H3C CAS永远会保证资源池里有足够的资源提供给虚拟机，当物理服务器宕机后，这部分资源可以保证虚拟机能够顺利的重新启动。

3.虚拟机自动重新启动

通过在其它的物理服务器上重新启动虚拟机， HA可以保护任何应用程序不会因为硬件失效而中断服务。

4.智能选择物理服务器

当与H3C CAS动态负载均衡功能共同使用时，H3C CAS HA可以根据资源的使用情况，为失效物理服务器上的虚拟机选择能获得最佳运行效果的物理服务器。

HA功能给企业云计算平台带来的价值如下：

- 36 -

 简便的设置和启动：使用“新建集群”向导来进行初始设置，使用H3C CVM虚拟化管理平台添加主机和新的虚拟机。

 降低硬件成本和设置：在传统集群解决方案中，必须有重复的软硬件，而且各个组件必须正确连接和配置。使用CVM集群时，只要保证有足够的资源容纳要确保其故障切换的主机的数量，就可以便捷自动地完成主机故障切换。

 无论硬件和操作系统平台如何，CVM HA都通过为应用程序提供可用的、经济的高可靠性，而使其更“大众化”。

4.2.1.4 主机设计

集群创建成功之后，没有任何主机或虚拟机包含于其中，为了基于将主机和虚拟机基于集群进行管理，首先需要将主机添加到集群。

在H3Cloud云计算管理平台主界面导航菜单窗口中点击需要增加主机的集群，在快捷工具栏中选择<增加主机>按钮。

或者右键单击需要增加主机的集群，在弹出的上下文菜单中选择<增加主机>子菜单。

在弹出的增加主机对话框中，输入需要被添加到集群的主机的IP地址、通过SSH协议访问主机的用户帐号及密码后，单击<确定>按钮完成主机池的添加。

- 37 -

4.2.1.5 虚拟机生命周期管理

传统的虚拟机生命周期是指虚拟机从创建到删除所经历的各个阶段，最常见的划分为“创建、运行、终结”三个阶段。在IaaS架构中，虚拟机作为最为重要的IT基础设施，它的生命周期供贯穿于整个云业务服务的流程之中，并直接关系着云计算平台的资源利用状况。因此，为了更好的将虚拟机的生命周期管理和云业务及资源平台管理结合在一起，在H3Cloud 云计算解决方案中，将虚拟机的生命周期外延为“规划、创建、运行、调整、终结”五个阶段。在云解决方案中，虚拟机生命周期的管理除了关注虚拟机正常的生命阶段以外，还需要关注虚拟机两个外延属性——业务和资源。



规划

虚拟机的规划是IT架构的关键设计范畴。在这个阶段需要将业务需求转化为IT需求，并落实到业务和资源两个方面的规划设计中来。着重考虑两个方面的内容：

➢ 业务梳理和评估

➢ 通过对业务的梳理，评估数据中心平台各业务部门对虚拟机类型和规模的需求 定义各部门组织以及给组织划分其所属的虚拟资源，包括计算资源，网络资源，存储资源以及虚拟机模板等。实际操作流程如下图所示：

- 38 -



创建

虚拟机的创建是虚拟机实体诞生并提供给用户业务的开始。H3Cloud 云方案提供了多种方式来创建虚拟机：从模板生成，自定义参数，克隆等。

虚拟机创建时需要考虑硬件资源（CPU数量（核数）&CPU调度优先级 ，IO资源：存储资源&IO优先级 。内存大小 ，网络资源 等）和系统和应用（ 操作系统等））两方面的内容。 这些因素在H3C 云管理平台中虚拟机创建流程中都会有涉及，具体操作界面如下图所示：



运行

- 39 -

虚拟机的运行可以实现完整的传统物理机运行状态。而且依托虚拟化技术实现更加灵活的虚拟机使用模式：启动、休眠、关闭、暂停、恢复、重启。用户可以依托H3C云管理平台简单的实现上述虚拟机的状态的切换，具体如下图所示：



调整

虚拟机的调整是云业务管理员根据虚拟机所承载的业务的变化需求对现有虚拟机所占资源的主动行为。这种调整可以是由于业务扩展带来的虚拟机硬件资源扩张，也可能是业务收缩后对多余资源的释放。虚拟机的调整是云计算业务资源弹性最直观的体现，也是云计算技术给业务开展带来敏捷性的根本所在。H3C云计算平台可以在线的调整虚拟机所占用的系统资源，实际操作如下图所示：

- 40 -



终结

如下图所示，虚拟机在云计算管理平台上被删除，即意味着虚拟机生命周期的终结。在虚拟机生命周期终结时要关注虚拟机所占用系统资源的回收。H3C云管理平台在虚拟删除后，会自动回收CPU和内存等资源，为了保证虚拟机数据安全其所占用的存储资源不会自动回收。

4.2.1.6 DRS动态资源调度

CVM提供的动态资源调整功能可以持续不断地监控计算资源池的各物理主机的利用率，并能够根据用户业务的实际需要，智能地在计算资源池各物理主机间给虚拟机分配所需的计算资源。通过自动的动态分配和平衡计算资源，动态资源调整特性能够：

整合服务器，降低IT成本，增强灵活性； 减少停机时间，保持业务的持续性和稳定性； 减少需要运行服务器的数量，提高能源的利用率。

随着业务量的增长，虚拟机对计算资源需求会相应的迅速增加。此时其所在物理主机的可用资源可能就不能再满足其上承载的虚拟机的计算需要。CVM动态资源调整功能组件可以自动并持续地平衡计算资源池中的容量，可以动态的将虚拟机迁移到有更多可用计算资源的主机上，以满足虚拟机对计算资源的需求。即便大量运行SQL Server的虚拟机，只要开启了动态资源调整功能，就不必再对CPU和内存的瓶颈进行一一监测。全自动化的资源分配和负载平衡功能，也可以显著地提升数据中心内计算资源的利用效率，降低数据中心的成本与运营费用。

- 41 -

VMVMVMVMVMVMVMVMVMVMVMVM物理服务器物理服务器物理服务器集群

如上图所示，动态资源调整功能通过心跳机制，定时监测集群内主机的CPU利用率，并根据用户自定义的规则来判断是否需要为该主机在集群内寻找有更多可用资源的主机，以将该主机上的虚拟机迁移到另外一台具有更多合适资源的服务器上。具体操作如下图所示：

除了定时检测和动态迁移之外，H3C CAS还充分考虑了虚拟机对物理服务器主机的亲和性因素，即衡量虚拟机对当前物理主机的依赖程度。例如，用户可能希望某些虚拟应用系统只允许在固定的物理主机上运行，而不允许其动态迁移。此时，只需要在H3C CAS云计

算管理平台上，去勾选虚拟机的自动迁移属性即可（虚拟机自动迁移属性配置）。

- 42 -

动态资源调整技术特色总结

根据业务需求自动调整资源

H3C CAS动态资源调度功能将物理服务器主机资源聚合到集群中，通过监控CPU和内存等关键计算资源的利用率持续优化虚拟机跨物理主机的分发，将这些资源动态自动分发到各虚拟机中。

自动平衡计算容量

H3C CAS动态资源调度功能会不间断地平衡资源池内的计算容量，提高服务级别并确保每个虚拟机能随时访问相应资源，满足虚拟应用程序的高可用性。

4.2.1.7 虚拟机资源限额

默认情况下，H3C CAS给每台物理服务器主机上的虚拟机分配数量相同的CPU、内存以及磁盘I/O资源。但是，并不是所有虚拟机工作负载天生相同，例如，SQL服务器和Web服务器的访问需求就不尽相同，因此，手动调整分配给每个虚拟机的资源就显得非常重要。

- 43 -

CPUCPU优先级VM #1VM #2VM #3高中低磁盘I/O优先级中高低高服务器集群VMVMVMVMVMVMVM #1VM #2VM #3中低I/O中低IP network

H3C CAS通过资源限额方式来为虚拟机指定资源调度的优先级。有三种预设的限额分配方式：高、中、低，调度优先级权重分别为4:2:1，反映到份额上的数值如下表所示：

优先级权重 CPU调度优先级数值 CPU调度优先级百分比 磁盘I/O调度优先级数值 4 2048 57.1% 800 高 2 1024 28.6% 500 31.2% 中 1 512 14.3% 300 18.8% 低 磁盘I/O调度优先级百分比 50.0% 比如，一台物理服务器主机上分配了5个虚拟机，CPU调度优先级分别为高、中、中、低、低，那么，高优先级的虚拟机至少可以获得4/(4+2+2+1+1)=40%的CPU资源，中优先级的虚拟机至少可以获得20%的CPU资源，而低优先级的虚拟机至少可以获得10%的CPU资源。

需要强调的是，虚拟机资源限额机制的真正目的是为了确保每个虚拟机对资源的调度下限，如果物理服务器上没有发生虚拟机的资源抢占行为，那么，即使是低优先级的虚拟机也有可能独享该物理服务器上绝大部分的资源。

- 44 -

100%高100%

高SQL服务器VM #1中Web服务器VM #2低Mail服务器VM #3高SQL服务器VM #1中Web服务器VM #2低Mail服务器VM #3VM #1VM #1VM #2资源发生抢占的情况下，CPU资源调度优先级严格按照4:2:1的权重确保所有的虚拟机都能抢占到一定的资源，保证业务的可用性。VM #2VM #3假如高优先级的虚拟机处于负载低潮时，中优先级和低优先级的虚拟机可以抢占本属于高优先级虚拟机的资源，以提高应用程序的效率和物理资源的利用率。VM #3

当所有的虚拟机都处于满负载运行的情况下，CPU资源严格按照4:2:1的权重比例进行调度，以确保所有的虚拟机都能抢占到一定数量的资源，保证业务的可用性。一旦某个虚拟机的负载回落到权重比例之下，那么，其它的虚拟机可以抢占本属于该虚拟机的资源，以最大限度地利用物理资源的利用率，保证应用程序的运行效率。

4.2.1.8 虚拟机备份

随着云平台对IT信息化系统的依赖加深，业务系统备份是必不可少的组件。相应的，在云计算平台中，针对计算资源池中虚拟机备份也至关重要。

H3Cloud Virtualization Manager实现了透明的定时备份和即时备份功能，会在暂停虚拟机中的应用程序之后，为正在运行的虚拟机创建快照，从而对备份工作进行集中处理，以确保文件系统的一致性。如下图所示：

- 45 -

H3Cloud Virtualization Manager的备份特性是一种高效而低成本的灾难恢复特性，它将给用户带来如下价值：

 基于磁盘的备份功能，为虚拟机提供快速、简单的数据保护  无需额外代理的备份，简化了部署复杂度

 支持全自动的定时备份和手工干预的即时备份，满足不同的应用要求

4.2.1.9 完善的性能状态监控

 基于物理服务器的性能监控

提供物理服务器CPU和内存等计算资源的图形化报表及其运行于其上的虚拟机利用率TOP 5报表，为管理员实施合理的资源规划提供详尽的数据资料。

物理服务器性能图形报表

 基于虚拟机的性能监控

提供虚拟机CPU、内存、磁盘I/O、网络I/O等重要资源在内的关键元件进行全面的性能监测。

- 46 -

虚拟机性能图形报表

 基于虚拟交换机的性能监控

提供虚拟机交换机上各个虚端口的流量统计与模拟面板图形化显示。

虚拟交换机状况监测



基于虚拟网卡的性能监控

提供进出虚拟机虚端口的流量的图形化实时显示。

- 47 -

虚拟网卡性能状况监测

4.3 存储资源池

目前主流的存储架构包括DAS、 NAS、 SAN，下面针对3种主流应用系统做架构分析。

直连方式存储（Direct Attached Storage - DAS）。顾名思义，在这种方式中，存储设备是通过电缆（通常是SCSI接口电缆）直接到服务器。I/O请求直接发送到存储设备。

存储区域网络（Storage Area Network - SAN）。存储设备组成单独的网络，大多利用光纤连接，服务器和存储设备间可以任意连接。I/O请求也是直接发送到存储设备。如果SAN是基于TCP/IP的网络，则通过iSCSI技术，实现IP-SAN网络。

网络连接存储（Network Attached Storage - NAS）。NAS设备通常是集成了处理器和磁盘/磁盘柜，连接到TCP/IP网络上（可以通过LAN或WAN），通过文件存取协议（例如NFS，CIFS等）存取数据。NAS将文件存取请求转换为内部

- 48 -

I/O请求。

上述几种存储方式的优劣势分析：

主机的扩展性受到限制，主机和存DAS 费用低；适合于单独的服务器连接 储的连接距离受到限制，只能实现网络备份，对业务网络的压力较大 高性能，高扩展性；光纤连接距离远；可连接多个磁盘阵列或磁带库组成存储池，SAN 易于管理；通过备份软件，可以做到Server-Free和LAN-Free备份，减轻服务器和网络负担。 安装过程简单；易于管理；利用现有的网络实现文件共享；高扩展性。 成本较高 NAS 不支持数据库应用 通过以上对比可以看出SAN具有如下优点：

关键任务数据库应用，其中可预计的响应时间、可用性和可扩展性是基本要素；

SAN具有出色的可扩展性；

SAN克服了传统上与SCSI相连的线缆限制，极大地拓展了服务器和存储之间的距离，从而增加了更多连接的可能性；

改进的扩展性还简化了服务器的部署和升级，保护了原有硬件设备的投资。 集中的存储备份，其中性能、数据一致性和可靠性可以确保关键数据的安全；高可用性和故障切换环境可以确保更低的成本、更高的应用水平；可扩展的存储虚拟化，可使存储与直接主机连接相分离，并确保动态存储分区；

- 49 -

改进的灾难容错特性，在主机服务器及其连接设备之间提供光纤通道高性能和扩展的距离。

考虑到IP SAN的扩展性比FC SAN更加出色。我们可以在IP SAN中使用SCSI、FC、SATA、SAS等多种磁盘阵列来扩展IP SAN的容量，我们推荐使用IP-SAN存储架构。

为了达到系统的故障快速切换，本方案中配置后端共享存储，以实现动态HA和迁移，我们配置一台IP-SAN存储，这样可以将云计算平台中每个虚拟机的文件系统创建在共享的SAN集中存储阵列上。

H3Cloud虚拟机文件系统是一种优化后的高性能集群文件系统，允许多个云计算计算节点同时访问同一虚拟机存储。由于虚拟架构系统中的虚拟机实际上是被封装成了一个档案文件和若干相关环境配置文件，通过将这些文件放在SAN存储阵列上的文件系统中，可以让不同服务器上的虚拟机都可以访问到该文件，从而消除了单点故障。系统支持一台故障后，快速切换到另一台的功能，切换时间大概在0-10分钟以内。

存储是指虚拟机文件（含数据文件和配置文件）保存的地方。按照存储的位置可以划分为两类：本地磁盘存储和通过网络存储在远端服务器上。本地存储包括：本地目录文件、LVM逻辑存储卷、SCSI/FC存储；网络存储则包含：iSCSI网络存储、NFS网络文件系统、共享文件系统和Windows系统共享目录。这里我

- 50 -

们选择比较典型的三种应用配置来说明： 本地目录文件、iSCSI存储和共享文件系统。

4.3.1.1 本地存储设计

服务器本地存储用于安装虚拟化平台（如H3Cloud CVK和CVM）和保存资源池的元数据。本地存储建议配置两块SAS硬盘，设置为RAID-1，通过镜像（Mirror）方式放置本地磁盘出现单点故障，以提高H3Cloud本身的可用性。

H3Cloud云计算管理平台初始安装后，会默认创建一个本地的默认存储： defaultpool，位于/vms/images目录下。

先选择“主机”，在右面页签中选择“存储”，选择“增加”按钮，可以手工增加本地文件目录类型的存储池；

配置挂接的目录：

- 51 -

4.3.1.2 iSCSI远端共享存储设计

远端共享存储用于保存所有虚拟机的镜像文件以支持动态迁移、HA和动态负载均衡等高级功能。共享存储LUN容量规划公式如下：

LUN容量 = （Z × （X + Y） × 1.2） Z = 每LUN上驻留的虚拟机个数 X = 虚拟磁盘文件容量 Y = 内存大小

假设每个LUN上驻留10个虚拟机，虚拟磁盘文件容量需求平均为40GB，内存容量在4～8GB之间，考虑到未来业务的扩展性，内存交换文件按8GB空间估算，整体冗余20%，那么：

LUN容量 = （10 × （8 + 40） × 1.2） ≈ 600GB 存储总容量=业务数(按满足64个业务估算)×LUN容量=38.4T

iSCSI存储是将虚拟机存储在iSCSI存储设备上。一般是先修改物理主机上的iSCSI配置，使其能够访问iSCSI存储。iSCSI存储是作为一个块设备使用的，即iSCSI上配置了对应的target后，则在vManager上使用该存储池时，是全部占用的，类似于裸设备的使用。

选择“iSCSI网络存储”类型：

- 52 -

若物理主机还没有设置Initiator节点的名称，则需要先设置Initiator节点。

配置Initiator节点名称：

- 53 -

注意：Initiator名称需要和iSCSI上配置的名称一致

如Initiator节点名称iqn.1993-08.org.debian:01:192168000004，需要配置和iSCSI存储上一致。

iSCSI存储上target对应的Initiators配置：

设置物理机上和iSCSI服务器联通使用的网络地址：

- 54 -

配置iSCSI存储地址后，选择对应的target：

选择target最为存储池：

- 55 -

选择结束后，点击“完成”即可。

4.3.1.3 共享文件系统

对于iSCSI或者FC提供裸设备作为存储池，一个最大的缺点是一个虚拟机占用了所有存储空间。针对这种情况，CVM在iSCSI和FC的基础上提供了共享文件系统，即基于iSCSI和FC的裸设备，采用共享文件系统格式化，从而能够让iSCSI的同一个target能够同时容纳多个虚拟机同时使用，从而大大提高了设备的利用效率。

共享文件系统是多个主机之间可以共享使用，所有其配置是在主机的属性上配置的。主机池的属性页签，配置共享文件系统。

增加一个共享文件系统：

基于iSCSI，对应的iSCSI配置请参考iSCSI存储部分配置。 物理主机上增加存储池：

- 56 -

在物理主机上直接引用已经配置好的“共享文件系统”类型的存储池即可。

4.4 网络资源池

4.4.1 网络设计要点

云计算数据中心基础网络是云业务数据的传输通道，将数据的计算和数据存储有机的结合在一起。为保证云业务的高可用、易扩展、易管理，云计算数据中心网络架构设计关注重点如下：

高可用性

网络的高可用是业务高可用的基本保证，在网络整体设计和设备配置上均是按照双备份要求设计的。在网络连接上消除单点故障，提供关键设备的故障切换。关键网络设备之间的物理链路采用双路冗余连接，按照负载均衡方式或active-active方式工作。关键主机可采用双路网卡来增加可靠性。全冗余的方式使系统达到99.999%的电信级可靠性。

基础网络从核心层到接入层均部署H3C的IRF2技术，可以实现数据中心级交换机的虚拟化，不仅网络容量可以平滑扩展，更可以简化网络拓扑结构，大大提高整网的可靠性，使得整网的保护倒换时间从原来的5~10秒缩短到50ms以内，达到电信级的可靠性要求。

作为未来网络的核心，要求核心交换区设备具有高可靠性，优先选用采用交换引擎与路由引擎物理分离设计的设备，从而在硬件的体系结构上达到数据中心级的高可靠性。本次项目核心设备采用2台H3C S10508数据中心级核心交换机、

- 57 -

接入设备采用H3C 5820V2数据中心级接入交换机，设备组件层面充分保证高可靠。

大二层网络部署

云计算数据中心内服务器虚拟化已是一种趋势，而虚拟机的迁移则是一种必然，目前业内的几种虚拟化软件要做到热迁移时都是均需要二层网络的支撑，随着未来计算资源池的不断扩展，二层网络的范围也将同步扩大，甚至需要跨数据中心部署大二层网络。大规模部暑二层网络则带来一个必然的问题就是二层环路问题，而传统解决二层网络环路问题的STP协议无法满足云计算数据中心所要求的快收敛，同时会带来协议部署及运维管理的复杂度增加。

本次方案中通过部署H3C IRF2虚拟化技术实现两台或多台同一层物理交换机虚拟成一台逻辑设备，通过跨设备链路捆绑实现核心和接入的点对点互联，消除二层网络的环路，这样就直接避免了在网络中部暑STP，同时对于核心的两台设备虚拟化为一台逻辑设备之后，网关也将变成一个，无需部署传统的VRRP协议。 在管理层面，通IRF2多虚一之后，管理的设备数量减少一半以上，对于本项目，管理点只有核心和接入两台设备，网络管理大幅度简化。如下图所示：

网络安全融合

云计算将所有资源进行虚拟化，从物理上存在多个用户访问同一个物理资源的问题，那么如何保证用户访问以及后台物理资源的安全隔离就成为了一个必须考虑的问题。另一方面由于网络变成了一个大的二层网络；以前的各个业务系统分而治之，各个业务系统都是在硬件方面进行了隔离，在每个系统之间做安全的防护可以保证安全的访问。所以在云计算环境下，所有的业务和用户的资源在物理上是融合的，这样就需要通过在网关层部署防火墙的设备，同时开启虚拟防火

- 58 -

墙的功能，为每个业务进行安全的隔离和策略的部署。

在传统的数据中心网络安全部署时，往往是网络与安全各自为战，在网络边界或关键节点串接安全设备(如FW、IPS、LB等)。随着数据中心部署的安全设备的种类和数量也越来越多，这将导致数据中心机房布线、空间、能耗、运维管理等成本越来越高。本次方案中采用了H3C SecBlade安全插卡可直接插在H3C交换机的业务槽位，通过交换机背板互连实现流量转发，共用交换机电源、风扇等基础部件。融合部署除了简化机房布线、节市机架空间、简化管理之外，还具备以下优点：

互连带宽高。SecBlade系列安全插卡采用背板总线与交换机进行互连，背板总线带宽一般可超过40Gbps，相比传统的独立安全设备采用普通千兆以太网接口进行互连，在互连带宽上有了很大的提升，而且无需增加布线、光纤和光模块成本。

业务接口灵活。SecBlade系列安全插卡上不对外提供业务接口（仅提供配置管理接口），当交换机上插有SecBlade安全插卡时，交换机上原有的所有业务接口均可配置为安全业务接口。此时再也无需担心安全业务接口不够而带来网络安全部署的局限性。

性能平滑扩展。当一台交换机上的一块SecBlade安全插卡的性能不够时，可以再插入一块或多块SecBlade插卡实现性能的平滑叠加。而且所有SecBlade插卡均支持热插拔，在进行扩展时无需停机中断现有的业务。

- 59 -

4.4.2 网络资源池设计

本次项目基础网络采用“扁平化”设计，核心层直接下联接入层，市去了中间汇聚层。随着网络交换技术的不断发展，交换机的端口接入密度也越来越高，“扁平化”组网的扩展性和密度已经能够很好的XXX数据中心服务器接入的要求。同时在服务器虚拟化技术应用越来越广泛的趋势下，扁平化二层架构更容易实现VLAN的大二层互通，满足虚拟机的部署和迁移。相比传统三层架构，扁平化二层架构可以大大简化网络的运维与管理。

基础网络平台组织结构如下图所示：

XXX 广域网

网络的二、三层边界在核心层，安全部署在核心层； L3 L2 核心层 大二层网络 核心与接入层之间采用二层进行互联，实现大二层组网，在接入层构建计算和存储资源池，满足资源池内虚拟机可在任意位置的物理服务器上迁移与集群。 实际组网拓扑如下图所示：

接入层 管理中心 计算资源池 - 60 -

XXX广域网

图例：

千兆链路 万兆链路 链路捆绑 IRF虚拟化

出

(SS105

S5120SI 2台S10508构建核心层，分别通过10GE链路与接入层交换机S5820V2、GE链路与管理网交换机和出口路由器互连，未来此核心层将逐步演变成整网大核心，两台核心交换机部署IRF虚拟化。

接入层采用2台5820V2，每台接入交换机与核心交换机采用10GE链路交叉 iMC +VCM 云计算软件套件 互连，两台接入交换机部署IRF虚拟化，与核心交换机实现跨设备链路捆绑，消除二层环路，并实现链路负载分担。

管理网交换机采用1台S5120SI，分别连接R390服务器的iLO接口实现服务器的带外管理。同时与iMC网管服务器、云平台管理服务器互连。上行采用2*GE链路与两台核心交换机互连，并实现链路捆绑。

分层分区设计思路：根据业务进行分区，分成计算区、存储区和管理区。计算、存储区域内二层互通，区域间VLAN隔离；根据每层工作特点分为核心层和接入层，网关部署在核心层。

H3C

H3C

X86服务器 H3C R390

S- 61 -

4.4.2.1 分层网络设计

1. 核心层

核心层2台H3C S10508构建，负责整个云计算平台上应用业务数据的高速交换。两台核心交换机S10508分别与两台服务器接入区交换机间呈“三角形”型连接，与现网出口区路由器呈“口”字型连接，一台管理区接入交换机双上行分别与两台核心交换机连接。核心交换机间及与服务器接入交换机、管理区接入交换机、现网核心路由器间均采用万兆接口捆绑互联。核心交换机上部署防火墙插卡和网流分析插卡，实现云计算业务的安全防护与流量分析。

两台S10508部署IRF2虚拟化技术，简化路由协议运行状态与运维管理，同时大大缩短设备及链路出现故障快速切换，避免网络震荡。IRF2互联链路采用2*10GE捆绑，保证高可靠及横向互访高带宽。

组网拓扑如下图所示：

XXX广域网

GE

SR66X*2台

S10508*2台

FW插卡

IPS插卡

10GE 10GE

2*10GE捆绑 2*GE 备注 4*10G设备型号 H3C S10508，2台 单台设备端口配置 捆绑 捆绑 新增16端口10GE接口板，1块 管理区 计算资源池X86服务器 线速板卡 接入层 - 62 -

设备型号 单台设备端口配置 新增SecBlade FW插卡，1块 新增SecBlade IPS插卡，1块 备注 2. 接入层

接入层分为计算资源池、存储资源池和管理区接入三大部分：

计算资源池接入：采用两台5820V2云接入交换机构建，负责x86服务器的网络接入，服务器配置4个千兆接口，其中两个千兆接口捆绑做业务流接口，双网卡采用捆绑双活模式；另外两个千兆接口捆绑做虚拟机管理流接口，双网卡采用捆绑双活模式。

两台5820V2部署IRF2虚拟化技术，通过跨设备链路捆绑消除二层环路、简化管理，同时大大缩短设备及链路出现故障快速切换，避免网络震荡。IRF2互联链路采用2*10GE捆绑，保证高可靠及横向互访高带宽。

存储资源池接入：采用两台5820V2云接入交换机构建，负责x86服务器的网络接入，服务器配置4个千兆接口，其中两个千兆接口捆绑做业务流接口，双网卡采用捆绑双活模式；另外两个千兆接口捆绑做虚拟机管理流接口，双网卡采用捆绑双活模式。

两台5820X部署IRF2虚拟化技术，通过跨设备链路捆绑消除二层环路、简化管理，同时大大缩短设备及链路出现故障快速切换，避免网络震荡。IRF2互联链路采用2*10GE捆绑，保证高可靠及横向互访高带宽。

管理区接入：采用一台S5120SI千兆交换机，与x86服务器R390的iLO口以及自带的千兆网卡口互连，同时与 iMC网管服务器、云平台服务器互连，上行接口采用两个GE链路分别与两台核心交换机互连。

接入层组网拓扑如下图所示：

- 63 -

图例： 2*GE到核心 管理网交换机 S5120SI 业务流 4*10GE到核10G堆叠电iLO 存储流 千兆网卡(4*GE) iLServer1 万兆网卡 管理流 (2*10GE) 10G堆叠电缆 管理接口

2*10GE

管理接

Storage

设备型号 H3C 5820V-54QS，2台 H3C S5820X-26S，2台 单台设备端口配置 固定48个GE端口,4个SFP+端口,2个QSFP+端口 固定24端口万兆SFP+接口和2个千兆电口 备注 计算资源池接入 存储资源池接入 - 64 -

设备型号 H3C S5120-28P-SI，1台 单台设备端口配置 24个10/100/1000BASE-T,4个 SFP 备注 管理区交换机 4.4.3 虚拟机交换网络

服务器虚拟化技术的出现使得计算服务提供不再以主机为基础，而是以虚拟机为单位来提供，同时为了满足同一物理服务器内虚拟机之间的数据交换需求，服务器内部引入了网络功能部件虚拟交换机vSwitch（Virtual Switch），如下图所示，虚拟交换机提供了虚拟机之间、虚拟机与外部网络之间的通讯能力。IEEE的802.1标准中，正式将“虚拟交换机”命名为“Virtual Ethernet Bridge”，简称VEB，或称vSwitch。

物理服务器AppVMAppVMAppVMAppVMAppVMAppVM21软件VEB（亦称为vSwitch）3邻接交换机

虚拟机交换网络架构

vSwitch的引入，给云计算数据中心的运行带来了以下两大问题： 网络界面的模糊

主机内分布着大量的网络功能部件vSwitch，这些vSwitch的运行、部署为主机操作与维护人员增加了巨大的额外工作量，在云计算数据中心通常由主机操作人员执行，这形成了专业技能支撑的不足，而网络操作人员一般只能管理物理网络设备、无法操作主机内vSwitch，这就使得大量vSwicth具备的网络功能并不能发挥作用。此外，对于服务器内部虚拟机之间的数据交换，在vSwitch内有限执行，外部网络不可见，不论在流量监管、策

- 65 -

略控制还是安全等级都无法依赖完备的外部硬件功能实现，这就使得数据交换界面进入主机后因为vSwitch的功能、性能、管理弱化而造成了高级网络特性与服务的缺失。

虚拟机的不可感知性

物理服务器与网络的连接是通过链路状态来体现的，但是当服务器被虚拟化后，一个主机内同时运行大量的虚拟机，而此前的网络面对这些虚拟机的创建与迁移、故障与恢复等运行状态完全不感知，同时对虚拟机也无法进行实时网络定位，当虚拟机迁移时网络配置也无法进行实时地跟随，虽然有些数据镜像、分析侦测技术可以局部感知虚拟机的变化，但总体而言目前的虚拟机交换网络架构无法满足虚拟化技术对网络服务提出的要求。

为了解决上述问题， 本次项目H3C的解决思路是将虚拟机的所有流量都引至外部接入交换机，此时因为所有的流量均经过物理交换机，因此与虚拟机相关的流量监控、访问控制策略和网络配置迁移问题均可以得到很好的解决，此方案最典型的代表是EVB标准。

802.1Qbg Edge Virtual Bridging（EVB）是由IEEE 802.1工作组制定一个新标准，主要用于解决vSwtich的上述局限性，其核心思想是：将虚拟机产生的网络流量全部交给与服务器相连的物理交换机进行处理，即使同一台物理服务器虚拟机间的流量，也将发往外部物理交换机进行查表处理，之后再180度调头返回到物理服务器，形成了所谓的“发卡弯”转发模式，如下图所示：

EVB标准具有如下的技术特点：

借助发卡弯转发机制将外网交换机上的众多网络控制策略和流量监管特

性引入到虚拟机网络接入层，不但简化了网卡的设计，而且充分利用

- 66 -

了外部交换机专用ASIC芯片的处理能力、减少了虚拟网络转发对CPU的开销；

充分利用外部交换机既有的控制策略特性（ACL、QOS、端口安全等）实现

整网端到端的策略统一部署；

充分利用外部交换机的既有特性增强了虚拟机流量监管能力，如各种端口

流量统计，Netstream、端口镜像等。

EVB标准中定义了虚拟机与网络之间的关联标准协议，使得虚拟机在变更与迁移时通告网络及网管系统，从而可以借助此标准实现数据中心全网范围的网络配置变更自动化工作，使得大规模的虚拟机云计算服务运营部署自动化能够实现。

CVM产品是H3C为数据中心云计算基础架构提供最优化的虚拟化管理解决方案，该产品通过将数据中心IT资源的整合，不仅能够达到提高服务器利用率和降低整体拥有成本的目的，而且能简化劳动密集型和资源密集型IT操作，显著提高系统管理员的工作效率。下面以CVM和H3C iMC（智能管理中心）产品为例简单描述使用EVB后虚拟机的创建过程。

使用EVB创建虚拟机的过程

如上图所示使用EVB标准后，虚拟机创建过程可以大致分为如下五步：

网络管理员将可用的网络资源通过H3C iMC的图形界面录入iMC数据库中； 服务器管理员在通过CVM产品创建虚拟机之前，CVM产品会自动通过REST

API接口查询iMC中可用的网络资源；

- 67 -

服务器管理员在CVM产品上创建虚拟机，在指定虚拟机的CPU、内存、硬

盘等计算参数的同时，指定步骤二中的某个网络资源；当服务器管理员将创建虚拟机的请求提交之后，CVM产品会首先创建虚拟机，其过程同市场上主流的虚拟化产品，不再赘述；虚拟机创建成功后，CVM会将该虚拟机与其所使用网络资源的绑定关系通知给vSwitch； vSwitch会通过EVB标准中的VDP(VSI Discovery and Configuration

Protocol)协议将虚拟机及网络资源的绑定关系通知给接入交换机； 接入交换机将根据网络资源的编号向iMC发送请求，iMC收到请求后会将

该网络资源对应的网络配置下发到接入交换机上，从而完成了整个虚拟机的创建过程。

通过上述过程，虚拟机不但拥有了CPU、内存、硬盘等计算资源，还拥有了相应的网络资源并据此自动接入网络。

虚拟机迁移过程基本与上述过程类似，稍有区别的是：如果迁移前后的接入交换机不同，系统会在迁移之前的接入交换机上删除该虚拟机的相关网络配置，从而达到 “网络配置跟随”的目的。

通过上述的举例可以看出：EVB不仅简化了虚拟化结构，并使得网络参与虚拟化计算，变革了原来交叠不清的管理界面和模式，关联了虚拟机变化(创建、迁移、撤销、属性修改等)和网络感知，这些都是通过确定和简单的技术如Multi Channel和协议如VDP来实现的。这些技术与协议将会如同ARP、DHCP等标准的网络协议一样为云计算数据中心IT基础设施所认识和支持，成为虚拟化环境中的标准和基础协议。CVM上对虚拟交换网络的管理实现如下图所示：

- 68 -

4.4.4 安全设计

本次项目安全设计采用分层保护的思路，从“云计算资源池”向外延伸有三重保护：

具有丰富安全特性的交换机构成数据中心网络的第一重保护；

具有高性能检测引擎的IPS对网络报文做深度检测，构成数据中心网络的第二重保护；

凭借高性能硬件防火墙构成的数据中心网络边界，对数据中心网络做第三重保护；

- 69 -

用一个形象的比喻来说明数据的三重保护：数据中心就像一个欣欣向荣的国家，来往的商客就像访问数据中心的报文；防火墙是驻守在国境线上的军队，一方面担负着守卫国土防御外族攻击（DDOS）的重任，另一方面负责检查来往商客的身份（访问控制）；IPS是国家的警察，随时准备捉拿虽然拥有合法身份，但仍在从事违法乱纪活动的商客（蠕虫、病毒），以保卫社会秩序；具有各种安全

特性的交换机就像商铺雇佣的保安，提供最基本的安全监管，时刻提防由内部人员造成的破坏（STP 攻击）。

三重保护为数据中心网络提供了从链路层到应用层的多层防御体系。交换机提供的安全特性构成安全数据中心的网络基础，提供数据链路层的攻击防御。数据中心网络边界安全定位在传输层与网络层的安全上，通过状态防火墙可以把安全信任网络和非安全网络进行隔离，并提供对DDOS和多种畸形报文攻击的防御。IPS可以针对应用流量做深度分析与检测能力，即可以有效检测并实时阻断隐藏在海量网络流量中的病毒、攻击与滥用行为，也可以对分布在网络中的各种流量进行有效管理，从而达到对网络应用层的保护。

4.4.4.1 L2~L4层安全

L2~L4层安全防护由防火墙完成，本次项目防火墙插卡设备虽然部署在交换机框中，但仍然可以看作是一个独立的设备。它通过交换机内部的10GE接口与网络设备相连，它可以部署为2层透明设备和三层路由设备。防火墙与交换机之间的三层部署方式与传统盒式设备类似。

- 70 -

如上图FW三层部署所示，防火墙可以与宿主交换机直接建立三层连接，也可以与上游或下游设备建立三层连接，不同连接方式取决于用户的访问策略。可以通过静态路由和缺市路由实现三层互通，也可以通过OSPF这样的路由协议提供动态的路由机制。如果防火墙部署在服务器区域，可以将防火墙设计为服务器网关设备，这样所有访问服务器的三层流量都将经过防火墙设备，这种部署方式可以提供区域内部服务器之间访问的安全性。

安全域划分：

核心防火墙插卡上根据不同的业务类型，划分不同的安全域，通过域间策略的安全防护。本次项目初期建议划分虚拟桌面域、虚拟机业务域、存储域、外部域这四个安全域，所示外部流量及跨域的横向互访流量均需要经过防火墙过滤。如下图所示：

虚拟桌面域：此域内主要部署虚拟桌面的后台虚拟机，只允许使用瘦客户机的用户访问；

虚拟机业务域：此域内主要部署初期迁移到虚拟机上的试点业务应用，只允许相应的用户访问；

存储域：此域用户部署iSCSI或NAS存储设备，仅限云平台虚拟机访问，不允许外部用户访问。

- 71 -

外部域：与现网及XXX用户互联，非信任区域。 安全控制策略：

防火墙设置为默认拒绝工作方式，保证所有的数据包，如果没有明确的规则允许通过，全部拒绝以保证安全；

建议在两台防火墙上设定严格的访问控制规则，配置只有规则允许的IP地址或者用户能够访问数据业务网中的指定的资源，严格限制网络用户对数据业务网服务器的资源，以避免网络用户可能会对数据业务网的攻击、非授权访问以及病毒的传播，保护数据业务网的核心数据信息资产；

配置防火墙防DOS/DDOS功能，对Land、Smurf、Fraggle、Ping of Death、Tear Drop、SYN Flood、ICMP Flood、UDP Flood等拒绝服务攻击进行防范，可以实现对各种拒绝服务攻击的有效防范，保证网络带宽；

配置防火墙全面攻击防范能力，包括ARP欺骗攻击的防范，提供ARP主动反向查询、TCP报文标志位不合法攻击防范、超大ICMP报文攻击防范、地址/端口扫描的防范、ICMP重定向或不可达报文控制功能、Tracert报文控制功能、带路由记录选项IP报文控制功能等，全面防范各种网络层的攻击行为。

4.4.4.2 L4~L7层安全

防火墙工作在L2～L4层上，无法“看”到L4层以上的安全威胁，而传统的IDS（入侵检测系统）作为一个旁路设备，对这些威胁又“看而不阻”，因此我们需要IPS（入侵防御系统）来解决下面这些L4~L7层的安全问题：

 恶意网页

- 72 -

 蠕虫病毒  后门木马  间谍软件  DoS/DDoS  垃圾邮件  网络钓鱼  系统漏洞  网页篡改 ……

本次方案在核心交换机上部署了H3C SecBlade IPS安全插卡，提供扩展至用户端、服务器、及L4~L7层的网络型攻击防护，如：病毒、蠕虫与木马程序。利用深层检测应用层数据包的技术，H3C SecBlade IPS可以分辨出合法与有害的封包内容。最新型的攻击可以透过伪装成合法应用的技术，轻易的穿透防火墙。而H3C SecBlade IPS运用重组TCP 流量以检视应用层数据包内容的方式，以辨识合法与恶意的数据流。大部分的入侵防御系统都是针对已知的攻击进行防御，然而H3C SecBlade IPS运用漏洞基础的过滤机制，可以防范所有已知与未知形式的攻击。H3C SecBlade IPS还支持以下检测机制：

1）基于访问控制列表（ACL）的检测 2）基于统计的检测 3）基于协议跟踪的检测 4）基于应用异常的检测

5）报文规范检测（Normalization） 6）IP报文重组 7）TCP流恢复

- 73 -

攻击特征库是FIRST检测引擎进行攻击检测的依据，没有完善的攻击特征库，再强大的检测引擎也无法发挥作用，就象动力强劲的发动机没有合适的、足够的燃油一样。

H3C IPS的攻击特征库具有如下特点：1、覆盖全面，包含了主流操作系统、主流网络设备、主流数据库系统、主流应用软件系统的全部漏洞特征，同时也包含了黑客、蠕虫、病毒、木马、DoS/DDoS、扫描、间谍软件、网络钓鱼、P2P、IM、网游等网络攻击或网络滥用特征；2、更新及时，常规情况下每周进行攻击特征库更新，紧急情况下24小时内提供更新的攻击特征库；3、攻击特征库与国际权威的漏洞库CVE兼容；4、攻击特征库虽然兼容国际，但仍根植中国，更多关注国内特有的网络安全状况，及时对国内特有的攻击提供防御；5、攻击特征库包含了与该攻击相关的详细描述，包括攻击的目标系统信息、攻击的危害程度、攻击的解决方法等；6、攻击特征分类合理、细致，易于查询、易于归类操作。

在实际的部署中，SecBlade部署方式采用旁挂方式，保证内部服务器免疫外部应用层攻击，同时保证高可靠性。同时，可以根据不同用户的实际需求，决定哪些流需要被引导至IPS插卡进行过滤，对于不需要过滤的流量直接从核心交换机进行转发，降低对IPS插卡的性能压力，如下图所示：

- 74 -

XXX广域网 出口路(SR660IPSS5120SI S5820H3C H3C

iMC +VCM 云计算软件套件

X86服务器

4.5 云层设计

在“IT即服务”的云计算平台系统中， IT服务的自助式提供和业务自动化部署是云计算业务的关键特点。而上述特点均依赖于云业务部署流程的合理管理和业务自动化部署的结合。通过云业务工作流程的管理，可以将云计算平台中各功能模块有机的结合起来。从而实现云计算平台业务快速和自动化开展实施。

云业务工作流作为一个公共基础系统贯穿了云平台业务过程，最终实现IT服务的对业务部门的自助式交付。H3C 云计算解决方案基于Web页面提供了完整的端到端云业务工作流程管理。其业务工作流程如下图所示：

- 75 -

 用户访问自助门户完成身份认证和权鉴

 服务目录根据用户身份（所属部门）组织对应的服务目录，并推送到用户自助门

户

 用户在自己对应的服务目录中选择申请所需的云服务，从而启动工作流  管理员审批用户的服务自助申请。审批通过后，启动业务开启流程，将服务申请

下发到编排系统

 编排系统根据用户所选的服务获取对应的资源属性，自动调用云资源管理平台接

口开通所需的计算、网络、存储资源，创建出用户所申请的虚拟机  虚拟机创建成功后，编排系统通知用户自助门户更新状态  用户正常使用虚拟机资源（删除虚拟机亦参照此流程）

4.5.1 自助式云业务工作流

自助式服务管理为用户提供了一个安全的、多租户的、可自助服务的IaaS，是一种全新的基础架构交付和使用模式。通过H3C CAS云计算管理平台提供的虚拟化资源池功能，使IT部门能够将计算、存储和网络等物理资源抽象成按需提供的弹性虚拟资源池，以消费单元（即组织或虚拟数据中心）的形式对外提供服务，IT部门能够通过完全自动化的自助服务访问，为用户提供这些消费单元以及其它包括虚拟机和操作系统镜像等在内的基础架

- 76 -

构和应用服务模板。这种自助式的服务真正实现了云计算的敏捷性、可控性和高效性，并极大程度地提高了业务的响应能力。

云资源系统管理员云服务组织管理员云用户最终用户2云资源申请5云服务申请1物理资源整合与资源池化4组织策略配置与虚拟机模板管理7使用虚拟资源最终用户计算资源最终用户6云服务申请审核通过虚拟资源分配3存储资源云资源申请审核通过组织创建与云资源分配最终用户最终用户网络资源

自助式云业务工作流

用户自助服务门户

- 77 -

4.5.2 详尽的用户分级管理

根据数据中心云业务划分需求，可以将管理员划分为多级进行管理，不同的级别具有不同的管理权限和访问权限。

创建和管理数据中心内所有云计算资源组织内虚拟数据中心的管理最终使用和申请虚拟资源的最终用户System Admin系统管理员Organization Admin组织管理员End User最终用户访问权限

 用户分级管理

系统管理员：或者称之为超级管理员，能够创建和管理数据中心内的所有

云资源。对于公有云，系统管理员是运营商数据中心管理员；对于私有云，系统管理员是企业或机构的IT管理员。

组织管理员：或者称之为虚拟数据中心（vDC）管理员，拥有对组织虚拟

数据中心的管理权，包括组织内部虚拟机的运行管理、镜像管理、用户管理以及认证策略管理等。组织管理员由系统管理员创建。对于公有云，组织管理员是外部企业或机构的IT管理员；对于私有云，组织管理员是内部部门或合作伙伴的IT管理员。

最终用户：权限最低，允许最终用户通过RDP协议访问自己专属的虚拟机，

并允许通过自助服务门户向组织管理员申请虚拟资源。最终用户由组织管理员创建。

除此之外，H3C CAS云计算管理平台还提供了管理员分组的概念。管理员分组是多个管理员的集合，每一个分组又可以配置多个子分组，不同的子分组可能具有不同的访问权限，但属于同一个分组或子分组的管理员具有相同的访问权限。

- 78 -

分组Datacenter子分组Company 1子分组Company 2子分组Division 1子分组Company 3子分组Division 2子分组Department 1子分组Division 3子分组Department 2子分组Department 3  管理员分组

不同分组/子分组的操作员登录到H3C CAS云计算管理平台之后，默认只能查看和操作本分组/子分组内的资源。

子分组Department 1子分组Department 2子分组Department 3

不同分组/子分组资源的独立管理

4.5.3 数据的集中保护与审核

通过灵活的用户访问控制，对虚拟机的配置和远程访问权限进行保护，同时，审核日志会对重大操作进行详细记录，方便事后审计追踪。

- 79 -

4.6 虚拟桌面部署

桌面虚拟化解决方案在不改变用户使用习惯的前提下，将传统企业用户桌面系统以虚拟机的形式提供给终端用户。这些虚拟机运行于云计算数据中心的虚拟计算资源池中，共享数据中心内的计算、网络、存储资源，从而有效的实现了企业内IT资源的弹性部署。如前所述，依托云计算管理平台和云业务工作流程，系统可以自动化部署用户自助申请的虚拟桌面资源，部署完成后用户即可使用。从而极大的提升了企业桌面应用的弹性和效率。另一方面，云平台业务管理人员可以通过管理通道远程集中式管理企业内各用户的虚拟桌面系统。避免了管理人员上门服务，效率低下等传统桌面系统的问题。综上所述，桌面虚拟化系统具备有效保障关键数据的安全性， IT硬件资源的弹性部署，增强企业桌面系统的灵活性的同时，增强了企业桌面系统的可管理性并降低了总体拥有成本和维护成本。

- 80 -

如上图所示，为了实现企业虚拟桌面业务系统的搭建。企业云平台业务管理员首先需要依照2.2章节所述方法搭建好云计算业务平台，包括计算资源池、基础网络平台、存储资源池、云业务管理平台几个关键组件。值得注意的是，在设计实施云业务平台之前，云业务管理员需要对企业业务进行梳理和评估。通过细分企业各部门的业务需求，可以根据各部门业务需求事先定制其所需的虚拟桌面类型，从而简化日常终端用户的虚拟桌面申请和审批业务流程。同时，虚拟机的管理通道也需要在云业务平台设计时充分考虑并实施。依托H3C专利技术，H3C云计算解决方案有效保障了虚拟机迁移时管理系统的正常运行。

如3.4.6节所述的云业务工作流程，H3C桌面虚拟化解决方案可以实现企业虚拟桌面的自动化业务工作流。首先，企业终端用户登录基于WEB的自助服务平台，完成身份认证和权鉴后，可以根据云业务管理员为其事先定制的虚拟桌面类型来按需选择申请所需的虚拟桌面。终端用户的申请审批通过后，云业务管理平台可以自动部署用户所申请虚拟桌面，完成IT服务的自动化部署。用户申请的虚拟桌面虚拟机创建完成后，云管理平台会将更新后的用户虚拟桌面状态信息推送到自助服务平台。用户即通过自助服务平台基于WEB页面实现对申请到的虚拟桌面系统的正常使用。H3C用户自助服务业务平台，如下图所示：

- 81 -

4.7 应用系统迁移

4.7.1 应用系统迁移规划

针对XXX现状，本次方案建议分以下几个步骤将现有业务应用逐步迁移至H3C云平台中，如下图所示：

 评估

- 82 -

本阶段需要全面盘点XXX集团IT资产，同时依照类似以下表格评估出现阶段完整的基础设备自愿清单以及业务运行状态，同时针对业务系统的重要级别评估出哪些业务不适合做虚拟化，一般考虑到系统业务数据规模，优先考虑无数据库服务器或者sql server为后端数据库的业务系统，同时考虑到降低实施复杂度，优先考虑无存储连接的业务系统的迁移。

 规划

依照评估报告，完成可迁移系统的虚拟资源规划，包括计算资源池规划、虚拟交换网络设计、本地存储/共享存储规划等，根据用户业务需求定制详尽的设计实施计划等。  实施

依照规划与方案设计安装与配置，按照业务系统的重要级别逐步完成迁移并测试运行环境，同时做好在灾备计划以及人员培训工作；

- 83 -