nutanix超融合部署案例

1.1. 网络拓扑

项目的网络拓扑如下图所示：

 

说明：

1.本图重点关注于nutanix设备的接线和网拓扑，其他的网络和设备忽略或大概示意

2.出口网络是在29楼机房，设备是位于28楼机房，之间使用光纤直连，跨楼层使用光纤配线架

3.防火墙上需要新配置接口port5和port6，两个接口的配置完全一样，在防火墙上配置链路聚合模式接口绑定一起

4.交换机为华为S5720-28X，两台交换机使用业务口进行堆叠配置，堆叠后合并为一台整体交换机

5.两台交换机的万兆光口上行级联到防火墙，接口配置链路聚合模式

6.交换机下行连接nutanix设备的四个节点的网卡，使用千兆电口，千兆网线

7.防火墙，交换机，nutanix之间的网络连接都有冗余，实现了完全的热备状态，任何一个设备的单点故障都能够及时切换，保证网络和业务不会中断。

1.2. 网络冗余及可靠性

为了满足网络的冗余和可靠性的要求，网络进行了双机热备的双链路设计，采用的方式为链路聚合和交换机堆叠，保证在网络设备单点或者单机故障后的网络可靠性，保证业务不中断。详细的说明见下图所示：

 

1.3. 接口对应关系

各个设备的接口对应关系如下表所示：

本端设备	接口	说明	对端设备	接口	说明
防火墙FG3040B	port5	物理接口	SW1_HW5720-28X	XGE1	万兆光口上行
	port6	冗余接口	SW2_HW5720-28X	XGE1	万兆光口上行
交换机SW1_HW5720-28X	GE10	千兆电口	nutanix节点a	NIC-0	千兆电口
	GE12	千兆电口	nutanix节点b	NIC-0	千兆电口
	GE14	千兆电口	nutanix节点c	NIC-0	千兆电口
	GE16	千兆电口	nutanix节点d	NIC-0	千兆电口
	XGE1	万兆光口	防火墙FG3040B	port5	级联
	XGE4	万兆光口	SW2_HW5720-28X	XGE16	堆叠
交换机SW2_HW5720-28X	GE10	千兆电口	nutanix节点a	NIC-1	千兆电口
	GE12	千兆电口	nutanix节点b	NIC-1	千兆电口
	GE14	千兆电口	nutanix节点c	NIC-1	千兆电口
	GE16	千兆电口	nutanix节点d	NIC-1	千兆电口
	XGE1	万兆光口	防火墙FG3040B	port6	级联
	XGE4	万兆光口	SW1_HW5720-28X	XGE16	堆叠
nutanix_NX-1465-g4	NIC-0	节点a	SW1_HW5720-28X	GE10	千兆电口
	NIC-1		SW2_HW5720-28X	GE10	千兆电口
	NIC-0	节点b	SW1_HW5720-28X	GE12	千兆电口
	NIC-1		SW2_HW5720-28X	GE12	千兆电口
	NIC-0	节点c	SW1_HW5720-28X	GE14	千兆电口
	NIC-1		SW2_HW5720-28X	GE14	千兆电口
	NIC-0	节点d	SW1_HW5720-28X	GE16	千兆电口
	NIC-1		SW2_HW5720-28X	GE16	千兆电口

1.4. nutanix超融合设备安装部署

1.4.1. 设备介绍

本次项目采购的是Nutanix1465，2U设备，4个节点，每个节点1块480G的SSD硬盘，2块6T的HDD硬盘，设备正面图如下：

 

局部按钮和指示灯，以A节点作为例子，具体见下图：

 

背面有两个前兆RJ45以太网口，两个万兆SFP端口，一个IPMI带外管理口，双电源设计，具体背面如图：

 

设备背面节点各网口MAC 地址以及序列号，具体细节见下图：

设备背面节点MAC地址

节点	IPMI的MAC地址
A	0C:C4:7A:C2:D8:70
B	0C:C4:7A:C2:D9:75
C	0C:C4:7A:C2:D9:48
D	0C:C4:7A:C2:D8:BD

主机后端网络端口布局示意图

IPMI	eth2	万兆口	万兆口
	eth0

 

1.4.2. 安装部署

Ø 环境准备

1) 部署之前在维护电脑上需要安装桌面端的虚拟化软件，可以选择VMware Workstation/Fusion、VirtualBox等；

2) 将Foundation 3.0的Foundation_VM-3.0.ovf.tar解压缩，然后通过桌面端的虚拟化软件导入，开启VM；

3) 开启虚拟机后可以再桌面看见两个文件，一个是set_foundation_ip_address，另外一个是Nutanix Foundation； 

4) 点击set_foundation_ip_address，设置Foundation VM的IP、子网掩码、网关及DNS等信息，然后选择保存； 

5) 点击Nutanix Foundation，启动Nutanix安装配置过程，进入到全局配置界面，需要根据事先规划好的网络配置填写，包括IPMI、Hypervisor和CVM信息；填写完成点击下一步；

备注：

所有IP设置到同一网段，包括Hypervisor、CVM和IPMI，因为初始化时通过IPMI的MAC地址进行二层访问，另外后期建议不修改CVM和Hypervisor 的地址，所以建议将IPMI的地址设置为业务网段，初始化完成后，修改IPMI 地址即可。

注意IPMI账户：ADMIN（大写）

6) 进入到Block/Node配置界面，首先Foundation会自动检测Block/Node状况，如果检测不到的情况下就需要手工输入信息；如下图点击增加节点Add Node；

 

7) 根据实际硬件情况，目前我们只有1个Block，每个Block节点数是4，然后点击创建。

 

8) 然后需要输入每个节点的具体信息，包括IPMI的MAC地址(在物理节点IPMI端口的下面)、IPMI的IP地址、Hypervisor IP地址和CVM IP地址；如果同时安装4个节点，要勾选上前面的Position选项；然后点击下一步；

 

9) 选择所要安装的Hypervisor，这里选择KVM，然后选择NOS的Package和Hypervisor ISO Image，点击下一步；

注释：NOS的安装包需要提前将安装包nutanix_installer_package-danube-<version>-<update>.tar上传到Foundation的/home/nutanix/foundation/nos下面。

 

10) 点击创建一个Cluster，输入Cluster Name、Cluster外部IP地址、CVM DNS服务器、CVM NTP服务器、Hypervisor NTP服务器、最大冗余数；

 

11) 为Cluster选择Block和Node，在这里全选；

 

12) 在核对信息完成后，点击Run Installation，然后等待安装完成。

 

 

Ø 网络配置

安装完成后需要配置VLAN，分别在Hypervisor和CVM上进行配置；

1) 首先通过命令行工具SSH登录到Hypervisor的主机上，

例如ssh root@10.120.189.8给Hypervisor设置VLAN

ovs-vsctl set port br0 tag=205

然后执行命令查看现有虚拟网络端口

ovs-vsctl list port br0

2) 在Hypervisor下登录到CVM

ssh nutanix@192.168.5.254

然后执行命令修改VLAN设置

change_cvm_vlan 205

注:以上IP地址为举例说明，实际使用时请按照规划修改。

1.4.3. 开关机步骤

Ø 关机

1）通知虚拟机所有者，关闭所有虚拟机；

2）ssh远程登录任意一台CVM，执行关闭集群命令 cluster stop；

3）节点会依次关闭，大约需要15-20分钟；

4）四台CVM关闭后，按节点电源键关机（关机键无顺序，长按3s关机）。

Ø 开机

1）依次按节点电源键（一般A、B、C、D开机，实际节点开机顺序无关）

2）3-5分钟后，节点依次开机；

3）SSH登陆任意一台CVM，执行开启集群命令：cluster start

4）群集启动成功后，测试集群地址连通性，并观察集群状态：cluster status；

5）登陆Prism后，观察告警信息，如果正常，开启各虚拟机。

Ø 查看集群状态

登陆后输入：cluster status