超融合、低成本、高可用私有云解决方案

水深无声 2022-04-03 11:12 520阅读 0赞

proxmox是一款开源的虚拟化管理平台，在服务器虚拟化方面有不俗的表现。曾经有个单cpu 4线程、16G内存、300G硬盘开20多个centos，并且上面的应用都是tomcat的交易系统，稳定运行大半年的记录（公司倒闭，服务器被下架）。后来，陆续迁移一些陈旧物理服务器上的应用到proxmox虚拟化平台，也是受益多多。从proxmox5.版本开始，整合了分布式文件系统ceph，并对其进行了改进。官方的用语是：Compute, network and storage in a single solution。字面理解是计算、网络、存储一体化解决方案。用流行的术语就是“超融合”嘛！不知道这个词是不是国人发明的，可能外国鬼子不晓得？

没有比较就没有伤害，下边我来列举一些自己认为比较有用的特征：

*  **去中心化**：集群节点去中心化、分布式存储也去中心化。这意味着，只要节点之间能组成最基本的集群，哪个物理节点发生故障都不会影响可用性。比如三个节点的集群，可以任意死掉一个。而传统方式的虚拟化高可用方案，多采用昂贵的、高性能的外挂存储来解决问题，但是存储本身也是单点，一旦它发生故障，一定是全军覆没。
 *  **超融合** ：操作系统、存储、虚拟化平台、网络一体化，无需外挂共享存储。除此之外，还可以充分利用剩余的计算资源，用于桌面系统的虚拟化，外购云终端盒子，直接取代耗能、占空间、不易于维护的台式电脑主机。
 *  **易于实施**：分几个方面进行描述  
    1、proxmox以iso文件提供下载，刻录到u盘，引导进行安装，除输入ip、用户密码等少数项外，一路回车，数分钟即可完成安装；  
    2、创建集群，只需登陆每个系统执行一条指令，马上就能看到效果。请问一下，别的平台能有这么便捷么？  
    3、创建ceph存储池，也是寥寥几步就可完成，并很快可以在管理界面看到效果；  
    4、web界面组成对象高可用（ha），也是易如反掌。  
    ![超融合、低成本、高可用私有云解决方案][watermark_size_16_text_QDUxQ1RP5Y2a5a6i_color_FFFFFF_t_100_g_se_x_10_y_10_shadow_90_type_ZmFuZ3poZW5naGVpdGk]  
    5、扩充容量也非常容易，差不多就是重复前边几条操作即可完成。  
    6、统一界面。一个web入口，管理节点、存储、网络、虚拟机等所有资源，绝大部分的用户操纵，都可以在此界面完成，也不需要安装什么客户端。  
    ![超融合、低成本、高可用私有云解决方案][watermark_size_16_text_QDUxQ1RP5Y2a5a6i_color_FFFFFF_t_100_g_se_x_10_y_10_shadow_90_type_ZmFuZ3poZW5naGVpdGk 1]

听人说，部署一套思杰（Citrix）高可用桌面虚拟化系统，耗时好几天。我没做过商业的部署，不能确定这个说法是否真实，但用proxmox部署高可用桌面虚拟化，肯定节省时间。

*  **真正高可用**：任意物理节点发生故障，运行其上的虚拟机自动漂移到其它正常运行的节点，并且可以对虚拟机高可用状态进行设置（start、stop、disable、ignore）。曾经部署过cloudstack、oracle vm等多个私有云平台，印象中只有oracle vm的实例可以自动漂移，但这些平台有控制节点（中心化存在），需要对控制节点进行设计和保护。如果控制节点发生故障，整个集群就暂时停摆。
 *  **开源、低成本**：如果不需要技术支持，使用proxmox是没有任何授权费用的，而据了解，商业的私有云管理平台，授权费是按cpu 核数（core）进行计费的，这个费用比物理服务器贵好多倍。另外因为弃用昂贵的外挂存储，如果规划合理，又能省下数十万的成本。
 *  **缺陷**：因为是开源，没有商业包装，如果不采购厂家的服务支持，你必须得是经验丰富的老司机。

# proxmox高可用私有云应用场景 #

*  **互联网企业**：当用户规模达到一定程度时，使用公有云会产生巨大的成本支出，虽然公有云号称弹性购买，但每次增加资源，需要各种验证，还有费用支出。一些有规模的、有技术实力的公司意识到此问题，有的已经开始实施混合云来支撑公司业务（公有云与私有云并存），两者互为补充。这种场景下，采用proxmox作为私有云平台，无疑是一个好的选择。
 *  **传统行业**：企业/组织机构信息化也是必然趋势，很多重要的内部系统，如财务、办公自动化、客户关系管理等等，不一定适合放在公有云上。机构/企业信息化是一个渐进过程，不会一下子把所有的应用都准备好。因此，在机构或者企业内部，会有不同的服务器运行不同的应用。据了解，开始实施的时候，由于各种原因，并没有考虑系统的可用性（最多弄几个硬盘做磁盘RAID），单点问题突出，而且资源利用率不高。此类机构/企业最合适使用超融合、高可用、低成本、高性能的私有云方案。用proxmox不但可以解决服务器单点问题、提高资源利用率；而且可以继续使用其资源，虚拟化桌面系统，用节能环保的云终端盒取代笨重的台式主机，大大降低能耗及维护成本。

有此可知，可用于任意信息化场景。 医院、学校、房地产中介、行政办事中心.....

# 超融合、高可用、低成本方案设计 #

*  \*\* 场景描述\*\*\*

某商超，由总部及数个门店构成。服务器配置方面，每个门店一台物理服务器，总部自建机房有数台服务器；同时总部有几十人办公，大部分用的是台式电脑。这些服务器，全部存在单点故障。门店服务器故障，整个门店业务受影响；总部服务器故障，全部门店的线上支付（微信、支付宝、银行卡等支付）全部不能进行。总体看来，隐患还是很大的。

*  \*\* 方案设计\*\*\*

1、总部部署超融合私有云，创建足够数量的虚拟机系统，迁移现有业务到此私有云。运行稳定以后，拆除现有各门店服务器、总部服务器。虚拟一定数量的windows(win10),配置好spice协议，采购云终端盒，接入云端，替代现有的台式电脑。

2、资源配置：准备四台配置完全一样的服务器，用于组建超融合私有云，另准备一台大容量低速存储（服务器或者专用存储均可，哪种划算就用哪种）。为什么要用四台呢?按照要求，最少用三台物理节点就能组成一个超融合私有云。多用一些，是为了防止高负荷下，某个物理节点发生故障，运行其上的负荷漂移到剩下的两节点，很有可能把这两节点也打瘫痪，这个是容量预留。还有个大容量存储，用来做数据的离线备份，比如数据库数据、用户数据等。这几天有个机构在喊冤，什么放在腾讯云上的数据全丢了，自以为在云上就万无一失，也天真的认为，有了云还要什么运维，也就不会干离线备份这样的基本措施。下边给出集群物理节点的配置建议，共大家参考：  
（1）2u的品牌机，至少2个网卡，多个可插拔硬盘槽位，单、双电源均可；  
（2）2颗多核心多线程cpu，建议每服务器至少40线程；  
（3）内存128G及以上；  
（4）至少一块256G固态硬盘，应用安装proxmox本身；两块及以上1.8T 10000转sas高速硬盘，有条件可考虑全上ssd。强烈建议不要使用什么企业级sata磁盘，性能差得让你想砸服务器。  
（5）全千兆交换机，支持网口绑定，以获得更大的服务器网络带宽。  
（6）云终端选择支持spice协议的设备，选购时，尽量选支持协议多的那种。  
![超融合、低成本、高可用私有云解决方案][watermark_size_16_text_QDUxQ1RP5Y2a5a6i_color_FFFFFF_t_100_g_se_x_10_y_10_shadow_90_type_ZmFuZ3poZW5naGVpdGk 2]

# proxmox超融合私有云实施步骤（简要） #

*  各物理节点用iso安装好proxmox，并保证网络通畅，能访问外部网络，以利于更新软件包（apt-get update,apt-get upgrade)。
 *  登陆每一个节点，以命令行创建集群和加入集群。在web界面观察集群创建情况，非常直观。
 *  安装分布式文件系统pveceph ，当前版本luminous。
 *  初始化pveceph网络。
 *  创建ceph监视器。
 *  创建OSD，开始在web界面执行。
 *  创建pveceph pool组。
 *  1.  创建ha组。
 *  创建虚拟机。
 *  启用spice协议并修改已经创建好的虚拟机配置文件（可选项，为桌面虚拟化使用）
 *  虚拟机部署应用。
 *  导入数据并测试。
 *  云终端接入（可选项）。

# 超融合私有云可用性测试 #

*  **功能测试\*\*\*\***  
    关闭任意一台主机，模拟故障产生，观察虚拟机是否可漂移并自动启动。继续连接虚拟机，看是否处于正常。恢复关闭的物理节点，使之自动加入集群，再换一个物理节点暴力关机，观察其可用性。
 *  **性能测试**

1、磁盘读写进行测试；  
2、测试页面响应速度（如果是站点的化）；  
3、数据库性能测试（用响应的工具）；  
4、虚拟机克隆速度测试；  
5、以模板创建虚拟机速度测试。  
6、终端盒子登陆windows，访问多个网站、播放视频、频繁鼠标点击等（可选）。  
[更多精彩内容，请猛击此处直达请添加链接描述][Link 1]  
[![超融合、低成本、高可用私有云解决方案][watermark_size_16_text_QDUxQ1RP5Y2a5a6i_color_FFFFFF_t_100_g_se_x_10_y_10_shadow_90_type_ZmFuZ3poZW5naGVpdGk 3]][Link 1]

[watermark_size_16_text_QDUxQ1RP5Y2a5a6i_color_FFFFFF_t_100_g_se_x_10_y_10_shadow_90_type_ZmFuZ3poZW5naGVpdGk]: /images/20220403/d700484db8184a789af54bcb7f63bd48.png
[watermark_size_16_text_QDUxQ1RP5Y2a5a6i_color_FFFFFF_t_100_g_se_x_10_y_10_shadow_90_type_ZmFuZ3poZW5naGVpdGk 1]: /images/20220403/31c192613035471b86c55c42c6537d78.png
[watermark_size_16_text_QDUxQ1RP5Y2a5a6i_color_FFFFFF_t_100_g_se_x_10_y_10_shadow_90_type_ZmFuZ3poZW5naGVpdGk 2]: /images/20220403/8346a3ab1d8f491a80476aa88e895a5c.png
[Link 1]: /images/20220403/69ba7c2749374823af3fd2b9f4ab07cc.png
[watermark_size_16_text_QDUxQ1RP5Y2a5a6i_color_FFFFFF_t_100_g_se_x_10_y_10_shadow_90_type_ZmFuZ3poZW5naGVpdGk 3]: http://i2.51cto.com/images/blog/201808/10/21d6b02a6eff4e9194b53992a0865563.jpg?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=