运维知识内容

比眉伴天荒 2024-02-18 16:07 18阅读 0赞

<table> 
 <tbody> 
 <tr> 
 <td>&nbsp;</td> 
 <td colspan="10">运维知识&nbsp;</td> 
 <td>&nbsp;</td> 
 </tr> 
 <tr> 
 <td>序列</td> 
 <td colspan="3">运维架构层级</td> 
 <td>内容描述</td> 
 <td>监控</td> 
 <td>安全</td> 
 <td>备份</td> 
 <td>自动化</td> 
 <td>自动化/DevOps</td> 
 <td>云计算</td> 
 <td>详细内容</td> 
 </tr> 
 <tr> 
 <td>1</td> 
 <td>客户端层</td> 
 <td colspan="2">DNS</td> 
 <td>浏览器缓存-&gt;本地hosts-&gt;本地缓存-&gt;DNS服务器（本地缓存、迭代）-&gt;根-&gt;公网IP地址、HTTP-DNS、机房内部智能DNS</td> 
 <td>监控宝、基调、</td> 
 <td>加速乐、牛盾、安全宝、阿里云盾</td> 
 <td>云存储</td> 
 <td>API</td> 
 <td>阿里云-CDN</td> 
 <td>&nbsp;1、工作流引擎、权限管理。这两者都是基本的功能，因为其中会涉及流程，所以需要统一的流程引擎平台。另外需要部门、角色、用户的权限管理统一管理，不同业务配置不同系统的使用策略即可，这一块可以统一实现在单点登陆系统中。 &nbsp;&nbsp;&nbsp; 2、基础设施物理层。这个视角和传统模式有些不同，主要是公有云的存在。因此在基础设施物理层这块，已经把云端资源当作一个底层基础设施来看待，后续的资源获取完全不同，其他的资源对象依然没有变化，依然是机房、机柜、网络、服务器，等等。 &nbsp;&nbsp;&nbsp; 3、配置及服务，把配置当作服务来看待。比如说机房信息、服务器信息、人员信息、服务信息、业务信息以及他们之间的物理和业务拓扑关系等，上层的所有系统都应该关联到CMDB，变更后的信息必须实时反馈到CMDB中，确保其他系统能同步这份变化。因此大家都把CMDB系统当作运维的核心系统来对待，便于后续各个系统之间的互通。 4、服务——基础、ITIL服务和DevOps——高级。ITIL是面向流程的（运维平台建设中不做重点，不要主动去构建流程，会影响运维的敏捷性）。 基础部分实现一个事件和HelpDesk即可，事件管理在告警转换成事件之后，可以完整地记录，便于我们事后的原因分析，能挖掘一些问题，比如说是否某个业务、某个人、某类机器经常性故障，那就需要重点关注下。 高级服务的部分带来价值的，比如说可用性管理、能力管理和连续性管理。可用性直接的导向就是业务的质量；能力管理直接的导向就是成本管理；连续性管理也是和质量戚戚相关，如业务的容灾、备份管理等。但这些管理都不要在流程层面上去看，需要在一个平台中进行全面的可视化管理。 &nbsp;&nbsp;&nbsp; 5、基础设施及服务。把底层运维资源的管理封装成一个一个的服务，供业务自动化平台使用。我把DNS、LVS（或者F5）甚至OS上的配置管理都看着基础设施部分，适当地向上延伸了一下。简单的划分原则是，在业务架构之外的，都可当着基础架构部分了。很多运维团队的建设重点都在这块。 &nbsp;&nbsp;&nbsp; 6、架构及服务。把业务架构中的共性需求都剥离出来，抽象成一个一个的服务，最终让研发只需要关注自己的业务代码即可，比如说统一文件存储、统一Nosql存储、统一RDS存储、统一队列等。这块对运维的质量、效率、能力等影响最大。 “如何化解研发和产品之间的矛盾”中重点阐述过服务公共化是唯一的解决之道。现实中如果有研发开发了一个公共组件交给运维，而不提供完整的Webadmin或者API的话，你也就可以认为他是在耍流氓，运维必须有严格的完整性交付要求。 7、数据及服务。只要有线上服务在运行，服务数据流经过的一切节点产生的数据，采集、存储和分析起来，供不同的运维场景使用。比如说自动化调度，可以根据业务涉及的基础节点资源使用情况，制定对应的自动化调度策略；可以在数据中直接进行故障定位；可以在数据中做安全分析。之前的文章“数据驱动运维”中介绍过我做的一个数据分层体系。 8、监控及服务，有数据的地方才有监控。脱离这个原则，你做的都是告警，并且告警的成本会越来越大，不成体系。 &nbsp;&nbsp;&nbsp; 9、持续集成。这条线是把一个个的程序包交付到各个环境， 一个程序部署到生产环境之后，需要实时的运行报告反馈回来，确认变更的效果。如果持续部署平台化之后，真正的执行部署工作会不断前移，甚至可能直接交付给研发。此时的状态报告，更是有必要，不需要人去登录主机tail日志看是否正常。这个地方和“数据及服务”的能力关联很大，没有前面强大的数据服务能力。 &nbsp;&nbsp;&nbsp; 10、面向业务的运维平台。不同的业务会有不同的调度策略和服务使用策略，需要在更上层完成面向业务的统一调度，这个是全应用的视角，和持续集成是有一些区别的。在没有这个平台之前，一个完整的业务上线，需要做很多操作，比如说DNS变更、LVS变更、OS初始化、自动化测试、持续部署、持续反馈、监控、业务调用关系配置，等等。面向业务的调度平台，就需要有一种调度能力，指挥底层各个平台为它服务，它本身不实现任何服务接口，是一个服务的集成者。 &nbsp;&nbsp;&nbsp; 11、运维统一门户。每个运维系统都有任务或者信息与自己相关，如果运维人员每天要去面对那么多的运维系统，会非常痛苦。在统一门户里面分成两个部分，一部分是任务中心，把底层所有的事务状态都同步到任务中心中，表示我要做什么；信息中心，就是让运维人平时关注的业务状态Dashboard直接推送到信息中心中，表示我要关注什么。 &nbsp;&nbsp; 12、平台的目标就是自动化和数据化一切，并且最终可视化，从而确保质量、效率和成本几者之间的平衡。</td> 
 </tr> 
 <tr> 
 <td colspan="2">浏览器</td> 
 <td>缓存协商（Last-Modified、Expires、Etag）、组件分离、提高浏览器并发数、避免静态资源Cookie上传</td> 
 </tr> 
 <tr> 
 <td>2</td> 
 <td>外部层</td> 
 <td colspan="2">第三方CDN</td> 
 <td>智能DNS/GSLB-&gt;反向代理缓存-&gt;源站 （各类API如：带宽、预缓存、缓存刷新）</td> 
 </tr> 
 <tr> 
 <td colspan="2">云计算、外包</td> 
 <td>公有云、混合云、运维外包服务、APM（应用性能管理）</td> 
 </tr> 
 <tr> 
 <td>3</td> 
 <td>网络层</td> 
 <td colspan="2">核心层</td> 
 <td>网关设备（outside、inside）防火墙、路由器、Ipsec VPN</td> 
 <td>同上、网络监控 （Smokeping）</td> 
 <td>防火墙</td> 
 <td>HSRP、VRRP</td> 
 <td>SDN</td> 
 <td>阿里云-VPC</td> 
 </tr> 
 <tr> 
 <td colspan="2">汇聚层</td> 
 <td>三层交换 动态路由（OSPF）、静态路由、EC（端口汇聚）、MSTP+VRRP&nbsp;</td> 
 </tr> 
 <tr> 
 <td colspan="2">接入层</td> 
 <td>二层交换 （VTP、SPF、Trunk、端口安全）CCNA级别</td> 
 </tr> 
 <tr> 
 <td>4</td> 
 <td>集群层</td> 
 <td>负载均衡+高可用</td> 
 <td>四层负载均衡</td> 
 <td>开源：LVS（IP负载均衡）+Keepalived 商业：F5、Netscaler</td> 
 <td>舆论监控(第三方)</td> 
 <td>WAF（Nginx+Lua）</td> 
 <td>VRRP</td> 
 <td>平台开发</td> 
 <td>阿里云-SLB</td> 
 </tr> 
 <tr> 
 <td>七层负载均衡</td> 
 <td>Haproxy、Nginx、Apache（根据User-Agent、URL等进行负载分发）</td> 
 <td>（IAAS）</td> 
 </tr> 
 <tr> 
 <td>5</td> 
 <td>应用服务层</td> 
 <td colspan="2">反向代理缓存</td> 
 <td>ATS、Squid、Varnish(预缓存、缓存刷新）</td> 
 <td>业务监控(监控接口)</td> 
 <td>代码安全</td> 
 <td>集群</td> 
 <td>平台开发</td> 
 </tr> 
 <tr> 
 <td>（第三方）</td> 
 </tr> 
 <tr> 
 <td colspan="2">Web层</td> 
 <td>Apache、Nginx、Tomcat、Jboss（GZIP、Web服务器缓存、epoll、sendfile、CPU绑定、自身性能优化）</td> 
 <td>流量分析（Piwik）</td> 
 <td>GitHub扫描</td> 
 <td>自定义开发</td> 
 </tr> 
 <tr> 
 <td colspan="2">应用层</td> 
 <td>PHP Python Java C C++ 模块理解、代码部署、（OPCache、LocalCache）</td> 
 <td>远程执行+配置管理+云管理：SaltStack</td> 
 <td>各种SAAS服务</td> 
 </tr> 
 <tr> 
 <td colspan="2">SOA层</td> 
 <td>SOA框架（dubbo、resteasy）、业务模块、协议（RPC、restful）、ESB、服务注册与发现（Etcd、Zookeeper）</td> 
 <td>服务监控（提供API）</td> 
 <td>框架安全</td> 
 </tr> 
 <tr> 
 <td>分布式层</td> 
 <td>消息队列</td> 
 <td>ActiveMQ（成熟）、RabbitMQ（成熟、案例多）、ZeroMQ（中）、RocketMQ（中）</td> 
 <td>防火墙、权限控制</td> 
 <td>集群</td> 
 <td>基于SaltStack+etcd+OpenStack/Docker的自动化扩容</td> 
 <td>阿里云-消息队列</td> 
 </tr> 
 <tr> 
 <td>文件存储</td> 
 <td>单机存储</td> 
 <td>机械硬盘、SSD、文件系统（ext4、xfs）、LVM</td> 
 <td>安全监控（WAF）</td> 
 <td>软件自身访问控制</td> 
 <td>Raid</td> 
 <td>阿里云-块存储</td> 
 </tr> 
 <tr> 
 <td>单机存储扩展</td> 
 <td>文件分发（多级分发）、文件同步（rsync、HASH Tree、inotify）、DRBD、DAS</td> 
 <td>无</td> 
 <td>过载保护</td> 
 <td>OSS</td> 
 </tr> 
 <tr> 
 <td>共享存储</td> 
 <td>NAS[NFS（Unix/Linux）]、SAN、iSCSI</td> 
 <td>rsync</td> 
 </tr> 
 <tr> 
 <td>分布式存储</td> 
 <td>GlusterFS、MooseFS、FastDFS、Ceph</td> 
 <td>分布式</td> 
 </tr> 
 <tr> 
 <td>DAL</td> 
 <td>数据访问层</td> 
 <td>未开源：淘宝的TDDL、开源：360（Atlas）、阿里（Cobar）、MyCat、MySQL-Proxy、根据业务定制开发</td> 
 <td>自带</td> 
 <td>DAL</td> 
 </tr> 
 <tr> 
 <td>数据层</td> 
 <td>分布式缓存</td> 
 <td>Memcached、Redis（客户端分片、Redis Cluster、Twemproxy、Codis）</td> 
 <td>数据库监控</td> 
 <td>权限控制</td> 
 <td>集群</td> 
 <td>数据库运维平台</td> 
 <td>云数据库-RDS、</td> 
 </tr> 
 <tr> 
 <td>Mongodb、Redis、</td> 
 </tr> 
 <tr> 
 <td>NoSQL</td> 
 <td>Redis、LevelDB（SSDB）、CouchDB、Mongodb、Couchbase 、Cassandra</td> 
 <td>集群</td> 
 <td>Memcached、</td> 
 </tr> 
 <tr> 
 <td>DB</td> 
 <td>MySQL（Drizzle、MariaDB、Percona Server、Percona Xtradb Cluster、MHA）Oracle（DG、GG、GC）、PostgreSQL、SqlServer</td> 
 <td>数据库备份</td> 
 <td>OceanBase</td> 
 </tr> 
 <tr> 
 <td>大数据</td> 
 <td>Hadoop生态圈（HDFS、Hive、Hbase、Zookeeper、Pig、Spark）、Hadoop+Mahout智能推荐、kafka和Storm实时分析</td> 
 <td>Zabbix监控平台</td> 
 <td>kerberos、继承其它系统</td> 
 <td>自定义</td> 
 <td>Ambari、Cloudera Manager</td> 
 <td>E-MapReduce</td> 
 </tr> 
 <tr> 
 <td>6</td> 
 <td>基础服务层</td> 
 <td colspan="2">运维相关</td> 
 <td>ownCloud、项目管理（Jira、WIKI、Redmine、Bugzilla、Sonar、CodeReview）</td> 
 <td>Puppet、Chef、SaltStack、Ansible</td> 
 <td>日志服务</td> 
 </tr> 
 <tr> 
 <td colspan="2">应用相关</td> 
 <td>日志收集平台（ELKStack）、自动化部署平台、Job管理平台</td> 
 <td>操作审计</td> 
 </tr> 
 <tr> 
 <td colspan="2">系统相关</td> 
 <td>LDAP、DNS、DHCP、Mail、SMS、Git（Github、Gitlab）、Yum仓库、操作审计（xenapp）</td> 
 <td>资源编排</td> 
 </tr> 
 <tr> 
 <td>7</td> 
 <td>操作系统层</td> 
 <td colspan="2">环境初始化</td> 
 <td>基础性能优化、监控Agent、SaltStack Minion、DNS、rsyslog、logstash、安全审计</td> 
 <td>系统监控</td> 
 <td>防火墙、权限控制</td> 
 <td>集群、热迁移</td> 
 </tr> 
 <tr> 
 <td>8</td> 
 <td>基础设施层</td> 
 <td colspan="2">设备上下架</td> 
 <td>网络配置、标签化、配置检查、Raid构建、iDrac\ILO\IMM、操作系统安装（Cobbler）、资产录入（CMDB）</td> 
 <td>机房巡检、物理监控 Zabbix IPMI</td> 
 <td>物理安全、灾备</td> 
 <td>bonding、灾备</td> 
 <td>公有云（AWS、青云、阿里云）</td> 
 <td>阿里云-ECS</td> 
 </tr> 
 <tr> 
 <td colspan="2">IDC托管</td> 
 <td>需求分析、IDC选型、网络测试、谈价格、签合同、设备采购（原厂vs渠道）</td> 
 <td>第三方评估网络性能</td> 
 <td>防忽悠，尽量按月付费</td> 
 <td>多家IDC对比</td> 
 <td>私有云（OpenStack、Cloudstack）</td> 
 </tr> 
 <tr> 
 <td>9</td> 
 <td colspan="3">测试和开发相关</td> 
 <td colspan="7">运维协助：性能测试（TCPCopy）、单机监控（nmon）、环境规划（开发、测试、预生产、生产）、CI（持续集成）、自动化部署、Job管理平台</td> 
 </tr> 
 </tbody> 
</table>