第一篇:数据中心日常运维及应急处理方案
四、数据中心日常运维及应急处理方案
数据中心要保持稳定的运行,需要大量的专业技术人员。一般承担重要业务的数据中心都是有人24小时值守,无人值守的数据中心一般只能承担不重要业务,完全无人管理运维的数据中心几乎没有。所以数据中心日常运维工作烦琐,但又很重要。随着人们的工作生活对数据的完全依赖,承载数据计算、运行的数据中心正发挥着越来越重要的作用,这更突显出运维工作的重要。
当一个数据中心建成投产后,运维工作就开始了,一直到数据中心的生命周期结束。一般我们可以将数据中心的运维工作分为四大类:一是日常检查类;二是应用变更、部署类;三是软、硬件升级类;四是突发故障处理类,下面就来详细说一说这些运维工作,让大家对运维工作有个了解。
1、数据中心日常运维工作、日常检查
“千里之堤,溃于蚁穴”。任何的故障在出现之前都可能会有所表现,小的隐患不消除,可能导致重大的故障出现,所以数据中心日常的例行检查工作枯燥,但也很重要,可以及时发现一些运行中的隐患。根据数据中心承载业务重要性的不同,要对数据中心里的所有运行的设备进行例行检查。一些数据中心设备厂商提供了检查软件,比如网管软件,安全防护软件等。可以利用这些软件对数据中心网络[注]进行检查,看日志是否有异常告警,网络是否出现过短时中断,端口是否出现UP/DOWN等。通过网络探测软件看网络质量如何。检查服务器应用服务是否正常,CPU内存等利用率是否正常。对应用业务进行检查,比如如果有搜索业务,就可以通过服务器进行单词搜索,看搜索的结果和延迟是否在正常的范围之内。这些检查每日都要重复检查,一旦有异常及时处理与消除,必要时将重要业务切换到备用环境中,然后排除后再切回。
对数据中心的机房环境也要进行检查,环境的温度、湿度、灰尘是否合乎要求。空调、供电系统进行运行良好,设备运行是否过热,地板、天窗、消防、监控都是检查的部分。不合理的地方要及时进行整改,而不应该偷懒。经常到一些数据中心,就会发现值班运维人员很多都抱着电脑在浏览网页,打游戏。对于日常检查应付一下,甚至根本不去检查,只要没有出现故障,就打游戏消耗时间,这样数据中心出现故障是迟早的事。一旦出现故障就毛手毛脚,甚至哪个业务走的哪个设备,哪个端口哪个网线都不清楚,本来一个小故障可能因为不熟悉导致大故障,因此日常检查绝不能应付,虽然需要不断重复,但却很重要,在持续的检查过程中,将会对数据中心的理解越来越深,这样每次检查都会有新的发现,在检查中进行学习。
2、数据中心日常运维工作、应用变更
数据中心承载的业务不会是一成不变的,随着业务的多样化,经常要对业务进行调整,包括服务器和网络的设置。因此要对服务器和网络设备操作很熟悉,主要需要掌握服务器命令和网络协议。要根据应用的需要,做出变更。这时就对运维人员提出了更高的要求,不仅是对数据中心原有业务要非常熟悉,还要对新上的应用业务有正确的理解,这样才能在不影响原有业务的基础上做调整。这样的应用变更每个月可能都要做几次,是数据中心运维人员的必修课,突显了一个技术人员的基本技能水平。这时要对设备操作命令比较熟悉,懂得如何实现业务,要经常和设备厂商的技术人员打交道,通过交流尽快掌握设备操作方法。同时,由于设备厂商对应用业务缺乏了解,这就需要运维人员在应用业务和设备具体实现之间做好协调,处理。以最快的时间和最小的代价完成应用业务部署。
3、数据中心日常运维工作、软硬件升级
数据中心的设备一般运行周期是五年,不断地有设备需要逐渐淘汰进行更换,也有一些设备因为存在软件缺陷需要升级,因此软硬件升级也是运维工作的一部分,尤其是软硬件出现故障时,就必须要进行更换。有时为了不影响业务,往往还需要设备厂商提供软件补丁来解决问题。数据中心的设备成百上千,出现软硬件故障很正常,所以要不断地进行软硬件升级,这类工作往往都要在业务量最少的凌晨之后进行,运维人员通宵熬夜是常有的事,运维人员要有一个良好的身体素质,否则会吃不消。软硬件升级时需要做好回退机制,以防升级出现问题时无法回退,业务长时间无法恢复。当接手数据中心运维工作就会发现,怎么会有那么多的升级,几乎每个月都要有升级操作,熬夜升级工作成了运维人员的家常便饭。
4、数据中心日常运维工作、突发故障
没有任何一个数据中心是不出故障的,在数据中心运行的过程中都会出现这样那样的问题。这时就显示出运维人员的高技能水平,根据统计百分之八十的故障都是人为故障,所以运维人员的水平高低往往决定了一个数据中心运行的稳定程度。另外对于突发故障,高水平的运维人员可以静下心来冷静分析故障的触发原因,迅速找到解决的方法,如果在短时间内找不到解决方法,也可以通过切换到备用设备上先恢复业务,再进行分析。这时拥有高水平的运维人员对于一个数据中心至关重要,在关键时刻就能派上用场。
虽然这些工作看起来有些平常,但千万别小看它们。数据中心运维工作实际上非常重要,关乎着整个数据中心业务的正常运行。目前市场上这类专业人才非常抢手,尤其对于具有较深故障排查水平的人才比较缺乏。只有重视数据中心的运维工作,才能给数据中心一个平安。
第二篇:数据中心运维题目
运维部第二季度考试试卷
部门:__________________ 姓名:__________________ 分数:_____________
一、填空题(每空 1分,共 10分)
1、IDC 机房温湿度应严格符合设备运行要求。温度正常工作范围 18-26 度;相对湿度正常工作范围 40%-70% ;当发现温湿度异常时,应及时()
2、严格机房进出制度,外来人员应()
3、UPS 电源三相电压 Vab、Vbc、Vca 正常时显示应为(),用蓝,黑颜色和字母()来标识零线,用 黄 绿 颜色和字母()标识保护地线。
4、空调非标柜分闸灯亮表示该路电源(),合闸灯亮表示该路电源闭 合。当机房外供电出现中断以后,空调非标准柜上市电灯亮起时,需要 按非标柜上的()按钮,手动合闸。
5、启动机房气体消防系统灭火的方法有三种,按照启动级别依次为 按监控 室控制端的()、击碎机房大门侧面的(),到气瓶间拔出对应楼层的()。
二、选择题(每题 4 分 共 20 分)
1、MAC地址表示方法正确的是()A、0778 B、202.201.32.100 C、011111110.01001000.11110101.00101010 D、00-60-58-70-C8-9A
2、以下那一项不含在PUE计算的电子信息设备能耗之中()A.通讯机房的传输设备 B.模块机房中客户的交换机
C.模块机房中我司自有的云平台设备 D.值班室的办公电脑
3、下面不是 IDC 机房的服务器操作系统的是()A、Windows Server 2003、Windows 2008 Server B、Andorid、Symbian、BlackBerryOS、windows mobile C、LINXU、Centos、SUSlinux D、UNIX、freebsd
4、某公司申请到了一个C类IP地址,需要分配给8个子公司,最好的子网掩码应设为()A、255.255.255.0 B、255.255.255.128 C、255.255.255.240 D、255.255.255.224
5、Cisco 交换机端口指示灯为()的情况下,为正常工作。A.熄灭
B.橘色固定时间间隔缓慢闪动 C.绿色快速闪动
D.绿色固定时间间隔缓慢闪动
三、判断题(每题 1分,共 10分)
1、值班人员不得随意屏蔽设备报警。()
2、机房技术档案可以在论坛中与其他人分享。()
3、各种灭火器材应定位放置,随时保持有效,人人会使用。()
4、在机房服务器故障巡检中漏检,错检,在下次注意即可,不同通知相关负责人。()
5、设备测试远距离取电,多个插排串接不会对设备用电产生安全隐患。()
6、客户入室维护时发现未收到入室工单,应安抚客户并立刻与客响中心确认。()
7、当发现隐患尚未解决,上一班次已经传报,接班人无须二次传报。()
8、气体消防气体采用无毒惰性气体,因此在气体释放时人员可以站在机房内或者机房大门旁。()
9、电源线和网线在条件允许下,可以在同一个走线架上走在一起。()
10、发现服务器电源模块与电源线插接处电缆外皮剥落,可能发生漏电情况,应先保障设备安全,操作设备进行关机操作。()
四、简答题(每题10分,共60 分)
1、请简要划出你所在 IDC 机房的弱电路由图(包括光纤odf分布,布线弱电桥架分布)。
2、请简要说明你所在 IDC 机房的设备设施的供电方式和断电处理方式。
3、简述下常用网络命令操作;
(1)检测机房到“百度网”的网络连通性;
(2)查看机房到“百度网“的网络路由,并说出最大延迟和丢包所在 的 IP 地址;
(3)连续 ping 百度网 50 个包,查看丢包率;
4、简述配置linux环境下,windows环境下,开启远程桌面的命令或者步骤;
5、请简要描述你所在 IDC 机房的机柜单路空开跳闸的处理过程和注意事项。
6、请简要说明下你所在的IDC机房汛期的重要关注事项及位置。
第三篇:数据中心运维操作标准及流程
数据中心运维操作标准及流程
郑州向心力通信技术股份有限公司
二零一八年 1 机房运维管理前期准备 1.1 管理目标
机房基础设施运维团队应与业主管理层、IT部门、相关业务部门共同讨论确定运维管理目标。制定目标时,应综合考虑机房所支持的应用的可用性要求、机房基础设施设施的等级、容量等因素。目标宜包括可用性目标、能效目标、可以用服务等级协议(SLA)的形式呈现。不同应用的可用性目标的机房,可设定不同等级的机房基础设施的运维管理目标。1.2 参与数据中心建设过程
机房运维团队应充分了解自己将要管理的场地基础设施。对于新建机房,应尽早参与机房基础设施的建设过程,以便将运维阶段的需求在规划、设计、建造、安装和调试等过程中得到充分的考虑;同时为后期做好运维工作打下基础。1.2.1 应参与规划设计
机房的规划设计是一个谨慎和严谨的过程,需要所有参与机房建设的相关方共同完成,才能确保规划和设计的有效性、实用性等要求。其中,基础设施运维团队应提出运维要求,从运维经验、实际运维难度、提高运维可易性等方面对规划和设计过程进行配合。1.2.2 应参与相关供应商遴选
机房基础设施运维团队应参与机房基础设施设备供应商选择的全过程,及时地了解各种产品及服务的品牌、型号、规格等关键参数,使之更能满足运维的要求。并就在安装、调试过程中的注意事项等提出建议,还需要对后续的设备保修等服务提出要求。1.2.3 应参与建造管理
机房的基础设施运维团队应积极参与机房基础设施的建造工作,并协助做好建设项目的项目管理工作,着重关注工程建造中如材料的使用、工序、建造过程等工作,重点关注隐蔽工程的安装工艺和质量。机房基础设施运维团队应充分了解施工过程中的工艺。对于新建数据中心,从施工质量和日后运维方便性出发,尽早发现施工过程的问题,及时纠正,方便日后运维和节省日后整改成本。1.3 测试验证
机房基础设施投产前的测试验证是确保机房基础设施满足设计要求和运行要求的关键环节。1.3.1 时间和预算
机房的业主应设立测试验证专项预算,预算应包括外部测试验证服务提供商的相关费用,以及在测试验证阶段产生的电费、水费、油费等相关费用。应制定测试验证的工期规划,以更准确地预测机房基础设施交付投产的日期。1.3.2 测试验证参与方
项目建设管理部门可作为测试验证工作的主体责任单位;运维管理部门可作为测试验证工作的主体审核单位;第三方测试服务商可作为测试验证的实施单位及整体组织工作的协调单位。但运维管理部门应要求测试服务商预先提供测试方案,在运维管理部门审核后方可进行。机房基础设施运维团队可参与测试验证工作,在此过程中熟悉设施和设备,可建立相关运维技术文档库,为后期的运维工作做好准备。
机房关键设备提供商及工程总包商,应积极配合测试验证工作,应在供应商合同中对此项有明确要求。1.3.3 测试验证内容
验证应覆盖所有关键子系统和设备应具备的功能和关键的操作程序,确保满足设计要求,必要时可做故障情景模拟来检验。
测试验证中发现设计或者建设阶段的问题,应该在报告中充分体现;可以改造的部分,应要求建设单位进行改造;不能改造或暂时不需改造部分,应作为风险点在运维过程中予以特别的重视,并制定相关预案。
1.3.4 设施健康评估
当接手已在运行的机房基础设施的运维工作前,运维团队应对设施的情况进行健康评估,了解潜在风险点,其中能够改造的部分,应该申请予以优化改造。不能改造的部分,应该作为风险点在运维中予以特别的重视,并制定相关预案。1.4 技术文档
完整并准确的技术文档是后期运行、维护、维修、故障诊断、优化改造的基础。运维团队在开展运维工作前,应从施工单位得到场地基础设施的全套相关文档,包括但不限于:机房的规划设计资料及竣工图纸、全套设备的清单及相关操作文档和保修保养资料、机房自动操作系统的逻辑图及说明文档、监控系统的点表、验收测试文档、机房所在建筑的建筑设计资料、竣工图纸。整体文档应在限定时限内进入运维管理知识库,并按照质量管理的原理和要求设定文档的起草、变更、审核、批准、保存、分发等职责权限。1.5 管理边界
为了明确管理责任,机房基础设施运维团队应将可能影响机房基础设施运维目标达成的外界因素整合成管理边界报告,提交业主管理层并组织研讨,形成明确的决策,制定完整的协调沟通机制及权责界限。这些因素包括但不限于:不归本部门负责,但可能对于本部门有重大影响的供电、供水、供暖、制冷、消防、安防、监控、运营商线路接入等系统。安全管理和质量管理建议 2.1 人员安全
机房基础设施运维团队要编制正式的机房生产环境(工作场所)的安全方针,设定严格的安全生产规范;并根据安全方针制定有效的、明确的安全计划,来教授和培训安全原则、危险识别、纠正缺陷和控制风险。并加强对于该部分规范的合规度的培训、考试和审核检查,以确保机房运维人员的人身安全。相关安全生产规范主要包括:
●机房生产环境安全管理规范; ●机房基础设施各系统安全管理手册; ●机房基础设施涉及安全的应急预案; ●机房基础设施管理过程涉及的技术方案中的安全管理策略。机房基础设施中与电气相关的工作存在着固有危险。设施运维团队应当创建一份正式电气安全计划,以最小化所有工作人员受到电气伤害的风险,确保现场电气系统达到相关法规标准。电气安全计划中的条款应规定电气工作人员在有资质和具备合理安全工作流程的前提下才能进行操作,并应利用防护设备和其他控制手段,如上锁挂牌设备。此计划的创建旨在防止员工受到电击、烧伤、电弧和其他潜在电气安全隐患,同时要求其遵守法规标准。
相关国家、行业规程包括但不限于:
●GB 26860电力安全工作规程 发电厂和变电站电气部分; ●DL 408 电业安全工作规程。2.2 物理环境安全
应了解周边社会环境信息,评估潜在的安全风险并制定预案。这些信息宜包含但不限于:周边交通路况、医院、供油站、消防站、变电站、供水、供电、供气、网络通信线路等。可建立周边社会环境管理资料库。
应了解机房所在地的历史自然灾害情况。包含但不限于GB50174 及TIA-942中提到的所有评估机房选址的外部因素,并制定相应的管理预案。
应建立并执行严格的机房设备、人员、车辆进出管理制度。应设立不同安全区等级(参考ISO27001信息安全管理中的物理安全控制)并制定访客管理制度,用以有效管理访客。2.3 质量管理
在机房基础设施运维过程中建立完善的质量管理体系,是保障以上机房基础设施运维趋于卓越的重要因素和手段。机房基础设施运维团队的所有关键工作应包括以下的质量管理要素: 2.3.1 质量保证
●过程制定; ●程序制定; ●过程审核和批准; ●过程和程序培训。2.3.2 质量控制
●事件回顾; ●质量检查和检验; ●定期质量审核。2.3.3 质量改进
●故障分析; ●经验教训; ●优化及创新计划。人员管理建议 3.1 组织及人员 3.1.1 组织架构
机房运维团队应有清晰的组织架构,同时对各岗位有明确的岗位职责说明并在计算机化维护管理系统(CMMS)中实现权责匹配,同步更新。中大型数据中心场地基础设施运维团队中除现场负责人外,可按照工作内容分设以下几个主要职能岗位:
●运维巡检团队
主要职责:对基础设备设施进行巡检,担任值班工作,第一时间发现故障或问题,并作为管理程序的执行者。
●技术管理团队
主要职责:对机房基础设施提供运维技术支持,解决技术问题,承担机房基础设施一般性的优化改造工程的项目管理工作,宜包括电气、空调、弱电等系统的技术人员。
● 物理环境安全管理团队
主要职责:对物理环境安全进行管理,进行安全巡检等工作。3.1.2 人员配制
机房基础设施运维人员的配备应根据运维管理目标或SLA来确定。中高等级的机房,可按照7X24的运行要求配置运维人员。上岗人员应具备国家要求的相应资格证书。应在运维管理程序中明确规定资质等级与操作权限的一致性。
高等级以及具有一定规模的机房,每个班组应配备具有电力、暖通、弱电专业能力的运维人员,以达到“即时应急响应”的工作状态。等级相对低的机房,每个班需要至少配备一人,达到“即时报警”的工作状态。
运维团队的关键岗位应有人员备份和储备。机房基础设施运维管理团队的关键管理人员或关键岗位人员在正常运维工作开展中应采用A、B 角色配置,日常工作中应注意角色的分配和工作的配合。其它岗位人员宜建立良好的循环机制,人员可进行岗位轮换和交叉培训,使所有人员掌握全面的基础知识。3.1.3 绩效管理
为了提高机房运维人员的技术技能、职业素养和提倡团队合作精神,专业地、高效率地运行和维护机房基础设施,有必要建立人员的关键绩效指标,定期对所有人员的短期和长期绩效进行评估,奖优罚劣,推动整个运维团队技术和素质的发展和改进。3.1.4 人员管理制度
为了保障机房基础设施运维团队的创新性、稳定性、持续性,应通过建立合理的人员管理制度,约束人员的工作态度、行为规范,提高人员的工作热情、工作效率和执行力,激发人员正面影响,使团队一直保有活力来共同努力达成服务等级协议的要求,运维团队应该建立运维人员的各项管理制度。这些管理制度应该主要包含(但不限于):
●《日常活动管理制度》; ●《人员安全操作制度》;
●《运维人员基本素质养成管理制度》; ●《安全运行奖惩制度》; ●《节能运行奖惩制度》; ●《技术创新奖励制度》; ●《人员晋升制度》; ●《人才储备制度》; 3.2 培训及认证
3.2.1 员工培训及资格认证计划
对于机房基础设施运维团队新员工应进行完整及严格的培训,以确保其尽快具备岗位需要之知识及能力。培训内容应包括机房基础设施的所有系统的工作原理、操作流程、应急预案、以及管理制度等。
对于所有运维人员宜设定以知识更新、技能提高为目标的培训及认证计划。宜要求运维人员不断提升理论知识,以便于在缺乏操作程序的应急状态下进行正确的处置。
可借助行业第三方专业培训及职业技能鉴定平台,积极开展运维人员任职资格的评定工作。3.2.2 历史事件分析学习
运维团队应将机房基础设施历史事件的总结分析作为培训的重要素材,进行全员培训;对于新员工应在上岗前予以培训,以避免相同的事件再次发生。3.2.3 组织学习
运维团队管理者应积极参与行业交流,了解行业最佳的运维管理实践,并从行业故障案例中总结经验,做好自身整改。3.3 运维外包服务商
3.3.1 基础设施运维外包服务商的选择
机房基础设施属于关键性设施,选择外包运维团队时应考察其机房基础设施的运维服务的资质、能力和经验。如机房作为商业物业的一部分整体外包运维,应要求外包运维机构针对机房基础设施设施部分设立专门的有机房基础设施运维经验的团队,并严格按机房基础设施的运维规程规范执行。3.3.2 运维外包服务商的管理
对于外包服务商的员工的管理原则应该参照运维团队内部员工同等要求,相关人员只有在进行培训并得到相关的认证后才能从事相关的工作。
外包服务商需要严格遵循数机房基础设施既定的操作流程和安全守则。
机房基础设施运维管理的最终责任承担者是机房管理者,责任无法外包。因此,机房应保留运维核心管理人员,对于外包团队的工作进行审核、监督和绩效评估管理。设施管理建议 4.1 资产数据库
数据中心应建立完整及实时更新的资产数据库。数据库应包括所有关键基础设施设备的清单,还应记录设备设施的运行情况、事件情况、变更情况、维护保养频次等信息。
资产数据库应最少包括以下信息: 资产ID:每个资产的唯一标识号
种 类:一级分类(如电气、制冷、消防系统)子 类:二级分类(如 UPS、电池、PDU等)描 述:资产的文字说明 制 造:资产的制造厂家 型 号:制造厂家的产品型号 规 格:资产的规格或者标称值 位 置:位置 ID(房间或区域)购 买 人:资产维护的负责人 序 列 号:制造厂家的序列号 安装日期:资产的投产日期 保修期限:保修到期的日期 更 换:预计的资产更换日期 维护频次:年检、季检、月检等 4.2 预防性维护 4.2.1 预防性维护计划
预防性维护是为了延长设备的使用寿命和减少设备故障的概率而进行的有计划的维护。其目的是通过定期检查和保养,使设备的某些缺陷或隐患在变得更严重之前被发现。
运维团队应根据系统设备情况与供应商进行沟通,按照供应商的建议提前制定、季度、月度预防性维护计划。各专业运维人员需按照各设备系统特性、维护流程及规范,及时、完整地落实维护工作,并形成客观实际的记录和报告予以存档。运维团队还应定期对设备的运行状态数据进行统计和趋势量化分析,对于异常的趋势,做出报警及相关预案。预防性维护包括并不限于以下系统设备或内容: ●冷水机组、精密空调; ●UPS,开关、和发电机组; ●消防系统和监控系统检验; ●蓄电池放电测试;
●配电装置(高低压配电装置)的绝缘性定期试验; ●二次保护定值实验;
●每年雨季之前进行的数据中心防雷接地装置测试等。4.2.2 工单管理
运维团队应建立预防性维护及保养的工单管理系统,工单应列出工作内容、完成相应工作需要的工具及备件、工作预计完成的时间、工作负责人等信息。
计算机化维护管理系统应该对每份工单从产生到完成进行全程的跟踪。4.3 操作流程
机房基础设施的所有操作,均应事先制定详细的操作流程,经过审核后存档并在后期运行阶段严格执行。4.3.1 维护作业程序MOP 对机房关键基础设施设备的每次维护、维修、安装操作,都应事先制定一份MOP。可要求设备供应商提供MOP的建议,但对于MOP最终确认审核的责任在于运维团队,批准责任在于运维管理团队。4.3.2 标准操作流程SOP 所有关键基础设施设备在各种情况下都能执行的常用操作都应制定标准操作流程SOP。例如手动启动发电机组的操作流程,或将UPS转换到旁路的操作流程等。4.3.3 应急操作流程EOP 应急操作流程适用于有可能发生的严重故障情况。以下为部分严重故障的例子:
●一路市电供电时中断; ●双路市电供电时同时中断; ●单个精密空调时故障停机; ●全部精密空调都故障停机; ●单台UPS时故障停机。4.4 工具及备件管理
运维团队应根据资产分类清单及其分类制定最低备件库存清单并及时补充备件。
测试分析仪器仪表方面可配备进行电气性能参数测试、电池测试、接地电阻测试、绝缘性能测试、设备运行温度测试、风速测试、环境温度测试、噪音测试等的仪器仪表。仪器仪表应该定期校准。
应制定相关规定对操作工具、仪器仪表实行人员负责制或者交接班负责制等管理制度。备件和工具应定期进行盘点。4.5 供应商管理
应该按照机房基础设施运维的资质、以往的经验、业界的口碑等因素,以注重预防性和预测性维护和提高可用性的相同标准来选择合格的供应商。
所有供应商到达机房执行维护程序之前,应通过机房相关规程的培训,获得机房运维团队和运维管理层的批准。在执行维护活动的过程中要严格遵循操作流程。操作时需由运维团队的人员陪同并监督记录流程的执行情况。
供应商的每次机房维护活动都应该提交现场服务报告并存档。运维团队应该建立供应商的绩效评估方案,并定期对供应商进行绩效评估。应设立供应商管理文档,记录所有供应商的联系方式、服务承诺(SLA)、工作范围、针对设施的培训和认证情况等信息。4.6 生命周期管理
应基于设施设备的合理生命周期,结合风险评估,制定设备维护、升级或更换的计划及预算,及时报告给运维管理部门。
风险评估主要评估内容包括: ●资产重要性识别; ●资产威胁识别; ●资产脆弱性识别; ●风险值的计算;
●在评估更换设备的方案时,可综合考虑原有设备的维护费用以及新设备在能效方面的改进,做好综合投资回报分析;
●对于冗余设备宜设立轮换运行机制,以延长整体设备的生命周期。
4.7 运维管理系统 机房可建立自动化维护管理系统(MMS),集中实现资产管理、维护调度、信息安全、文档管理、工单管理的职能并记录所有的运维工作任务及完成情况。运行管理建议 5.1 运行管理制度
机房基础设施运维团队应建立并严格执行运行管理制度,包括:5.1.1 巡检相关管理制度
●日常巡视巡检管理制度; ●值班管理制度; ●交接班管理制度; ●通知矩阵。
5.1.2 工作流程相关管理制度
●工单处理流程; ●例会制度;
●工作总结报告制度(日、周、月、季、年总结报告);●交付管理规范;
●运维质量管理办法文档管理制度; ●工具备件管理制度。5.1.3 安全相关管理制度
●机房出入管理制度; ●机房现场管理制度;
●机房卫生管理制度; ●信息安全相关管理制度。5.1.4 故障处理管理制度
●设备操作管理制度; ●设备故障处理流程; ●应急准备和应急响应流程; ●维护作业计划管理制度; ●故障隐患跟踪反馈管理制度; ●紧急事件汇报流程。5.1.5 经营相关管理制度
●员工行为规范; ●考勤管理制度; ●人员管理考核制度。
5.2 设施监控、巡检、及交接班管理
应配备环境、动力、安防等监控系统以便于运维人员及时了解设施各系统及设备的运行状态和及时发现异常情况。
应规定相应的运行人员对设施运行状态的巡视频次、巡视工作内容及规范。
运行人员交接班时应对当班执行的操作、变更及观察到的任何异常数据或现象进行交接和签收。5.3 机房清洁管理
应划定保洁区域,定期做好机房保洁工作,保证地板及地板下的无尘状态。重要区域进行保洁工作时应有运维人员现场监督和指导。5.4 标签标识管理
应建立针对数据中心场地基础设施设备和物理环境完整的、清晰的标签标识管理系统。应至少包括:
●设备标识:包括设备名称、型号、编号、资产编号等; ●线缆标识:包括起始端信息、终止端信息、设备名称等; ●警示标识:如“设备已带电/危险”、“禁止合闸”、“禁止分闸”等;
●物理环境标识:如位置标识、区域标识等;
●系统图展板标识:如电气、暖通、消防、弱电系统图展板。这类标识便于运维人员清晰、快捷地掌握区域及整个数据中心系统的配电、制冷、消防、弱电的原理及关键点位。5.5 变更管理
任何对于设施运行状态的变更应进行预先的风险分析,并基于风险等级,设定相应级别的事前审核流程。在变更方案及变更时间窗口确认后,应进行相应范围的告知。变更结束后,应向相应范围部门通报变更结果。5.6 事件管理
应制定事件管理流程,明确不同等级事件下相应的处理流程。5.6.1 事件等级定义
一般事件:任何没有达到机房设计和运行标准的异常事件; 严重事件:任何没有达到机房设计、运行标准的事件,且对提供的服务造成中断的事件;
重大事件:任何没有达到机房设计、运行标准的事件,且对提供的服务造成中断,且影响范围大的事件。5.6.2 事件升级
当事件暂时无法排除,需要逐级报告,进入事件升级流程。如遇特殊情况,与直接主管联系不上时,可越级向上一级主管报告。
5.7 应急响应
5.7.1 设施应急预案演练
运维团队应针对应急操作流程EOP进行定期的演练工作,主要包括:
●沙盘演练:参与演练的运维人员集合,并分别口述在发生紧急情况下自身所应承担的职责及将会执行的方案及步骤;
●跑位演练:参与演练的人员跑位到模拟故障现场,模拟处理故障,参与人员应清晰地说出故障的处理方案及步骤。
应急演练的演练原则是:尽量接近真实情况,在条件允许的情况下尽量真实地处理故障。在运行中的一些特定场景下也可以进行应急演练,如发电机带载实验等。5.7.2 人员安全应急流程
机房基础设施运维团队应针对影响运维人员健康的人身事故制定应急流程并定期演练。应急流程可包括设置现场急救包以及联系当地医疗急救机构的方式等。5.8 容量管理
容量管理可包括但不限于以下方面: 5.8.1 空间容量
●IT设备摆放空间; ●基础设备设施摆放空间; ●综合布线线路空间,配线架管理。5.8.2 能力容量
●电力供应容量; ●空调供应容量; ●综合布线信息点容量; ●互联网接入容量。
设施运维团队应与IT 部门定期沟通,动态了解IT需求的预测,并通报设施容量的使用情况。可制定3个月至36个月周期的IT需求及设施可用容量两者的对比分析表。
当机房基础设施不能满足IT增长的需求时,应提前制定并上报扩容或者新建机房的计划。5.9 能效管理 5.9.1 能效监测
机房基础设施运维团队应了解并记录机房在不同工况及不同外界气候条件下的电力使用效率 PUE 的变化情况,从中发现趋势,以不断优化运行方案。5.9.2 了解IT设备运行特征 机房基础设施运维人员应具备一定的IT设备相关知识,了解服务器、网络、存储等设备的运行特点和功耗情况。还应了解客户或用户的业务基本情况,了解IT 设备的运行峰谷期。
应与客户或用户相关部门做好沟通,针对高密度IT负载的部署做出预测,并制定相关应对方案。5.9.3 管理气流组织
应封堵设施建筑所有可能的漏风口,维持设施的正压。应疏导设施内气流的流向、封堵所有可能的漏风口、对机柜内所有空闲U位安装盲板、关闭不必要的出风口、保证冷空气的最佳使用效率。
5.9.4 运行阈值设定
应基于安全性及运行效率的综合考虑,建立运行阈值设定指南,设置监控报警阈值、空调回风温度等。5.10 预算管理
运维团队应做好运维财务预算,上报主管领导及财务部门,并做好预算必要性的沟通解释工作。
预算应包括但不限于以下内容: ●基于SLA的人力预算; ●备件及工具、仪器采购费用; ●应急维护材料费用;
●专业外包维保和应急服务费用; ●政策性等强制检测服务费用; ●整改或节能改造预算; ●突发问题备用金。
第四篇:数据中心机房建设及运维管理0220
数据中心机房建设及运维管理
1.机房建设的目的
为计算机提供稳定的运行环境 保障机房操作人员的身体健康 降低工程造价和运维成本
为计算机提供稳定的运行环境:
四保证:稳频、稳压、不间断、抗干扰 三度:温度、湿度、洁净度
七防:防火、防水、防电磁干扰、防震、防雷、防鼠、防虫
保障机房操作人员的身体健康:
温度、新风、照度、噪音、环保、安全
降低工程造价和运维成本: 设计是关键; 运维是长期投入;
协调平衡二者之间的关系(TCO,Total Cost of Ownership,总体拥有成本)
TCO “总体拥有成本”概念的问世源于1980年代后期Garnter公司的一项研究。
TCO是一项帮助组织来考核、管理和削减在一定时间范围内组织某项获得资产相关联的所有成本的技术。
在实践中,并没有普遍接受的计算TCO的公式,计算TCO的时候,一定要考虑到资产的所有关联成本。如: 购买成本、安装成本、财务成本、佣金、能源成本、维修成本、升级成本、转换成本、培训成本、支持成本、服务成本、维持成本、当机成本、安全成本、生产力成本、风险成本、处理成本。
2.机房建设的内容 供电及UPS电源系统 空调系统、新风系统 装修工程 照明系统 综合布线系统 防雷和接地系统 视频监控系统 门禁系统
火灾报警和自动消防系统 综合监控系统 屏蔽及保密工程
供电及UPS电源系统
机房负载分为:主设备负载、辅助设备负载 主设备负载:计算机及网络系统、计算机外部设备及机房监控系统;供电质量要求高,应采用UPS不间断电源供电以保持稳定性和可靠性。
辅助设备负载:空调、动力、照明、测试设备等。可由市电直接供电。后备发电机、UPS、智能配电柜
精密空调系统
排出设备和其他热源散热,维持恒温恒湿,控制空气含尘量; 新风换气系统
供给新鲜空气,维持对外正压差,避免灰尘进入,保持洁净度。
装修工程
顶面、地面、墙面、隔断 防静电活动地板
隔断:轻薄,隔音、隔热
照明系统
无眩光照明系统
综合布线系统
门禁系统
第五篇:云数据中心运维问题解析
1、云计算时代的到来,数据中心的运行管理工作必然会产生新的问题,提出新的要求,您认为,数据中心运维工作发生了哪些改变?
云计算是当下的技术热点,云数据中心是提供云计算服务的核心,是传统数据中心的升级。
无论是传统的数据中心,还是云数据中心,从他们的生命周期来看,运维管理都是整个生命周期中历时最长的一个阶段。
云数据中心的运维工作需要我们仔细分析,认真对待。从开源云计算社区openstack发布的模块来看,截止2014年11月,社区共有项目模块450个左右,模块数量前三的类型是“运维”、“易用性”、“上层服务”,其中运维模块数量第一,占到了153个。可见云计算的技术动向基本上围绕“如何运维”和“如何使用”。
我们今天的话题就先来说一说云数据中心运维的变化。说到云数据中心运维工作的变化,就要分析云的特点。云时代数据中心最明显的特点就是虚拟化技术的大量应用,这使得运维管理的对象发生了变化:
一、云数据中心运维对象数量激增。虚拟化技术将1台物理服务器虚拟为多台虚拟服务器,如果数据中心支撑业务需求规模不变的话,所需要的物理服务器数量将会减少,这与很多人认为的运维服务器数量激增是不符的,那么这个“激增”认识是如何产生的呢。可以这样分析,由于虚拟化技术进一步提高了数据中心各种资源的使用效率,同时大幅提高了业务需求响应能力,所以多个传统数据中心合并为一个云数据中心在技术上成为了可能。很多跨国企业采用云计算技术,实现数据中心10:1到20:1的合并效果,也就是说如果原来在全球建设1000个数据中心,那么现在可以由50到100个云数据中心实现对业务的支撑,在一个合并后的云数据中心内,所要运维的服务器数量绝对可以称得上“激增”,这里所说的服务器既包括物理服务器也包括虚拟服务器。与此同时,运维岗位也就是运维人员虽然也进行了调整,但是人员增加的幅度远低于设备的增涨幅度,也就是人均运维设备数量增加了很多,在这种情况下,如果不借助工具、系统,很难完成运维工作。
二、在传统数据中心中,设备都是物理的、真实的,位置也是相对固定,对业务系统来讲,交换网络、服务器、存储设备对象之间关联也是比较固定的,管理起来相对直观。在云数据中心,虚拟化带来了资源的池化,使得一切管理对象变成虚拟的、可灵活迁移的逻辑存在。虚拟资源可以随时创建、删除,再加上高可用需求、性能优化需求带来的虚拟资源迁移,虚拟资源所在的位置变得不固定了,虚拟资源与物理资源的关系也被解耦了,原来很多能说得清、找得到的资源现在不借助工具就再也无法说得清、找得到了。
三、在传统数据中心中,设备监控主要是采集故障、性能数据,容量一般来讲还不是运维层面的问题,而是规划的问题,当然这也带来了业务系统竖井、数据中心竖井的问题,以及业务资源申请周期长的问题。在云数据中心中,容量不仅是规划问题,同时也是一个运维问题。也就是说,在日常工作中,需要随时采集资源池容量数据,不仅要看资源池的总容量,还要看容量在各个物理宿主机上分布情况,以便满足高可用和迁移的需要。
四、云数据中心在管理虚拟设备时,接口的标准化问题。在传统数据中心内,物理设备已经形成了接口标准,提供运维数据,如snmp、netflow等。而对虚拟化设备,还没有形成国标或行标,对虚拟设备的运维还需要采用厂家标准。如果在一个云数据中心中采用了多个厂家的虚拟化系统,运维人员就需要熟悉多个厂家的界面。这个问题的解决,短期来看,需要一个融合的系统,为运维人员屏蔽多厂家虚拟化系统的差异,长期来看,希望能够形成各厂家虚拟化系统的统一接口标准。
云计算带来了IT服务成本的降低,提高了应对业务需求的敏捷性,同时,我们也要看到,如果云数据中心运维管理调整不及时,不但运维工作量不减反增,而且运维水平还会降低。
2、当数据中心发展到一定的规模,人们在数据中心管控要求的基础上,强调了流程化、自动化运维的模式,以便数据中心的运维工作能够更加快捷高效的开展起来,数据中心步入云时代,对于运维工作的流程化、自动化要求,云管理系统能给用户带来哪些价值? 虚拟化技术是云数据中心的特点,但是云数据中心不仅仅是虚拟化。云数据中心响应业务需求的敏捷性,基于虚拟化,这是云数据中心的技术基础。
云数据中心以租用的方式向资源用户提供云服务,包括IaaS、PaaS、SaaS。从运维的角度讲,云服务的提供者要如何保障用户获得需要的服务呢。
云管理系统保障分配资源给用户的动作是自动化的,也就是说所有操作完全在线上完成,并且支持批量处理。
在云管理系统中,可创建并保存三个层面的资源模板,分别对应IaaS、PaaS、SaaS三个服务层面。用户申请某个或某些服务时,云管理系统就会按照相应的模版去创建资源。这是最基本的虚拟资源分配动作。
复杂一些的操作是可配置参数的资源模板,用户在申请服务时或运维人员在点击资源创建按钮前,可以传递一些参数给创建程序,如操作系统的用户名、密码,那么云管理系统在基于相应模板创建虚拟服务器时,会按照参数设置服务器操作系统管理员的账号信息。
再复杂一些的自动化动作,是基于模板组合进行的、有顺序的、有条件的动作序列,一般用作响应需要多个资源进行部署的业务系统的服务申请,通过一系列操作,为该业务系统分配网络地址、服务器、存储空间,并进行相关的配置,可定义动作执行的顺序以及后续动作执行的前提条件。对于特别复杂的动作组,允许进一步分割,也就是定义子动作组。
上述三种操作都是线上的、自动化完成的,这样的好处就是提高效率。云计算的好处之一就是敏捷分配,如果用户申请后,还要线下做很多配置,就会明显延长服务交付时间。同时基于模板的自动化操作也减少了人工线下操作的不确定性。
上面说完了运维的自动化,下面再说一下流程化。在云管理系统中,服务流程既包含了ITIL流程,如事件管理、问题管理、变更管理、发布管理等,同时也包含了云服务申请和审批的流程,如服务开通、服务变更、服务终止等。云管理系统还提供流程设计器和表单设计器,方便运维人员修改系统提供的服务流程,或者根据需要新建流程。
3、云时代数据中心最明显的特点就是虚拟化技术的大量应用,这使得管理的对象也在变化。以前的设备都是真实的,位置也是相对固定,管理起来相对直观。而应用虚拟化技术的结果是将这些资源进行“池化”,使得一切管理对象变成虚拟的、可迁移的存在,如何帮助用户面对这种挑战?
我们在谈云数据中心运维变化时,曾经提到过这个问题。在云数据中心,虚拟化带来了资源的池化,使得管理对象变成虚拟的、可灵活迁移的逻辑存在。运维人员很难再说清楚虚拟资源与物理资源的对应关系。
云管理系统会采集虚拟资源的运行数据,即时掌握资源之间的关系。首先是虚拟资源与物理资源的关联信息,比如虚拟机运行在哪台物理机上。其次,虚拟资源与虚拟资源的关系,如某台虚拟机与哪个虚拟网络设备的端口连接,某个虚拟磁盘挂载到了哪个虚拟服务器上。第三,物理资源与空间资源的关联,可以定位资源的实际部署位置。第四,物理资源与物理资源的关联关系。第三点与第四点与传统数据中处理方式并无不同。第五,云管理系统,还能够管理资源与业务系统的关系,以及资源与用户的关系。
通过云管理系统,运维人员可以即时掌握云数据中心中有哪些资源,资源的运行情况,以及资源之间的链接,资源分配给了哪个用户、哪个业务系统,资源在哪,这个在哪既包括了虚拟资源的分布也包括了物理资源的位置。
可以这么说,云管理系统以服务租用的方式向最终用户屏蔽了云数据中心内的资源情况,但是运维人员通过云管理系统能够清清楚楚、明明白白的掌握资源情况,包括虚拟的资源,也包括传统的资源。
4、目前,云数据中心管理的最大挑战除了上面提到的流程化、自动化和虚拟化,同时还要实现异构资源的融合管理,在这方面云管理系统是如何满足的? 我们在谈云数据中心变化时,曾经提到过,如果云数据中心同时存在多个虚拟化系统,由于提供商执行各自的厂家标准,要如何去运维。当时我们提到了“融合”,也就是通过一个统一的管理系统,去融合、去屏蔽多个虚拟化系统的差异。
需要融合的虚拟化系统有很多,有商业产品,也有开源系统,在这我们不一一说明。但这只是虚拟资源范畴的融合,在我们实际的云数据中心运维工程中,我们发现,现阶段国内的很多云数据中心并没有全盘的虚拟化,这种现象在企业云数据中心中尤其普遍。企业中一部分业务系统部署在虚拟环境中,另外一部分业务系统部署在物理环境中,还有一些业务系统,部署环境同时存在物理资源及虚拟资源。
基于这种情况,云管理系统进一步扩大了“融合”的范畴,管理的资源范围不仅包括虚拟资源,还包括数据中心的物理资源、空间资源、动环资源,这样就把云数据中心全面地管理起来,既有传统的,也有虚拟的,而且传统资源和虚拟资源结合起来管理,使得云数据中心的运维更加的智能。比如,我要分配一个虚拟服务器,如果有动环资源的信息,我不仅可以基于宿主机也就是物理服务器的使用情况做策略,还可以考虑服务器所在区域的电能、冷能信息。
云数据中心是传统数据中心的升级,那么云数据中心的运维也应该是传统数据中心的运维升级,不应该缺少原有的运维能力。
5、云数据中心解决了业务系统部署的烟囱问题,通过资源池化及资源自动调度实现了灵活统一的业务部署,但不同的业务系统有其固有的专业性,对网络、计算、存储的规格要求各不相同,各个业务系统的服务要求、监控要求、故障处理要求等也存在差异,要做到业务系统的统一部署,又要满足特定需要,对于云数据中心“求同存异”的挑战,云管理系统是如何克服的?
云管理系统以服务租用的方式对云服务用户屏蔽了云数据中心的资源细节。以计算资源举例,一般情况下,云服务用户所看到的、分配给自己的服务器CPU配置都是虚拟的,也就是vCPU,他和物理CPU之间并没有一个统一的对应关系,甲用户和乙用户同样的虚拟服务器配置,可能由于宿主机品牌、型号、虚拟化方式、超配策略等,在计算能力上会有较大差异,当然,云服务提供的成本也会存在差异。这个差异再加上监控、维护等增值服务要求的差异,构成了不同等级的服务水平要求。
云管理系统在资源池划分方式上支持这种服务水平的差异性管理。云管理系统支持几种划分资源池的方式,其中一种就是按资源池等级进行划分并进行管理。可以定义不同等级的资源池,如金牌、银牌、铜牌,把物理资源及虚拟资源调度到不同等级的资源池中,用户、业务系统具有相应等级资源池的配额,在配额内可以申请、使用资源。其实,关于资源划分等级的做法在传统数据中心就有,在云数据中心中只是加入了虚拟资源而已。
6、对于数据中心而言,能效的问题为大家所关注,绿色数据中心的话题也一直再提,云管理系统是否能有效帮助云数据中心降低能耗?
虚拟化技术带来的一个好处就是降低能耗,这是基于虚拟机迁移技术实现的。前提是业务量在某一时间段内下降,物理机资源在这段时间内存在一定比例的空闲。最好是空闲的比例和时间是能够预见的,一般来讲,这个时间是夜晚。在这个相对空闲的周期内,通过迁移虚拟机到值班物理服务器的方式,实现部分物理服务器关机休息,达到省电的目的。
云管理系统同样采用这种方式,通过一段时间的监控,分析物理机资源空闲情况,包括每台物理机资源的空闲比例和空闲时间,每台物理机上运行虚拟机的配置情况,分析最优的虚拟机迁移目的地,最优的值班物理机“人选”,做到既省电,又不会因为部分服务器“休息”影响业务的性能。