重大故障报告0000

第一篇：重大故障报告0000

重大故障报告

一汽通用售后服务部：

用户李战备于2010年11月16日购得我司CA1082PK26L3R5-3型轻型卡车一台。在购车当日挂户检测过程中一档卡死，退不出来，我站外出给予更换一倒档同步器一件，修复。后又出现二三档脱档严重之故障。用户拒绝再次给予拆变速箱处理故障，强烈要求退车。我站极力协商无果，后协商同意给予更换变速箱总成一件。【变速箱信息：CA5T108-H4BZ-00048589】我站现请示服务部给予紧急发货相同型号变速箱总成一件，给予处理故障。

该车还存在以下系列故障：1。发动机前齿轮盖板渗漏机油【我站已经给予处理】2。转向助力泵供油压力不够，方向发沉，异响。【我站已经给予更换助力泵】。用户：李战备

电话：***

购车日期：2010-11-16

车型：CA1082PK26L3R5-3

VIN: LFNA8MCE2AHA20485

陕西汉飞一汽通用服务站

2010-11-19

第二篇：故障报告

11日上午9点30分，工程师赶到现场，9点40分，服务工程师原厂工程师也赶到现场，开始检查诊断，发现：

（a）CX700双处理器SPA/SPB通道均不能正常访问；

（b）总共35块硬盘中15块硬盘黄灯告警；

（c）双电池告警；

经查，NS700后端存储CX700多处硬件故障，包括：两个电源、一个LCC卡（线）、两个电池、三块硬盘，众多故障导致CX700双通道都不能对外提供正常存储服务，系统数据遭到破坏。

11日中午12:00，工程师和工程师经过分析日志，认为系统虽然发生多处硬件故障，但是系统能够恢复的可能性还是很大的。

11日下午24:00~12日03:00，备件由专人送达现场。

原厂工程师按照方案进行备件更换：

（a）更换1-0的两个PS

（b）更换0-0 LCC-A，从而恢复了SPA通道

（c）由于1-0-12在硬盘出现故障前,盘阵电源出现故障,至使硬盘数据没能考入到热备盘中,从而使Raid一致性出现损坏,无法重构，数据无法访问。

12日03:00 06:00，支持中心将故障升级至最高级S1，并调集全球支持专家进行故障诊断解决。

12日 06：00~09：00，产品研发专家介入。

12日07:00，工程师电话联系工程师，得知故障还没有修复，于是立即出发，赶往故障现场，了解情况。8:00分，产品研发专家在做了各种尝试之后，提出最后的方案：尝试更换1-0-12硬盘上的logical board，恢复系统数据，但更换logical board需要一块与原来硬盘一模一样的硬盘和专用的工具。由于故障NS700设备型号太老，原来的那种磁盘早已经停止生产，全球备件库也没有这种磁盘，也没有这种工具。

12日08:40，工程师想到有一台02年左右购买的CX600磁盘阵列，与这台CX700的出厂时间相差不是太多，而且这台阵列现在是用于测试系统，于是马上联系值班人员，在100多块磁盘中找到了5块产品号一模一样的磁盘。磁盘找到后，工程师立即联系维护人员打车去取，随后工程师又在工具箱中找到了工具。日09：30 ~ 12：00，从CX600上拆下来的硬盘上拆下一块logical board更换到1-0-12硬盘上，将硬盘插回槽位，数据开始重构，并于中午完成数据重构。

12日 12：00 ~ 14：30，数据恢复完成，公司将恢复出来的宝贵用户数据拷贝出来，系统可以单通道运行，但运行效率较低。

12日14:30~13日00：30，支持中心继续对SPB通道故障进行分析诊断。最终将SPB仅连接0-0盘柜，做成最小启动，SPB仍无法正常工作，故最终将SPB通道故障定位在处理器机柜SPE。

第三篇：重大故障及用户投诉处理办法

项目重大故障及用户投诉处理办法

北京神州泰岳软件股份有限公司

项目重大故障及用户投诉处理办法 总则

为加大管理力度，提高项目实施与维护工作的流程化和规范化，控制和减少各类项目事故和用户投诉的发生，保证项目质量，提升用户满意度，树立公司良好的用户形象，公司决定下发项目重大故障及用户投诉处罚管理办法，要求公司各事业部、各大区与分公司学习和贯彻执行。关于项目故障和用户投诉的级别

关于项目故障和用户投诉的级别，分为以下五级：

1.用户通报：指在用户内部公司层面进行公开通报。

2.重大投诉：指用户内部虽未公开通报，但用户向公司领导层进行书面或口头投诉、或者用户向销售、项目管理部和大区总经理进行书面投诉。

3.一般投诉：指用户内部虽未公开通报，但用户直接向销售、项目管理部和大区总经理进行口头投诉。

4.内部一级故障：指用户虽未投诉，但造成用户核心业务受到影响30分钟以上（含30分钟），包括用户业务中断、计费损失、重大保障不力和重大财产损失等。

5.内部二级故障：指用户虽未投诉，但造成用户业务受到影响而影响范围在30分钟以下或用户业务虽未受到影响但自身系统宕机或中断服务2小时以上的（含2小时）或公司资产受到重大损失或者项目上线后系统中重复发生宕机、中断服务不足2小时的重大故障。关于项目故障的责任认定

关于项目故障的责任认定，分为以下五种 项目重大故障及用户投诉处理办法

北京神州泰岳软件股份有限公司

1.低级失误：造成项目故障的原因在于责任人的操作失误或过失。2.管理问题：造成项目故障的原因在于责任人不遵守公司、部门和项目组的各类管理规范。

3.实施设计问题：造成项目故障的原因在于项目组的实施或设计方案（合同方案存在问题暂不属于项目组责任，但项目组有识别合同技术方案是否存在问题的责任和义务）。

4.产品问题：造成项目故障的原因在于项目中公司产品或第三方产品、设备自身存在问题，但当事人响应处理不及时、不到位。5.第三方因素：造成项目故障原因的在于第三方，但当事人响应处理不及时、不到位。关于用户投诉的原因

关于用户投诉的原因，分为以下五种：

1.项目故障：由于项目出现故障导致用户投诉，而故障的责任认定见第三部分的四类责任定义。

2.项目进度：由于项目进度存在问题导致用户投诉。3.项目质量：由于项目质量存在问题导致用户投诉。

4.项目管理能力和水平：由于项目管理能力和水平的问题导致用户投诉。

5.项目组服务态度和水平：由于项目组服务态度和水平的问题导致用户投诉。关于项目故障和用户投诉的通报机制

1.责任人（或第一知晓人）应在发现后第一时间立即通知项目经理（或维护类项目维护负责人，本办法中提到的项目经理统指项目经理或维护类项目维护负责人）。

2.项目经理在得知事件后应第一时间立即口头通知主管销售和事业部技术 项目重大故障及用户投诉处理办法

北京神州泰岳软件股份有限公司

总监或项目总监，在4个小时内负责向主管销售、行业经理、部门经理、技术总监、公司项目总监、大区项目总监、项目管理部、大区技术总监、大区总经理和事业部总经理进行邮件通报事故概况，并电话通知部门经理和行业经理。

3.对于除内部一般事故外的其他性质的项目事故，由技术总监或项目总监负责立即向公司CSO和CTO进行口头和邮件上报。

4.由销售受理的用户投诉，需及时通知项目经理进行跟进处理，并通知事业部主管项目领导和项目管理部。

5.由项目管理部受理的用户投诉，需及时通知项目经理、销售和事业部主管项目领导，由项目经理跟进处理。

6.由大区总经理受理的用户投诉，需及时通知主管销售，由主管销售及时通知项目经理、销售和事业部主管项目领导，由项目经理跟进处理，处理结果要上报大区总经理。

7.由公司领导层受理的用户投诉，可由公司领导层通知项目管理部，由项目管理部负责通知项目经理、主管销售和事业部总经理进行跟踪处理，处理结果要上报公司领导。关于项目故障和用户投诉的处理机制

1.项目经理为事故处理的第一责任人，由项目经理组织协调相关人员进行跟踪处理：控制事故影响，恢复受损系统和业务，最后进行事故分析、处理、汇报和总结。

2.项目经理需要会同项目组和事业部分析事故原因，给出解决办法、后续避免措施和本次事故的处理决定，生成故障分析报告。

3.故障分析报告报主管销售和项目总监（技术总监）协商确定；对于用户通报类事故和重大投诉，向用户提交的故障分析报告，需邮件向事业部总经理和公司CTO报批，并同时口头通知。

4.项目故障分析报告经审批后，由项目经理和主管销售向用户进行书面回复和正式口头汇报。项目重大故障及用户投诉处理办法

北京神州泰岳软件股份有限公司

5.由项目经理协调项目组总结故障原因与处理过程，形成项目事故案例库，上报给事业部质管部门。

6.事业部质管部门审定后向事业部内部进行全员发布，并把事故案例上报项目管理部。

7.项目管理部根据案例特点选择定向或向公司范围进行事故案例发布（发布案例的用户名、责任人等匿名处理），并由项目管理部整理汇总形成公司事故案例库。其中对于涉及公司产品问题，由项目管理部向产品管理及公共研发部进行通报。关于项目故障和用户投诉的处罚办法

7.1 处罚原则

1.差异化原则：依据故障级别和责任认定、投诉内容进行差异化处罚。其中：针对投诉内容不是“项目故障”的用户一般投诉，如果用户不做处罚的明确要求，第一次公司内部不做罚款处理，如果同一项目组再发生同类投诉则进行罚款处理。

2.责任共担原则：与项目事故和用户投诉相关的项目组和事业部人员或大区人员责任共担，依当事责任人归属技术事业部或大区进行责任共担，涉及人员包括：

1)相关当事人（归属事业部）→项目经理→事业部部二级部门经理（含行业经理）→部门技术总监（含项目总监）

2)相关当事人（归属大区）→项目经理→大区技术经理。

3.同类事故性质加罚原则：对于在公司事故案例库内发布的事故，如果重复发生处罚力度加罚一倍。

4.瞒报或不及时上报加重处罚原则：对于事故责任人和项目经理发生瞒报或不及时上报事故的，按照最高处罚标准进行处罚（即故障等级认定为由于低级错误导致的用户通报）。

5.项目经理岗位津贴罚没原则：依据故障级别和责任认定、投诉内容，决 项目重大故障及用户投诉处理办法

北京神州泰岳软件股份有限公司

定事故或用户投诉发生当月项目经理津贴是否罚没，如果需要罚没但当月已发的，则下月项目经理岗位津贴罚没（属于补罚）。

6.当事人与项目经理当期绩效降级或限级原则：依据故障级别和责任认定、投诉内容，对当事人及项目经理的当期绩效进行降级或限级。7.降低项目奖金标准原则：依据故障级别和责任认定、投诉内容，降低该项目项目奖金的标准。

8.累加原则：罚款和降低项目奖金标准的额度按照事故和用户投诉发生次数进行累加计算。

7.2 处罚标准

依据故障级别和责任认定、用户投诉内容决定责任人、项目经理、二级部门经理（含行业经理或大区技术经理）、部门技术总监（含项目总监）的处罚决定以及项目经理岗位津贴是否罚没、项目奖金基准折扣、当事人的绩效评定和事故通报范围等，具体处罚标准详见下表（附件：项目重大故障及用户投诉处罚标准.xlsx）。项目重大故障及用户投诉处理办法

北京神州泰岳软件股份有限公司

7.3 处罚执行机构

1.罚款：由事业部、大区和项目管理部联合执行。

1)由主管项目的事业部领导制定事业部内受罚当事人的罚款结果，涉及用户通报和重大投诉的处罚决定事业部需要与主管销售、公司CTO进行沟通确定，然后邮件通知当事人和项目管理部；由大区技术总监制定大区内受罚当事人的罚款结果，涉及用户通报和重大投诉的处罚决定需要与主管销售、公司CTO进行沟通确定，然后邮件通知当事人和项目管理部。

2)当事人到项目管理部进行书面签字或对处罚结果进行邮件确认（如果事业部或大区发出处罚邮件通知单后7个工作日内当事人不做邮件回复视作同意处罚决定），如果当事人不接受，可向事业部、大区或项目管理部提出邮件上诉，由事业部主管领导、大区技术总监和项目管理部协调处理。

3)项目管理部按月把处罚结果汇总报人力资源部执行。

2.通报：公司范围由项目管理部负责；事业部范围由事业部主管项目副总负责。项目重大故障及用户投诉处理办法

北京神州泰岳软件股份有限公司 名词释义

1.第一时间：含义为“从时间序列看为知道情况后的下一个动作（除非下一个动作能够立即避免故障影响扩大化）”。例如故障发生在凌晨2:00，甚至2:01就应该上报，而不是要等到上班时间（9:00）再上报。2.瞒报：含义是“知道故障发生，并且故障危害的容忍时间和规定的上报时限已过，而在公司知道前项目组还未上报”。

3.不及时：含义是“没有在规定和容许的时限内上报、响应或处理”。其中：不及时上报是指：“虽在公司知道前上报，但没有在规定和容许的时限内上报”。生效日期

本办法自发布之日起生效。

北京神州泰岳软件股份有限公司

2011年

第四篇：视频会议故障报告

视频会议故障报告

编号：2013-001

一、故障时间、地点、影响范围

1、故障发生时间：2013年10月06日09：12

2、故障最终修复时间：2013年10月06日09：42

3、故障处理人员：

4、故障历时：30分钟

5、故障地点：

6、故障现象及影响范围：

二、故障处理过程 1、09：12，启动应急方案，更换调音台输出至视频终端的备用音频通道（未恢复）2、09：14，查正常）

4、09：19，查正常）5、09：20，查看23音台输出至终端线缆捍接是否完好（正常）

6、09：23，查看1CU音频单板运行情况（正常）7、09：28，登陆会议状态，终端是否允许发言（正常）

8、09：29，查看级连口允许发言是否打开（正常）9、09：30，联系省公司，核对是否打开允许发言按健（正常）

10、09：31，查看2室，终端音频输入线缆捍接是否完好（正常）

11、09：35，查看2调音台输入线缆捍接是否完好（正常）12、09：37，查看2室，调音台输入输出按健是否设置正确（正常）13、09：39，重启 14、09：42，联系公司，核对是否有声音输入（正常）

三、故障原因分析

通过试验，确认为调音台老化，导致调音台信号电平不稳定，无法满足视频终端音频电平的要求。该会议室平时仅作为演习会场使用，因局4楼会议室临时装修无法满足会议要求，需要将该会议室临时改造为主会场使用，为保证视频会议的正常，运维人员于10月5日晚上运维人员进行了联合调试，调试期间观摩室声音图像均正常，10月6日早上同省公司主会场进行联调时，声音图像也均正常。会议过程中发生故障时，因运维人员经验不足，未能及时改接电话会议终端或通过临时布线的方式快速排除故障，恢复会议的正常进行，导致无法正常上传声音信息。

四、整改措施及建议

1、完善23层视频会议室的应急预案。

2、根据会议室实际情况准备临时麦克风以及视音频线缆，在出现故障的情况下能够通过临时布线的方式快速排除故障。

3、加强运维人员的培训工作。

4、针对老化的调音台，建议业主单位进行更换改造。

第五篇：酒店设备系统重大故障应急预案

应急预案是在法律规范内制定的应对突发事件的具体执行方案。下面是关于酒店设备系统重大故障应急预案的内容，欢迎阅读！

为了有效预防、及时控制各消除突发性事故的危害，最大限度地减少设备系统故障造成的损失，维护酒店稳定，确保酒店各项经营的顺利开展，结合酒店的实际情况，特制定本应急预案，希全体员工遵照执行。

一．设备重大的紧急报修

各部门使用的设备发生重大故障时，应第一时间报告工程部，由工程经理根据设备故障情况，立即安排相应专业技术人员第一时间进行紧急抢修，尽快完成修复任务，恢复正常营业并采取预防措施。

二．设备重大故障应急处理的程序

1.处理设备系统重大故障时，当值的设备操作人员、主管应保持沉着冷静，分析故障原因，诉速采取相应的应急措施，并立即逐级（经理、主管副总、总经理）向上汇报。

2.工程经理与使用部门领导共同协商，统筹协调，采取应急措施，控制影响范围，同时分析故障原因，找出解决方案和预防措施。

3.设备维修时，专业主管需在现场进行技术督导，工程部专业人员应按照设备操作规范进行维修，维修现场应设立醒目的警示标志，以免发生意外。

4.在确保安全的前提下，做好紧急故障的临时处理工作：

A．市政电源停电时，应启动酒店备用发电系统进行供电。

B．地下层集水坑排污潜水泵故障，应使用临时抽水泵排污。

C．供水设备发生故障时，应启动备用泵进行供水。

D．中央空调主机发生故障时，应启动备用中央空调主机。

5.如遇水管、油管、蒸汽管泄漏，应先做临时封堵。之后，逐级（主管、经理、主管副总、总经理）向上汇报，并采取彻底封补或更换管道的技术处理。

6.紧急事故现场若产生大量浓烟或导致火险时，应立即报告保安消防中心。紧急调用临时排风设备进行排烟，并根据事故情况佩戴防毒面具或氧气呼吸器进入现场处理。

7.当载人电梯（特别是客用电梯）发生紧急情况（困人、开门运行、溜梯、冲顶、夹人和伤人等）时，其解救方法及处理程序详见酒店电梯救援应急预案。

8.处理停电事故，在确认已经处理完毕，必须再做绝缘测试后方可送电。

9.事故处理后，应将所有防护用品清洗干净，工作人员要清理个人卫生。工程部应组织相关专业人员分析事故原因，提出改进措施，做出总结，并记录备案。