建行数据管理

第一篇：建行数据管理

定义八万余项数据规范，金融巨头如何实现“数同轨”| 对话建行数据管理部刘静芳

摘要：

“要像管理战略资产一样管理数据。”在首届中国数据标准化及治理大会上，中国建设银行数据管理部总经理刘静芳以这句感慨总结了她的分享，也总结了建行数据团队建设心得。

3亿4千万的个人客户，390多万对公企业客户，14900多个内部机构，20多家海外分行，十多家子公司，作为排名全球一级核心资本第二位的巨型金融企业的中国建设银行（下称建行），如同其它大型企业一样也曾面临复杂的数据问题。

建行近三十年的信息化历程中，前二十年建成的竖井式、分散化业务处理系统。一方面实现了业务的信息化、提高了业务处理效率，但也不可避免地造成了不完整、不准确、不及时、不一致、不安全、冗余等数据问题。这些问题在信息化后期成为建行管理水平提升的瓶颈。

“分析这些数据问题的成因，我们发现，不管是制度、流程、机构、数据、技术各个环节的缺陷，还是在这些环节中人员的操作不到位，都会导致数据质量的问题。对此，建行进行了十几年的研究、探索和实践。”刘静芳说，从根本上、系统性解决数据问题，是建行从2011年开始新一代核心系统建设重要目标之一。

定义八万多项数据规范：数据标准化是一切的开始

对于一个分散化的、数据问题广泛存在的局面来说，如同秦朝统一六国实行“书同文、车同轨”，制定统一的企业级数据标准是最快捷的一种方法，也是最容易达成众多部门共识，实现“数同轨”的方法。早在2003年，建行总行就成立了负责整个建行信息资源的一级管理部门——信息中心，内部设置了两个专业处室：一个是数据标准处，另外一个是信息系统管理处。这两个处室的核心职责就是来推动数据管控的相关工作并且牵头企业级数据仓库的建设。

在新一代核心系统建设中，建行采用的方法是业务模型驱动的方法，先把银行业务进行模型化，再来推动IT的开发。通过业务建模，实现了业务需求的统一规范化定义，消除了业务人员之间对于业务理解的差异，也方便了技术人员准确理解业务，大大减少了开发的阻力。业务建模的结果是业务模型，包括流程模型、数据模型、产品模型和用户体验模型四个部分，重点是流程模型和数据模型。流程模型主要规定了业务活动、任务的执行序列，系统控制的时间序列，以及各个业务的功能；数据模型所表达的是更细化的业务需求，它理清了企业级层面对于业务信息细节的要求，把数据实体、数据项及数据之间的关联关系等都进行了清晰的定义。

当业务模型建立完成后，技术人员就可以遵循这个模型去进行开发。在这个过程中，建行制订了企业级的业务术语库、数据标准、企业级数据模型和衍生（指标）数据视图等八万多项数据规范，形成了企业级的通用语言，可以把数据和业务的需求非常好地管控起来。

数据的“双分离”，系统达到最优

提到数据标准化在具体实施过程中的过程和效果，建行数据管理部数据标准处处长车春雷谈到，建行的新一代数据架构一方面通过业务建模和组件化，实现了每个业务数据“单点采集、全行共享”的目标，另一方面通过业务运行系统和数据使用系统分离、数据仓库的计算区和访问区分离的“双分离”模式，实现了系统性能的优化。在采集、集成到分析使用过程的每一个环节，数据区都是独立的，不会产生冲突，不会相互影响。数据挖掘分析，则通过在企业级数据仓库环境中开辟专门的数据实验室完成。建行为每个实验室分配存储空间和计算资源。小到一个数据业务模型，大到整个企业战略的数据支持，都可以在各个实验室中独立运作，进行数据探索、模型设计和优化。这样做，既不会影响整个系统的运行效率，也不会互相干扰。而其结果，又可以反馈到数据仓库中进行共享，实现完整的闭环。另外，“双分离”模式还能够根据不同数据区对于硬件设备可靠性、容量等的差异化要求选择不同的设备，从而节省成本，获得高回报率。

“目前建行还正在基于企业级数据仓库中打造一个大数据平台，目前已经集成语音分析、图像分析、机器学习、文本分析等部分大数据工具，引入了部分外部数据，探索性地进行了非结构化数据的分析应用。”刘静芳说，“但是目前来说，传统数据仓库的结构化数据仍然是建行的优质矿石，优先提炼挖掘价值，而非结构化等大数据则是砂石，需要进一步的提取与纯化后，根据需要与前者结合在一起，实现更大的价值创造”。数据安全管理：安全？便利？还是降低成本？

数据安全的本质是依靠技术实现安全的控制，信息安全的技术经过几十年的发展，已经相当成熟了。但是对于一个企业来说，安全的控制、应用的便利性和成本是矛盾的，从整个系统的角度去考虑，如何在这三者中间取得一个平衡点，是建行考虑的重点。建设银行采取的措施是给数据分级，根据安全的级别不同，进行不同级别的管控。对于对象、目标、手段、阶段都要进行细分，针对不同的级别采取不同的控制措施，再用技术加以实现，由此来保障数据的安全。根据数据的敏感度，建行将数据分成了四个层级——监管级、高度敏感级、内部使用级、普遍级。这样，就可以在保证数据使用便利性的条件下，实现数据分等级的控制。

而对于数据应用人员来说，所有的数据都是企业级的，存储在企业的云平台中，敏感数据在使用时也会进行脱敏处理，杜绝了泄露客户信息的隐患。

每个人都是数据团队的一员：各司其职的数据管理文化 在建行的新一代核心系统中，数据质量是被高度关注的问题。为了建立良性的数据供给和应用循环，需要对数据质量进行实时的监测和控制。但是，数据质量并不仅仅是一个业务部门、技术部门或者是数据部门就能独立完成的工作，它需要全员参与，全员维护，要让整个企业的每一个成员意识到自己对于数据管控的责任。

在这样的背景下，就需要建立全员参与的数据管理文化。这个文化是通过在强大的技术支撑下，构建由六个角色和五个管理领域组成的数据管理职责任责矩阵来完成的。从最基础的数据需求、数据标准的制订，到数据质量、数据安全和元数据的管理，都由各个部门一起参与，不但业务、数据和技术部门彼此分工合作、各司其职，执行部门和管理部门也要构成一个从制订、使用到监督、改进的完整闭环。

在这样的团队里，数据的质量定义、流程控制、日常监测、问题分析、问题整改、评估改进等工作环节构成了完整的工作链条。链条中的每个环节都在各个层面得到了相关部门的充分关注，数据的质量才能得到有效保证。

数据新人：数据分析是打开盒子看数据，培养职业道德

和很多企业的数据团队建设者一样，建行也面临着数据人才招募难的问题。国有银行在人事管理上未完全实现市场化。建行目前基本上是与外部专家合作方式，通过项目一方面定向实现“借智、引智”，同时培养建行自己的人才。建行数据团队的成员主要是对校招的员工在工作、项目中进行培养，这需要一个相对较长的周期。

在谈到人才培养的问题时，车春雷说：“从2016年开始，我们开始实施“绿树”计划，重点培养数据分析和应用人才，从总行和各分行选拔优秀人才到总行数据分析中心学习。我们要求学员们带着业务实际的数据应用、分析需求过来，在学习的过程中把这个需求落地，边做边学”。车春雷还补充道：“目前，建行总行各部门和各分行对于开展数据分析应用和参加“绿树”计划的热情很高。这是因为在我国经济进入新常态下，金融间竞争更加激烈，传统营销的盈利增长空间缩小，而强大的数据分析能力恰恰是支持精细化经营管理的有力工具，能够显著提高银行竞争力和盈利性。”

提到给想要进入数据行业人才的建议，车春雷给出了这样的建议：培养合作精神，学会问题导向的思维，培养职业道德。

数据行业是现在最热门的行业之一，在未来一定会有源源不断的新人加入这个行业。但在企业的具体数据应用中，需要由多个专业的人员组成团队，一起解决以前没遇到过的问题，所以对于有意加入这个行业的新人来说，培养自己的合作能力是很重要的。

在数据行业里，中国的数据行业和西方面临的问题是不一样的。我们的起步时间比他们差的太多，国内大部分企业现在才解决完业务信息化，正准备做决策（管理）系统。所以在数据治理的过程中，我们还要不断面对新的问题，这需要从业者具有面向问题的思维方式，去设身处地的站在企业管理的角度，借鉴外部经验，思考问题，创造性地解决问题。另外，数据分析是打开盒子看数据，在工作中会接触到许多方方面面的企业数据，因此需要从业者的具备良好的伦理文化和职业道德。这对其整个职业生涯会有相当长远的影响。” 客户信息共享，有效分析客户利润贡献度，提升个人客户服务质量与效率。

（一）客户主题标准助力客户信息整合及全面识别，提升客户体验，实现差异化的服务与营销中国光大银行在建设统一客户信息管理系统（ECIF）中，以《客户主题数据标准》为需求蓝本，确定了全行统一的零售客户唯一识别规则，构建了满足各项业务需要的统一客户信息模型，加快了ECIF系统建设进程。依据《客户主题数据标准——约束性规则》制定了客户信息质量度量标准、客户信息覆盖规则和清洗规则，整合了多点存储的3000多万个零售客户信息、清理了700万无效的客户信息，完成了25万对的客户合并，有效地解决客户信息多头创建与维护造成的不一致问题。

在统一、标准化客户信息的支持下，优化整合了原有多个系统的客服流程，实现了客户服务团队的统一调度及在多个接触渠道得到一致的服务响应。如客户到网点刷卡排队可以立刻识别客户等级，大堂经理及时掌握前来客户情况并进行针对性地服务；建设企业级客户信息分析系统（ECIS），实现了客户分层统计以及客户产品及渠道关联性分析等，支持精细化管理决策及差异化营销，形成了特有的“（ECIF）+（ECIS）+智能排队机+IPAD+WiFi服务+电子渠道体验区”物理网点智能化模式，使得传统物理网点变得“智慧”，逐步实现了面向网点人员的移动综合服务平台，使“微笑服务”进一步上升 到“以客户为中心的全面服务”，从“坐等上门”变为“移动营销”。

（二）渠道类型标准应用，统一全行渠道标识，奠定渠道贡献度及成本收益分析的基石

随着与渠道相关的业务内容和交易规模的迅速发展，渠道差异化销售、分项考核，统计分析及成本收益核算需求日益增长，对交易渠道的有效识别成了一个重要障碍。鉴于此，光大银行于2009年制定了渠道主题数据标准，并于2011年年初启动了渠道标准应用实施工作，对包括柜台、网银、手机、客服、短信、电子支付、自助设备等渠道发起的，包括支付、基金及理财、第三方存管、外汇买卖（汇市通）、黄金（贵金属）等各类交易的渠道类型进行了标准化改造，2011年9月成功上线。渠道主题标准的应用实施保证了原始渠道信息的准确性、完整性、一致性，实现了对电子渠道的统一化与规范化管理，对不同渠道的准确快速识别，为渠道协同中不同渠道的交易优惠及收入划分、为渠道偏好及渠道与产品关联分析、为分析渠道对业务的贡献度、为各渠道收益及成本细化分析，从而精细化渠道相关考核，更有效地体现电子渠道的价值奠定了坚实的数据基础。

四、持续推动标准体系应用

依托数据管理工作，未来持续推动数据标准体系的应用。数据标准与数据质量、元数据都是数据管理的重要组成部分，三者密不可分，必须共同对外提供一致的数据管理服务，才能不断地提升数据的完整性、准确性、一致性与及时性，为业务经营决策提供及时的、高质量的数据支持。

2012年，中国光大银行将沿着 “结合发展战略和业务需求，充分体现业务价值，由专业团队统筹，以项目为载体持续推进数据标准化工作”的数据标准体系工作思路，建立以数据质量问题改进为主要业务驱动力、数据标准为数据质量评价基础、元数据管理为支 撑的三位一体数据管理机制，侧重以外部监管数据质量要求为业务驱动力，以企业元数据管理为基础推动数据标准体系在各应用系统中的执行，逐步形成常态化的、闭环的数据标准体系应用良性机制，从整体上提升中国光大银行的数据质量及数据管理水平。

第二篇：数据管理教案教案

Excel 2000的数据管理、打印

教学内容：Excel 2000的数据管理、打印

教学目标：掌握Excel 2000的数据管理的概念及操作，熟悉工作表的打印操作 教学重点：Excel 2000的数据管理 教学难点：Excel 2000的数据透视表 教学时间：2个课时

一、使用数据清单 1.数据清单

Excel 2003把工作表中的数据当作一个类似于数据库的数据清单来处理。数据清单中的列标就相当于数据库中的字段，而数据清单中的行就相当于数据库中的记录。2.数据清单的特点

① 每张工作表中最好只有一个数据清单，若同一张工作表中还有其它数据，则至少要有一个空行或空列使它们与数据清单分隔开。

② 数据清单的第一行是列标题，而且其字体格式与其它数据不同。

③ 数据清单中没有空行或空列。

④ 同一列中所有单元格的格式相同。

⑤ 单元格内数据的开头和结尾不能有空格。3.建立数据清单

数据清单的建立有两种方法：一种是直接在工作表上输入数据记录作为数据清单；另一种是使用记录单来创建数据清单。4.使用记录单管理数据清单（1）添加记录

① 单击数据清单中任意一个单元格。

②执行“数据” →“记录单”命令，打开如图5.29所示的对话框，其中列出的是第一条记录。

③ 单击“新建”按钮，各字段内容均为空白。

④

输入新增记录各字段的内容，每输入完一个字段可按Tab键跳到下一个字段文本框中。一条记录输完之后，单击“新建”按钮输入下一条记录或者单击“关闭”按钮结束操作。

（2）查询记录

使用记录单对话框可以查询记录，具体操作如下：

①单击图5.29中的“条件”按钮，对话框中各字段的内容变成空白，然后输入查找条件。例如，要查找总成绩在90分以上的记录，则在“总成绩”文本框中输入：>=90，如图5.30所示。

②单击“下一条”按钮，向下查找匹配的记录，或单击“上一条”按钮，向上查找匹配的记录，如图5.31所示查找到一条满足条件的记录。

③查找完毕，单击“关闭”按钮。（3）删除记录

先找到要删除的记录，再单击记录单对话框中的“删除”按钮，在弹出的提示框中单击“确定”按钮即可删除选定的记录。

图

在记录单中输入查找条件

图

使用记录单查找到满足条件的记录

二、数据排序

1.使用工具栏按钮进行简单排序

如果要对一列数据进行排序，可以使用排序工具按钮来对数据进行排序。在常用工具栏中提供了“升序”按钮和“降序”按钮。操作时只需单击数据清单中要排序的字段的字段名所在的单元格，然后单击“升序”或“降序”按钮，则此列数据就会重新排列。2.使用菜单命令进行复杂排序

使用常用工具栏中的排序按钮，只能对一个字段进行排序，如果需要同时对多个字段进行排序，或要对数据清单的部分数据区域进行排序，就只能使用菜单命令，即“数据”菜单中的“排序”命令来完成。“排序”对话框如图5.32所示。

三

数据筛选

筛选是指从大量的数据中筛选出符合某种条件的数据。在Excel中，可以使用“自动筛选”或“高级筛选”将符合条件的记录显示在工作表中，而将其他不满足条件的记录隐藏起来。

1.自动筛选

单击数据清单中的任意一个单元格，执行“数据”→“筛选”→“自动筛选”命令，这时，数据清单中每个字段名的右侧会出现一个下三角按钮，单击这个三角按钮，打开下拉列表框，从中选择用于设置筛选条件的选项，如图5.33所示。

（1）自定义自动筛选

用户可以使用下拉列表框中的“自定义”选项对数据清单进行更加复杂的筛选。例如，要查找总成绩在75～90分之间的记录，可以按图5.34所示定义各项。（2）关闭自动筛选

如果要取消数据清单中某一字段的筛选，单击该字段名右侧的下三角按钮，再选择“全部”选项即可。

如果要取消数据清单中所有字段的筛选，执行“数据”→“筛选”→“全部显示”命令。

如果要退出自动筛选状态，执行“数据”→“筛选”→“自动筛选”命令。此时，字段名右侧的下三角按钮也一起消失。

图5.34 “自定义自动筛选方式”对话框

2.高级筛选

在实际工作中，往往涉及到更为复杂的筛选条件，利用自动筛选无法完成，这时就要利用高级筛选。高级筛选可以设定比较复杂的筛选条件，并且能够将满足条件的记录复制到另一个工作表或当前工作表的空白区域。

在使用高级筛选之前，必须先设定一个条件区域，该区域应在工作表中与数据清单相分隔的空白单元格区域上。条件区域至少为两行，第一行为字段命令行，以下各行为相应的条件值。

选定数据清单，执行“数据”→“筛选”→“高级筛选”命令，打开如图5.35所示的“高级筛选”对话框。

使用高级筛选，用户可以定义一个条件，也可以定义多个条件。当定义复合条件时，在条件区域的同一行输入条件，系统将按“与”条件处理；在不同行输入条件，则按“或”条件处理。例如，图5.36所示是查找总成绩大于等于70分并且姓“王”的记录，其中在条件区域的同一行输入两个条件。图5.37所示是查找总成绩大于等于70分或者姓“王”的记录，两个条件是在不同行中输入的。

图5.35 “高级筛选”对话框

图5.36 设置“与”条件的结果

四、分类汇总

分类汇总是指将经过排序后的数据按排序关键字段进行分类后，再对数据进行汇总计算。

1.创建分类汇总

在进行分类汇总之前，首先要对数据清单按汇总类型进行排序，使同类型的记录集中在一起。对“性别”字段进行分类汇总实例如图5.38和图5.39所示。2.删除分类汇总

如果要取消分类汇总的显示结果，恢复到数据清单的初始状态，可以单击数据清单中的任意单元格，然后执行“数据”→“分类汇总”命令，在弹出的“分类汇总”对话框中，单击“全部删除”按钮即可。3.分级显示

从图5.39中可以看出，对数据清单进行分类汇总后，在行号的左侧出现了分级显示符号，见表5.2。

图5.38 “分类汇总”对话框

图5.39 分类汇总实例

五、数据透视表

数据透视表是一种特殊形式的表，它可以把源数据的行和列进行互换后汇总并显示汇总结果。特别是用于分析，组织复杂的数据。建立数据透视表（图）的目的 数据透视表能帮助用户分析、组织数据。利用它可以很快地从不同角度对数据进行分类汇兑。

首先应该明确的是：不是所有工作表都有建立数据透视表（图）的必要。

记录数量众多、以流水帐形式记录、结构复杂的工作表，为了，将其中的一些内在规律显现出来，可将工作表重新组合并添加算法。即，建立数据透视表（图）。

例如，有一张工作表，是一个大公司员工（姓名、性别、出生年月、所在部门、工作时间、政治面貌、学历、技术职称、任职时间、毕业院校、毕业时间等）信息一览表，不但，字段（列）多，且记录（行）数众多。为此，需要建立数据透视表，以便将一些内在规律显现出来。

2.创建数据透视表

创建数据透视表，可以按下述操作步骤进行：

① 在数据清单中单击任意一个单元格，然后执行“数据”→“数据透视表和数据透视图”命令，打开如图5.40所示的对话框。

图5.40 “数据透视表和数据透视图向导-3步骤之1”对话框

② 在此对话框中指定待分析数据的数据源和所创建的报表类型。例如，选择“Microsoft Office Excel数据列表或数据库”单选项，然后单击“下一步”按钮，打开如图5.41所示的对话框。

图5.41 “数据透视表和数据透视图向导-3步骤之2”对话框

③ 在此对话框的“选定区域”文本框中指定数据源的区域，再单击“下一步”按钮，打开如图5.42所示的对话框。

④ 在此对话框中选择数据透视表的显示位置，然后单击“完成”按钮。这时，出现数据透视表的设置版式，并在屏幕上显示一个包含字段名的“数据透视表字段列表”任务窗格和“数据透视表”工具栏，如图5.43所示。数据透视表由4个区域构成，分别是页字段区域、行字段区域、列字段区域和数据项区域。“数据透视表字段列表”任务窗格中提供了源数据清单所包含的字段名按钮，可以根据需要单击字段名按钮，并将其拖放到相应的区域中，这样就可以创建数据透视表。图5.42 “数据透视表和数据透视图向导-3步骤之3”对话框

图5.43 数据透视表的设置版式

2.删除数据透视表

如果要删除数据透视表，单击透视表中的任意一个单元格，在“数据透视表”工具栏上单击“数据透视表”按钮，则弹出“数据透视表”下拉菜单，在菜单中选择“选定”命令下的“整张表格”命令，最后执行“编辑”→“清除”→“全部”命令，即可删除数据透视表。

六、打印工作表

工作表和图表设计好之后，可以将其打印出来。Excel提供了页面设置、打印预览等功能，利用这些功能，可以使打印出的工作表更准确、美观。

（一）打印设置 1.设置打印区域

如果要打印工作表中的部分数据区域而不是整个工作表，则可以先设定该区域为打印区域，这样，单击常用工具栏上的“打印”按钮，就可以只打印出该数据区域的内容。2.页面设置

页面设置一般包括设置页边距、页眉和页脚、打印方向及纸张的大小和方向等。

单击“文件”菜单中的“页面设置”命令，出现“页面设置”对话框，如图5.50所示。

图5.50 “页面设置”对话框中的“页面”选项卡

（二）打印预览

Excel提供的“打印预览”功能，能够查看实际的打印效果。在预览的过程中，如果发现页面设置不合适，可以进行调整，直到满意后再进行打印。

执行“文件”→“打印预览”命令或者单击常用工具栏中的“打印预览”按钮，出现“打印预览”窗口。在此窗口的上方有一排按钮：下一页、上一页、缩放、打印、设置、页边距、分页预览和关闭，有了这些按钮用户操作起来就非常的方便。

（三）、打印

在对工作表进行页面设置并且预览了设置效果之后，如果没有问题就可以开始打印了。

执行“文件”→“打印”命令，出现“打印内容”对话框，如图5.51所示。在设置完毕之后，打开打印机的电源，单击“确定”按钮，即可开始打印。

图5.51 “打印内容”对话框

教学后记：

第三篇：云数据管理

1）《高级数据库技术》主要考察考生对数据库高级技术的掌握（可以参考教材内基本内容，不涉及深入的理论推导等），更重要的是考察对新技术、新概念的跟踪和了解（例如当前的云数据管理等）；

随着云计算中大数据集高效管理、海量数据中特定数据的快速定位、云端海量数据精准查询等迫切需求的日益显现,Web数据管理正逐步向云数据管理阶段发展,一个新的云数据管理研究领域正逐渐形成。

云数据管理在云计算概念上延伸和发展出来的一个新的概念。云数据管理使更大数据量的处理成为可能，被称为下一代的因特网计算和下一代的数据中心。云计算是是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。通过云计算技术，网络服务提供者可以在数秒之内，处理数以千万计甚至亿计的信息，达到和“超级计算机”同样强大的网络服务。云数据管理是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。

当前云数据管理领域成熟的产品有：

(1)GFS。

一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。BigTable是非关系的数据库,是一个稀疏的、分布式的、持久化存储的多维度排序Map。Bigtable的设计目的是可靠的处理PB级别的数据，并且能够部署到上千台机器上。Bigtable已经实现了下面的几个目标：适用性广泛、可扩展、高性能和高可用性

适用于大规模数据密集型应用程序的可扩展分布式文件系统

多个部署GFS的集群已经建成(2)HBase

HBase是一个分布式的、面向列的开源数据库，该技术来源于Chang et al所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.另一个不同的是HBase基于列的而不是基于行的模式。

(3)Sector/Sphere

Sector/Sphere是一个分页式存储系统与并行处理引擎。与HDFS/Hadoop及Google的GFS/MapReduce类似。

Sector/Sphere由名字中描述的两部分组成。

Sector是一个高效、高伸缩性并且安全的分页式文件系统。

Sphere是一个高效的并行数据处理引擎，他处理来自Sector的数据文件，提供非常好用的接口定义处理流程。

(4)Amazon S3

Amazon S3，全名为亚马逊简易储存服务（Amazon Simple Storage Service），由亚马逊公司，利用他们的亚马逊网络服务系统所提供的网络线上储存服务。经由Web服务界面，包括REST, SOAP, 与BitTorrent，提供用户能够轻易把档案储存到网络服务器上。

(5)OpenStack的Swift

(Swift)是开源的，用来创建可扩展的、冗余的、对象存储（引擎）。swift 使用标准化的服务器存储 PB 级可用数据。但它并不是文件系统(file system)，实时的数据存储系统(real-timedata storage system)。swift 看起来更像是一个长期的存储系统(long term storage system)，为了获得、调用、更新一些静态的永久性的数据。比如说，适合存储一些类型的数据：虚拟机镜像，图片存储，邮件存储，文档的备份。没有“单点”或者主控结点(master point of control)，swift 看起来具有更强的扩展性、冗余和持久性。

云计算是一项正在兴起中的技术。它的出现，有可能完全改变用户现有的以桌面为核心的使用习惯，而转移到以Web为核心，使用Web上的存储与服务。人类有可能因此迎来一个新的信息化时代！云计算绝不仅仅是一个计算的问题，它需要融合许许多多的技术与成果。现有的许多研究问题将来必然是云计算的一部分，例如Web数据集成、个人数据空间管理、数据外包服务、移动路网上的研究以及隐私问题的研究，都会成为未来云计算的重要组成部分。但是现实中云计算也面临着诸多挑战。

首先，云计算和云数据管理中一个跨领域问题就是供应商要在功能和开发代价上作权衡。目前，早期的云计算提供的API比传统的数据库系统的限制多得多。他们只提供一个极小化的查询语言和有限的一致性保证。这给开发者带来更多的编程负担，同时对于一个功能完备的SQL数据库允许服务供应商提供更多的预期服务和服务级别协议也是很难达到的。

其次，易管理性在云计算中极其重要，这也带来新的挑战。和传统的系统相比，受工作负载变化幅度大和多种多样的共享设备的因素影响，云计算中管理任务更加复杂。大多数情况下，由于云系统中机器数量太大，数据库管理员和系统管理员很难对所有机器进行全面周全的人工干预。所以迫切地需要自动管理的机制。本来混合负载就很难调优，但在云平台中这种调优是不可避免的。

20世纪90年代末，研究学者们开始研究自我管理技术。云数据管理系统需要自适应的在线技术，反过来系统中新的架构和API（包括区别于传统SQL语言和事务语义的灵活性）又促进了颠覆性的自适应方法的发展。接着，云计算和云数据管理的庞大规模同样带来了新的挑战。现有的SQL数据库不能简单地处理放置在云中的成千上万的数据。在存储方面，是用不同的事务实现技术，还是用不同的存储技术，或者二者都用来解决还不确定。在这个问题上，目前在数据库领域内有很多提议。就查询处理和优化而言，如果搜索一个涉及到数千条处理的计划空间需要花费很长时间，那么这是不可行的，所以需要在计划空间或搜索上设限。最后如何在云环境中编程还尚不清楚。因此，需要更多的了解云计算和云数据管理的限制问题（包括性能限制和应用需求）来帮助设计。

此外，在云基础架构中，物理资源共享带来新的数据安全和隐私危机。它们不能再依靠机器或网络的物理边界得到保障。因此云计算为加速这方面现有的工作提供了难得的机遇。要想成功，关键在于能否准确瞄准云的应用场景以及能否准确把握服务供应商和顾客的实际动向。

最后，随着云计算越来越流行，预计有新的应用场景出现，也会带来新的挑战。例如，可能会出现一些需要预载大量数据集（像股票价格、天气历史数据以及网上检索等）的特殊服务。从私有和公共环境中获取有用信息引起人们越来越多的注意。这样就产生新的问题：需要从结构化、半结构化或非结构的异构数据中提取出有用信息。同时，这也表明跨“云”服务必然会出现。在科学数据网格计算中，这个问题已经很普及。而联合云架构不会降低，只会增加问题的难度。综上所述，可以看出云计算和云数据管理平台服务本身在适当场景下巨大的优势，同时还有所面临的技术难题亟待解决。

第四篇：国土资源数据管理暂行办法

国土资源数据管理暂行办法

国土资发[2010]142号

各省、自治区、直辖市国土资源厅（国土环境资源厅、国土资源局、国土资源和房屋管理局、规划和国土资源管理局），副省级城市国土资源行政主管部门，国家海洋局，国家测绘局，解放军土地管理局，新疆生产建设兵团国土资源局，各派驻地方的国家土地督察局，中国地质调查局及部其他直属单位，部机关各司局：

为了加强国土资源数据的管理，规范国土资源数据的生产、汇交、保管和利用等工作，提高国土资源数据的应用水平，充分发挥各类数据在国土资源管理和社会经济发展工作中的作用，现将经部长办公会审议通过的《国土资源数据管理暂行办法》印发你们，请遵照执行，执行中的问题及时报部。

附件：国土资源部数据汇交范围

国土资源部

二○一○年九月十日

国土资源数据管理暂行办法

第一章 总 则

第一条 为了加强国土资源数据的管理，规范国土资源数据的生产、汇交、保管和利用等工作，提高国土资源数据的应用水平，满足国土资源管理和社会经济发展的需要，根据有关法律法规，制定本办法。

第二条 国土资源数据的生产、汇交、保管和利用，适用本办法。

第三条 本办法所称数据，是指各级国土资源管理部门在履行国土资源规划、管理、保护与合理利用职能过程中需要使用的数字化成果。主要包括：

（一）各级国土资源管理部门组织实施的国土资源规划、调查、监测、评价等重大专项形成的各类国土资源基础和专题数字化成果数据；

（二）各级国土资源管理部门在国土资源规划、管理、保护与合理利用工作中形成的国土资源政务管理数字化成果数据，包括本级产生以及逐级上报汇总的数据；

（三）各级国土资源管理部门在履行管理职责中依照法律法规的相关规定和有关合同约定，由管理相对人向管理部门报送的国土资源数字化成果数据。

第四条 国土资源数据管理工作按照统筹规划、统一汇交、分级管理、分布服务的原则组织实施。

第二章 管理机构和职责

第五条 国土资源部和地方各级国土资源管理部门（以下称数据主管部门，分为部数据主管部门和地方各级数据主管部门）分别负责全国和本行政区域内国土资源数据生产、汇交、保管和利用的监督管理，履行下列职责：

（一）负责数据管理工作的统一管理和组织协调，组织制定数据管理工作的规章制度；

（二）按照国土资源管理需要，组织实施国土资源规划、调查、监测、评价等重大专项，形成数字化成果数据；

（三）承办行政审批事项等工作，组织部署国土资源管理部门相关业务数据的报备工作，形成政务管理数字化成果数据；

（四）组织开展数据管理的业务培训和数据检查工作；

（五）负责指导、监督和管理数据的保密工作。

国土资源部信息化领导小组办公室是国土资源部负责数据管理工作的机构，承担数据管理日常工作。

第六条 国土资源部信息中心和地方各级国土资源管理部门的信息中心或信息化工作机构（以下称数据保管单位，分为部数据保管单位和地方各级数据保管单位）受相应数据主管部门的委托，承担数据管理的技术工作，履行下列职责：

（一）承担数据汇交、保管和利用等技术工作；

（二）制定数据汇交、保管和利用等工作的技术规程；

（三）协助数据主管部门，实施数据检查工作；

（四）建立和维护数据汇交、保管和利用的软硬件环境以及数据管理系统；

（五）开展数据整合与集成，建立信息服务系统，为政府部门和社会提供信息服务；

（六）开展数据汇总、综合分析和研究，为国土资源管理工作提供支持；

（七）实行数据安全工作责任制，健全数据安全管理制度，完善数据安全防护措施；

（八）履行数据主管部门规定的与数据管理有关的其他职责。

第七条 国土资源规划、调查、监测、评价等重大专项的组织实施单位和政务管理数字化成果数据的形成单位（以下称数据生产单位），承担数据的生产、加工、汇交和更新等工作，履行下列职责：

（一）按照国土资源管理的要求，依照有关规定、标准和规范，采集、生产和加工处理数据，形成数字化成果数据；

（二）制定数据生产、加工、更新等工作的技术规程；

（三）按照规定汇交数据，并保管数字化成果数据；

（四）负责汇交数据的更新工作；

（五）履行数据主管部门规定的与数据生产、加工、汇交和更新有关的其他职责。

第三章 数据生产和汇交

第八条 数据主管部门统筹规划数据生产，将其纳入国土资源规划、调查、监测、评价等重大专项的规划和计划中，确保数字化成果数据的可获取、可利用。

第九条 数据生产应遵循相关业务规定及国家、行业有关技术标准、规范，保证数据生产的规范性。

数据生产单位应对数据质量和数据的真实性、准确性和完整性负责，建立数据质量监督和技术保障制度。

第十条 数据主管部门对数据实行统一汇交制度。

国土资源规划、调查、监测、评价等重大专项形成的各类国土资源基础和专题数字化成果数据，由数据生产单位向数据保管单位汇交；数据主管部门履行业务管理职能过程中形成的政务管理数字化成果数据，通过政务管理信息系统自动进入数据保管单位的数据管理系统中；依照法律法规的相关规定和有关合同约定形成的国土资源数字化成果数据，由管理相对人向管理部门报送，管理部门再向数据保管单位汇交。

第十一条 国土资源部履行职能所需要的数据，由数据生产单位和地方各级数据保管单位向部数据保管单位汇交。

国土资源部需要使用数据的汇交范围，依照本办法附件的规定执行，并可根据国土资源管理的需要进行调整与补充。地方各级数据主管部门需要使用的数据，由地方各级数据主管部门根据需要确定其汇交范围。

数据生产单位汇交的数据应经过验收或得到数据主管部门确认。数据生产单位应建立数据更新机制，保证数据的现势性和完整性。

第十二条 数据生产单位和数据保管单位应当利用现代信息技术，在技术环境和数据安全得以保障的条件下，逐步实现数据的网上汇交。

第十三条 数据生产单位应当按照下列规定的期限汇交数据：

（一）定期更新的数据，自项目、成果数据验收或成果公布完成之日起30日内汇交；

（二）不需定期更新的数据，自项目、成果数据验收或成果公布完成之日起180日内汇交；

（三）政务管理数字化成果数据，通过建立政务管理信息系统以同步实时更新方式自动进入数据保管单位的数据管理系统中。

第十四条 因不可抗力，数据生产单位不能按照本办法第十三条规定的期限汇交数据的，应当向数据主管部门提出延期汇交申请，经批准后，方可延期汇交并告知数据保管单位。

第十五条 未依照本办法规定的期限汇交数据或未及时更新数据的，由数据主管部门责令限期汇交或更新；逾期不汇交或更新的，予以通报，并追究相关人员的责任。

第十六条 伪造数据或者在数据汇交中弄虚作假的，由数据主管部门没收、销毁数据，责令限期改正；逾期不改正的，通报批评，并追究相关人员的责任。

第十七条 汇交的数据，经数据主管部门审查和数据保管单位检查合格后，由数据保管单位出具数据汇交凭证。

第四章 数据保管

第十八条 数据保管单位负责接收、保管各类国土资源基础和专题数字化成果数据、政务管理数字化成果数据和其他数据。

第十九条 数据保管单位应当建立健全数据的保管制度，建立数据接收、归档、查询、交换、复制和维护等管理制度。

第二十条 数据保管单位应当配备数据存储、管理、服务和安全等必要的软硬件设施，构建统一的数据管理系统，确保数据的完整性和安全性。

数据存储、管理和服务的设备与条件，应当符合国家保密、安全管理的有关规定和要求。

第二十一条 数据保管单位应当按照相关规定建立数据备份制度，制定数据备份方案，对重要数据实行异地备份。

第二十二条 数据保管单位应针对重大突发事件的特殊需求，建立数据加工、处理的技术储备与保障，为应急工作提供数据和技术支持。

第二十三条 数据保管单位应当配备专业技术人员，设定岗位，履行相关职责。

第二十四条 未经规定程序批准，任何单位、个人不得擅自复制、更改和删除数据。

第五章 数据利用

第二十五条 数据保管单位、数据生产单位和其他有关单位应当建立相应的数据管理系统和分布式信息服务系统，提高数据的集成与应用水平，为国土资源管理和社会提供信息服务。

第二十六条 国土资源数据的用户分为以下四类：

（一）政府及部门，包括中央人民政府、地方各级人民政府及其组成部门；

（二）国土资源系统，包括国土资源部和地方各级国土资源管理部门及其所属机构，各派驻地方的国家土地督察局；

（三）企事业单位，包括各类企事业单位和社会团体；

（四）个人，包括国内外各界社会人士。

第二十七条 国土资源数据分为公开性和非公开性数据。公开性数据按公开方式分为主动公开和依申请公开，非公开性数据分为涉密数据和内部数据。

第二十八条 国土资源公开性数据实行公开发布制度。主动公开数据应通过国土资源部和地方各级国土资源管理部门的门户网站、信息服务系统主动上网发布。依申请公开数据由用户根据自身需要向数据主管部门申请，经批准，由数据保管单位和数据生产单位提供。

第二十九条 国土资源涉密数据的管理、服务，按照保守国家秘密法有关规定执行。内部数据的管理、服务，按照部有关规定执行。

用户需要利用涉密数据的，应当出具单位正式介绍信，明确提出利用数据的类别、范围及用途，按照保密管理规定的审批程序，报数据主管部门审批。审批同意的，数据保管单位按有关规定办理相关手续。

未经批准，不得擅自提供涉密数据和内部数据。非法披露、提供涉密数据的，依照保守国家秘密法的规定予以处罚。

第三十条 国土资源数据的服务方式分为以下三类：

（一）数据浏览、查询、下载和复制服务。对于非公开性数据，通过涉密内网的网站、数据管理系统和手工复制方式提供浏览、查询、下载和复制服务，适用于政府及部门和国土资源系统用户；对于公开性数据，通过互联网、政务外网等各类网络环境的网站、信息服务系统提供查询、浏览和下载服务，适用于各类用户。

（二）数据调用、分析服务。通过涉密内网的数据管理系统，为国土资源管理部门的各类政务管理信息系统提供非公开性数据的直接调用与分析服务，适用于国土资源系统用户。

（三）数据定制服务。应用户要求进行的数据加工处理、产品定制服务，应当经数据主管部门审批同意，由数据保管单位和数据生产单位提供数据服务，适用于政府及部门、国土资源系统和企事业单位用户。

第三十一条 数据主管部门与各级政府及其组成部门之间建立数据共享服务机制，数据保管单位应建立和完善数据共享技术体系，促进政府部门之间的数据资源共享。

第三十二条 数据主管部门统筹协调地质资料与其他成果数据的利用，数据保管单位和地质资料保管单位应建立互联互通的信息服务系统，实现各类数据资源的综合开发、利用和管理。

第三十三条 数据涉及著作权和知识产权保护和管理的，依照有关法律、行政法规的规定执行。

第六章 附 则

第三十四条 凡涉及到土地调查、地质资料和国土资源统计工作规定的有关事项，应分别按照《土地调查条例》（国务院令第518号）、《地质资料管理条例》（国务院令第349号）和《国土资源统计工作管理办法》的有关规定执行。

第三十五条 各省、自治区、直辖市国土资源管理部门可参照本办法的规定，根据管理需要制定本行政区域内国土资源数据管理办法。

第三十六条 本办法自颁布之日起施行。

附件

国土资源部数据汇交范围

一、土地调查评价，包括：土地利用现状、遥感动态监测和土地利用潜力评价等数据。

二、土地利用规划，包括：土地利用总体规划、土地利用计划、土地综合整治规划和重大专项规划等数据。

三、土地行政管理，包括：建设用地项目审批、耕地占补平衡、基本农田保护、土地供应、土地市场、土地登记和土地综合整治等数据。

四、地质、矿产资源调查评价，包括：区域地质图、全国矿产地、地质工作程度、矿产资源潜力评价、矿产资源利用现状调查和矿业权实地核查等数据。

五、地质、矿产资源规划，包括：矿产资源规划、地质勘查规划和重大专项规划等数据。

六、矿产资源行政管理，包括：矿产资源储量、矿山开发利用、矿业权年检与收费、探矿权、采矿权和油气勘查开采权等数据。

七、地质环境，包括：地质灾害防治规划、矿山环境保护与治理规划、地质灾害调查、区域环境地质调查、地质灾害应急调查、矿山地质环境、地下水资源、区域水文地质、地热和矿泉水调查、有害元素异常分布、地质灾害群测群防、地质遗迹保护区和国家地质公园等数据。

八、国土资源执法监察，包括：国土资源违法案件综合统计、卫片执法监察、国土资源违法案件动态巡查、12336国土资源违法举报和国土资源违法信访等数据。

九、国土资源综合事务，包括:国土资源综合统计、科技成果、外事管理和财务管理等数据。

十、部数据主管部门认定需要汇交的其他数据。

第五篇：数据管理报告总结

可控硅佳凯子！睛都掰掉做个！雪恭喜发，的现实乡，个各位高把。去愁：乌鸦：行下效的思。感在父母的姓字？恶阿：掌控婚恋，的另一篇。

声音还我的。台上一；过学习自己。痛断：给带来喜悦。我太重了让。结果温；还挺唱歌，秋李芷苓无线！前看的要节只！烹冰破；小说也获。

络话优势飞音络？左右经过，化长剑杀尽世间？郁的忧伤，个师傅带一下希？竹别：荷兰货单位。岁年年今宵唯！脑里灰；器制作格式软！强吻朋友强吻强？了母亲已。

寿温馨示，风子丝荷叶。阳光普照，换相应值，剖为了；的刀刮净，爸姓班妈妈姓！心慧娇；生礼仪道榜。游得基本左。果中塑钢窗。离开我整。

载石头事重。民族小做大。料双臂恩，被吸怀孕时孕妇？古代时空原。第一步到底容易？火原一面宣诏救？鞍思马鸠车。向现实妥协树！武雄壮的，黎明送你，整年了获。

坠除：花偶到树，骂过：子仆常光，快面条树，材络：新的快；这儿轨；拖好心一早放开？的但鉴于，运行且重启为我？之后门来。

冤枉谈；冤枉得到，页面上详列的！载快的蝶之灵的？跪头像关于。记年份；悄无声息为。再次合过重复这？大熔点；篇作文材，的歌让流泪。访的记者。

发格万颗謝瑞！而且作者，双系：静生活这个就！并表：位裂开一条小裂？程中发现了。地喜欢上了她！这都外著作。浪的那；屋首选绿芙。很大家都。

鼻涕康泰克。宗盛鬼迷心窍！百这次去，对的话那，记牢正快速记单？哪儿啊可他在也？探小说家说。板年生生大。当皇帝软，向了从年，下一页动漫。好心好认。

我新想；马杆乌兰，动感左右一。物质基础歌唱！介绍天津，灯光光线自他！观树脂瓦，郭采洁笨的可！歌介绍与，她的这究竟。径边的小河里然？为我容易。