数据处理教案

第一篇：数据处理教案

数据处理教案

引言：

根据高专中专部安排，由我带10级综合班的数据处理课和Office办公自动化课，根据教学的要求，特写此教案，该教案分为5部分，第一部分介绍数据处理定义，结构，常用软件；第二部分计算机基础；第三部分介绍Excel数据处理；第四部分介绍常用数据库（access、sql语句），第四部分介绍简单的关系数据库、数据建模等；第五部分介绍简单的数据处理、报表制作等。

第一部分数据处理定义，结构 第一节 数据处理定义

教学目的：通过对数据处理的定义使学生明白，在当今的社会，数据是如何的重要，数据处理在现代社会中起到什么样的作用。

教学内容：重点是数据处理的定义，难点为如何看待数据和信息的关系，模糊数据和数字数据的区别 教学方法：口述与上机

教学进程：全面4个课时为理论口述讲解，后面4个课时上机介绍数据处理常用软件。

1.1.1数据处理定义

数据处理是对数据的采集、存储、检索、加工、变换和传输。数据是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理。数据的形式可以是数字、文字、图形或声音等。数据经过解释并赋予一定的意义之后，便成为信息。数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。数据处理是系统工程和自动控制的基本环节。数据处理贯穿于社会生产和社会生活的各个领域。数据处理技术的发展及其应用的广度和深度，极大地影响着人类社会发展的进程

1.1.2数据处理软件

数据处理离不开软件的支持，数据处理软件包括：用以书写处理程序的各种程序设计语言及其编译程序，管理数据的文件系统和数据库系统，以及各种数据处理方法的应用软件包。为了保证数据安全可靠，还有一整套数据安全保密的技术。1.1.3 数据处理方式

根据处理设备的结构方式、工作方式，以及数据的时间空间分布方式的不同，数据处理有不同的方式。不同的处理方式要求不同的硬件和软件支持。每种处理方式都有自己的特点，应当根据应用问题的实际环境选择合适的处理方式。数据处理主要有四种分类方式①根据处理设备的结构方式区分，有联机处理方式和脱机处理方式。②根据数据处理时间的分配方式区分，有批处理方式、分时处理方式和实时处理方式。③根据数据处理空间的分布方式区分，有集中式处理方式和分布处理方式。④根据计算机中央处理器的工作方式区分，有单道作业处理方式、多道作业处理方式和交互式处理方式。

1.1.4 数据处理加工

数据处理对数据（包括数值的和非数值的）进行分析和加工的技术过程。包括对各种原始数据的分析、整理、计算、编辑等的加工和处理。比数据分析含义广。随着计算机的日益普及，在计算机应用领域中，数值计算所占比重很小，通过计算机数据处理进行信息管理已成为主要的应用。如侧绘制图管理、仓库管理、财会管理、交通运输管理，技术情报管理、办公室自动化等。在地理数据方面既有大量自然环境数据（土地、水、气候、生物等各类资源数据），也有大量社会经济数据（人口、交通、工农业等），常要求进行综合性数据处理。故需建立地理数据库，系统地整理和存储地理数据减少冗余，发展数据处理软件，充分利用数据库技术进行数据管理和处理。1.1.5 数据清洗

有关商务网站的数据处理：由于网站的访问量非常大，在进行一些专业的数据分析时，往往要有针对性的数据清洗，即把无关的数据、不重要的数据等处理掉。接着对数据进行相关分分类，进行分类划分之后，就可以根据具体的分析需求选择模式分析的技术，如路径分析、兴趣关联规则、聚类等。通过模式分析，找到有用的信息，再通过联机分析（OLAP）的验证，结合客户登记信息，找出有价值的市场信息，或发现潜在的市场。

第二节数据处理结构

教学目的：通过对数据处理结构的介绍使学生明白数据仓库、数据集市与数据挖掘的关系。

教学内容：重点是数据仓库的图像理解，难点也是数据仓库整体结构的理解。教学方法：口述与上机 教学进程：全面4个课时为理论口述讲解，后面4个课时上机介绍数据仓库案例。

1.2.1商业智能在中国的发展机会（数据处理）

商业智能就像几年前的ERP（企业资源管理）一样，正成为企业首席技术官们关注的焦点，呈现如火如荼的发展态势。众所周知，在ERP等基础信息系统部署完之后，企业能够对其业务数据进行更为有效的管理，于是如何利用这些数据创造价值成为企业下一步思考的问题。

商业智能系统已经作为一种含金量极高的管理工具，融合在部分大型企业管理文化的血脉之中了。商业智能在帮助企业管理层发现市场机会、创造竞争新优势的作用显而易见，因此成为企业信息化的新宠也是必然的。

商业智能软件市场稳步增长

从全球范围来看，商业智能领域并购不断，商业智能市场已经超过ERP和CRM（客户关系管理）成为最具增长潜力的领域。从中国市场来看，商业智能已经 被电信、金融、零售、保险、制造等行业越来越广泛地应用，操作型商业智能逐步在大企业普及，商业智能不局限于高层管理者的决策之用，也日益成为普通员工日 常操作的工具。

不过，尽管这个市场潜力巨大，但仍有不少的现实情况导致这一市场的发育没有大家预期中的那么好。首先一点，国内的成熟、专业的商业智能实施顾问较少，不但上游厂商的相关人才少，下游负责实施的渠道合作伙伴更是缺乏相关人才，很多时候用户要启用商业智能工具，但是不太明确自己的需求，负责实施的人很多时 候也是一知半解，不能给用户很好的解决方案；其次，目前多数商业智能厂商，尤其是国外厂商都是通过分公司或办事处来销售的，而未来国内制造业企业多数需要 本地化服务，这种模式必将改变。同时，商业智能系统的销售、服务要求代理商要有很强的能力，如何选择、培养、发展这些代理商将是商业智能大发展面临的一个很重要问题。

SaaS将成为重要交付模式

同时，商业智能系统的核心不是平台，而是模型。目前，由于国内应用商业智能的企业并不多，应用深入的更少，应用基础也比较薄弱，即使拿来国外先进的商 业模型也不一定能运转起来，所以尽快建立各种适合国内企业特色的模型是各服务商未来要加大投入着力解决的。当然，对企业而言，商业智能的有效应用，离不开 数据的支持。如果没有准确的数据，那么所要分析产生的报表、决策都与事实存在差距，将会导致整个决策的错误，因此，必须要求前期的数据准确。

最后，随着云计算的大规模普及，下一代商业智能的精细分析系统很可能会建设在动态的基础架构上，而虚拟化、云计算等技术的发展也会带动商业智能系统的建设和应用，这就是“云智能”。我国企业需要抓住“云智能”机遇，加快发展、迎头赶上，才能从容应对下一阶段的全球化竞争。

1.2.2数据仓库技术的发展及体系结构 数据仓库技术的发展及概念

传统的数据库技术是以单一的数据资源，即数据库为中心，进行事务处理工作的。然而，不同类型的数据有着不同的处理特点，以单一的数据组织方式进行组织的数据库并不能反映这种差异，满足不了现代商业企业数据处理多样化的要求。总结起来，当前的商、世企业数据处理可以大致地划分为2大类：操作型处理和分析型处理。操作型处理也叫事务型处理，主要是为企业的特定应用服务的（这是目前最为常用的），分析型处理则用于商业企业管理人员的决策分析，这种需求既要求联机服务，又涉及大量用于决策的数据，传统的数据库系统已经无法满足，具体体现在：

1）历史数据量大；

2）辅助决策信息涉及许多部门的数据，而不同系统的数据难以集成；

3）由于访问数据的能力不足，它对大量数据的访问能力明显下降。

数据仓库技术的出现为解决上述问题提供了新的思路。数据仓库的创始人Inmon指出：“数据仓库是面向主题的、集成的、稳定的、随时间变化的数据集合，用以支持经营管理中的决策制定过程”。它从大量的事务型数据中抽取数据，并将其清理、转换为新的存储格式，即为决策目标把数据聚合在一种特殊的格式中，作为决策分析的数据基础，从而在理论上解决了从不同系统的数据库中提取数据的难题。同时，利用联机分析处理（OLAP）技术可以对数据仓库提供的数据进行深入加工。

企业数据仓库的体系结构

一个典型的企业数据仓库系统通常包含数据源、数据存储与管理、OLAP服务器以及前端工具与应用4个部分。

1）数据源。

数据源是数据仓库系统的基础，是整个系统的数据源泉。通常包括企业内部信息和外部信息。内部信息包括存放于企业操作型数据库中（通常存放在RD-BMS中）的各种业务数据，外部信息包括各类法律法规、市场信息、竞争对手的信息以及各类外部统计数据及各类文档等。

2）数据的存储与管理。

数据的存储与管理是整个数据仓库系统的核心。在现有各业务系统的基础上，对数据进行抽取、清理，并有效集成，按照主题进行重新组织，最终确定数据仓库的物理存储结构，同时组织存储数据仓库元数据（具体包括数据仓库的数据字典、记录系统定义、数据转换规则、数据加载频率以及业务规则等信息）。按照数据的覆盖范围，数据仓库存储可以分为企业级数据仓库和部门级数据仓库（通常称为“数据集市”，Data Mart）。数据仓库的管理包括数据的安全、归档、备份、维护、恢复等工作。这些功能与目前的DBMS基本一致。

3）OLAP服务器。

对分析需要的数据按照多维数据模型进行再次重组，以支持用户多角度、多层次的分析，发现数据趋势。

4）前端工具与应用。

前端工具主要包括各种数据分析工具、报表工具、查询工具、数据挖掘工具以及各种基于数据仓库或数据集市开发的应用。其中数据分析工具主要针对OLAP服务器，报表工具、数据挖掘工具既针对数据仓库，同时也针对OLAP服务器。

1.2.3商业智能（BI）落地需要的三大工具

商业智能（后面简称BI）的各类角色用户必须借助和使用工具实现其需求。BI角色分为业务、业务融合技术、技术这三类，对于其相应的应用需求（含演绎型和归纳型）和管控开发需求，需要借演绎型需求支撑工具和归纳型需求支撑工具，及管控开发型工具来予以实现。本篇先讲述演绎型需求支撑的7种工具，其可分为描述统计工具、经营技术与方法、经济预测方法与模型、OLAP分析、知识发现工具、专家系统以及决策方法与模型。管控开发支持型工具一般包括系统管理工具、开发工具；

笔者认为BI以认识论和组织理论为基本原理，采取相适宜的“工具”，旨在帮助 “相关角色”对职责范围内的“有关内容”做出最佳决定的整体解决方案。它由“三维模式”和“三层漏斗”组成，是辅助整个企业集理念，组织，流程，技术为一体的整体决策支持方案三维模式由角色维、内容维和工具维构成，体现了BI的主体、客体和工具等一般性原理。根据BI的定义，只有清晰划分相关角色并据以确定需求，并借助工具才能实现BI辅助主体对职责范围的有关事项做出最佳决定的宗旨。

BI的业务类角色、技术类角色以及业务融合技术类角色对应存在着业务应用需求（指业务类的演绎型需求和业务融合技术类的归纳型需求）和技术应用需求，即管控开发型需求。这种需求能否得以有效实现和提升，必须借助工具。针对三大类角色的两种需求，BI的工具分为应用型支撑型工具和管控开发支持型工具。鉴于文章的范围，硬件支撑工具的内容请参见相关书籍。

应用支撑工具可以分为描述统计工具、经营技术与方法、经济预测方法与模型、OLAP分析、知识发现工具、专家系统以及决策方法与模型。管控开发支持型工具一般包括系统管理工具、开发工具。一般来说，这些工具以软件包的形式形成产品。鉴于BI对于业务应用的重要作用及业务应用成功对BI的重要意义，本文着重分析BI的应用型支撑工具，并对有关产品作简单介绍。

一、实现演绎型需求的7种工具

BI的演绎型内容可以分为三个层次：报表查询、综合分析、决策选择讨。如下图所示，BI的演绎型需求通过描述性统计工具、报表与展示工具、经济预测方法与模型、经营技术与工具、OLAP分析及专家系统工具、决策方法与模型来实现。

上图中，描述性统计工具帮助用户在报表查询层次实现对事实的充分了解；综合分析以逻辑的方式帮助相关主体寻求原因或对简单问题直接获得建议，需要运用经济预测方法与模型、经营技术与工具及OLAP分析来得以实现。专家系统和决策方法与模型是实现定量和部分定性决策的有力工具。通过该类工具，用户在决策选择时通过评价各个方案的优劣来辅助主体选择最优，得出结论。BI 演绎型应用的三层次结构合理、有步骤地解决了前提、逻辑规则和结论这一演绎型思维方法的迁移应用。

（一）描述性统计工具

统计的基本意义在于利用统计指标，通过指标值的对比关系和发展变化来研究社会经济现象的数量和数量关系，表明其变化发展的过程、结果及其规律。作为统计学两大基本内容之一的描述性统计是整个统计学的基础和统计研究工作的第一步，它包括数据的收集、整理、显示，对数据中有用信息的提取和分析，而对变量的集中趋势和离中趋势的分析则是其主要内容。描述性统计工具指为实现相关主体对基本事实了解的需求而需利用基本指标。这些基本统计指标包括总量指标、相对指标、平均指标和变异指标。

总量指标：表明具体社会经济现象总体的规模、水平或工作总量的数值，是计算各种派生指标的基础。如某集团公司年销量即是总量指标。它可分为总体单位总量、总体标志总量和时期总量（如某个事业部门的总销量）、时点总量（如月末库存）。总量指标可通过直接计算和间接计算求出。

相对指标：表明两个互有联系的社会、经济现象之间数量对比关系的统计指标。如竞争企业之间库存周转率的对比，或行业内某企业销量与行业总销量的对比等等；常用的同比和环比也是相对指标的运用。相对指标反映了社会经济现象的实质及其数量的对比关系，从现象间数量对比关系中清晰地认识事物。其次，可使原来无法直接比较的现象，找到共同的基础进行科学地对比分析。相对指标又包括：计划完成程度指标、结构相对指标（高中低档产品利润在全部利润中的各自占比）、比例相对指标（产品A与产品B的对比）、比较相对指标（某企业销量增长率与竞争企业销量增长率的对比）、强度相对指标（如烟草行业销售情况中条/人指标的对比）、动态相对指标（如历年的销售额的比较）。运用时，要正确选择对比的基数、确定可比的对比指标、相对指标要与对比基数结合使用。

平均指标：反映同质总体内各单位某一数量标志的一般水平，可以对比总体的一般水平，如分公司年平均销量与总公司平均销量的对比，可以进行数量上的推算和预测。平均指标有算术平均数、调和平均数（较少用，主要用于已知标志总量而不知单位总量的情况）、几何平均数（一般用于计算平均发展速度）、众数（一组序列中出现次数最多的数）、中位数（按大小顺序排列的数据中处于中间的数）五种。使用平均数时要与变异指标结合使用，有时需要用组平均数补充总体平均数。

标志变异指标：说明总体各单位某一标志数值差异程度，通过变异指标可以揭示被平均指标掩盖了的差异情况，也可作为衡量平均指标代表性的尺度。可分为：全距、平均差、标准差、标志变异系数。全距是标志值最大值与最小值之差，如2006年某产品在全国各省中最高销量与最低销量之差；平均差是各个标志值与总体算术平均数的离差的绝对值。标准差为各个标志值与总体算术平均数的离差的平方和的正平方根，其值越大表明差异越大，平均值不能很好代表一般水平；标准差与算术平均数的比值称为标志变异系数，用以两个平均数指标不相等时的对比。

描述性统计工具在当前BI的行业应用中非常普遍。值得关注的是，当前一般BI的报表查询应用涉及更多是描述性统计的总量指标、平均指标和比较指标，而对于描述离中趋势的标志变异指标运用得相当不够。事实上，标志变异指标可以解决B I的应用主体很多实质性问题，比如在众多品牌中找到销量不稳定的品牌，在众多客户中找到交易额波动大的客户，这些信息为BI的应用有关主体在研发、生产、采购、销售、库存方面起到较为关键的作用。

（二）报表与展示工具

以报表应用类别区分，BI系统能利用报表与展示工具来生成统计报表和查询报表。查询报表较为简单，根据用户的需求可以较容易地定制。由于中国式统计报表众多的表头项以及表头中首格的一重甚至多种斜线的特征，甚至在表头项中又切分子表头的复杂情况，致使生成统计报表较为困难。国外的BI产品在生成统计报表方面和国内的某些产品相比，如水晶报表，操作过程较繁锁。对于报表的展示，一是产生表格，二是产生与表格对应的图形，如曲线图、柱形图、三维图等。一般来说，要求报表与图形连动。即当报表数据发生变动时，图形跟着变动。或者相反，图形的变动要带来报表数据的变动。这是在钻取时较容易产生的情况。如SAS的Business Intelligence和BO的图形互动功能都能实现此种需求。

报表与展示工具注重实现报表的灵活性，更强调图形展示的美观、图形色彩的模板化定，强调图形种类的多样。这是BI工具的基本功能。前两年大家谈到BI时，更容易评判到某个厂家的BI的界面制作的是否美观等等，这是当时人们对BI应用认识不够造成的。现在厂家在宣传BI时，不仅注重更深层次的综合分析功能和预测、决策功能，更扩大到数据集成与整合，数据存储和元数据管理等全套BI平台上。

（三）经济预测方法与模型 经济预测方法与模型是统计学中统计推断部分的运用，复杂且灵活。它是BI在综合分析层次上的应用。该方法满足业务类用户展望未来的需求。统计推断一般包括参数估计、假设检验以及分类与选择。经济预测方法是参数估计的应用推广，包含了点估计和参数估计，如某上时间段销量的预测值，或者预测值所处的区间。经济预测模型是在预测方法的指导下，根据行业的实际经过修正后建立的预测模型。

定量的预测方法实战中可以建立很多模式，此处以时间序列预测为主简要介绍经济预测方法与模型的运用。

时间序列预测法是动态分析法的一种运用。动态分析法是在统计研究中，把经济现象在不同时间上的数量进行对比，以了解现象变动的方向、速度、趋势和规律，并据此预测未来的方法。动态趋势分析与预测是动态分析法的重要用途。时间序列是动态分析研究的一个主要方面，其前提是编制时间序列，并形成时间序列预测法。当前时间序列有100种左右的预测方法，但其基本方法一般包括简单平均、移动平均、指数平滑、最小二乘等，可以运用到直线趋势预测和曲线趋势预测方面。时间序列影响时间序列的值变化的四种因素：趋势变动、季节变动、循环变动、不规则变动，循环变动在短期预测中通常不考虑。将这四个因素从时间序列值中分解出来的方法称为分解分析法。如2月份在某地的某品牌白酒销量为60箱，通过分解技术，可获知趋势变动（平均水平与增长势头）的影响值为40，中秋的季节变动影响值为15，但不规则变动影响值是5，所以即销量为60。时间序列预测的基本方法结合上述四种因素并运用到直线预测和曲线预测中，就形成了近100种的具体预测方法，如加权平均，加权移动平均、温特斯法等。温特斯法是以指数平滑法为基本模型，结合季节因素并运用到直线趋势中而形成的季节直线趋势和季节变动指数平滑模型。下图分别是直线趋势和曲线趋势预测的结果。

1.2.4数据仓库架构的建立

每一个数据仓库有一个架构。这架构要么是即时的或计划过的；或隐式的或形成文件的。不幸的是，许多数据仓库开发时并没有一个明确的架构，这极大的限制了它的灵活性。在没有架构的情况下，主题区域就无法契合在一起，它们之间的连接变得无目的，并且使整个数据仓库的管理和变更都难于进行。此外，虽然它可能看起来不重要，数据仓库的架构已成为选择工具时的框架。

让我们把开发一个数据仓库与建造一个真正的房屋进行比较。你如何建造一幢300万美元的大厦呢？更不用说建造一间10万美元的房子了。你要有蓝图、图纸、技术规范、和在多个层次细节上显示这个房子将如何进行建造的标准。当然，针对房子的各种子系统要有不同版本的蓝图，如管道工程、电气、暖通空调系统（HVAC）、通信、和空间。针对所有的家用的设备也有相应的标准，包括插头、灯具、卫生洁具、门的尺寸等。

对于数据仓库，架构是对数据仓库的元素和服务的一种描述，用具体细节说明各种组件如何组合在一起，和随着时间的推移系统将如何地发展。就像这房子的比喻，数据仓库架构是一套文件、计划、模型、图纸和规范，针对每个关键的组件区域有独立的分区，并且足够详细到让专业技术人员可以实施它们。

这并是一个需求文件。需求文件说明架构需要做些什么。数据仓库架构也不是一个项目计划或任务清单；它说明数据仓库是什么，而不是怎么去做或为什么去做。

一个数据仓库的开发也并不容易，因为相对于房屋的5000年建筑史，我们发展数据仓库系统只有20年的时间。因此，我们的标准还不多，工具和技术正在快速发展，关于我们已经拥有数据仓库系统的档案还很少，而且数据仓库的术语还有很大的出入。

所以，虽然开发一个架构是困难的，但它也是可能的，并且又是至关重要的。首先，最主要的是，架构应该受业务的驱动。如果你的要求是每夜进行更新，这一要求就该包含在架构内，而你必须弄清实现你目标的技术需求。下面是一些业务需求的例子，和针对每种需求的综合技术考量：

●每夜更新――充足的数据准备能力

●全球可用性—平行或分布式服务器

●顾客层次分析――大型服务器

●新数据源――带有支持元数据的灵活工具

●可靠性――工作的控制功能

关键组件区域

一个完整的数据仓库架构包括数据和技术因素。架构可以被分为三个主要区域。首先，是基于业务流程的数据架构。其次是基础设施，包括硬件、网络、操作系统和电脑。最后，是技术区域，包含用户所需的决策制定的技术以及它们的支持结构。对这些区域将在下文分小节进行详述。

●数据架构

如上所述，在整体数据仓库架构中的数据架构部分是受业务流程所驱动的。例如，在一个制造环境里，数据模型可能包括订单、装运和帐单。每一个区域都依据一套不同的维度。但是在数据模型中对相交维度的定义必须相同。所以相同数据项应该有同样的结构和内容，并有一个创建和维护的单一流程。

当你完成一个数据仓库架构并呈现数据给你的用户，就要做出对工具的选择，但随着需求的设定，选择就会变窄。例如，产品的功能开始融合，就像多维联机分析处理（M OLAP）和关系型联机分析处理（ROLAP）。如果停留在你建造的立方体，多维联机分析处理（MOLAP）便可以了。它速度快又允许灵活的查询――在立方体的范围内。它的缺点是规模（整体上和一个维度内）、设计的局限性（受立方体结构所限）、需要一个专有的数据库。关系型联机分析处理（ROLAP）是多维联机分析处理（MOLAP）的一种替代方案，它克服了多维联机分析处理（MOLAP）的这些缺点。通常，混合联机处理（HOLAP）更受欢迎，它允许一部分数据存储在维联机分析处理（MOLAP）中，另一部分数据存储在关系型联机分析处理（ROLAP）中，折衷了各自的长处。

●基础设施架构

对硬件及数据库选择的问题在于其大小、扩展性和灵活性。在大约80%的数据仓库项目中，这并不困难，大多数企业有足够的力量来应对他们的需要。

在网络、检查数据来源、数据仓库准备区、以及它们之间的任何设施方面，要确保有足够的带宽用于数据的移动。●技术架构

技术架构被元数据目录所驱动。一切都应该受元数据所驱动。服务应该依从表格所需的参数，而不是它们的硬编码。技术架构的一个重要组件是 ETL（提取、转换和加载）流程，它涵盖了五个主要区域：

●提取－数据来自多种数据源并且种类繁多。在这个区域如果有数据的应用时必须考虑对它的压缩和加密处理。

●转换－数据转换包括代理主键的管理、整合、去标准化、清洗、转换、合并和审计。

●加载－加载通常是利用加载最优化和对整个加载周期的支持对多种目标进行加载。

●安全－管理员访问和数据加密的策略。

●元件控制-－它包括元件的定义、元件安排（时间和事件）、监控、登录、异常处理、错误处理和通知。

数据准备区需要能够从多种数据源提取数据，如MVS、ORACLE、VM和其它，所以当你选择产品时要具体。它必须将数据进行压缩和加密、转化、加载（可能对多个目标）和安全处理。此外，数据准备区的活动要能够自动化进行。不同的供应商的产品做不同的事情，所以大多数企业将需要使用多种产品。

一个监控数据仓库使用的系统对查询的采集、使用的跟踪是有价值的，而且也有助于性能的调整。性能优化包括通过“管理者”工具进行的成本估算，而且应包括即时查询的时间表。有工具能够提供查询管理服务。可使用工具来针对这些和其它相关任务，如对前台的基于服务器的查询管理和来自于多种数据源的数据。也有工具可用于报表、连通性和基础设施管理。最后，数据访问块应包括报表的服务（如发布和订阅），还应包括报表库，调度程序和分布管理员。

关于元数据

在数据仓库流程中数据的创建和管理要遵循以下的“步骤”：

●数据仓库模型

●数据源的定义

●表的定义

●数据源到目标的映射

●映射和转换信息

●物理信息（表格空间，等）

●提取数据

●转移数据

●加载统计

●业务描述

●查询请求

●数据本身

●查询统计

为显示元数据的重要性，上述的步骤列表中只有三步包括了“真正”的数据－

7、8和12。其他的一切都是元数据，而且整个数据仓库流程都依赖于它。元数据目录的专业技术要素包括： ●业务规则-－包括定义、推导、相关项目、验证、和层次结构信息（版本、日期等。）

●转移/转换信息-－源/目的地的信息，以及DDL（数据类型、名称等等。）

●操作信息-－数据加载的工作时间表、依存性、通知和信息的可靠性（比如主机的重定向和加载平衡）。

●特定工具的信息-－图形显示信息和特殊功能的支持。

●安全规则-－认证和授权。

建立架构

在开发技术架构模型前，要先起草一份架构需求的文件。然后将每一项业务需求计划包含到它的架构中。根据架构的区域对这些内容进行分组（远程访问、数据准备、数据访问工具等）。了解它如何于其它区域相适应。采集区域的定义及其内容。最后提炼和形成模型的文件。

我们认识到开发一个数据仓库架构是困难的，因此要有一个周密细致的规划。但ZACHMAN框架又超出了大多数企业对数据仓库的需要，所以建议使用一个合理的折衷方案，它由四层流程所组成：业务需求、技术架构、标准和工具。

业务需求本质上驱动着架构，所以要对业务经理、分析师、高级用户进行访谈。从你的访谈中寻找主要的业务问题，以及企业战略、发展方向、挫折、业务流程、时间、可用性、业绩预期的指标。将它们一一妥善归档。

从IT的角度来看，跟现有的数据仓库/决策支持系统（DSS）的支持人员、联机分析处理（OLTP）应用组成员、数据库管理员们（DBA）；以及网络、操作系统和桌面支持人员进行讨论。也要与架构师和专业规划人员进行探讨。你应该从这些讨论中得知他们从IT的观点考虑数据仓库的意见。从中了解是否有现存的构架文件、IT原则、标准文件、企业数据中心等。

关于数据仓库并没有太多现存的标准，但对于许多组件来说是有标准的。下面是一些需要牢记的标准：

●中间设备－－开放数据库连接（ODBC）、对象链接与嵌入（OLE）、对象链接与嵌入数据库（OLE DB）、数据通信设备（DCE）、对象请求代理（ORB）和数据库编程（JDBC）

●数据库连接－－ODBC, JDBC, OLE DB, 和其它。

●数据管理－－ANSI SQL 和文件传输协议（FTP）

●网络访问－－数据通信设备（DCE）、域名服务器（DNS）、和 轻量目标访问协议（LDAP）

无论它们支持的是哪种标准，主流的数据仓库工具都受元数据所驱动。然而，它们通常并不互相共享元数据而且在开放性上也所有不同。所以，要仔细研究和购买工具。架构师是你选择适当工具的向导。

一个数据仓库架构需要具体到怎样的程度呢？这个问题要问的是：它有足够的信息可以让一个有能力的团队来建立一个满足业务需求的数据仓库吗？至于它要花多长时间，随着更多的人加入到它的开发中来（即：它变成了“复杂的技术策略”）和生成的系统需要变得更复杂（即“复杂的功能”），架构的完成会呈指数倍的发展。

像数据仓库中几乎所有的事情一样，一个迭代进程是最好的。你不能一次做完所有的事情因为它太大了，而且业务不能等。同时，数据仓库的市场还没有完备。所以从流程中影响大、高价值部分开始，然后，利用你的成功去带动另外的阶段。

总结：

综上所述，建立一个数据仓库架构的好处如下：

●提供了一个组织结构的框架-－架构对什么是单独的组件、如何将它们组装在一起、谁拥有什么部分以及优先次序的问题划出了界线。

●提高了灵活性和维护性-－让你能快速加入新的数据来源，接口标准允许即插即用，模型和元数据允许影响分析和单点的变化。

●更快的开发和再利用-－数据仓库开发者更能够快速了解数据仓库流程、数据库内容和业务规则。

●管理和通信的工具-－定义未来方向和项目范围，确定职务和职责、对供应商传达需求。

●协调多项任务同时进行——多种、相对独立的工作有机会成功地集合。

我们建议公司对准业务需求而又要务实一些。时刻跟上数据仓库产业的进步是很重要的。最后，请记住架构总是存在的：或隐性或具体的，或无计划或计划内的。经验证明，有一个计划内和具体的架构会使数据仓库与 商业智能项目有更多的成功机会。

1.2.5如何规划数据仓库中的数据清洗

可以将数据仓库的数据清洗比做政客们募集资金的过程。几乎不存在任何一方独立存在的可能性。数据清洗往往是数据仓库项目中时间最密集的，最有争议的进程。

什么是数据清洗？

“数据清洗确保无法辨认的数据不会进入数据仓库。无法辨认的数据将影响到数据仓库中通过联机分析处理（OLAP）、数据挖掘和关键绩效指标（KPI）所产生的报表。”

在哪里会用到数据清洗的一个简单例子是，数据是如何储存在不同的应用系统中的。例如：2007年3月11号可以储存为“03/11/07”或“11/03/07”及其他格式。一个数据仓库项目将数据输入数据仓库之前需要将不同格式的日期转变成一个统一的格式标准。

为什么要进行提取，转换和加载（ETL）？

提取、转换和加载（ETL）指的是一种可以帮助确保数据在进入数据仓库之前被清洗过（即符合标准）的工具。供应商提供的提取、转换和加载（ETL）工具更加容易被用来管理持续进行的数据清洗。供应商提供的提取、转换和加载（ETL）工具坐镇在数据仓库之前，监测输入的数据。如果它遇到了程序指定转换的数据，它就会在数据载入数据仓库之前对其进行转换。

提取、转换和加载（ETL）工具也可以用来从远程数据库或者通过自动设定的事件或通过人工干预提取数据。有替代工具可以替换ETL工具，这要取决于你项目的复杂性和预算。数据库管理员们（DBA）可以编写脚本来完成提取、转换和加载（ETL）的功能，通常能满足较小的项目需要。微软的SQL服务器都有一个免费的被称为数据转换服务（DTS）的提取、转换和加载（ETL）工具。数据转换服务（DTS）是一款不错的免费工具，但它确实有其局限性，尤其是在数据清洗的持续管理上。

提取、转换和加载（ETL）的供应商有Informatica、IBM（Cognos）及Pentaho等。在对所有产品进行选择时，在接触供应商之前列出你认为对一个提取、转换和加载（ETL）供应商的需求。从咨询顾问那里获得服务还是值得的，它能在产品的选择上帮助你进行需求分析。

数据清洗和提取、转换和加载（ETL）对一个数据仓库项目的成功有多重要？

在数据仓库产生的结果符合利益相关者的期望值时，提取、转换和加载（ETL）通常被忽视和置于脑后的。结果是，提取、转换和加载（ETL）冠以数据仓库项目的“沉默的杀手”的称号。大多数数据仓库项目由于数据清洗方面的意外情况而体验到延迟和预算超支的情况。

如何规划数据清洗？

及早开始对将要进入数据仓库的数据进行筹划是很重要的，这一筹划可能会随着项目的成熟发展而改变，但当你需要获得数据拥有者在没有事先通知的情况下不会改动数据的格式的承诺时，这些文件的踪迹就变得极为有价值。

创建一个需要提取、转换和加载的数据列表。为极有可能需要转换格式的数据设立一个独立的列表。对是否需要购买提取、转换和加载（ETL）工具做出决定，并留出一个全面的预算。从该领域的专家那里听取建议并评估产品是否适用于你企业的整体技术层次。

第二篇：数据处理与统计 教案（模版）

数据处理与统计

一．教学目标： 1．知识与技能：

理解公式、函数、地址、数据引用的含义； 熟练掌握公式和函数的应用； 2．过程与方法：

培养学生动手操作和观察交流的能力；

培养自我解决问题、自我发展、合作学习的能力。3．情感态度价值观：

培养学生在研究中学习、在学习中探索的意识。二．教学重点与难点： 1．教学重点：

运用公式、函数进行数据运算； 2．教学难点：

运用公式、函数进行数据运算； 掌握相对引用、绝对引用的使用； 三．教学过程： 1．导入

展示学习目标，学生自学P62-P66的内容，完成操作题的第1小题。5分钟以后，学生回答，请学生总结单元格地址是怎么构成的。单元格地址由行标和列标组成，列标在前，行标在后。2．请同学们做操作题第2题。发现：“F8”单元格中显示的是输入的内容，“F9”单元格中显示的是计算后的结果。为什么会显示的结果不同呢？比较“F8”、“F9”单元格中输入的内容，发现“F9”中输入的内容比“F8”中输入的内容多了一个“=”，“F8”中只是直接输入了一个代数式，而“F9”是利用公式计算代数式的值。公式的定义：以=开始的代数式 利用公式计算的步骤：1．“=”，2．输入代数式，3．回车键 3．请同学们利用公式，完成操作题的第3题和第4题。

发现：用单元格中的内容和单元格地址分别进行计算，结果相同。可见，计算式中直接用到了单元格地址，这就是单元格地址的引用。既然结果相同，那我们在平时的应用当中是用单元格中的内容还是用引用单元格地址的方法呢？ 4．用引用单元格地址的方法，计算剩下的居民所用的总用电量。

5．我们发现这样的计算方法还是比较麻烦的，有没有更方便一点的方法呢？Excel为我们提供了“自动填充”功能。老师演示。单击单元格“D8”，指针指向这个单元格右下角，当出现一个实心的“+”，这个就是填充柄，向下拖动填充柄，其他单元格显示对应的结果。当我们将指针指向刚刚被填充的单元格，发现单元格中的公式它们的运算关系没变，只有单元格地址作了自动调整。这就是单元格地址的“相对引用”。利用“自动填充”功能重新计算居民的总用电量；

6．请同学们完成操作题第5题，利用所学知识计算所有用户的电费。

发现只有D8单元格中的结果是正确的，而自动填充的数据，结果是错误的，这是什么原因呢？

在整个计算过程中，C4和C5必须保持不变的，在C4和C5的行号、列号前添加符号“$”，即$C$

4、$C$5，用这种方式引用地址称为“绝对引用”。

7．在Excel中，还有很多预先定义好的公式叫函数，我们可以直接引用函数来进行计算。

常用函数：求和

SUM平均值

AVERAGE 最大值

MAX 最小值

MIN 以求峰时用电的平均用电量为例作讲解。请同学们完成操作题的第6题。8．结束语

学生总结：本节课所学内容。

第三篇：数据处理和电子表格软件教案

“数据处理和电子表格软件”教学设计

【适用年级】 初二年级第二学期 【适用单元】 电子表格软件第1节 【教学目标】 ●知识目标

（1）熟悉EXCEL窗口。

（2）理解工作簿、工作表、单元格概念。（3）掌握建立、保存、关闭工作簿的操作。（4）掌握工作表、单元格的基本操作。●技能目标

通过学生探究学习过程中，掌握EXCEL窗口中几个的基本操作。●情感目标

（1）通过动手实践，培养学生在学习过程中自主探究、对比、举一反三的学习能力；

（2）利用知识的迁移，培养学生的综合信息素养能力。【课时安排】2课时（两节连上）【教学重点与难点】

（1）重点：工作簿、工作表、单元格概念。（2）难点：掌握工作表、单元格的基本操作。【教学方法】对比法、任务驱动法 【课前准备】软件EXCEL 【教学设计】

教学过程 教师活动 学生活动 教学意图

引入新课

大家打开书本的目录看本书要学习什么内容？目录中大家看到的黑体字是——用计算机处理数据，计算机能处理什么样的数据呢？ 观察本书目录

让学生了解这本书我们将要学习哪些内容？（培养学生每学习一本书前先了解所学内容大概的习惯）

阅读思考

大家打开课本P2—P3了解以下问题：

1、什么是信息？什么是数据？两者有联系吗？

2、什么是数据处理？数据处理使用到哪些软件？

3、说说EXCEL软件的功能？ 阅读教材

说说自己的理解

培养学生利用阅读获取知识的习惯

区别与拓展

大家看第2页后，看这（教师指黑板）它告诉你什么样的信息？

黑板是色彩和形状这些信息表现出来的，生活中每样东西都有自己的信息如我们每一位都自己的信息：姓名、身高、衣着等，因此信息是广义的，表现信息叫数据，如色彩、长宽都是数据，同理数据也是一个广义的概念，包括数值、文字、图像等一些。如何处理这些数据是我们所关心的，课本中提到什么样软件？ 引导学生说说阅读P3后对EXCEL知道了多少？

黑色的、有长和宽的黑板 EXCEL 学生积极发言 设疑激趣 拓展知识面

让学生表达自己的看法，展示自己的空间

任务驱动

大家说了这么多了，看看EXCEL是什么样的？阅读课本P4—P6，认识EXCEL窗口，并在计算机中实践，同时比较与WORD窗口不同处 学生实践

培养学生自主探究和对比学习的能力

学生演示 请发现不同处的学生在教师机上展示 观察

知识巩固

设置障碍

教师不小心关闭文件窗口，只剩下软件平台，问怎么办？

学生说，教师操作

知识迁移到工作簿的新建、保存操作上。

引入新问题

在了解窗口时提到了Sheet工作表，这儿怎么又是工作簿，还有单元格，这三者都有些混了，怎么区分它呢？ 教师操作并讲解„„

看课本P9回答：一个工作表中能有多少个单元格呢？ 单元格、当前单元格、单元格区域怎样区分呢？ 教师操作并讲解„„

观察区别概念

答（行：256列65536表格）观察区别概念

让学生正确区别工作簿、工作表、单元格概念

正确区别单元格、当前单元格、单元格区域概念

任务驱动

了解单元格后，结合课本P10—P12完成P15练习4、5、6题

学生实践

以单元格的练习促进学生自主学习单元格的操作

教师小结并处理练习问题

一、单元格的选定操作及地址表示：

1、单个（一个）单元格

2、连续单元格区域

3、整行或整列

4、不连续单元格区域

观察

总结知识点

任务驱动

P16的练习7，它主要是对工作表进行的操作，可结合课本P13—P14完成练习学生实践

以工作表的练习促进学生自主学习工作表操作

辅导并检查作业

重点检查工作表的复制操作 如何同时复制多个工作表？

知识举一反三

学生总结本课知识 这节课你学到了什么？

教学后记

这节课教师引导，学生自主学习充分体现出来，我上本节课的成功之处有以下几点。

1．以练习促学：布置练习完成单元格及工作表的学习，在学习的过程中所有的学生都在积极看书或互相交流，没有看到学生“等着吃”的现象，这种积极的心态也感染了我，同时在处理练习时学生有自己的表现方式，如练习4中的地址，他地址输入到相应的单元格中，既直观又好理解；在练习7中的操作使用多种不同方法是我没有料想到的。这是我尝试调动学生自主学习的方法的一种，我认为比较成功，今后也可以推广的方法。

2．设置问题障碍：使学生积极主动解决问题，情趣高、效果比较好，知识迁移比较巧妙。

3．区别与拓展：对“信息”与“数据”知识的拓展比较满意，扩大学生对抽象概念的理解。

4．通过找不同学习EXCEL窗口时，随机说了几道题如234+548＝256*652＝的计算题让学生找不同并用它解决这个计算问题，学生通过自己发现很容易记住“编辑公式＝”的用法，这对今后数据处理有很大的用处。5．内容衔接比较紧凑。不足之处有以下几点。

1．“信息与数据”知识的拓展时间掌握不好会影响下面知识的进展速度。2．“了解EXCEL窗口，并区别与WORD窗口不同处”学生实践区别完成后，学生讲解与展示时间太长也影响进度，在另一个班我进行对比区别，让学生和我的进行比较，注意自己没有发现的，这样效果比较好。

第四篇：数据处理与递归教案

数据的处理与递归循环方法解决问题

教学课时：1课时 教学目标：

知识与技能：学会用办公软件熟练处理数据，掌握VB中重要的语句和方法，并能解决实际生活中遇到的问题。

过程与方法：通过具体实例，让学生进一步探究语句和方法的处理问题的过程，提高实践能力。

情感态度与价值观：通过教学激发学生对信息技术的热爱，让他们知道在实际生活中如何利用已有的知识解决问题，培养他们正确的价值观和人生观。

教学重点：通过办公软件对已有的数据进行加工处理，循环语句的使用。教学难点：递归法的概念及它的运行过程 教学方法：讲授法、演示法、任务驱动法

教学过程：生活中信息无处不在，时刻影响我们的生活，如何用已经掌握的信息知识处理生活中的问题，是我们每个高中生应该具备的基本素质。

这节课我们复习之前学过的通过办公软件处理数据，和通过VB程序解决实际问题这两个方面的知识。

同学们先看看下面的两个题目，看谁做的即快又正确。1

2第一个是VB中的循环语句，第二个是EXCEL中关于数据处理的问题。这节课我们再来学习一遍这几个知识点。

一、如何处理EXCEL中的数据

通过本练习可以查看学生对于本知识点的掌握情况，对重点操作步骤进行一遍讲解与演示跨 合并居中：选中单元格A1:F1→设置单元格格式→对齐→选择合并单元格、居中 边框线：选中数据→单元格格式→边框→颜色→线条样式→内、外边框 公式法计算：选中单元格→输入等于号→输入题中给出的公式

更改数据类型：单元格格式→数字→数值→选中两位小数 创建图表：选中数据区域→插入→图表→柱形图→选择→图表标题

二、For……Next循环语句的应该

For 循环变量 = 初值 To 终值 Step 步长

循环体

Next 循环变量

执行过程是： ①循环变量取初值

②循环变量与终值比较，没有超过终值转③，否则循环结束，接着执行循环语句的后继语句；

③执行一次循环体；

④循环变量增加一个步长；

⑤重复步骤②～④。

通过下题加强知识理解

注意：

① For 语句与 Next 语句必须成对出现，而且它们中间的“循环变量”必须是同一个变量，如本例中均为 i ；

② 当循环变量增量为正时，循环变量超过终值，是指循环变量的值大于终值，若为负，则是指循环变量的值小于终值。

三、递归法解决问题

因为递归不是太好理解，很多学生不知道递归到底是什么，怎么运行的。首先要让学生明白递归是函数自身的不断调用，其次是每一步的运行都离不开这个函数。

通过练习对本节课难点进行强化，力争让每个学生都掌握递归法的运行过程，并且能够利用此方法解决实际生活中的问题！

教学反思：

第五篇：数据处理考纲

全国残疾人岗位精英职业技能竞赛规则

计算机操作员（数据处理）

全国残疾人岗位精英职业技能竞赛组委会

2012年7月

竞 赛 标 准

一、竞赛目的考查参赛选手对于数据处理相关基础知识的掌握程度，使用电子表格进行数据处理的能力，以及在规定的时间内，分析理解竞赛题目给出的数据处理应用系统需求，运用所学数据库语言与工具，以软件工程思想为指导，独立快速完成数据处理程序设计的能力。

二、竞赛任务

竞赛分两部分，第一部分是数据处理的理论试题，为单项选择题，主要考查选手对于数据处理基本知识的掌握程度，内容涉及计算机基础知识、计算机网络、数据库基本概念和Excel电子表格、Access数据库的使用方法等，占总分的20％；第二部分为实际操作试题，任务1要求选手按要求处理给定的Excel电子表格，得出需要的数据和图表结果，任务2要求参赛选手按照题目给定的数据处理需求，使用数据库管理系统Access建立数据库，开发出一套符合要求的数据库应用系统，每完成一项操作或实现某一功能均有相应得分。占总分的80％。

三、要求

要求参赛选手掌握以下基本知识和技能：

1．熟练掌握Excel电子表格软件的使用方法，能进行排序、分类汇总、筛选、计算和统计绘图等操作。

2．了解数据库的基础知识，熟悉SQL语言,E-R图，掌握数据库的基本操作和数据访问技术（数据库的结构设计与修改，多表间一对多与多对多的关联处理，数据的增加、删除、修改和查询功能，数据的统计和排序功能，数据库安全设计等）。

3．熟练掌握Microsoft Access数据库系统，数据表创建、查询、视图、导入、窗体设计、报表输出等，能使用Access开发数据处理应用程序。

4.熟悉Windows操作环境，可以独立进行编程工作； 人机交互界面设计美观易用。

5.本次竞赛不再提供其它编程环境。

四、评分标准

注：根据具体题目评分标准细则出现分数相同的情况时，以用时最少的选手排名在前。

五、设备和工具材料

六、竞赛时间

本项目竞赛时间为180分钟（3小时），其中理论测试时间30分钟（0.5小时），实际操作时间150分钟（2.5小时）。

七、注意事项

1．所有参赛选手不得携带任何存储媒体（如磁盘、光盘、移动硬盘、U盘，具有存储功能的手机等）、任何无线上网设备和参考资料进入赛场。竞赛现场的硬盘装有保护卡，关机或断电后不能保存数据，选手必须将开发好的程序、数据库

保存在监考人员指定的分区和文件夹。建议选手及时保存数据。

2．竞赛组委会有权在必要时对竞赛任务、评分标准等进行修改，并及时在官方网站上公示。

3．参赛选手须正确操作、使用竞赛组委会现场提供的设备及工具，以免发生损坏。进入赛场后，及时检查计算机和软件，如有问题，立即向工作人员举手示意。

4．评判时如出现参赛选手得分相同的情况，将考虑作品完成的速度。

5．竞赛标准的解释权归竞赛组委会所有。