烟草-行业数据综合分析应用解决方案

第一篇：烟草-行业数据综合分析应用解决方案

烟草专卖管理局数据综合分析应用

解决方案

xxxx电子科技有限公司

2013年7月

目录

一、建设背景........................................................3

二、建设思路........................................................3

三、建设目标........................................................3

四、总体设计........................................................4

4.1、设计原则...................................................4 4.2、设计思路...................................................5 4.3、总体架构...................................................6

五、系统实现........................................................6

5.1、整合内容...................................................6 5.2、采集处理方式...............................................7

5.2.1、数据采集..............................................7 5.2.2、数据整合..............................................9 5.3、数据应用..................................................15 5.3.1、应用定制.............................................15 5.3.2、数据展现.............................................21 5.3.3、应用主题数据.........................................21 5.4、主要功能..................................................22 5.4.1、数据来源管理.........................................22 5.4.2、主题和指标管理.......................................22 5.4.3、报表定制.............................................23 5.4.4、图表定制.............................................23 5.4.5、热点定制.............................................23 5.4.6、连接资源管理.........................................23 5.4.7、页面定制.............................................23 5.4.8、用户及角色管理.......................................24

六、系统价值.......................................................24 5.1、企业报表..................................................24 5.2、主题分析..................................................25 5.3、运营监控..................................................25

七、成功案例.......................................错误！未定义书签。

7.1、河北省省级卫生数据整合共享和综合信息管理平台错误！未定义书签。7.2、国药乐仁堂信息采集整合展现管理平台........错误！未定义书签。

八、公司及产品优势.................................错误！未定义书签。

8.1、公司优势..................................错误！未定义书签。8.2、产品特色..................................错误！未定义书签。

一、建设背景

近几年，中国烟草行业信息化飞速发展，各个企业目前己经基本完成了基础设施建设和业务系统建设，如营销系统、专卖系统、物流系统、财务系统、0A系统等。这些信息系统之间相对独立，缺乏有机联系，形成了信息孤岛，无法做到信息资源的共享，进而影响了许多正常业务的效率。由于各单位前期在实施信息系统过程中分别采用了各自的系统标准，因而导致了现有各信息系统之间很难做到“无缝连接”，并且在各系统间存在大量的“手工连接”，进而造成大量的信息失真和信息延时，这种情况还对信息管理部门增加了很多工作量，每天为数据而忙碌。同时各业务系统侧重于业务处理，不能进行充分的价值挖掘，缺乏为企业领导或业务处室的综合分析、宏观决策提供有力支持。因此，在烟草企业数据综合分析应用系统的建设与完善就显得尤为重要。

二、建设思路

三、建设目标

通过建立烟草数据综合分析应用系统，实现收集目前的营销系统、专卖系统、物流系统、财务系统、0A系统等以及其他业务系统的相关数据，并对数据进行整合，加工形成涵盖管理、采购、客服、物流、质管、运营、财务七大领域的信息域，并对信息进行多维度的综合展现，提供各业务所需的综合报表，从而充分挖掘利用现有信息资源，为领导提供决策支持，并更好的为各业务科室和一线业 务人员服务。

四、总体设计 4.1、设计原则

本项目在系统设计、软硬件采购、应用开发、系统集成和服务过程中应采用已有的国家标准、行业标准和主流国际标准，遵循但不仅限于下列标准体系和要求：

《烟草行业信息化标准体系》及其有关标准 《烟草行业信息化建设统一技术平台要求》 《烟草行业数字证书应用接口规范》 《烟草行业信息系统安全等级保护定级指南》 国家《SOA标准体系》

除了遵循上述标准，在整个项目设计开发过程中，需要遵守下面的5项原则。

1.技术的先进性

 系统应采用先进成熟的技术，以保证投资的有效性和延续性。 支持常用的操作系统平台、常用的数据库系统、常用的应用服务器平台和常用的开发工具，与XX烟草现有系统互联互通，以保证系统的兼容性。2.系统的稳定性

 保证系统能够正常运作, 系统应能够7×24小时连续稳定工作。 软件版本升级或改进应在不影响业务的情况下进行，保证系统可以稳定、平滑过渡。3.系统可维护性

 系统应能使系统管理员集中方便地配置、监视、控制、诊断整个系统，并且能够监视和控制用户情况、提高效率、消除隐患。

 对于系统各功能模块的配置、控制、监视、诊断等工作能够通过专用的系统管理工具方便的进行，无须进行专门的编码工作。

 数据中心系统将按照集中的模式进行部署，因此对系统处理并发任务的 能力提出了很高的要求，投标方需要提供大规模并发流量的处理机制以及发生性能问题时的解决方案；并提供实时交易量(并发交易量及其硬件配置)和并发用户量(并发用户数及硬件配置)的相关测试报告和案例说明； 4.系统安全性

 系统应保证信息的安全性，即保证此系统中的信息能够安全存储，并有良好的数据备份和快速恢复方案；

 采用分级的安全体系，保证数据在处理和传输全过程的安全性。系统支持对关键的信息（如：用户密码）进行加密保存，同时支持对一些比较重要的业务数据在传送和存储过程中进行加密保护；

 保证系统中的信息不被非授权用户访问，按组织结构划分操作人员的操作权限，使用烟草办公自动化系统的用户身份认证系统，且各种使用权限所能调用的应用软件模块可按要求灵活配置；

 系统在身份认证方面支持多种的认证手段，如：口令认证、数字证书认证等；

 系统支持基于角色和基于资源的授权方式，支持用户到角色的映射，并采用角色的身份来控制对特定操作的访问权，支持层次化，结构化和区域化的角色设定；

 系统需要有对系统数据的关键操作（如授权操作、流程环节变更）进行追踪和回溯的能力；

4.2、设计思路

1、模块化的系统结构

系统结构采用三层（3-tier）或多层（N-tier）设计模型；设计模式为B/S 模式。由合理分划、边界清晰的子系统和模块组成，形成组装式、插件式的体系结构，以利于系统的升级、扩充和发展。支持业务流程的可调整性；支持业务信息的可调整性和延续性。

2、面向服务的整体架构（SOA）

系统模块都是向系统内部和外部提供服务的逻辑单元；采用标准的协议提供 服务。采用松耦合的机制与外部系统进行信息交换和系统之间的互操作。

3、无缝集成的应用

提供与其他相关信息系统的数据接口、支持开放的XML 标准接口规范。不同的异构系统之间可以无缝地实现数据集成，也可以无缝地实现业务流程的集成。

4.3、总体架构

系统基于SOA设计理念，架构信息采集、整合、展现信息系统，为增值服务管理奠定总体架构基础，并以“服务”方式，扩展将来主题业务数据分析、服务系统。

五、系统实现

5.1、整合内容

数据来源主要为营销系统、专卖系统、物流系统、财务系统、0A系统以及其他业务系统。5.2、采集处理方式

5.2.1、数据采集 5.2.1.1、功能设计

通过整合完善数据采集系统，更加高效的接收和处理来自各系统的数据，实现数据采集工作的灵活设置和快速部署，使数据采集工作更专业化和规范化，减轻数据提供单位的负担，提高数据采集效率和质量。支持基于事件发生时接收数据消息、支持数据库改变时数据同步、支持定时提取数据、支持外部文件导入、支持异地全局数据库。并且支持基于消息的数据传输，在前置机感知数据改变后，通过WebService机制项服务器传递消息；支持通过各类数据传输中间件进行消息的传递。

数据采集方式包括：自动采集、定时采集。

自动采集是指通过系统接口，自动实时从数据源采集数据，适用于实时性要求较高的数据信息。

定时采集是指在设定好的时间点对数据源数据进行采集，适用于数据源有规范的数据传输技术架构。

数据审核：在数据加载到数据库前对采集的数据的格式及数据内容进行校验和审核，保证数据采集平台采集的数据质量。

自动采集：支持自动采集和定时采集方式，实现采集系统自动获取数据源数据的功能。

数据加工处理：包括数据信息清洗、信息转换、信息加载等功能，将从数据源获取过来的数据进行规范化处理，实现多源数据组合、冲突数据处理、数据格式检查等功能。并将其转换成数据仓库需要的格式。数据加载功能是将经过规范化处理后的数据存放到数据仓库中。需要定义数据的加载频率和加载方式。数据的加载频率根据数据的产生频率和数据仓库对数据的分析粒度决定，可以根据需要来定义加载的间隔。

采集平台系统功能结构如下图：

5.2.1.2、技术实现

1、技术架构

通过各种采集方式把现有各部门、企业的诸多系统通过数据交换平台抓取进入数据中心，并可以通过业务报表填报的功能补充信息，支持暴扣文档、多媒体、XML、文件以及数据库等多种方式的数据采集。

2、数据接口

本系统采集通过建立数据口的方式与现有的营销系统、专卖系统、物流系统、财务系统、0A系统以及其他业务系统进行数据采集，并将采集数据进行审核与加工处理。与此同时考虑到与新系统的整合，系统将预留数据交互模块并建立数据交换机制，为新业务系统的接入提供准备。

5.2.2、数据整合

利用完善的ETL工具，通过节点控制库、信息共享与管理库把采集来的数据按照业务内在关联形成能够表述完整业务链信息的整合信息，并为下一步的数据应用打定基础。

5.2.2.1、技术架构

1、ETL工具介绍

ETL负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库，数据仓库技术没有严格的数学理论基础，它更面向实际项目应用。所以从项目应用的角度来考虑，按着物理数据模型的要求加载数据并对数据进行 一些系列处理，处理过程与经验直接相关，同时这部分的工作直接关系数据仓库中数据的质量，从而影响到联机分析处理和数据挖掘的结果的质量。

ETL的质量问题具体表现为正确性、完整性、一致性、完备性、有效性、时效性和可获取性等几个特性。而影响质量问题的原因有很多，由系统集成和历史数据造成的原因主要包括:业务系统不同时期系统之间数据模型不一致；业务系统不同时期业务过程有变化；旧系统模块在运营、人事、财务、办公系统等相关信息的不一致；遗留系统和新业务、管理系统数据集成不完备带来的不一致性。

实现ETL，首先要实现ETL转换的过程。它可以集中地体现为以下几个方面：空值处理：可捕获字段空值，进行加载或替换为其他含义数据，并可根据字段空值实现分流加载到不同目标库。规范化数据格式 可实现字段格式约束定义，对于数据源中时间、数值、字符等数据，可自定义加载格式。拆分数据：依据业务需求对字段可进行分解。验证数据正确性：可利用Lookup及拆分功能进行数据验证。数据替换：对于因业务因素，可实现无效数据、缺失数据的替换。Lookup 查获丢失数据 Lookup实现子查询，并返回用其他手段获取的缺失字段，保证字段完整性。建立ETL过程的主外键约束 对无依赖性的非法数据，可替换或导出到错误数据文件中，保证主键唯一记录的加载。

2、整体结构

系统将各个业务系统中采集到的销售、财务、物流、仓储等基本业务数据进行整合，形成节点前置库，并进行数据加载，形成结构化的综合信息共享库与管理数据库，最后通过加工处理形成数据集市，并通过综合分析、统计报表、智能分析、决策支持等方式展现给用户。如下图所示： 5.2.2.2、数据资源整合

主要功能是实现将分散、异构的数据和记录进行规范化整理并实现聚合处理，生成基本数据集所规范的、全面动态的企业业务综合数据信息（宏观或个案级别综合业务视图）共享库，该综合共享库支持动态、交互、智能的综合业务管理，可发布（提供）综合集成的“全景业务信息”以支持全局性同步信息共享。主要功能模块包括数据规范化整理（数据校验、语法学清洗、语义学清洗等）和数据聚合处理（数据解析、整合存储/主数据管理、展现预处理等）。

流程如下图：

1、数据校验清洗 数据质量问题分类：

根据处理的是单数据源还是多数据源以及问题出在模式层还是实例层我们将数据质量问题分为4类:单数据源模式层问题、单数据源实例层问题、多数据源模式层问题和多数据源实例层问题，具体的质量问题表现如下：

1）缺少完整性约束,糟糕的模式设计，2）数据记录的错误,3）异质的数据模型和模式设计,4）冗余、互相矛盾或者不一致的数据,5）唯一性约束,⑾引用约束,6）拼写错误,7）相似重复记录,8）互相矛盾的字段,9）命名冲突,10）结构冲突,11）不一致的汇总,12）不一致的时间选择。

问题数据处理：

单数据源情形中出现的问题在多数据源的情况下会变得更加严重.多数据源没有列出在单数据源情形中就已经出现的问题.模式层次上的问题也会体现在实 例层次上.糟糕的模式设计、缺少完整性约束的定义以及多个数据源之间异质的数据模型、命名和结构冲突等,都属于该类问题.可以通过改进模式设计、模式转化和模式集成来解决模式层次上的问题.实例层次上的问题在模式层次上不可见,一些可能的情况有数据拼写错误、无效的数据值、重复记录等。

对于第1种情形,由于在数据输入时不知道电话字段的值,因此在数据库中以存放一个无效值来表示.如果针对电话字段定义一个规则存放在数据清洗库中,清洗工具就能够根据这条规则判断出哪些是无效值.对于第2种拼写错误的情形,需要在数据清洗库中建立一个存放所有城市名的查找表,通过与该查找表中的城市名相比较,就可以判断出数据库中存放的本来应该是哪个城市.对于第3种情况,一般也需要利用外部的查找表才能检测出来并加以改正.在数据清洗工具中,一些典型的查找表应该是内建的,此外也应该具备可扩展性,允许用户加入新的查找表.对于第4种情形,在一个自由格式的文本类型的字段里包括了很多部分,每个部分都可以单独作为一个字段.如果每个部分的先后顺序一定,且互相之间有分隔符或者保留字,比如Street,Road等等,就比较容易处理.但是,实际中的情况往往不是这样,因此要通过机器学习或者其他办法来解决.由领域专家选定学习样本(相对于所要处理的数据集,样本数量少得多)来训练系统,等训练好了以后,再由系统自动处理大规模的数据集.由于采用机器学习的办法,因此一般来说,需要折衷考虑记忆率和准确率.我们将利用隐马尔科夫模型(HMM)的解决办法.第6种情形的问题是字段之间不对应.为了改正,需要知道哪个字段更可信,这必须利用其他信息才能决定。

第8种和第9种情形表示的是相似重复记录的情况.在第8种情形里,一个记录的name没有简写,而另一个记录的name被简写了,通过定义合适的编辑距离函数,或者内建常用的缩写规则,清洗工具可以检测出这类重复记录.在第9种情形中,同一个现实实体(两个记录的name值相同),但是两个记录的bdate值不一样,在合并这两条记录时,如何选择一个合适的bdate值,是一个棘手的问题.相似重复记录的匹配和合并,是数据清洗过程中一个很重要的问题.首先,选择一个好的距离函数很重要.另外,记录的匹配过程非常耗时.如果采用最简单的方法,所有记录之间两两进行比较,以此来决定是否匹配,其计算复杂度为O(n2),这里n为 数据库中的记录数.对很大的数据库来说,这样的时间开销是无法忍受的。

在检测相似重复记录之前,需要先对数据进行一些处理.典型的处理操作包括: 字段分裂.从自由格式的文本字段中抽取结构,分离各个部分.验证和改正.根据查找表来验证字段值的正确性,若发现错误,则加以改正.如果提供合适的领域知识,该过程也可以验证字段之间的依赖关系.数据标准化.将同一类型的数据用统一的格式来表示,比如日期、电话号码、性别等.在完成大部分的数据转化和其他清洗步骤以后,就可以执行相似重复记录的匹配和合并了。通常情况下,指向同一个现实实体的两条记录的信息是部分冗余的,它们的数据互为补充。因此,通过将其合并,能够更准确地反映该实体.相似重复记录清除可以针对两个数据集或者一个合并后的数据集.首先,需要识别出标识同一个现实实体的相似重复记录,即记录匹配过程.随后,将相似重复记录合并成一个包含该实体的更多属性,而且无冗余信息的记录,同时从数据集中删除多余的记录。

最简单的情况是,数据记录具有这样的属性集(或者属性),它总能够惟一标识一个实体.这时,只要对两个记录集在该属性集上作等值连接,就完成了记录匹配过程.对单个记录集的情形,先根据该属性集进行排序,然后通过检查相邻的记录,就可以判断出它们是否为相似重复记录.如果不存在这样的键属性集,而且数据中可能还存在错误,例如拼写错误等,上面的简单办法就不合适了.这时可以通过引入匹配规则来完成模糊匹配,规则是描述性的,而且可以利用用户自定义的函数.例如,可以有这样的规则:如果name字段相同,而且address字段相似度也很大,那么这两条记录是重复记录.字段之间的相似度,一般用0~1之间的数值来表示,而且不同的字段对记录之间总的相似度的贡献,具有不同的权值.相似度的定义和权值的分配,要由领域专家来确定.对字符串类型的数据,精确匹配或者基于通配符、词频、编辑距离、键盘距离和发音相似度的模糊匹配是很有用的,我们还考虑了字符串的缩写形式并结合信息检索的向量空间模型来定义文本元素之间的相似度。

在处理大的数据集时,匹配重复记录是一个非常耗时的过程.因为是模糊匹 配,所以整个过程相当于要对两个记录集做笛卡尔积.然后,根据相似度进行排序,那些相似度超过某一阈值的记录被认为是重复记录,低于某一阈值的记录则不被认为是重复记录，而相似度介于这两个阈值之间的记录是候选的相似重复记录,需要用户作出决定。因为这类记录的数量不多,所以由用户来决定是可行的。

2、数据聚合处理

根据信息采集整合展现信息系统的建设需求，把清洗后的数据抽象为采购、客服、物流、质管、运营、财务6个业务域。

5.2.2.3、数据分类存储

1、标准数据

标准数据是系统运行的数据基础。标准数据包括业务数据的所有数据标准规范，通过这个库和数据校验机制对数据中心的数据进行标准化保障。由于数据标准存在着时效性，因此针对有时效性的数据进行版本控制，不同的版本有各自的生命周期，不同生命周期中的业务数据对应不同版本的数据。

2、业务数据

业务数据是指从各业务系统中各环节收集上来的业务数据，如财务信息、物流信息、采购订单信息等等。这些数据将会存储到相应的业务域中进行统一管理。

3、主题数据

业务数据以主题的方式进行整合和预处理，本系统主要包括的数据主题有：采购、客服、物流、质管、运营、财务。

5.2.2.4、中间库存储服务

是承接信息获取服务所加载的数据集并实现按数据提供将原始数据集归档。根据业务需求和技术能力其具体实现可做多种策略选择：“基于自定义建模的关系数据存储”，或“基于自定义建模的关系数据存储+基于主数据管理模式的操作数据存储”。区别在于对业务需求变化扩展的适应性和实施成本效益，另外基于主数据管理模式的操作数据存储可以直接支持面向全局同步信息共享视图展现，同时可相当程度支持数据利用业务需求变化。数据仓库存储服务是面向决策支持、基于决策模型的信息展现引擎。

当综合数据信息共享库（综合数据存储服务）包含基于主数据管理的操作数据存储和基于决策模型的面向主题存储时，综合管理信息平台对因业务需求变化（决策模型变化或信息共享规范扩展）的适应性和支持能力得以提高。

5.2.2.5、数据聚合

数据仓库是为了系统建立的数据库,其用来对业务进行统计分析、业务监督、绩效考核、应急指挥及决策支持等。其是通过从各系统数据中抽取归纳出来的，主要包括共享资源数据库和主题数据库。

5.3、数据应用

数据应用模块采用SOA构架,统一了Web应用构架，统一了元数据，能够访问企业资源系统的所有数据源，为所有用户提供了基于纯浏览器的全面的BI功能。

5.3.1、应用定制

系统主要应用定制方式为：报表定制、热点定制、图形定制、数据挖掘四部分，主要实现技术路线为下图： 5.2.1.1、定制类型

1、热点定制

定制文本数据混合的输出方式，简称热点定制。可提供可编辑页面，支持从WORD或网页直接黏贴内容以规范文本输出。提供指标选择功能，让用户可以自行选择汇总指标到编辑页面，并在选择时指定汇总指标的各种条件的默认值。保存热点名称和用到的汇总指标定义到数据库，把可编辑页面的HTML代码保存到数据库，并可以进行修改。如下图：

2、报表定制

通过指定汇总指标及其分组项、条件，形成各种类型的报表。树形结构列出所有的汇总指标以备用户选择，可以多选，并可以选择上月数、去年同期数。综合选择的汇总指标，列出其共有的分组因素，并分为三栏显示。根据用户指定的纵向分组因素和横向分组因素生成预览表。并可保存所有用户定义到指定的报表名称。如下图:

3、图形定制

通过指定汇总指标及其分组项、条件，形成各种类型的图形。树形结构列出所有的汇总指标以备用户选择，只能单选。分析用户用户选择的汇总指标并将其分组因素列为两栏。其一为输出分组项选择，选择后可以预览报表和图形、其二为条件或默认条件指定区域，在分组因素外多出时间范围条件。允许用户选择输出图形的类型——包括比例图、直方图、日线趋势图或月线趋势图，如果用户选择的是趋势图则分组项选择失效，只能按照时间进行分组。允许用户预览输出结果（不含数据或随机数据），并对图表位置进行调整。如下图：

4、数据挖掘

对展现的数据进行深入挖掘探索，一直到基础数据或相关链接系统。上级中规定了在数据输出的同时把每个数据项的元数据属性同时输出，该属性包括：该数据项对应的汇总指标的指标ID；该数据项已经包含的条件；该数据项已经包含体现的分组因素；该报表、图形或热点本身定义中规范的链接方向（可以为空）。

依据以上元数据的定义，有两种分支：

（1）如果该报表、图形或热点本身定义中规范的链接方向不为空，则 1）如果链接方向为本系统中的其他数据资源则把元数据属性中的1、2、3部分分别传递给该数据资源，并把当前点击的数据项的值和其分组项关系也作为条件传输给目标数据资源，然后调用数据输出功能对目标数据资源进行输出。

2）如果链接方向为其他业务系统中的页面资源，则利用单点登录功能模拟出登录效果，并打开该页面资源。

（2）如果该报表、图形或热点本身定义中规范的链接方向为空，则 1）分析该汇总指标已经体现了哪些分组因素，条件中考虑了哪些分组因素，从而获得没有涉及到的分组因素列表，并用弹出菜单的方式请求用户选择向下展开至哪个分组因素，菜单末尾为“基础数据”；如果没有未涉及到的分组因素则直接进入基础数据查询。

2）如果进入的还是汇总指标的查询，则系统形成新的临时图形分析定制，依据用户选择的分组项和原数据项含带的元数据生成，如果是绝对数指标则默认以比例图方式展现，如果是计算指标则默认以直方图展现。

3）如果进入的是基础数据查询，则判断该汇总指标通过哪些基础数据视图的数据汇总得来，并提取这些基础数据视图中列表显示的基础数据指标，配合汇总指标的分组因素（本次涉及到的）形成基础数据列表的输出表头，同时依据汇总指标的条件设置和基础数据视图的关联关系形成SQL语句，从而得到数据。

5.2.1.2、数据分析支撑

实现应用定制的支撑工具包括元数据模型设计和管理工具、多维分析服务器、报表工具、多维分析工具、数据管理工具

1、元数据模型设计和管理工具

本系统采用统一的元数据模型。应用统一的元数据模型设计和管理工具，通过图形化的界面，就可以对多数据源进行描述，并且能够同时描述DB，OLAP等各种数据源。为应用提供统一一致的数据访问。同时元数据模型设计和管理工具支持通用的CWM标准能够和各种第三方的工具实现元数据交换。可直接使用第三方工具生成的元数据模型。从而：

1、减小了开发工作量；

2、减小了系统维护 和修改工作量；

3、提高了应用开发效率；

4、具有良好的元数据的层状扩展性。

是应用和数据库之间的语义层，他封装数据库底层表和字段，建立表连接，为后续开发人员和最终用户提供一个贴合业务术语的数据库结构视图。在元数据模型中可以对已有的数据库结构进行描述，加入各种计算字段，绑定数据的过滤器等，同时可以采用动态SQL，使查询的语句根据不同的条件和情况灵活的适应数据库结构。他可以连接多个数据源，能够连接OLAP,DB等各种数据源。提供对元数据的定制和管理以及安全性控制等相关控制。可直接使用各种标准工具制作的元数据模型。

2、多维分析服务器

从各类数据源（数据库、数据仓库、平面文件）中精心筛选出来的“黄金”数据创建成称为PowerCubes的多维数据立方体。立方体是按探察业务的OLAP多维因素分析模型的设计创建，通过对多维数据立方体的OLAP分析，用户可以辨明趋势、跟踪业务运作、创建高效的统计汇总报表。

支持异构数据源访问，能够适应用户从简单到复杂的应用数据环境，支持虚拟Cube技术(可按时间生成不同的子Cube，可针对单个子Cube进行增量更新，通过虚拟Cube访问多个子Cube,支持虚拟Cube的各子Cube维度不同，以适应变化)。Cognos OLAP Modeling生成的Cube为压缩方式，通常为原始数据占用空间的十分之一甚至更小。同时具有足够的灵活性，支持手工自定义层次和节点，支持维度中不同层次节点之间的计算，支持指标层次灵活设计。

3、报表工具

可以通过其制作各种类型的报表，制作报表时不仅能够连接数据库，还能连接OLAP服务器，能够同时连接数据库，OLAP数据源。用户直接通过在没有插件，没有Applet的纯浏览器界面中鼠标托拽就可以实现各种列表，交叉表，图表，分段报表，主从报表等各种常用报表,以及中国特色的非平衡报表，动态仪表盘，KPI报表等各种高级报表报告。报表可以分页面设计，每页可以有多个查询，每个查询可以连接多个数据源，甚至异构数据源。报表的内容采用的是化繁为简的方式，可以精确控制报表中每一个对象的各种属性。可以通过鼠标拖拽方式将包括声音，视频，图形，表格，文字，关系型数据库内容，OLAP等任何有用的信息集成在报表中。还可以方便实现报表数据和GIS地图数据的无缝集成。报表布局可以精确控制和排版，支持所见即所得的打印。报表设计好之后可以批量生成，也可以通过用户交互条件生成，甚至基于时间以及事件等进行调度，也可以通过Email等方式主动推送给用户。同时采用直接保存即发布的方式，大大简化了报表的发布和管理。

对于报表应用，主要由即席报表工具和即席查询工具来实现。通过报表工具可以制作各种固定格式的报表报告等，通过即席查询工具用户可以方便的进行自助式报表的制作。工具提供了一个完全基于Web方式的交互式数据查询、报表定制和报表浏览界面，能够实现各种复杂的报表，并提供定时运行、报表数据监视预警、多渠道报表分发（如通过Email）等功能。本工具还提供了强大的仪表盘，多媒体报表，地图报表等各种报表报告功能。

工具支持用户直接在没有插件，没有Applet的纯浏览器界面中通过鼠标拖拽的方式进行报表的制作，同时报标志制作完成后，直接通过点击鼠标，就能够将报表进行发布，实现信息的共享。

由于系统采用统一的元数据，能够同时访问国药乐仁堂医药有限公司的各个数据源，所以用户在进行报表制作的过程中不需要了解数据源的具体结构，而只需要从业务的角度出发，通过鼠标拖拽就能够将多数据源的数据整合在一张报表中展现

通过统一的元数据模型设计之后，就可以支持用户直接通过纯浏览器界面，进行从简单到复杂的各种报表的制作，制作的过程中通过各种对象的拖拽，属性设置，不需要编写代码，同时用户通过点击鼠标就能实现报表的发布，真正做到了端对端的报表的展现。

4、多维分析工具

联机分析处理主要指的是多维分析。它提供将数据组织成多维立方体(不论逻辑的还是物理的)，而用户可以对这些数据立方体进行切片、旋转、汇总等多角度的查询和统计。这种查询和统计可完全出自用户对业务的考虑，而不必关心数据的物理结构和技术上的组织形式。联机分析应用是业务智能应用中最主要，也是最广泛应用形式。

本方案中的OLAP应用主要由多维分析工具来实现。多维分析工具提供完全基于Web方式的OLAP应用界面，能实现不同主题Cube之间的钻取，并能与报表 工具构成穿透钻取环境，融合查询报表和OLAP应用，为用户提供一个贯穿宏观和细节的全景数据视图。

该工具是面向最终用户的多维分析展现，进行方便的多维度，多层次，多指标的分析。用户只需要在Web界面中通过简单的鼠标拖拽等操作，就可以进行各种OLAP分析，如上钻，下钻，切片，旋转，切块等，另外可以支持图表一起展现和图表联动，支持柱图，饼图，折线图，堆积图，面积图，散点图等各种二维、三维图形，支持用户自定义子集功能，支持同比，环比，百分比等各种比例分析，支持TOP N/ Bottom N 分析，支持2/8分析，支持压缩零。支持排名排序功能，支持维度中不同粒度的混合分析，支持不同维度的非平衡混合分析，支持不同层次维度节点之间的计算，支持用户在纯浏览器界面上进行各种OLAP分析，不需要安装插件，不使用Applet，确保数据安全性，支持用户使用简单的拖拽的方式进行多角度分析，支持从Cube和Cube信息之间的钻取支持Cube和关系型数据库信息之间的钻取，支持将分析结果导出EXCEL, PDF等各种格式，采用保存即发布的方式，不需要另外的发布工具它能够让系统中的每一位用户都能够轻松自如地访问对应权限的数据，从而更有效地管理其业务，作出正确决策。

5、数据管理工具

是个数据抽取、整合、传输、加载的(ETL)工具。它对所有的数据源提供唯一地点来定义元数据和业务规则，定义描述用户业务特征的信息目录，创建数据集市或数据仓库，形成数据中心。通过有效的单结构模型，实现了多种异构数据源、多数据源或多个应用的元数据定义。本工具主要提供数据转换、传输和加载服务，它能快速生成BI应用的信息目录，以及面向主题的数据集市。这种数据集市既可是关系型的数据库表也可是多维数据结构存储的数据立方体—OLAP数据源。这些数据将是信息系统用户在网上做数据访问分析的基础数据。它确保了所有用户能够迅速访问一致性的数据，进行全业务指标整体分析、报表制作和决策支持。

用来自任何普通关系型格式、ERP数据源、平面文件格式的数据或者可以通过ODBC（开放数据库连接）应用协议接口访问的数据。基于数据的集成性，本工具可以采用各种格式提供数据结果，例如维度框架、关系型表格等，用户还可以将数据从一个环境移动复制到另一个环境。可以简化IT部门的数据抽取、转换和加载工作。DataManager使用单一的界面，该界面具有用来架构数据仓库的生动的构造流程（build）图形，可以让穿透钻取关系更加清晰直观，使属性的显示和修改更加方便。自动化向导可以帮助开发人员分步骤的创建一个维度构造流程（dimension build）或事实构造流程（fact build）以及众多的转换函数。自动化的维度管理过程和支持汇总和合并的强大引擎可以简化IT的工作，为IT工作提供支持。

成功的数据仓库项目建立在维度框架结构基础之上。维度设计可以消除在数据集市或数据仓库环境的设计、实施和维护过程中最常见也是最重要的困难。

跨部门、流程和业务领域的共享或一致维度的使用意味着可以将分布式数据源集成到一个一致的视图中。为了实现这个目的，本工具会将公共描述符（descriptor）组织成维度表并将事实内容组织成事实表。

5.3.2、数据展现

系统展现采用基于JAVA平台、B/S应用模式，支持图、文、表集成输出，易于用户理解，同时有利于用户从多维度分析数据。系统数据挖掘简单易用，并支持形成动态报表，自动从后台提取数据，及时更新。

数据展现终端分为页面端展现与移动端展现。即用户可以通过PC机了浏览器获取数据，同时可以通过手机端安卓系统浏览数据。对于移动端展现系统同样支持图、文、表集成显示，并保证数据所产生的单位流量最低。

5.3.3、应用主题数据

系统可以根据用户的实际需求，快速建立应用主题数据库，将相关某一主题的数据进行集成展现，既方便高级管理者从公司全局层面获取数据，又方便针对公司某一业务线路进行数据挖掘。

以卷烟销售、财务管理、经济运行、专卖监管等业务领域为主线，满足公司中层以上对报表统计、业务分析、多维分析、辅助决策支持的需求。针对地市级用户的业务需求应用分析主题内容侧重较微观的业务操作层面。其应用主题主要包括：

 客户主题分析  供应商主题分析  销售主题分析  库存主题分析  成本毛利主题分析  商品主题分析  市场投放主题分析。

5.4、主要功能

5.4.1、数据来源管理

数据来源是指系统的每一项基础数据的来源途径，包括逻辑概念的数据来源和物理概念的来源服务器，逻辑概念的数据来源包括各种系统、以及机构，例如专卖系统、营销系统、物流系统等；而物理概念的来源服务器主要是指服务器、数据库或应用服务等，例如位于192.0.0.2上的端口为1521的数据库；或者位于192.0.2.3上的端口为8020的getData服务等。

1、数据来源

提供对数据来源的增、删、改、查的功能，逻辑数据来源的信息项应当至少包括：名称、资源说明、注册者、注册时间、发布者、发布时间、失效时间等。

2、来源服务器

在数据来源下管理来源服务器，提供注册，修改和删除的功能，来源服务器的管理信息应当至少包括：名称、地址、端口、类别等信息，注册后作为系统实际的数据提取来源被管理起来。

5.4.2、主题和指标管理

提供树形关系的主题和域的管理，包括增加下级、增加同级、删除、修改等各种操作，管理的信息内容包括名称、说明信息、注册者、注册时间、发布者、发布时间、停用时间的基础信息。

作为对信息分类的基本管理单元，本功能应当能够把所有的指标——包括基础数据指标和管理指标均注册到分别的主题和域，系统支持注册基础数据指标、注册管理指标以及相应的反向操作。其中包括：主题树和主题管理、基层数据指标管理、管理数据指标管理、数据来源、来源服务器、基础数据视图等，如下图所示： 5.4.3、报表定制

主要实现报表定制，通过选择报表要查询的管理指标项，对报表的数据行的分组项，并且选择报表的查询条件和该查询条件的默认值进行定制，同时支持报表表样预览区域，可以根据业务变化方便快捷的调整所需要的报表，不需做任何程序改动。其如下图所示：

5.4.4、图表定制

通过设定图表要查询的管理指标项、图表的查询条件和默认值、图表关联的热点、图表展现的形式等条件进行图表的制定。其如下图所示：

5.4.5、热点定制

对热点内容进行编辑，并且进行定义，如定义“想得到门急诊人次是多少，选择门急诊人次，选择时间范围”等。

5.4.6、连接资源管理

本功能应用环境为应用端管理人员为信息资源本身进行编目管理，从而内接系统的主题和域等范畴，外连门户中的目录体系。

具体管理内容包括：

1、管理者能够对信息资源目录进行管理，建立目录、增加目录节点、修改节点名称等。

2、管理者能够对注册的信息资源进行审核，规范化注册内容，统一信息资源名称及唯一合法出处。

3、管理者能够对信息资源做发布、作废等管理处理。

为了实现以上功能，系统应能够进行：目录结构管理、编目、注册、发布、查询、维护。

5.4.7、页面定制

对于要展现的图表或报表在页面中的位置及结构进行设定，可以根据客户实 际需求，进行自定义。

5.4.8、用户及角色管理

实现系统用户的增、删、改操作，并且根据用户所需分配其角色和权限等。

六、系统价值 5.1、企业报表

数据综合分析应用系统提供的企业级报表定位为企业报表类数据信息发布的统一出口，企业级报表将为发布各类报表提供数据服务，包括上报国家局的报表，互通工商企业的报表，面向所属各级单位发布的报表，以及面向社会发布的报表等。原各业务系统报表将作为业务明细查询，辅助数据综合应用系统使用，并逐步减少使用，最终淘汰。

企业级报表可自定义各类业务报表，进行灵活展现。例如，对各类常用业务指标，诸如购进量，购进金额，销量，销售金额，毛利，毛利率，库存量，库存金额，需求量，协议量，单箱毛利，单箱毛利率，存销比，动销率，回转率，交叉比率，占有率、覆盖率的算法进行预定义，支持报表查询指标自由组合。5.2、主题分析

以卷烟销售、财务管理、经济运行、专卖监管等业务领域为主线，满足公司中层以上对报表统计、业务分析、多维分析、辅助决策支持的需求。针对地市级用户的业务需求应用分析主题内容侧重较微观的业务操作层面。

（1）客户主题分析。包括客户观察、市场细分、客户评价、客户关系、贡献度、客户保留度、规范度、信用度、客户获利性分析。

（2）供应商主题分析。包括进货分析、库存与未到货合同对比分析、厂商库存分析、库存与未执行合同对比分析、厂商毛利分析、厂商库存走势分析。

（3）销售主题分析。包括销售分析、销售趋势分析，采购分析、调拨分析、获利分析、进销存分析。

（4）库存主题分析。包括库存总量及资金占用分析、库存总量二八分析、库存资金占用二八分析、库存总量变化分析、库存资金占用变化分析、库存分布分析、库存结构分析、库存报警。

（5）成本毛利主题分析。包括毛利分析、毛利分布分析、毛利结构分析、销售毛利分析、配送成本分析、购进成本分析、营销成本分析、库存成本分析。

（6）商品主题分析。包括商品进销存分析、商品的竞争能力分析、卷烟（品牌）购买走势分析、商品销售分析、商品毛利贡献分析、卷烟促销分析、TOP（畅销）卷烟（品牌）分析、卷烟（品牌）末位淘汰分析。

（7）市场投放主题分析。包括市场需求总量分析、社会零售库存分析、价格档次投放分析、品种投放分析。

5.3、运营监控

通过实时监控，以便于采取相应措施，保证部门、个人的执行与公司的整体战略目标一致。

1、为企业决策层提供宏观层面关键指标监控和预警。利用驾驶舱和仪表盘，对企业关注的指标，通过生动而明确的图形和数据进行显示，使决策层和管理层领导能够有效了解当前经济运行的总体情况，并进行监控和预警，为制定和调整企业的战略提供依据。驾驶舱主要围绕KPI指标，通过电子地图、仪表盘、电子 报告、图表等方式给决策层和管理层提供最直观的数据展现。

2、为企业管理层提供业务经营层面的指标监控和预警。设置经营指标监控，对异常情况进行报警。从数据的角度，宏观监控企业运营状态，包括采购（合同个数、合同数量、合同金额、已到货数量）、库存（库存数量、库存控制线）、销售（预测销量、销量、销额、毛利）等，同时点击某一阶段指标可以进入到具体的分析中，使分析的数据更直观、更全面，也更容易帮助管理层发现问题。

第二篇：烟草行业应用解决方案

烟草行业应用解决方案

行业背景

烟草行业信息化不断的发展，全国普遍城市的烟草专卖销售公司都陆续采用烟草移动营销稽查系统。整个系统涉及到订单采集，信息分析预测，组织卷烟生产，组织物流，分配调拨，运输配送，批发零售，稽查人员稽查情况上报。通过这套系统为烟草公司提供一个简单易用的综合信息移动平台，有效的管理客户基础信息、营销资料和市场动态，及时、准确的采集客户需求信息、库存、卷烟信息和调查资料，改善客户的购烟体验，提升服务质量和客户满意度，从而提高企业竞争力和形象。

适用人员：

1.零售商户：为零售商户提供手机订烟、到货确认、销售上报、信息查询、业务投诉、VIP信息等服务。

2.业务人员：收集和上报零售商户的库存和销售情况，发送新品信息等。可采用短信或GPRS上网方式。3.稽查人员：烟品信息查询（根据卷烟上的喷码，查询产品和物流信息，如香烟生产日期、批次、卷烟零售户订购等信息，并据此辨别产品真伪、防止串货等）；专卖证号稽查（查询专卖证号的合法性）；专卖稽查上报（在稽查过程中，发现问题即时反馈、上报）。

4.配送人员：配送指令（随时接收烟草公司的配送指令短信，了解最新的配送目的地和配送路线）；配送上传（配送到零售户后，上传配送信息和确认短信）。

专卖市场巡查平台

专卖手持管理系统为专卖稽查人员提供了一个先进的工具，同时结合手机定位技术提高了烟草内部管理的效率。

专卖稽查工作人员日常走访市场时，可应用智能手持平台进行日常业务处理，日常处理的数据如：巡查的记录、登记保存单、勘验笔录等等数据可以实时保存到后台数据库中，而且对于专卖稽查人员在现场的执法的过程中提供详实的资料支持，比如：该零售户的销售记录、历史案件记录、历史巡查记录等等。而后台管理人员可以通过后台系统实时的看到市场的巡查的结果，巡查的内容以及相关巡查人员的历史轨迹。

平台组成1、具备GPS定位功能的智能手机系统（windows mobile 6.0）

2、成熟稳定的无线网络系统

3、后台应用系统

4、便携式票据打印机

功能界面

1、系统登陆

系统通过每一个巡查员工的数据登录系统，使用各个功能模块

2、市场巡查

系统可以通过许可证号码或者店名地址等信息实现模糊查询，查询出当前巡查客户的详细业务、专卖等相关资料信息，为市场巡查人员稽查提供数据上的支持。

当前客户的销售查询，系统可以通过相关的日期区间，查看该客户在此区间内从烟草公司进货情况。

当前客户的历史案件查询以及相关详细资料，是否结案等等信息，为执法人员在现场执法提供历史依据。

3、调查取证

现场执法人员在现场查扣卷烟时，还可以对涉案卷烟进行拍照登记，并且实时的把照片传到后台数据库中，以作为立案的证据之一。

4、现场处理

在现场，专卖执法人员发现违法违规的现象，可以通过智能手持平台，选择相应品牌和违法行为，实现相关的证据登记保存单和勘验笔录的打印。

5、法律法规

为专卖执法人员提供一个实时查看烟草相关法律法规的平台，为执法人员在现场执法提供法理上的依据。

6、当日业务

可以查看当日走访了那些零售户以及相关的现场记录。

第三篇：烟草行业解决方案

烟草行业解决方案

概述

中国烟草行业面对全国庞大的卷烟市场，建立和健全了卷烟生产机构和销售机构，形成了横竖贯通的卷烟批发网络。在全球经济一体化的新形势下，在我国加入WTO后的新格局下，对我国烟草行业来说是机遇也是挑战，提高烟草行业参与国际市场竞争的整体实力成为一项重要课题。

为符合国家烟草专卖局集团化管理要求，各地烟草专卖局应推行集中化管理的目标，全面实现集团化管理、统一运作。

金算盘提供烟草行业的全面解决方案，主要针对行业特点解决烟草生产管理、营销管理、资金管理、集中财务、全面预算、决策支持等方面和集团化运作中的实际问题。应用框架

特点

 基于3C管理理念

 管理大集权（Centralization）

通过金算盘的集团资金管理、全面预算管理、集团采购等系统，建立高效、顺畅的应用平台，实现对分子公司的集权管理与控制。

 数据大集中（Concentration）

通过金算盘纯Internet架构的集团财务管理软件系统，可以对总部和分子公司的全部数据进行集中部署，从而达到对整个集团的物流、资金流和信息流进行实时操作和控制。同时，金算盘商业智能（BI）系统可以对集中后的海量数据进行实时分析。

 应用大集成（Compositive）

通过金算盘portal门户系统，依靠web服务，能实时地访问不同地点、不同机构或部门、不同应用的信息系统，使集团财务与不同应用系统有效整合，从而有效避免集团各成员单位之间或各应用系统之间的“信息孤岛”。

 数据集中管理

为了消除信息孤岛，将所有系统的数据进行集中管理，实现集团信息资源的共享，充分利用信息系统的优势，最大程度的发挥信息系统的价值。同时，减少由于数据分散管理带来的硬件投资和高维护成本。

 强有力的数据分析功能

从往来、资产、供应、销售、库存等不同业务侧面入手，帮助企业将离散的信息有效的组织起来，形成全面详尽的财务状况和经营状况分析报表，为领导决策提供重要依据。决策支持系统具有操作简单、数据任意组织能力强、图表一体的特点，提供数据汇总、切片旋转及钻取等专业分析手段，帮助用户从不同的角度、不同的层面、不同的时间段来观察、分析数据，从而得到隐藏在结果背后的复杂原因，增强领导层的决策能力。

 集团运作

系统适应集团未来发展方向，并具有一定的扩展性，为集团化管理提供平台支持。主要功能

 基础管理

基础管理包括基础档案、数据权限、单据设置、审批流程、模块启用和账套属性等，对业务中所涉及所有可控因素进行弹性控制，符合业务不断发展的客观需要，并且增加了软件灵活性和实用性。

 采购管理

对于整个采购流程中涉及到订单、到货通知、入库检验、退货、采购结算等一系列的具

体业务的管理。

 销售管理

对销售流程全程跟踪管理，包括订单管理、信誉管理、出入库管理、发运、配送、结算等。

 库存管理

支持仓库保管的各项日常业务工作，包括盘点管理、损溢管理、转仓管理、安全库存管理。同时建立完善的商品库存保质期预警、数量预警和滞销预警体系。

 配送管理

接收并管理要货信息，结合批发信息，进行发货处理，包括：发运管理、到货签收、运费管理、运输损耗、配送差异分析等。

 资金管理

实现资金智能分析、投资管理、融资管理、存款管理、资金结算、国际结算、票据管理、汇票管理等一体化业务管理，全面提升企业的核心竞争力。

 预算管理

以责任中心为预算主体，支持多层复杂管理组织机构的预算编制、控制和分析，提高企业管理水平。

 资产管理

包括一般资产管理、设备管理、土地管理、房产管理、档案管理、无形资产管理、维护管理等内容，反映了资产在运营过程中经历的资产申请、分配、变更、维护到报废整个生命周期的全程记录。

 决策分析

主要包括财务分析、采购分析、销售分析、库存分析、预算分析以及决策支持、领导查询等，通过建立与业务模块、财务模块的全面集成，实时获取各种重要信息，并且可以用各种信息表达方式表示，为企业各层领导进行决策提供重要依据。

客户利益

 提升企业竞争力，辅助企业的长远发展

 及时反映业务财务信息，保障信息准确性、及时性，提供决策依据

 基于集团数据仓库的决策支持系统，全面动态透视集团业务状态，确保集团决策

依据数据化、全面化，保证决策结果的科学性和准确性，提升集团战略管理能力

 实时的集中应用，强化企业监控能力，提高企业整体反应能力

 实现资金集中管理，实现集团资金整体运作，提高资金运作效益

 财务预算管理，监控集团运营状态，降低集团运营成本，提高集团资金使用效率，优化企业内部绩效评估，强化集团内部控制

 严格管理各种资产，全面撑控资产状况，提高资产利用效率、降低资金投入、降

低经营成本

 各地专卖局能全面控制下属机构的财务、业务核算规范，实时掌控异地财务、业

务状况

 适应集团复杂的组织结构，可根据集团不同发展时期的经营体制进行相应调整 典型用户

 重庆烟草工业有限责任公司

 重庆卷烟厂

 保定卷烟厂

 涪陵卷烟厂

 黔江卷烟厂

 四川省烟叶生产购销有限责任公司

 牡丹江卷烟材料厂

 宜昌烟草集团公司

 四川省烟草物资公司配套材料厂

„„

第四篇：数据统计质量问题分析和解决方案

数据统计质量问题分析和解决方案

摘要：随着社会主义市场经济的不断发展，统计失实的现象日渐严峻，准确可靠的统计数字，是进行科学决策和科学管理的重要依据。因此，针对目前有些统计数据失实的现象，本文提出简要的分析和一些粗浅的解决意见。

关键词：统计数据准确性质量；统计数据失实；统计数据质量控制

一、统计数据质量问题的危害及严重性

统计数据质量问题是衡量统计工作的核心指标。准确可靠的统计数字，是进行科学决策和科学管理的重要依据。小到人民生活中的茶米油盐，大到企业的经营管理，甚至国计民生。统计数据的真实可靠都起着重要影响，不容忽视。

企业统计的目的是为企业经营决策管理提供统计信息。在市场经济条件下，企业的经营决策具有极大的风险性，风险性产生于企业对市场变化的不确定性，并由不确定程度决定风险大小。而不确定性又与信息的准确和及时程度直接相关。换言之，信息愈及时准确，企业所面临的风险就越小。

诺贝尔经济学奖获得者托宾指出：“如果没有可靠和及时的经济统计数据，特别是国民收入和生产统计数字，很难想象宏观经济政策如何制订”。中国历史上的五八年“浮夸风”给国家和人民带来的巨大灾难，人们至今也还记忆犹新。由此可见，搞准统计数字，提高统计数据质量乃势在必行。

二、常见的数据质量问题

（一）、数据虚假

这是数据质量问题中最常见的问题，也是危害最为严重的一个数据质量问题。这类统计数据完全是虚构或者杜撰的，毫无事实依据，因此不具备任何参考价值，反而会对决策带来严重的误导。（二)、拼凑数据

这种数据是把不同地点，不同条件，不同性质的数据在收集、加工、传递过程中人为地拼凑成同一时间、地点、条件和性质下的同一数据。这种拼凑而成的数据，虽然分别有其事实依据，但是从总体上看是不符合事实的，其性质与虚构数据相同。

（三）、指标数值背离指标原意

这是由于对指标的理解不准确，或者是因为指标含义模糊，指标计算的随意性大等原因造成的数据质量问题。会造成收集整理的统计数据不是所要求的统计内容，数据与指标原意出现走样，面目全非。

（四）、数据的逻辑错误

这是指统计资料的排列不合逻辑，各个数据、项目之间互相矛盾。

（五）、数据的非同一性

数据的非同一性是指一个指标在不同时期的统计范围、口径、内容、方法、单位和价格上有差别而造成的数据不可比性。

三、统计数据失实的原因分析

第五篇：大数据应用实例分析

电信运营商的阳关大道

——大数据应用实例分析

09012208

黄文婷

摘要：

随着全球数据化、网络宽带化，基本的数据量越来越大，由此我们进入了大数据时代。本文探讨了大数据内涵与意义，从电信行业这一大数据应用实例进行分析，介绍了大数据在电信行业的应用、必要性及相关措施。

关键词：大数据

电信

应用

正文：

一、大数据的内涵与意义

（一）大数据的意义

大数据和云计算一样，近两年来越来越多的受到人们的关注。那么什么是大数据呢？ 大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中，大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据的方法)对于“大数据”（Big data），研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

（二）大数据的特性

大数据有4V特点：Volume(大量)、Velocity(高速)、Variety(多样)、veracity(真实性)。大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。包括网络日志、视频、图片、地理位置信息等等。第三，数据的来源，直接导致分析结果的准确性和真实性。若数据来源是完整的并且真实，最终的分析结果以及决定将更加准确。第四，处理速度快，1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”。

（三）大数据的应用意义

大数据最核心的价值就是在于对于海量数据进行存储和分析。相比起现有的其他技术而言，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。

此外，大数据的潮流虽然依赖于信息通信技术的成熟，但它对整个世界的影响绝不仅限于技术层次。它借助信息技术的创新与发展，及数据的全面感知、收集、分析与共用，引导我们以全新的思维看待世界，养成决策思维行为须根据事实与数据的分析判断，舍去凭借经验和直觉的习惯作风。可预见，它将对惯于“差不多”的思维造成巨大的冲击。

很多人一提到大数据，就会不由自主想到那个关于啤酒和尿布的经典案例。事实上，随着移动互联网、智能终端、云计算、物联网技术以及电子商务、社交媒体等应用的飞速发展，大数据已经越来越多的渗透到生活方方面面，宣告着我们已经进入了信息爆炸的大数据时代。电信运营商历经语音、短信、数据三个发展浪潮，积累了大量如文本信息、音频、视频、图片等非结构化数据，在大数据时代无异于拥有了一条发展的阳关大道。而机智的电信运营商也致力于研究如何在这条道路上比别人跑得更快以获得更多的利益。

二、大数据在电信行业的应用

（一）电信行业大数据应用的四个方向

现阶段电信运营商利用其拥有的大数据进行全面、深入、实时的分析和应用，是应对新形势下的挑战、避免运营商沦为管道化的关键。从大数据的具体应用方向来看，当前应主要集中在四个方向：流量经营精细化、智能客服中心建设、基于个性化服务的客户体验提升以及对外数据服务。

1.流量经营精细化

在流量经营精细化上，大数据应用的价值主要体现在深入洞察客户、助力精准营销和指导网络优化三个方面。首先，基于客户终端信息、手机上网行为轨迹等丰富的数据，借助DPI(Deep Packet Inspection，深度数据包检测)技术等，建立客户超级细分模型，为各细分群组客户打上互联网行为标签，可以帮助运营商完善客户的360度画像，帮助运营商深入了解客户行为偏好和需求特征；其次，根据用户行为偏好，推送合适的业务，并根据对客户特征的深入理解，建立客户与业务、资费套餐、终端类型、在用网络的精准匹配，同时也能做到在推送渠道、推送时机、推送方式上满足客户的个性化需求，实现全程精准营销；再次，利用大数据技术实时采集处理网络信令数据、监控网络状况、识别价值小区和业务热点小区，更精准地指导网络优化，实现网络、应用和用户的智能指配。2.智能客服中心建设

作为运营商与客户接触的第一界面，客服中心(或称客户联络中心)拥有丰富的数据资源，可以称得上是客户信息的“聚宝盆”，利用好客服中心的客户接触数据对于建设智能化客服中心意义重大。利用大数据技术可以深入分析客服热线呼入客户IVR(Interactive Voice Response，互动式语音应答)行为特征、访问路径、等候时长等；同时结合客户历史接触信息、基本属性等可以建立热线呼入客户的智能识别模型；基于客户智能识别模型可以在某类客户下次呼入前预先推测其呼入的需求大体是什么，IVR接入后应该走什么样的节点和处理流程。这样，就可以基于呼入客户习惯与需求的事先预测而设计按键菜单、访问路径和处理流程，合理控制人工处理量，缩短梳理时限，为客户服务中心内部流程优化提供数据支撑，有助于提升热线服务管理水平，加速热线营销渠道资源整合，有效识别客户投诉风险，助力智能客服中心的建设。

3.基于个性化服务的客户体验提升

大数据时代对于运营商为客户提供服务来说更加侧重于“小”，即更加关注每个个体“小我”的个性化需求，而融合了电商、医疗、社交等方面信息的“大”数据正是为了更深入的理解“小我”、服务好“小我”。利用大数据技术，一方面可以建立更全面、丰满的客户画像，另一方面还可以量化分解客户接触信息，识别客户特征与习惯偏好，预测客户可能在何时手机会出现故障、何时会产生换机行为等，为客户提供定制化的服务，优化产品、套餐和定价机制，实现“一户一策”的差异化、个性化服务，提升客户体验与感知。由此可见，大数据将为移动互联网时代的客户服务带来一次变革，给客户服务带来极大的想象空间和无限的发展前景。4.对外数据服务

对外数据服务是大数据应用的高级阶段，这个阶段电信运营商不再局限于利用大数据来提升内部管理效益，而是更加注重数据资产的平台化运营。利用大数据资产优势，将数据封装成服务，提供给相关行业的企业用户，为合作伙伴提供数据分析开放能力。例如，Telefonica和Verizon已经成立专业化数据公司来运作对外数据售卖的服务。再如，如果将无线城市与物联网、电子政务等方面的信息结合起来，将能为电信运营商的数据和政府的政务数据增值，对于打造一个开放数据平台和民生服务平台有重大意义。让数据在不同行业之间流动起来，实现体外循环将能进一步释放数据的价值。当然，以简单的Data Seller模式售卖数据服务时，需要 注意保护客户隐私、打消隐私顾虑。

（二）电信行业大数据应用的效益

网络上的每笔搜索，网站上的每笔交易，敲打键盘、点击滑鼠的每一个动作，都在输入数据，经过整理分析后，它可能显示市场的脉络、甚至更具商业价值的开发着力点。曾有统计，运用大数据的分析，可以让公司增加50%的新客户，让政府减少30%的成本。这些如海潮般涌入的大量资料，正是云端时代的新金脉，已经创造出惊人的效益。

三、大数据在电信行业应用的必要性与措施

电信运营商拥有大量的数据资源，如网络信息、用户终端信息、用户位置信息等，只要对电信网络有深刻的理解和技术积累，具有敏锐的行业发展嗅觉和强大的产业研发能力，基于大数据进行深度挖掘分析，将丰富的网络、用户等数据资源加工抽取后封装为服务，将数据资源在一定程度上货币化，向大客户提供增值服务，就能增加新的盈利模式。这无疑是电信运营商发展盈利的一条阳关大道。

面向大数据时代，运营商的及时转型成为必然，否则将有被互联网企业超越的可能性。理论上讲，运营商拥有颇具优势的大数据资源并不是完全不可替代，例如，用户的位置信息就可以通过多种APP应用获得，用户的网络使用信息也可以通过多家互联网企业合作获取，互联网企业通过泛互联网化收集更多的大数据信息。另一方面，多行业的垂直整合将成为趋势，在数据应用层面，行业企业通过多种手段搜集大量的用户数据，将更贴近用户，更理解用户，为其提供更适当的服务，大数据将成为资产更具有战略意义，各个行业及单位都在关注大数据。

根据大数据数量大、时效性要求高、数据种类及来源多样化等特征，运营商首先获取更多有用的大数据资源，例如，很多的网络运行信息，包含大量有价值的用户行为和位置信息，这样的信息可以加以利用。有了资源应该加以利用，避免大数据资源的浪费。事实上，一些运营商拥有大数据这样的金山，却似乎无奈坐看并逐渐沦为管道，在不断强化传统市场的效益考核，却好像在忽视大数据价值的流失。

大数据在电信行业应用措施主要有三个方面：

1）梳理并整合业务部门对大数据的需求，立足分析需求，做好大数据的IT体系构架的规划。大数据相关技术条件的成熟、大数据分析能力及分析应用经验的积累等多方面因素，都是制约企业建设的建设IT系统的条件，要充分抓住大数据带来的机会并避免“心急吃不了热豆腐，反被热豆腐伤害”的问题。

2）落实基于品质管理资料的经营新模式。面对大数据时代的趋势潮流，学会既然无从抗拒，就积极响应，以共享大数据带来的潜在效益。

3）以职能部门提供整体IT支撑方式向嵌入业务流程实时数据的分散能力支撑方式转变。这种转变趋势又称IT支撑“消费化”趋势。在大数据时代，数据从支撑企业中高层运营管理决策普及到支撑企业的产品运营、市场运营、客户服务，甚至在智能管道运营全流程中涉及从企业中高层运营管理人员到基层生产执行人员，很明显，这种数据获取和分析能力如果集中在IT职能部门，而不是全体人员均结合自身业务需求而具备的话，大数据分析驱动的各项运营管理应用即成为不可能的任务。

四、结语 从电脑技术的演进来说，“大数据”是既资料探勘、云端计算之后一项革命性的趋势发展。庞大的数据资源迫使各个领域的运作造成量化的质变，目前全世界无论是学术界、企业界、产业界甚至是政府单位都在积极研究大数据分析。在这种背景下，电信行业也结合自身特征，进行相关的研究与应用，奔跑在大数据铺就的阳关大道上，成为激烈竞争中的新赢家。

参考文献：

[1]黄小刚．电信行业大数据应用的四个方向．业务与运营．2013(6)：26-28 [2]季鸿，张秀凤，柴林麟．大数据在电信行业的应用展望．通信企业管理．2014(1)：76-77 [3]卢云许．电信行业大数据应用浅析．信息工程系统．2013(12)：29-30 [4]潘海鹏．浅谈电信行业大数据的意义与应用．电子世界．2014(3)：21-23 [5]史斌，周双阳．电信行业如何应用大数据．新引擎．2013（7）：47