基于Struts的Web应用系统数据验证

第一篇：基于Struts的Web应用系统数据验证

龙源期刊网 http://.cn

基于Ｓｔｒｕｔｓ的Ｗｅｂ应用系统数据验证

作者：董卫鹏 陈建彪

来源：《沿海企业与科技》2009年第06期

第二篇：备份数据有效性验证_方案

带库备份数据一致性有效性验证方案

冯亚峰 2011/10/17

一.备份作业数据分析

通过对磁带备份服务器的备份作业进行考察，对正在运行的备份作业进行统计，目前正在运行的备份作业如下：

1、K3 备份内容： acc.xxx.cn sql数据库 备份频率：每天 数据包大小：7.3G 生效日期：2008-6-11

2、xxx-pdm-sql 备份内容：xxx-pdmserver sql数据库 备份频率：每天 数据包大小：20.1G 生效日期：2009-2-24

3、xxx-erp-sql-完全

备份内容： erp.xxx.cn sql数据库 备份频率：每周 数据包大小：0.96G 生效日期：2007-11-23

4、K3每周

备份内容ac.xxx.cn sql数据库 备份频率：每周 数据包大小：7.3G 生效日期：2008-6-11

5、xxx-dlp 备份内容： dlp.xxx.cn sqlcobraDGServer库 备份频率：每周 数据包大小：54M 生效日期：2009-12-15

6、OA_Full 备份内容：

Lotus Domino数据库F:program filelotusdominodata文件夹

备份频率：每周 数据包大小：144G 生效日期：2007-12-3

7、xxx-pdm-ftp 备份内容：xxx-pdmserverI:pdmftp文件夹 备份频率：每周 数据包大小：153G 生效日期：2009-2-24

8、eMail_Full 备份内容： F:program file*.* /subdir

|F:*.* /subdir 备份频率：每周

数据包大小：数据量过大，从未成功备份过。生效日期：2007-12-10

9、CAPP-SQL 备份内容：xxx-capp-sql sql数据库 备份频率：每周 数据包大小：8G 生效日期：2011-5-4

10、xxx-AD 备份内容：xxx-AD 系统状态active dirctorywindows ntds

xxx-AD 系统状态com+ class registration database

xxx-AD 系统状态registry

xxx-AD 系统状态system files

xxx-AD 系统状态sysvol 备份频率：每周 数据包大小：1.4G 生效日期：2009-11-2

通过对磁带备份目前进行的10个作业进行分析，我们可以看到作业1、2、3、4、5、9这六项作业都是对系统SQL数据库进行备份，6号作业是对domino数据库进行备份，7、8号作业是对文件夹进行备份，其中8号作业由于数据量太大从未成功备份过，因此建议永久性停止该条作业。10号作业是对系统状态（文件）进行备份。

二、备份数据一致性和有效性检验分析

要对这些备份的数据进行一致性检验，确保备份数据和备份作业时的生产系统的数据完全一致，这种一致性检验是无需人工对每个数据表来校验核对的，只需要在备份策略上加上“备份后一致性检查”这条选项就能保证备份后的数据与生产系统完全一致，如果发现不一致，备份服务器校验后就会报错，技术人员再进行技术干预即可。由于备份后对备份数据进行一致性检查占用的系统资源较大，建议对现有的带库备份服务器进行内存升级，由目前的1G内存升级到4G内存即可。

而对备份后的数据进行有效性检验，只需要将备份的数据恢复到验证服务器上，恢复后的数据能正常访问就能证明备份数据有效。而这些有效的数据之前是已经进行过一致性检验的，所以我们能确定其一致性和有效性。

三、备份数据一致性设定

目前信息中心的带库备份服务器是bakup.xxx.cn；IP地址为：10.0.0.88；服务器上运行的操作系统为windows2003，备份系统为：symantec backup exec12 for windows servers，打开备份系统symantec bakup exec备份界面，点击“作业监视器”选项卡，我们能看到备份作业系统运行窗口如下：

在当前作业列表中，双击某项针对SQL数据库备份的作业项，并在左侧设置区的“设置”项目中单击“microsoft sql”选项，打开备份作业关于“microsoft sql”的设置窗口：

从设置窗口中，我们可以看到，目前我们的备份策略是没有在完成备份后对备份数据进行一致性检查，单击“备份后一致性检查”的下拉菜单，选中“完全检查，包括索引”；同时，勾选“备份时使用奇偶校验（U）(SQL 2005)”确保备份数据与生产主机数据一致和准确。

同时，应该在“备份前一致性检查”的下拉菜单选中“完全检查，包括索引”，然后将“即使一致性检查失败也继续备份”前的勾选去掉不选，来保证每次备份前生产主机数据库的有效性。如图：

四、备份数据有效性检验

如前所述，我们在保证备份的数据和生产主机的数据是一致性的前提下，只要能将备份的数据恢复到验证的主机上，并且在验证的主机上能够访问恢复的数据库，我们就能确定备份数据的有效性。

在具体的检验数据有效性的过程中，首先要准备验证主机，要求和生产主机有相同的软件环境，考虑到既要节约成本、不重复购买设备，又要考虑到验证工作的可行性，我计划利用飞康近线备份对生产主机操作系统和数据库备份恢复的易操作性，直接在虚机上恢复出和生产主机一样的主机系统，然后将带库备份的数据库恢复到验证主机上，在验证主机上对恢复后的数据库进行访问，如果访问成功，我认为带库备份的数据的一致性和有效性都得到了验证。

对于个别非SQL数据库的磁带备份（主要是OA的domino数据库备份、PDM-FTP的文件夹备份，以及AD的系统备份），由于没有“备份后一致性检查选项”，我们可以在验证主机上进行恢复后文档日期、日志检查，判断恢复后的时间点和备份数据的时间点是否一致，来确定恢复后的系统的一致性和有效性。

五、后记

以上是我对带库备份数据一致性和有效性的验证方案，信息中心可会商讨论可行性，如果具备可行性，即可开展数据的验证工作。

第三篇：数据质量管理系统应用

数据质量管理系统应用

----生活篇

最近在看关于综合分析数据质量管理规范的时候，结合实际生活当中的例子。在这里说出来，可以讨论一下。这里主要是指标值数据质量的管理：

1：数值检查个可以和我们固定的阈值检查结合起来，即通过检查单个指标的数值和阈值的比较发现指标的异常和变动的情况。这个就是固定阈值的一种情况。比如当地铁离近站只有4分钟的时候，地铁旁边的灯会一直闪烁。地铁离开车只有一分钟要关门的时候，就会告警即将开车。以免突然开车造成人的伤害。

2：波动检查：一般就是同比波动的检查和环比波动的检查。先计算指标的同比或环比波动率，然后与预订的波动率上下限（阈值）进行比较。这个就是范围阈值。例如昨天公交车上有一条新闻就是重庆目前一小时之内公交车换成免费。那么这一个小时之内就是一个范围阈值，只要在一个小时之内不收钱，即什么也不做，但是当超过一个小时之后就要收钱。那么我们这里就需要告警。

3：还有一种日常当中常用的就是动态阈值比如我们乘坐地铁的时候根据路程的不同地铁价格不同。以及依照路程计价的公交车也一样，路程不同，价格不同。本质上都是乘坐地铁或者公交，但是由于距离问题因此价格不同，比如收入指标阈值制定的时候，比如不同的地市，在同一时间维度阈值是不同。比如经济发达地区应该制定高一点，经济欠发达地区制定低一点。

4：指标之间的关联检查，比如我们常说的同增同减关联关系，还是以地铁为例，路程增加了，那价格相应就增加了。比如我们理论上我们的用户数增加了，那么收入应该有所增加。但是有时候反而用户量增加了，收入却下降了。增加的用户数比丢失的用户数多因此整体上用户量增加了。但是增加的用户量都是一些劣质用户，而丢失了一部分高端用户。从而导致用户数增加，收入下降的局面。

5：指标平衡检查：对若干个指标值的简单四则运算（加、减、乘、除），来检验各个指标间潜在的平衡或其他比较关系。比如有些指标日指标汇总应该与月指标的值平衡。

当发现数据出现异常的时候，首先先分析一下，是不是一些因素导致指标的变化，比如节假日，周末，市场营销策略，以及外部的一些政策对指标造成的变化，然后再查看是不是真的是数据质量的问题，以及源接口数据的问题。

数据质量管理系统----理论篇

数据质量管理系统：

一：从以下5个方面对数据的质量进行管控

1：及时性：数据获取是否及时，主要指数据提取、传送、转换、加载、展现的及时性。在数据处理的各个环节，都会涉及到及时性。我们一般考虑两个方面第一就是接口数据是否 能够及时的抽取过来。第二就是展现层能否及时的展现出来。

2：完整性：是指数据是否完整，描述的数据要素，要素属性及要素关系存在或不存在，主要包括实体缺失、属性缺失、记录缺失以及主外键参照完整性的内容。

3：一致性：第一就是原始数据即文件接口和入库的数据记录条数是一致的。

第二就是同一指标在任何地方都应该保持一致。

4：有效性：描述数据取值是否在界定的值域范围内，主要包括数据格式、数据类型、值域和相关业务规则的有效性。

5：准确性：主要是指指标算法、数据处理过程的准确性。这个准确性主要是通过元数据管理中定义的指标的算法、数据处理顺序和人工检查相结合的方式来保证。

二：数据仓库中需要进行质量管理的数据分类

1：接口数据：接口数据是整个数据仓库的生命的起点，如果接口数据有问题的话会严重影响数据仓库后面的报表以及分析结果。

接口数据分为两种情况：文件接口和数据库接口

文件接口方面：一方面是接口内容本身的数据质量问题：文件传送及时率。文件内容有效性。文件传递的完整性

一方面是文件接口采集程序的监控：文件接口采集程序是否正常启动，正常结束等。

账期，接口名称，采集开始时间，采集结束时间，有效标志，接口及时率标志，接口完整性标志等。

这些可以通过查看接口运行日志来获取相关信息情况。

数据库接口方面：数据库接口参考文件接口部分。

2：数据仓库层面的数据：关键包括两个方面的内容数据处理过程执行情况和关键指标检查

第一：数据处理过程监控：监控所有的数据处理过程十分按时调度，是否成功。这些可以通过查看数据处理过程日志表来获取相关信息

第二：关键指标的检查：指标检查主要包括两个方面：

首先是基础指标的检查：数值检查：主要是通过检查单个指标的数值来发现指标的异常和突变等情况。这里需要设置相应的阀值来进行。

这里需要考虑周末、节假日以及一些外部因素对指标的影响。因此指标异常并不一定是数据的问题。

波动检查：主要是同比或者环比的检查。先计算指标的同比或环比波动率，然后与预定的波动率上下限（阈值）

进行比较。需要考虑周末、节假日及一些外部因素对指标的影响。因此指标异常不一定是数据的问题。

关联检查：对两个存在关联关系的指标（如同增、同减正关联关系），分析变化和波动情况。比如用户量和话务量 以及用户量和收入之间的关联分析。用户量增加了。应该收入有所增加。但是有时候反而用户量增加了，收入却下降了。增加的用户数比丢失的用户数多因此整体上用户量增加了。但是增加的用户量都是一些劣质用户，而丢失了一部分高端用户。从而导致用户数增加收入下降的局面。

平衡检查：通过对若干个指标值的简单四则运算（加、减、乘、除），来检验各个指标间潜在的平衡或其他比较关系。比如收入-支出=利润。这三者之间的平衡。日指标汇总与月指标的平衡检查等。

其次加权波动检查：通过对单个指标的基础检查结果和影响因素的加权计算分析，综合检查指标的波动和变化情况。比如一个指标今天异常的 超出了范围，我们首先应该加上一些外部的因素比如制定了相应的优惠政策以及节假日然后对其进行分析。分析得出该结果是正常的。因此当指标异常的时候我们不能首先就判断该指标数据质量有问题，应该先分析一些外部因素对其的影响。然后再考虑是否确实是数据质量的问题。

三：数据质量处理流程

问题生成-》问题分析-》问题处理-》问题总结

每个处理流程都针对于后台相应的表已经相应的处理过程

问题生成部分：我们应该监控接口的日志信息，数据仓库部分各个处理过程的日志信息以及指标的检查相关过程。

问题分析部分：将发生的问题进行归类，将同一类的问题进行集中分析。问题分析的时候会用到元数据管理部分的一些分析方法比如：血缘分析，影响分析、数据映射分析等。

问题处理部分：结合系统后台提前准备的问题处理流程，对相应的问题采用相应的处理流程来解决该问题。

问题总结：当问题处理结束之后，我们要对以前的问题进行汇总，并且对问题的解决方法也进行汇总，便于下次能够不出现这样的问题。或者出现问题之后能够很快的解决。

因为我们已经有相应的问题解决方案。该处理流程是一个循环的过程。

四：数据质量报告部分

数据质量要定期形成报告对外进行发布公示。并且提供很好的外部接口和其他系统比如元数据管理系统很好的互动。因为数据质量有些预警值或者范围波动预警值需要在元数据当中进行配置，数据质量核查的时候需要调用这些信息以及利用元数据分析方法更好的解决数据质量的问题。

第四篇：GPRS水行业数据采集系统应用方案

GPRS水行业数据采集系统应用方案

随着我国经济社会的发展，对行业信息化建设不断提出新要求，对观测手段和方法以及水行业的监测技术的研发和应用提出了越来越高的要求；现代电子技术、传感技术、通信技术和计算机技术的迅速发展，也促进了水行业监测技术自动化的发展。在此方面易维就走在了水行业信息建设的前端。

一、水行业监测自动化技术的应用

1、水行业监测的范围与内容：

水行业的监测是传感器技术与采集、存储、传输、处理技术的集成。

监测范围：江、河、湖泊、水库、渠道和地下水等。

监测内容：水位、流量、流速、压力和水质等。

2、水位的采集和传输

用于自动化监测的水位传感器主要有浮子式水位计、压力式水位计、电子水尺和超声波水位计等。这些传感器可以直接接到PLC上，自动监测水位参数。地下水位的监测与地表水相同。目前，省水文监测站与各采集点之间的数据通信主要采用手工抄录或PSTN电话线传输。采用电话线传输数据时，由于每次拨号都需要等待，速度慢，而且费用也较高。同时，由于各监控点分布范围广、数量多、距离远，个别点还地处偏僻，因此需申请很多电话线，而且有些监控点有线线路难以到达。

GPRS具有速度快、使用费用低的特点，其传输速度可达171.2kb/s。与有线通讯方式相比，采用GPRS无线通信方式则显得非常灵活，它具有组网灵活、扩展容易、运行费用低投，维护简单、性价比高等优点因此，目前正考虑采用GPRS无线传输方式解决污染源监测数据的实时传输问题。

二、解决方案介绍：

（一）系统结构

（二）GPRS无线网络与中心软件的连方式：

A、公网方案：

中心用一个服务器组作为中心接收，中心采用ADSL等INTELNET公网连接，采用公网固定IP或者公网动态IP+DNS解析服务。此种方案先向INTERNET运营商申请ADSL等宽带业务。

1)中心公网固定IP：监控点直接向中心固定IP发起连接。运行可靠稳定，推荐此种方案。（当然固定IP费用比较贵，视客户财力决定）

2)中心公网动态IP+DNS 解析服务：大部分IP都是动态的，而且费用相对便宜。客户先与DNS 服务商联系开通动态域名，动态域名解析软件网址如下：（可以先申请免费的二级域名）88IP名解析http://www.xiexiebang.com 监控点先采用域名寻址方式连接DNS 服务器，再由DNS 服务器找到中心公网动态IP，建立连接。此种方式可以大大节约公网固定IP的费用，但稳定性受制于DNS服务器的稳定，所以要寻找可靠的DNS服务商。

如上图所示水文远程测控调度系统由调度中心、无线GPRS网络、远程终端单元（GPRS无线传输设备，PLC）几个部分组成：

1.远程终端单元

远程终端单元分散的分布在远程各个遥测点上，主要由GPRS模块、电源、天线、PLC及各种水行业传感器等几部分组成。PLC与现场仪表(传感器)相连，对现场仪表(传感器)的开关量、模拟量信号进行数据采集、处理、存储并通过GPRS模块向调度中心传送数据，接收并执行调度中心的命令。

PLC：根据客户要求选择使用品牌，如LG、西门子、三菱、欧姆龙等。

无线传输设备： LQ1200 GPRS DTU透明无线数据传输终端，通过RS232/RS485/TTL与水行业设备采集点的各个PLC连接，通过 GPRS网络,把数据传到调度中心。

2.调度中心

调度中心计算机处理系统是一个开放式实时应用系统，实现全部的数据处理工作。中心的功能有：数据收发管理、站点管理、水行业数据管理和系统管理。

数据遥测功能：定时巡测、手动巡测、随机抽测、分组召测。

遥控功能：控制RTU 开关量输出点的开、关状态、遥信开关状态。

参数状态管理功能：设置修改各测量数据上、下限值，通讯参数。

在线组态功能：新增数据采集点等参数通过组态定义即可完成。

数据库管理功能：对测得的数据建库，对数据进行处理，查询历史数据，报表打印。

数据显示功能： 能显示测量的各种数据、遥信开关状态、各种系统图形等，具有图形功能,模拟显示管网图、水厂工艺流程图等。

抢修修理、停水、管网冲洗等数据录入及统计。

数据共享功能：提供一个WEB站点，该WEB站点使公司宽带内部网的任意一台工作站只通过WEB浏览器就可以登陆查看所有监控点的实时数据和存储的任何时间段的历史数据。WEB 站点通过用户身份认证授权方式控制该用户可访问那些监控点的实时监控数据和存储的任何时间段的历史数据。调度中心系统管理员能增加、删除可访问用户，并对用户进行不同权限的授权。该WEB站点应能通过超链接方式联入公司统一平台。

三、专业的开发实施团队

第五篇：APP数据分析系统

中国领先的互联网营销分析服务提供商

APP数据分析系统

SiteAPPTM，是99click公司自主研发的移动终端APP用户行为分析系统。借助SiteAPPTM的强大功能，用户可以对安装了APP的用户，在APP中的浏览、点击、购买、订单等行为做全方位各角度的分析，随时掌握APP运行和使用问题，及时调整和优化，从而提升APP的用户体验和销售业绩。

1、安全：采用软件+硬件可选的加密识别方式，满足不同客户对唯一终端的识别需求，同

时避免应用商城对APP的审核障碍。

2、实时：系统综合信息分析数据每小时更新一次，确保用户得到最即时的信息。

3、全面：通过用户留存、注册/交易情况、内容浏览、点击、用户忠诚度、消费意愿、用户

使用习惯等各类数据统计，全面分析用户使用情况和体验。

4、稳定：监测服务器采用集群结构，多点布阵，实现海量数据处理；

T：010-62703392-281[1]商助科技（北京）有限公司 市场部