资源数据采集技术方案[大全五篇]

第一篇：资源数据采集技术方案

资源数据采集

技术方案

公司名称 2011年7月

二O一一年七月

目录

第 1 部分 概述...............................................................................................................................3

1.1 项目概况............................................................................................................................3 1.2 系统建设目标....................................................................................................................3 1.3 建设的原则........................................................................................................................4

1.3.1 建设原则.................................................................................................................4 1.4 参考资料和标准................................................................................................................5 第 2 部分 系统总体框架与技术路线...........................................................................................5

2.1 系统应用架构....................................................................................................................6 2.2 系统层次架构....................................................................................................................6 2.3 关键技术与路线................................................................................................................7 第 3 部分 系统设计规范...............................................................................................................9 第 4 部分 系统详细设计...............................................................................................................9

第 1 部分 概述

1.1 项目概况

Internet已经发展成为当今世界上最大的信息库和全球范围内传播知识的主要渠道，站点遍布全球的巨大信息服务网，为用户提供了一个极具价值的信息源。无论是个人的发展还是企业竞争力的提升都越来越多地依赖对网上信息资源的利用。

现在是信息时代，信息是一种重要的资源，它在人们的生活和工作中起着重要的作用。计算机和现代信息技术的迅速发展，使Internet成为人们传递信息的一个重要的桥梁。网络的不断发展，伴随着大量信息的产生，如何在海量的信息源中查找搜集所需的信息资源成为了我们今后建设在线预订类旅游网重要的组成部分。

因此，在当今高度信息化的社会里，信息的获取和信息的及时性。而Web数据采集可以通过一系列方法，依据用户兴趣，自动搜取网上特定种类的信息，去除无关数据和垃圾数据，筛选虚假数据和迟滞数据，过滤重复数据。直接将信息按照用户的要求呈现给用户。可以大大减轻用户的信息过载和信息迷失。

1.2 系统建设目标

在线预订类旅游网是在线提供机票、酒店、旅游线路等旅游商品为主，涉及食、住、行、游、购、娱等多方面的综合资讯信息、全方位的旅行信息和预订服务的网站。

如果用户要搜集这一类网站的相关数据，通常的做法是人工浏览网站，查看最近更新的信息。然后再将之复制粘贴到Excel文档或已有资源系统中。这种做法不仅费时费力，而且在查找的过程中可能还会遗漏，数据转移的过程中会出错。针对这种情况，在线预订类旅游网信息自动采集的系统可以实现数据采集的高效化和自动化。1.3 建设的原则 1.3.1 建设原则

由于在线预订类旅游网的数据采集涉及的方面多、数据量大、采集源数据结构多样化的特点。因此，在进行项目建设的过程中，应该遵循以下原则：

可扩充性

根据实际的要求，系统可被方便地载减和灵活的扩展，使系统能适应变化和新情况。可以实现模块级别的动态扩展，而且是运行时的。所谓运行时模块的动态扩展，比如说你需要增加一些新的功能，你可以将新开发的类和文件按照Bundle进行组织，然后直接扔到运行时环境下，这些功能就可以用了。因此系统不会受技术改造而重新做出调整。

创新性

软件的投资要考虑到今后的发展，不能使用落后的产品与技术，避免投资的浪费；在系统软件选型、开发技术上，达到国内外先进水平。

规范性和标准性

整个设计方案从网络协议、操作系统到各个设计细节，应该全部遵循通用的国际或行业标准，符合国家有关标准规范的。

低耦合性

采集系统与其它系统彼此间相对独立，直接进行数据库入库、sql同步或者基于txt/xml的数据交换，保证整体系统的低耦合性。

高效性

在底层的技术实现上采用java语言，跨平台，跨数据库，运行效率卓越。

安全、稳定、准确、及时性

采用先进的算法，采用多个子系统和工具组成一个安全、稳定、准确、及时的解决方案。方案在总体设计上遵循稳定、开放、可扩展、经济、安全的原则，从而使整个方案组成合理，技术先进，易于扩展，既能满足当前的业务数据处理要求，又能符合长期发展的需要。易操作和易维护原则

整个系统易于维护，容易操作，易学，易用，完全通过WEB方式完成，降低维护的技术难度，也减少了人为隐患的发生。

1.4 参考资料和标准

主要参阅并依据以下一些参考资料及标准：

 《中国项目管理知识体系》（C-PMBOK），2001.5

 GB/T 1526-1989《信息处理

数据流程图、程序流程图、系统流程图、程序网络图、系统资源图的文件编制符号及约定》  GB/T 8566-1995《信息技术

软件生存期过程》  GB/T 8567-1988《计算机软件产品开发文件编制指南》  GB/T 9385-1988《计算机软件需求说明编制指南》  GB/T 13702-1992《计算机件分类与代码》  GB/T 11457-1995《软件工程术语》

第 2 部分 系统总体框架与技术路线

网络信息资源采集系统是一套功能强大的网络信息资源开发利用与整合系统，可用于定制跟踪和监控互联网实时信息，建立可再利用的信息服务系统。能够从各种网络信息源，包括网页、BLOG、论坛等采集用户感兴趣的特定信息，经自动分类处理后,以多种形式提供给最终用户使用。2.1 系统应用架构

数据流控制流采集应用服务互联网网络蜘蛛数据分析网络蜘蛛数据解析分组分析数据库资源发布系统客户端

 网络蜘蛛：按照指定规则抓取网站数据。

 数据分析：分析从网络蜘蛛来的数据，过滤掉我们不需要的信息。 数据解析：根据指定资源格式(字段)的定义，进行数据库字段级别的解析。 分组分析：根据不同的网络资源类型进行分类，并以多种存储方式进行存储。

2.2 系统层次架构

浏览器网络资源采集数据转换数据导出数据发布网络请求表现层应用层采集监控数据分析消息通知登录验证数据处理任务计划常用脚本库认证码识别WEB服务器关系数据应用服务器规范接口其他图片视频数据支撑层数据层

文本文件数据整个系统分为四层，分别为：

 数据层：数据层负责存储抓取来的各种信息及数据，这里面包括网页、文档、关系型数据、多媒体数据等。 支撑层：支撑层提供了关键的硬、软件支撑系统，包括应用服务器、WEB服务器、规范接口等规范支撑系统。

 应用层：在应用层主要提供网络资源采集、数据转换、分析、处理、导出、发布、采集监控、消息通知、登录验证、任务计划、认证码识别等服务。 表现层：表现层通过浏览器等方式，为用户提供多样化的信息服务。

2.3 关键技术与路线

为了充分满足本项目的建设：我们采用先进、主流、可靠、实用、性价比好的三层架构体系，充分考虑今后纵向、横向扩张能力。采用构件化和面向对象技术，使系统具有灵活的扩展性和良好的移植性。

2.3.1 J2EE规范体系

从软件层次上看，我们采用了典型的J2EE三层架构体系，即应用—支撑—数据三层。简单地说，J2EE（Java[tm] 2 Platform Enterprise Edition）是一个标准中间件体系结构，旨在简化和规范多层分布式应用系统的开发和部署，有了它，开发者只需要集中精力编写代码来表达应用的商业逻辑和表示逻辑，至于其他系统问题，如内存管理，多线程，资源分布和垃圾收集等，都将由J2EE自动完成。

J2EE已经被证明是一个稳定的、可扩展的、成熟的平台，在国内外拥有众多成功的应用实例。J2EE 应用服务器（Application Server）采用目前国际最先进的开发理念、拥有许多适合基于Internet应用需求的特点：

 三层结构体系——最适合Internet环境，可以使系统有很强的可扩展性和可管理性。

 面向对象、组件化设计——2EE是一种组件技术，已完成的模块能方便的移植到其它地方，可以提高开发速度，降低开发成本。

 基于JAVA完全跨平台特性——与平台无关，适应Internet需要，并能得到大多数厂商支持，用户可根据需要选择合适的服务器硬件和数据库。并且如果需要更换系统平台时，J2EE也能方便的进行移植。

把J2EE三层架构软件体系引用到资源采集系统，将大大提高系统的可移植性、可伸缩性和可扩展性。

2.3.2 XML技术

XML（eXtensible Markup Language，可扩展标记语言），是当前最热门的网络技术之一，被称为“第二代Web语言”、“下一代网络应用的基石”。自它被提出以来，几乎得到了业界所有大公司的支持。XML具有卓越的性能，它具有四大特点：

 优良的数据存储格式  可扩展性  高度结构化  方便的网络传输

以XML技术作为支持，为用户自定义应用界面和业务数据结构，并将其与底层数据库定义格式、界面标准输入、输出的接口转换作了实现，可实现分布式、异构应用系统之间的数据交换。

我们将在本项目中主要以XML为存储方式，方便扩展和数据分析。

2.3.3 WEB2.0技术

Web2.0，是相对Web1.0（2003年以前的互联网模式）的新的一类互联网应用的统称，是一次从核心内容到外部应用的革命，是依据“六度分隔”(注：由美国哈佛大学社会心理学教授斯坦利·米尔格兰姆发现的，你和任何一个陌生人之间所间隔的人不会超过六个，也就是说，最多通过六个人你就能够认识任何一个陌生人。)、XML、AJAX等新理论和技术实现的互联网新一代模式。由Web1.0单纯通过网络浏览器浏览html网页模式向内容更丰富、联系性更强、工具性更强的Web2.0互联网模式的发展已经成为互联网新的发展趋势。Web1.0到Web2.0的转变，具体的说，从模式上是单纯的“读”向“写”、“共同建设”发展；由被动地接收互联网信息向主动创造网络信息迈进。运行机制上，由“Client Server”向“Web Services”转变；作者由程序员等专业人士向全部普通用户发展；应用上由初级的“滑稽”的应用向全面大量应用发展。采用创新的Ajax技术，同等网络环境下，页面响应时间最高减少90％。

2.3.4 系统集成API XML文档结构在很多方面可以方便地反映对象的结构，这也是其适合面向对象的软件技术的一个关键点。使用XML对数据源的数据进行处理，它起着接口层或者封装的作用，这样不同的应用程序之间，不同的操作系统之间，不同的数据库之间都可以交换数据。使用XML作为数据交换工具还可以解决异构数据库之间的集成。

对本项目中涉及到的数据采集、转换、分析、处理等问题，我们将开发专用的数据接口，采用XML技术作为数据交换的页面描述规范。

XStream是一个Java和XML相互转换的工具。使用非常的简单，并且可以自定义转换的过程，但是这个组件仅能做的就是这些最基本的工作，有了这个组件，我们可以不用考虑具体一个Java对象和XML之间问题了。

第 3 部分 系统设计规范

第 4 部分 系统详细设计

4.1 应用功能设计 4.1.1 资源采集

我们可以使用采集，对网络上的各种资源进行挖掘。a)采集工程：采集工作的详细设置文件，包含了要采集的资源链接。

1.精确：根据指定资源格式(字段)的定义，进行数据库字段级别的采集。2.蜘蛛/爬虫：根据指定的文件匹配表达式，自动对指定网站的资源进行全面分析和采集。

b)字段：各种资源的最小单位，譬如您要采集某个网站的多个帖子，那么每个帖子可能包含以下字段：作者、标题、日期、内容等。

c)链页：一些帖子在多页面里的，这种情况下您可以为帖子的内容字段设置链页属性，自动把多个分页的内容合并到内容字段。

d)追踪：一些资源是要从列表页面中，通过点击多个页面才显示的，这种情况下，您可以为内容自动设置跟踪属性，自动获取最终的内容。

e)登录验证：一些资源网站需要您登录后才可以访问内容，这种情况下下，您可以为整个网站、每个链接甚至每个资源单独定义登录验证以满足具体需求。1.参数：这是模拟登录需要的参数，譬如用户名、密码等。

2.登录采集工程：一些网站的登录认证相当复杂，往往会采用一些动态参数/值，如果用固定的参数是无法满足登录需求的，这个时候，您可以使用采集工程来自动获取登录参数的值。

3.登录脚本：如果即便使用采集工程仍然无法满足一些特别网站的登录需求，您可以使用自定义的登录脚本来实现相应的登录认证。

f)数据处理：

1.脏字过滤：对符合国家规定的敏感字符的过滤，还可以自定义要过滤的字符，以确保采集到的内容符合相关法律法规。

2.垃圾内容过滤：使用贝叶斯概率模型对已采集的内容自动分析判定是否为垃圾内容，您可以自行对各种垃圾内容进行过滤。

3.内容嗅探：对于Flash/Silverlight播放器，会在页面加载之后才从后台获取实际的文件(.FLV/MP3/.XAP等)，您可以使用内容嗅探实现对这些实际内容的采集。

4.关键字/标签(Tag)自动分析：利用全文分词对采集的内容进行分析，自动获取内容的关键字/标签列表。

5.文件格式批量转换：对大量文件的快速转换，改变图片或视频的大小/添加水印/改变格式，抽取压缩文件，Office系列文档转换为HTML，以多种方式修改文件名称和内容，修改图片文件属性，文本排版，文本混淆，文本简繁大小写编码互转，文本切分合并，网页文本互转，不良图片过滤，数据转换等。

g)图片转换：改变图片大小和格式，添加水印，支持jpg、bmp、png、gif、icl、jpeg等。

h)压缩文档：抽取/转换/生成压缩文档，支持zip、rar等。i)j)Office文档支持：支持doc、docx、xls、xlsx、xml、pdf、rtf等。

文本排版：段落智能修正、去掉干扰符、修正段落首尾空格、修正标点符号，支持txt,htm,eml。

k)文本切分合并：按大小、行数或段落数剪切文本内容、和并内容，支持txt,htm,eml。l)不良图片过滤：识别并过滤不良图片，支持所有图片。

m)数据转换：使用自定义脚本转换数据和文件，支持采集工程、各种数据库和各种文件。n)快速下载：

1.链接分析：复制要下载各种资源(如图片等)的链接或网页内容，全自动分析并下载到本地磁盘。

2.嗅探：复制视频地址或内容，全自动分析并下载视频，特有嗅探功能，支持所有视频网站。

o)通过多线程并行采集，加快采集速度。

4.1.2 数据导出

a)导出数据库：把采集后的数据导出到各大数据库/数据文件中。b)以Excel、XML等文件形式导出。c)可以把文件导出到FTP。d)自定义导出脚本。

4.1.3 资源信息发布

a)采集后的数据：可以把采集后的数据，发布到指定网站或系统。b)网络请求：可以自定义请求，譬如网络投票等。4.1.4 任务计划

可以指定采集、转换、导出、发布、请求等各种任务定时执行。

a)可启用多个线程来完成同一个采集任务。

b)可自由设定采集网页数和暂停的时间，此功能主要解决采集过快而被屏闭或禁止访问等问题。

c)可以在采集当中随身暂停、启动或停止任务。

4.1.5 消息通知

能够自动通过多种方式（邮件、系统日志、系统声音等）通知采集发布情况。

a)在各种任务完成之后，如采集，发布，计划任务等。b)监控指定网站并在数据改变时。

4.1.6 监控设置

当网络资源更新或采集到新的资源信息时，通过各种通知方式，随时提醒。

4.1.7 脚本定义

脚本是对各种功能的自定义扩展，支持JavaScript语言编写。

a)采集脚本：在采集工程中，如果遇到一些特殊的资源，正常的采集方式无法胜任的时候，可以通过脚本来进行自定义的采集。b)发布脚本：可以针对特殊的网站进行发送请求。

c)常用脚本：系统内置的常用的脚本，如对专用链的解释/编码、条形码的生成、敏感字符的过滤、中文分词/Tag识别、计算数学表达式、RSS解释与生成、消息通知等。4.1.8 认证码识别

系统自动识别各种登录页面的认证码、验证码等。

a)默认识别：全自动识别各种常见的认证码。b)智能识别：自定义识别各种特殊的认证码。

4.1.9 系统扩展

系统提供以下丰富的程序接口，方便系统进行二次开发。

a)消息通知：编写各种特定的消息通知方式以满足需求。b)中文分词/Tag识别。

c)数据转换：转换各种采集后的数据到系统当中。

d)功能扩展：对各种功能(采集、发布、脚本、消息通知、计划任务等)进行自定义设置并应用到实际的系统运行中。

4.1.10 任务管理

可以对采集、发布、请求、计划任务、脚本、消息通知等各种任务进行全面管理。

4.1.11 地图周边资源采集

可根据采集到的数据在地图上显示，以该点为中心，在指定的搜索范围内搜索其周边的所有资源信息，并采集到系统当中。

以酒店为例：以酒店为中心的5公里范围内，在这范围内的所有酒店、旅行社、小吃、旅游景点、购物场所、公交信息等都可以搜索到并采集下来。

第二篇：遥感应用方面技术质量汇报-数据采集

生产质量和技术工作会议汇报材料

黑龙江第三测绘工程院 2015年1月26日

黑龙江第三测绘工程院生产质量和技术工作会议汇报材料

1.资

三、高分一号等遥感影像处理及应用

为实现大范围海量遥感数据的快速处理，我院应用GXL、COLORMAPPING等大型软件，硬件上购置刀片机，搭建局域万兆网，使用48核工作站采用分布集群式和单机作业结合的方式，在基础资料方面，除了根据我院生产项目积攒的控制和DOM资料外，我院一直较为重视在2012年完成的基于SPOT影像建成的黑龙江省控制点影像库（此项目我院随国家局卫星中心一起获得测绘科技进步奖特等奖）。

基于软硬件配合和传统DOM、DEM制作的流程，并且结合控制点影像库，研究和优化了海量遥感数据快速处理技术流程和方法，在区域网平差、自动匹配DSM、影像纠正、配准、融合、调色、裁切等工序上实现自动化程度高的作业模式，减少人工干预，实现快速、高效的遥感数据处理流程，完成了多项遥感应用项目。

在介绍具体的生产项目前，要说明的四点，一是在DOM和DSM的制作上，因为我院在制作“全国一版图”的项目时，较为注重对原始资料的收集（包括下视和立体相对），所以在处理大范围海量遥感数据时，我院采取在原有DEM和资三相对新匹配的DSM数据相结合的方式，保证地形信息的准确性。二是在我院具备拥有较新较全的影像资料的基础上，注意收集各个分环节的数据成果，以备应用到应急保障的工作中，当出现应急需求时，我们能够根据要求按需提供高分、资三等卫星传感器的遥感数据成果，在此基础上，我院考虑在条件允许的情况下，引入无人机及处理软件，增强应急测绘的能力。三是在精度保障上，无控时，以资三为基础资料时，平面中误差可达到8米左右（完全满足1：25000的精度需求），高程中误差在考虑加入似大地水准面差值改正，平地高程精度可达到1米；丘陵地高程精度可达到2米，完全满足应急需求。有控时平面中误差可达到2.7米左右（满足1：10000精度指标），有控时高程可达到0.6米左右（满足丘陵地、山地1：10000的精度指标）。四是在分析资源三号卫星数据精度后，其可应用于一些不可到达区或者不利于开展航摄地区的地貌、地形要素的获取，而且在实际外业控制点的需求上，一景资三影像的范围可能只需要一个或两个外业控制点，大大减少了外业工作量，基于资三的这些特点，可应用到边境测绘等类型的项目。

基于卫星传感器的遥感应用可应用于边境测绘。具体的项目完成：

首先是利用卫星自带参数类的（无控）

（1）天地图产业化项目，我院完成新疆、黑龙江、吉林、辽宁、内蒙古东部近280万平方公里的资源三号公众服务正射影像的制作，今年7月15日项目顺利通过验收。今年我们又在去年五个省的基础上承接了台湾、海南、广西三个省的影像制作任务，并且承接了新的“全国一版图”任务。

（2）长江水利委员会项目，完成长江流域前后三期共7.2万平方公里，资三和高分一号数据源的DOM制作。

（3）海河水利委员会项目，完成河南、河北、山西三省交界处6600平方公里资三数据源的DOM、DEM制作。

（4）广州电力项目，完成西藏琼结县2500平方公里DSM、DOM制作以及三维展示。

（5）完成陕西2000多平方千米的DSM、DOM制作。

（6）完成珠峰主峰地区1万平方公里范围三维展示任务，云南大理地区6000平方公里三维展示任务，陕西全境的DOM、DEM修改、接边和裁切。

（7）几个国外或者边境地区小范围DOM、DSM制作。第二是基于控制点影像库完成的项目

（1）武汉国土督察局项目，完成鄂、湘、黔三省共1.1万平方公里的DOM制作。

（2）黄河水利委员会项目，完成黄河流域两期共8万平方公里DOM数据制作。

（3）双城规划局项目，完成双城市辖区2景QB影像的快速制作； 第三是比较突出的其它的遥感应用项目：

2014年6月，我院协助合作单位做了一个路网项目的实验，9月以路网实验为基础，我院承担来自国家审计署的全国重点城市闲置用地采集任务，完成全国220个城市的闲置用地采集工作，从工作区搭建、技术路线研究、网络机顶盒调试，人员培训，到最后的成果提交，一共20多天的时间。这些项目均顺利提交，成果质量也得到甲方好评。2.“机顶盒”的研发与应用

受路网实验和重点城市闲置用地采集项目启发，从11月开始，我院开始研制“便携式影像机顶盒”，利用瓦片技术形成影像切片，通过自主研发，实现影像的发布与快速更新，完成了“多源遥感影像辅助系统”的研发。目前已经应用到我院外业中队和检查科，实现了影像的便携式快速访问和统一管理，使用效果良好，提高了我院整体的生产工作效率，也解决了整体质量控制的关键问题；同时该系统也是我院信息化测绘体系建设的一部分，计划通过进一步研发，实现“电子调绘”和“电子控制”，甚至“网络化作业”等工作模式；接下来也计划通过进一步的开发推广，获得更广泛的应用和经济价值。3.引入“适宜质量”的概念

现阶段，市场上遥感应用方面项目的需求，更多的是侧重实际应用效果，并且生产周期较短。在这些项目的完成过程中我院按照甲方的实际要求，制定项目生产方案提高生产效率，缩短工期，实现成果的快速提交，成果提交后均顺利通过验收并获得甲方的好评。通过这种项目完成方式，也逐渐摸索出了应对不同需求下的遥感数据生产的流程、质检方式及管理模式，能够更好的应对测绘应急服务需求。

4.针对地理国、省情项目生产的具体需求、有针对性的进行软件开发工作

在地里国情、省情生产中开发编写了部分程序。总的来说可分为以下两个大类：

（1）国情数据批处理程序集

地理国情普查项目覆盖面积广，涉及的行政单元较多，生产作业过程中需要对数据库进行拼接、拆分等一些处理。由于数据处理量大、人为生产耗时长。针对此问题，我院开发了“国情数据批处理程序集”，主要包含数据转换、数据处理、数据检查、数据拼接、数据分离等功能模块。该程序的每个功能模块在具体的生产中又都经过了进一步优化和调整，最终程序稳定可靠。例如：“数据转换”模块加入了GDB数据与MDB数据相互批量转换的两种方式，“数据处理”模块，针对国情数据属性赋默认值、赋空值、赋特定值进行优化；“数据拼接”模块更新了有关MDB与GDB数据混合合并的方法。在完善国情数据批处理程序集的基础上，又编写了一些辅助功能程序，主要有查找文件、数据库管理系统、生成错误检查记录、生成time文件等。

查找文件程序主要是将选择路径下的相同后缀名的文件按文件名和含完整路径的方式提取出来，生成TXT文件，该功能可以对路径下的子文件夹进行深度搜索，方便对数据进行整合、查缺。数据管理系统，通过数据借记记录、归还记录、数据状态等信息监测达到数据管理的一致性。（2）样本管理程序集

由于省情样本数据采集量大；照片、样本库出现的问题较多；为了控制遥感解译样本数据的质量和外业实际需求，开发了样本管理程序集。

其实现了对样本库中记录进行逐条查看、修改、删除、检查操作；并集成了批量删除、批量修改、合并样本库、样本检查等方便、实用的工具；该程序在样本处理工序提高两倍以上工作效率。

在实际工作中，随着样本量不断增大、在样本制作过程中出现的照片坐标、方位角偏移等问题越来越凸显。对于此，又相继开发了①通过矢量文件给对应样本赋值程序；②根据矢量文件的记录提取样本库数据的分离程序；③根据展点文件和镶嵌线景号的关系挑选每个样本对应所裁影像的影像挑选程序；④根据照片号、照片经纬度、照片方位角批量改照片信息的照片修改程序。应用上述些程序，并配合“交互式样本处理”和“样本批量加描述”等我院自己总结的方法，能有效的修改、编辑、检查样本相关项，在大量减少人工工作量的同时，避免了人为错误的出现，即保证了质量，又提高了生产效率。

第三篇：视频监控和试验室数据采集方案

视频监控和试验室数据采集方案

2018年，集团公司在建项目11个，总里程1045公里，计划总投资180多亿，建设规模大、投资金额多、安全质量风险高，工程项目安全质量管理面临复杂艰巨的任务，为及时准确的掌握工程项目的安全质量情况，集成管理工程项目的动态信息，亟需实施“视频监控和试验室数据采集”措施，实现项目的有效管理。

1.视频监控方案

1.1 创建目的

项目现场存在施工地点分散、工序复杂、人员流动频繁等特点，无法单纯依靠人员巡防和盯守管理工地，实施视频监控措施，可以有效解决项目管理人员移动办公等要求，及时掌控施工现场的工程进度、安全管理和施工质量等情况。1.2 创建原则

（1）充分考虑实际应用的具体情况，用最优的技术方案完成视频监控任务；

（2）保证图像清晰，网络信号传输准确可靠、播放流畅；（3）保证整个系统稳定，视频数据备份及时，控制可靠；（4）系统具有一定的扩展冗余，可随时扩展和升级。1.3 方案总体构架

1.4 监控范围 1.4.1试验室操作监控

对工地试验室的土工室、力学室、沥青室、沥青混合料室、水泥室、水泥混凝土室、化学室等主要功能室安装摄像头，实时监控相应试验的操作过程。

图1 试验室操作监控

1.4.2重要场站监控

对预制梁场、小型构件预制场、拌和站、钢筋加工场等重要场站安装摄像头，实时监控场站的规范化管理。

图2 重要场站监控

1.4.3桥梁、隧道施工关键部位监控

对大桥、特大桥的两端、隧道洞口等部位安装摄像头，实时监控施工流程，规范现场作业行为。

图3 桥梁、隧道施工关键部位监控

1.4.4重大危险源的监控

对梁场龙门架、现浇梁支架、高墩施工等重大危险源的部位安装摄像头，实时监控重大危险源的作业。

图4 重大危险源的监控

1.4.5隐蔽工程的监控

对粉喷桩、搅拌桩等隐蔽工程，采用拍摄图像或录制视频方式存储，并体现录制部位、桩号、时间等信息，48小时内上传至“建设工程管理系统”。1.4.6安全和技术交底

施工单位应最少留存包含每天班前培训人员信息在内的照片两张和不少于2min的视频一段，并在48小时内上传至“建设工程管理系统-安全管理-班前培训交底”存档。1.5 监控方案布设

（1）监控设备选型

监控设备选型应根据监控对象的特点，在试验室、重要场站及重大危险源的位置建议选择拍摄角度范围较大的半球摄像机；在桥梁两端及隧道洞口为保证拍摄质量，建议选择枪式摄像机。经过咨询考察已安装视频的单位，萤石云方案在网络接口、存储和性价比方面比较合适，建议各单位自行联系安装。

（2）监控点的立杆和基础要求 现场监控点的立杆和基础要求应按实际情况而定，一般可选择5～6米高的优质无缝钢管制作而成的主杆，立杆预埋件混凝土强度不低于C25。（4）监控点的机箱要求

监控点机箱尺寸应便于电源设备等设备的安装，箱体采用不锈钢喷塑，厚度为0.8mm～1 mm，底部进线设计，箱体防护等级为IP54。

（5）监控点的供电要求

监控点可采用区域内就近供电方式，尽量接入稳定性较高的电源。整个供电系统应稳定可靠、扩展方便、易维护管理、全天候24小时确保前端设备的供电等特点。（6）网络带宽要求

视频监控传输网络带宽设计应能满足网络播放流畅的要求，并留有余量。（7）存储系统

各单位自行安装的监控设备，图像上传至自己摄像头的网络服务器，供自己内部人员查看；所有视频采用网络云端存储方式，室内摄像头应设置为采用移动侦测录像技术，存储的视频确保是有人员活动的有效视频，存储时间不小于60天。为实现与集团的“建设工程管理系统”对接，摄像头安装方需提供相应视频数据接口和基于云平台的LSS直播服务。与项目管理系统进行集成后，可登录PC端系统根据权限查看相关视频。

2.试验室数据采集

2.1 创建目的 为强化公路工程质量监督管理，规范公路试验检测机构及建设项目工地试验室的试验检测和信息化建设工作，提高检测设备自动化水平及试验检测工作质量，保证试验检测工作科学、真实、有序的开展，有效遏制质量事故发生，结合建设项目的工地试验室信息化建设，制定试验室数据采集方案。

对试验室的数据监控，不仅可有效检查是否按频率要求进行相关试验，而且可以有效杜绝数据造假，并提供各种分析服务，使管理人员实时了解诸如压力机、万能材料试验机、沥青针入度、软化点、延度、沥青混合料马歇尔稳定度、沥青混合料沥青含量、车辙试验、标养室参数及不合格情况等，把控试验室的工作开展情况。2.2 创建原则

（1）试验操作正确规范，随时监控；（2）试验数据真实可靠、实时上传；

（3）试验设备维护及时，试验人员持证上岗。2.3 技术原理

（1）数据采集

利用试验室现有设备，不符合数据采集要求的加以改造，在试验人员试验过程中，实时完成试验数据采集，独立于试验人员操作过程，试验数据不被造假，真实有效。

（2）数据传输

数据采集完成后，数据自动保存到本地PC上，数据利用Internet网络，同步上传至管理平台，不干扰试验室工作的进行，支持断点续传。

（3）互联网技术 平台采用J2EE技术开发，存储采集到的数据，建立工程质量数据库，为质量分析、质量评定和质量追溯提供依据。2.4 方案总体构架

2.5 数据采集方案

“试验室数据采集”的主要功能如下：

（1）查询各项目工地试验室名称、所属标段、人员、设备等基本信息；

（2）管理各项目工地试验室人员、仪器设备台账；

（3）实时采集及上传检测数据，并预留实时采集其它试验指标的扩展功能；

（4）预留统计处理和统计试验检测数据的接口；

“试验室数据采集”统一在管理平台上实现，数据采集根据上述功能可分为试验人员信息采集、试验设备信息采集、试验数据采集、试验频率统计等4个模块。（1）试验人员信息采集

各工地试验室按合同要求配备足够的试验人员，并将工地试验室名称、所属标段、试验人员基本信息等录入管理平台，项目管理人员可通过管理平台按照“职称、学历、证书”等方式随时查询试验人员基本信息。

图5 试验人员查询界面（示意图）

（2）试验设备信息采集

各工地试验室按合同要求配备足够的试验设备，并将试验设备信息录入管理平台，项目管理人员通过管理平台可随时查询试验设备信息。

图6 试验设备查询界面（示意图）

（3）试验数据采集

压力试验机（试件编号、试件尺寸、破坏荷载、抗压强度、最大力值；生成力值-时间曲线）

万能材料试验机（试件编号、试件尺寸、屈服力、屈服强度、拉断最大力、断口位置、伸长率、最大力值；生成力值-时间曲线）

车辙试验仪（采集车辙试件的变形值、动稳定度）马歇尔稳定度仪（采集马歇尔试件的流值、稳定度）燃烧炉（采集沥青混合料的沥青用量）沥青软化点仪、延度仪和针入度仪（采集沥青的三大指标）标养室控制器（采集标养室温、湿度）

对上述9个仪器的试验数据或控制参数实时采集，并上传至管理平台，项目管理人员通过管理平台可随时查询试验数据，不合格试验数据将同步于手机短信发送至项目管理人员。

图7 试验数据采集界面（示意图）

（4）试验频率统计

工地试验室、监理分别统计各时间段（一般以“月”为单位）自检、抽签情况，每月25号录入管理平台，项目管理人员通过管理平台可随时查询试验检测频率情况。

图8 试验频率统计界面（示意图）

2.6 试验设备要求

2.6.1 压力试验机、万能材料试验机（1）试验仪器要求

新型的压力试验机、万能材料试验机一般均具备数据接口和自配的数据保存软件，能够将接口数据采集至PC系统软件内，并实现数据上传功能，一般不需要仪器改造。（2）网络要求

压力试验机、万能材料试验机的电脑主机应有网络连接，以便随时上传试验数据。（3）视频监控要求

压力试验机、万能材料试验机的视频监控应能清晰采集试验人员操作图像，项目管理人员可随时视频监控，严禁试件造假；此外，公司将不定期的抽查“视频监控、数据上传、仪器使用记录”三者的“三对应”。

2.6.2 马歇尔稳定度仪、车辙试验仪、燃烧炉 马歇尔稳定度仪、车辙试验仪、燃烧炉一般均具有串行数据接口，能够将试验数据采集至PC系统，但管理平台与仪器自带数据采集系统可能存在匹配的问题，仪器购置时通过与厂家联系，对方提供或开发相应的接口协议，再进行相关数据的采集。2.6.3 软化点仪、延度仪、针入度仪

软化点仪、延度仪、针入度仪等尽量选择市场上功能较为齐全，技术手段较为先进的主流品牌，仪器应自带RS232以上信息数据接口，可进行仪器的PC数据采集。上述仪器尽量选择同一厂家，以便于厂家提供或开发相应的接口协议，实现与管理平台对接。

图9 沥青延度仪试验数据采集界面（示意图）

2.6.4 标养室

标养室环境参数可以通过加装温、湿度传感器，实时监测并回传温度、湿度等指标。

联系人：张磊，电话：***

第四篇：数据资源策划书

甘肃政法学院图书馆

数据库资源讲座

策

划

书

主办单位：甘肃政法学院图书馆承办单位：图书馆读者管理委员会二O一三年九月二十三日

一、活动目的旨在提高同学们的图书馆资源的使用，增强本校学生的读书热情，弘扬“书香政法”的理念，进一步推动图书馆的信息化发展，面向甘肃。

二、活动主题

新的大学，新的读书资源，新的梦想

三、主办单位

甘肃政法学院图书馆

四、承办单位

图书馆读者管理委员会

五、活动对象

每次由2个二级学院分配2-3个班来参加

六、活动时间、地点

2013年10月份每周四 19:00-20：30

图书馆五楼学术报告厅

七、人员安排

1.文化宣传部负责本次讲座的宣传工作，具体工作由分管主席安排；

2.学习实践部负责参加讲座的班级的引导并安排入座的工作；

3.秘书处负责学术报告厅的申请及布置工作；

4.读者服务部负责本次活动的秩序工作；

5.信息技术部主管本次活动的所有工作，配合各部门完成此次活动；

八、前期的准备

1.由图书馆领导向各二级学院下达书面通知，由各二级学院准时的通知该学院的班级来参加讲座，保证人员充足；

2.前期宣传必须产生一定影响力，保证后期工作的顺利开展；

3.学术报告厅的使用申请必须是按时、固定，要保证每次讲座都能按时按地点的举行；

4.参加讲座的入场及退场安排必须井然有序，不能出现拥堵现象；

九、活动预算

宣传的各项费用50元

第五篇：GPRS水行业数据采集系统应用方案

GPRS水行业数据采集系统应用方案

随着我国经济社会的发展，对行业信息化建设不断提出新要求，对观测手段和方法以及水行业的监测技术的研发和应用提出了越来越高的要求；现代电子技术、传感技术、通信技术和计算机技术的迅速发展，也促进了水行业监测技术自动化的发展。在此方面易维就走在了水行业信息建设的前端。

一、水行业监测自动化技术的应用

1、水行业监测的范围与内容：

水行业的监测是传感器技术与采集、存储、传输、处理技术的集成。

监测范围：江、河、湖泊、水库、渠道和地下水等。

监测内容：水位、流量、流速、压力和水质等。

2、水位的采集和传输

用于自动化监测的水位传感器主要有浮子式水位计、压力式水位计、电子水尺和超声波水位计等。这些传感器可以直接接到PLC上，自动监测水位参数。地下水位的监测与地表水相同。目前，省水文监测站与各采集点之间的数据通信主要采用手工抄录或PSTN电话线传输。采用电话线传输数据时，由于每次拨号都需要等待，速度慢，而且费用也较高。同时，由于各监控点分布范围广、数量多、距离远，个别点还地处偏僻，因此需申请很多电话线，而且有些监控点有线线路难以到达。

GPRS具有速度快、使用费用低的特点，其传输速度可达171.2kb/s。与有线通讯方式相比，采用GPRS无线通信方式则显得非常灵活，它具有组网灵活、扩展容易、运行费用低投，维护简单、性价比高等优点因此，目前正考虑采用GPRS无线传输方式解决污染源监测数据的实时传输问题。

二、解决方案介绍：

（一）系统结构

（二）GPRS无线网络与中心软件的连方式：

A、公网方案：

中心用一个服务器组作为中心接收，中心采用ADSL等INTELNET公网连接，采用公网固定IP或者公网动态IP+DNS解析服务。此种方案先向INTERNET运营商申请ADSL等宽带业务。

1)中心公网固定IP：监控点直接向中心固定IP发起连接。运行可靠稳定，推荐此种方案。（当然固定IP费用比较贵，视客户财力决定）

2)中心公网动态IP+DNS 解析服务：大部分IP都是动态的，而且费用相对便宜。客户先与DNS 服务商联系开通动态域名，动态域名解析软件网址如下：（可以先申请免费的二级域名）88IP名解析http://www.xiexiebang.com 监控点先采用域名寻址方式连接DNS 服务器，再由DNS 服务器找到中心公网动态IP，建立连接。此种方式可以大大节约公网固定IP的费用，但稳定性受制于DNS服务器的稳定，所以要寻找可靠的DNS服务商。

如上图所示水文远程测控调度系统由调度中心、无线GPRS网络、远程终端单元（GPRS无线传输设备，PLC）几个部分组成：

1.远程终端单元

远程终端单元分散的分布在远程各个遥测点上，主要由GPRS模块、电源、天线、PLC及各种水行业传感器等几部分组成。PLC与现场仪表(传感器)相连，对现场仪表(传感器)的开关量、模拟量信号进行数据采集、处理、存储并通过GPRS模块向调度中心传送数据，接收并执行调度中心的命令。

PLC：根据客户要求选择使用品牌，如LG、西门子、三菱、欧姆龙等。

无线传输设备： LQ1200 GPRS DTU透明无线数据传输终端，通过RS232/RS485/TTL与水行业设备采集点的各个PLC连接，通过 GPRS网络,把数据传到调度中心。

2.调度中心

调度中心计算机处理系统是一个开放式实时应用系统，实现全部的数据处理工作。中心的功能有：数据收发管理、站点管理、水行业数据管理和系统管理。

数据遥测功能：定时巡测、手动巡测、随机抽测、分组召测。

遥控功能：控制RTU 开关量输出点的开、关状态、遥信开关状态。

参数状态管理功能：设置修改各测量数据上、下限值，通讯参数。

在线组态功能：新增数据采集点等参数通过组态定义即可完成。

数据库管理功能：对测得的数据建库，对数据进行处理，查询历史数据，报表打印。

数据显示功能： 能显示测量的各种数据、遥信开关状态、各种系统图形等，具有图形功能,模拟显示管网图、水厂工艺流程图等。

抢修修理、停水、管网冲洗等数据录入及统计。

数据共享功能：提供一个WEB站点，该WEB站点使公司宽带内部网的任意一台工作站只通过WEB浏览器就可以登陆查看所有监控点的实时数据和存储的任何时间段的历史数据。WEB 站点通过用户身份认证授权方式控制该用户可访问那些监控点的实时监控数据和存储的任何时间段的历史数据。调度中心系统管理员能增加、删除可访问用户，并对用户进行不同权限的授权。该WEB站点应能通过超链接方式联入公司统一平台。

三、专业的开发实施团队