大数据信息检索论文

第一篇：大数据信息检索论文

大数据的概念、技术与挑战

学 院： 专业名称：

学 号： 姓 名：

信息科学与技术学院 计算机应用技术

指导教师： 时 间：

大数据的概念、技术与挑战

【摘要】计算、物联网、社交网络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增长，大数据时代正式到来．数据从简单的处理对象开始转变为一种基础性资源，如何更好地管理和利用大数据已经成为普遍关注的话题．大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战，数据管理方式上的变革正在酝酿和发生．对大数据的基本概念进行剖析，并对大数据的主要应用作简单对比．在此基础上，阐述大数据处理的基本框架，并就云计算技术对于大数据时代数据管理所产生的作用进行分析．最后归纳总结大数据时代所面临的新挑战．

【关键词】大数据，技术，挑战，数据分析，云计算

近年来，伴随着物联网、云计算、移动互联网等新技术的迅猛发展，数据正以前所未有的速度不断增长和积累，大数据时代已经到来，这引起了产业界 学术界 科技界和政府机构的广泛关注。

大数据的火热并不意味着对于大数据的了解深入，反而表明大数据存在过度炒作的危险．大数据的基本概念、关键技术以及对其利用上均存在很多的疑问和争议。

一、大数据的基本概念及大数据时代产生的必然

数据是云计算技术的延伸，更是社会进步和发展的必然结果，大数据时代的到来引领了未来IT技术发展的战略走向。在信息和网络技术飞速发展的今天，越来越多的企业业务及社会活动实现了数字化，特别是随着数据生成的自动化及数据生成速度的加快，数据量也随之快速增长。同时，随着存储设备、内存、处理器等电脑元件成本的稳定下降，使得之前较昂贵的大规模数据存储和处理变得十分经济，也使得大数据的存在成为可能。传感器数据也是大数据的主要来源之一。在物联网时代，成万上亿计的网络传感器嵌入在数量不断增长的智能电表、移动电话、汽车等物理设备中，不断感知、生成并传输超大规模的有关地理位置、振动、温度、湿度等新型数据。

二、大数据的特点及关键技术分析

1.大数据的特点

大数据不是一种新技术，也不是一种新产品，而是一种新现象，是近来研究的一个技术热点 大数据具有以下4个特点，即4个V:(1)数据体量(Volumes)巨大大型数据集，从TB级别，跃升到PB级别；(2)数据类别(Variety)繁多 数据来自多种数据源，数据种类和格式冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据；

(3)价值(Value)密度低 以视频为例，连续不间断监控过程中，可能有用的数据仅仅一两秒钟；

(4)处理速度(Velocity)快 包含大量在线或实时数据分析处理的需求，1秒定律。

随着互联网技术的不断发展，数据本身就是资产云计算为数据资产提供了保管访问的场所和渠道，但如何盘活数据资产，使其为国家治理企业决策乃至个人生活服务，是大数据的核心议题，也是云计算的灵魂和必然的升级方向。

2.关键技术

2.1云计算;大数据的基础平台与支撑技术

如果将各种大数据的应用比作一辆辆“汽车”，支撑起这些“汽车”运行的“高速公路”就是云计算．正是云计算技术在数据存储、管理与分析等方面的支撑，才使得大数据有用武之地．文件系统是支撑上层应用的基础。原始的数据存储在文件系统之中，但是用户习惯通过数据库系统来存取文件．因为这样会屏蔽掉底层的细节，且方便数据管理．直接采用关系模型的分布式数据库并不能适应大数据时代的数据存储。据查询是数据库最重要的应用之一，而索引则是解决数据查询问题的有效方案。而数据分析技术是最核心的业务。

2.2大数据处理工具

关系数据库在很长的时间里成为数据管理的最佳选择，但是在大数据时代，数据管理、分析等的需求多样化使得关系数据库在很多场景不再适用．而HadOop是目前最为流行的大数据处理平台．而Hadoop最先是Doug Cutting模仿GFS，MapReduce实现的一个云计算开源平台，后贡献给Apache．Hadoop已经发展成为包括文件系统(HDFS)、数据库(HBase、Cassandra)、数据处理(MapReduce)等功能模块在内的完整生态系统(Ecosystem)．某种程度上可以说Hadoop已经成为

大数据处理工具事实上的标准．

三、大数据时代面临的机遇与挑战

综上所述，大数据时代的数据存在着如下几个特点：多源异构；分布广泛；动态增长；先有数据后有模式．正是这些与传统数据管理迥然不同的特点，使得大数据时代的数据管理面临着新的机遇与挑战。

（一）大数据带来的机遇

1.大数据的挖掘和应用成为核心，将从多个方面创造价值。

大数据的重心将从存储和传输，过渡到数据的挖掘和应用，这将深刻影响企业的商业模式 据麦肯锡测算，大数据的应用每年潜在可为美国医疗健康业和欧洲政府分别节省3000亿美元和1000亿欧元，利用个人位置信息潜在可创造出6000亿美元价值，因此大数据应用具有远超万亿美元的大市场。

2.大数据利用中安全更加重要，为信息安全带来发展契机。

随着移动互联网物联网等新兴IT技术逐渐步入主流，大数据使得数据价值极大提高，无处不在的数据，对信息安全提出了更高要求 同时，大数据领域出现的许多新兴技术与产品将为安全分析提供新的可能性;信息安全和云计算贯穿于大数据产业链的各个环节，云安全等关键技术将更安全地保护数据 大数据对信息安全的要求和促进将推动信息安全产业的大发展。

3.大数据时代来临，使商业智能信息安全和云计算具有更大潜力。大数据产业链按产品形态分为硬件基础软件和应用软件三大领域，商业智能信息安全和云计算主题横跨三大领域，将构成产业链中快速发展的三驾马车就国内而言，商业智能市场已步入成长期，预计未来3年复合年均增长率(CAGR)为35%，十二五期间潜在产值将超300亿元;信息安全预计未来3年CAGR有望保持35%～40%的快速增长，十二五期间潜在产值将超4000亿元;云计算刚进入

成长期，预计未来5年CAGR将超50%，2015年产业规模预计将达1万亿元。

（二）面临的挑战 1.大数据集成

数据的广泛存在性使得数据越来越多地散布于不同的数据管理系统中，为了便于进行数据分析需要进行数据的集成．数据集成看起来并不是一个新的问题，但是大数据时代的数据集成却有了新的需求，因此也面临着新的挑战．

1)广泛的异构性．传统的数据集成中也会面对数据异构的问题，但是在大数据时代这种异构性出现了新的变化，大量出现的各种数据本身是非结构化的或弱结构化的，如留言、博客、图像、视频数据等，如何将这些数据转化成一个结构化的格式是研究者面临的一项重大挑战．

2)数据质量．数据量大不一定就代表信息量或者数据价值的增大，相反很多时候意味着信息垃圾的泛滥.2.大数据分析

大数据最为严重的风险存在于数据分析层面。数据量的增大会带来规律的丧失和严重失真。传统意义上的数据分析主要针对结构化数据展开，且已经形成了一整套行之有效的分析体系．首先利用数据库来存储结构化数据，在此基础上构建数据仓库，根据需要构建数据立方体进行联机分析处理(online analytical processing，OI。AP)，可以进行多个维度的下钻(drill一down)或上卷(roll—up)操作．对于从数据中提炼更深层次的知识的需求促使数据挖掘技术的产生，并发明了聚类、关联分析等一系列在实践中行之有效的方法．这一整套处理流程在处理相对较少的结构化数据时极为高效．但是随着大数据时代的到来，半结构化和非结构化数据量的迅猛增长，给传统的分析技术带来了巨大的冲击和挑战。据阿里巴巴称，虽然其各类业务产生的数据为数据分析创造了非常好的基础条件，然而却招聘不到合适的数据科学家而影响了研发进展。

3.大数据的隐私问题

隐私问题由来已久，这基本也是大家最关心的问题。计算机的出现使得越来越多的数据以数字化的形式存储在电脑中，互联网的发展则使数据更加容易产生和传播，数据隐私问题越来越严重．

大数据高度依赖数据存储与共享，必须考虑寻求更好的方法消除各种隐患与漏洞，才能有效地管控安全风险。数据的隐私保护是大数据分析和处理面临的重要问题，既是技术问题也是社会学问题。如果对私人数据使用不当，尤其是泄漏有一定关联的多组数据，将导致用户的隐私泄漏。

4.大数据能耗问题

在能源价格上涨、数据中心存储规模不断扩大的今天，高能耗已逐渐成为制约大数据快速发展的一个主要瓶颈．从小型集群到大规模数据中心都面临着降低能耗的问题，但是尚未引起足够多的重视，相关的研究成果也较少．在大数据管理系统中，能耗主要由两大部分组成：硬件能耗和软件能耗，二者之中又以硬件能耗为主．理想状态下，整个大数据管理系统的能耗应该和系统利用率成正比．但是实际情况并不像预期情况，系统利用率为0时仍然有能量消耗。

5.大数据处理与硬件的协同

硬件的快速升级换代有力地促进了大数据的发展，但是这也在一定程度上造成了大量不同架构硬件共存的局面.大数据处理必须要有舍才有得。可以通过舍弃一些不必要的性能和精确性来获取更为重要的性能和精确性。．

6.大数据管理易用性问题

从数据集成到数据分析，直到最后的数据解释，易用性应当贯穿整个大数据的流程．易用性的挑战突出体现在两个方面：首先大数据时代的数据量大，分析更复杂，得到的结果形式更加多样化．其复杂程度已经远远超出传统的关系数据库．其次大数据已经广泛渗透到人们生活的各个方面，很多行业都开始有了大数据分析的需求．

7.性能测试基准

数据库产品的成功离不开以TPC系列为代表的测试基准的产生．正是有了这些测试基准，才能够准确地衡量不同数据库产品的性能，并对其存在的问题进行改进。在过去20年里，产业基准起到了很大的作用。在制定行业的标准时，性能、持有成本和能源效率是成功的三大关键。产业界标准的基准都扮演了非常重要的作用，进一步推动了计算机产业科学的发展【33】。

四、结果和结论关系

像互联网、云计算以及物联网等技术一样，大数据时代的到来势必会再次让

信息技术领域焕然一新。大数据时代下，每个个体都是数据的产生者，企业的任何一项业务活动都可以用数据来表示，如何保证大数据的质量，如何建模、提取并利用隐藏在大数据中的信息以提升企业信息系统绩效、提升企业决策能力，成为摆在业界和学术界面前的重大难题。

总的来说，目前对于大数据的研究仍处于一个非常初步的阶段，还有很多基础性的问题有待解决．大数据的几个特征中究竟哪个最重要?面对大数据管理我们需要的是简单的技术上的演变(evo1ution)还是彻底的变革(revoIution)?不同学科的研究者之间怎样协作才能更有利于大数据问题的解决?诸如此类的问题还有许多，要解决大数据问题仍有很长的路要走。

感谢：

郭彦红老师给予的的指导和提供的课件，以及所参考的文献的所有作者。

【参考文献】

[1]孟小峰，慈祥: 大数据管理：概念、技术与挑战。计算机研究与发展[146-169,2013] [2]朱志军，闰蕾，等．大数据——大价值、大机遇、大变革[M】．电子工业出版社，2012．

[3]大数据分析技术的发展［EB/OL］． 2012－05－16． http: //tech． ccidnet． com/art/32963/20120516/3859799_1． html．

第二篇：大数据-信息检索论文（范文）

浅谈大数据的概念、技术与挑战

王涛（信管110502220）

摘要：计算、物联网、社交网络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增长，大数据时代正式到来．数据从简单的处理对象开始转变为一种基础性资源，如何更好地管理和利用大数据就云计算技术对于大数据时代数据管理所产生的作用进行分析．最后归纳总结大数据时代所面临的新挑战．

关键词：大数据；技术；挑战；数据分析；云计算

Abstract： Data type and amount in human society is growing in amazing speed which is caused by emerging new services such as cloud computing，internet of things and social network，the era of big data has come． Data has been fundamental resource from simple dealing object，and how to manage and utilize big data better has attracted much attention．

key words：big data;technology;Challenge;data analysis;cloud computing

引言

近年来，伴随着物联网、云计算、移动互联网等新技术的迅猛发展，数据正以前所未有的速度不断增长和积累，大数据时代已经成为普遍关注的话题．大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战，数据管理方式上的变革正在酝酿和发生．对大数据的基本概念进行剖析，并对大数据的主要应用作简单对比．在此基础上，阐述大数据处理的基本框架。这引起了产业界、学术界、科技界和政府机构的广泛关注。

大数据的火热并不意味着对于大数据的了解深入，反而表明大数据存在过度炒作的危险．大数据的基本概念、关键技术以及对其利用上均存在很多的疑问和争议【1】。

一、大数据的基本概念及大数据时代产生的必然

早在1980年，美国著名未来学家阿尔温托夫勒(AlvinToffler)在 第三次浪潮 一书中就提出了 大数据(BigData)的概念，并将其赞颂为 第三次浪潮的华 彩乐章［2］著名的数据库专家 图灵奖获得者吉姆 格雷(JimGray)认为传统的实验 理论和计算机3大范式在科学研究，特别是一些新的研究领域已经无法很好地发挥作用，于是，其在2007年提出当前科学研究已发展到了 第4种范式(The FourthParadigm)［3］，即以大数据为代表的数据密集型科学近几年，一些国际顶级学术刊物也相继出版专刊对大数据进行探讨研究 2008 年9 月，Nature推出了 Big Data 专刊［4］，从互联网技术环境科学 生物医药等多个方面介绍了海量数据带来的挑战 2011年2月，Science出版关于数据处理的专刊 Dealing with data［5］，讨论了数据洪流(Data Deluge)所带来的挑战，并阐明了大数据对于科学研究的重要性 2012年4月，欧洲信息学与数学研究协会会刊ERCIM News出版专刊 Big Data［6］，讨论了有关大数据时代的数据管理 数据密集型研究的创新技术等问题，并介绍了欧洲科研机构开展的研究活动和进展情况最早提出大数据时代已经到来的是全球知名咨 询 公 司 麦 肯 锡，其下属机构全球研究所(Mckinsey Global Institute)于2011年6月份发布的一份专门的研究报告，将 大数据 视为全世界 下一个创新竞争和生产力提高的前沿领域［7］，并指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素;而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来 著名的市场调研机构IDC(International Data Corporation，国际数据公司)在同年的报告中指出，全球数据总量在2011年已达到1.8ZB(1ZB=240GB)，而这个数据大约以每两年翻一番的速度增长，预计至2020年全球拥有的数据量将达35ZB［8］。《华尔街日报》更是将大数据时代 智能化生产和无线网络革命称为引领未来繁荣的三大技术变革 此外，Gartner、埃森哲、普华永道等咨询公司，以及财富周刊 福布斯 纽约时报 等商业管理刊物也对大数据进行了大量的介绍与研究纵观国际形势，对大数据的研究与应用已引起各国政府部门的高度重视，成为重要的战略布局方向． 各国陆续出台有关大数据的国家政策和战略2012年3月，美国奥巴马政府宣布将投资2亿美元用于启动 大数据研发倡议(Big Data Researchand Development Initiative)［9］，旨在提高从海量和复杂的数据中分析萃取信息的能力，这是继1993年美国宣布 信息高速公路 计划后的又一次重大科技发展部署 继美国率先开启大数据国家战略先河之后，其他各国也随后跟进，已经或者即将出台相应的战略举措 日本政府重新启动2011年日本大地震后一度搁置的政府ICT战略研究，于2012年7月推出新的综合战略 活力ICT日本，重点关注大数据应用所需的云计算 传感器社会化媒体等智能技术开发2013年1月，英国政府宣布将注资6亿英镑，发展大数据 合成生物等8类高新技术，其中信息行业新兴的大数据技术将获得1.89亿英镑，占据总投资的近三分之一 澳大利亚政府在同年3月表示，澳联邦政府大数据战略草案有望在5月份出台，预计会在6 7月间正式颁布一些区域性或全球性组织也对大数据予以高度关注 在过去几年，欧盟 已对科学数据信息化基础设施投资1亿多欧元，并将数据信息化基础设施作为Horizon2020计划的优先领域之一［6］2012年初，世界经济论坛一份题为 大数据，大影响(BigData，BigImpact)的报告宣称，数据已经成为一种新的经济资产类别，就像货币或黄金一样联合国也推出了全球脉动(GlobalPulse)［10］倡议项目，希望利用大数据来促进全球经济发展。

尽管各界 各地区 各机构对大数据广泛关注，进行了大量研究，但目前对于大数据尚未形成公认的定义 信息管理专家涂子沛在大数据: 正在到来的数据革命 中这样定义大数据:指那些大小已经超出了传统意义上的尺度，一般的软件工

［11］具难以捕捉 存储管理和分析的数据，一般以 太字节(TB)为单位 这一定义基本上简单明了地阐述了大数据的内涵。

数据是云计算技术的延伸，更是社会进步和发展的必然结果，大数据时代的到来引领了未来IT技术发展的战略走向。在信息和网络技术飞速发展的今天，越来越多的企业业务及社会活动实现了数字化，特别是随着数据生成的自动化及数据生成速度的加快，数据量也随之快速增长【12】。同时，随着存储设备、内存、处理器等电脑元件成本的稳定下降，使得之前较昂贵的大规模数据存储和处理变得十分经济【13】，也使得大数据的存在成为可能。传感器数据也是大数据的主要来源之一。在物联网时代，成万上亿计的网络传感器嵌入在数量不断增长的智能电表、移动电话、汽车等物理设备中，不断感知、生成并传输超大规模的有关地理位置、振动、温度、湿度等新型数据。此外，移动互联网、三网融合、Web 2.0技术和电子商务技术的飞速发展，也促进了大数据时代的产生和发展。可以发现，数字化已经成为社会发展的必然趋势。与生产过程必须依赖硬件设备和人力资本一样，企业的业务活动、创新、成长也越来越离不开大量数据的支持【14】。也就是说，企业的任何一项业务活动都与大量的数据紧密相联，而我们每一个人都是数据的产生者，数据量与日俱增，数据结构繁杂多变，数据产生速度非常之快，我们已经进入了大数据的时代【15】。

二、大数据的特点及关键技术分析

1.大数据的特点

大数据不是一种新技术，也不是一种新产品，而是一种新现象，是近来研究的一个技术热点 大数据具有以下4个特点，即4个V［16］:(1)数据体量(Volumes)巨大大型数据集，从TB级别，跃升到PB级别；(2)数据类别(Variety)繁多 数据来自多种数据源，数据种类和格式冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据；

(3)价值(Value)密度低 以视频为例，连续不间断监控过程中，可能有用的数据仅仅一两秒钟；

(4)处理速度(Velocity)快 包含大量在线或实时数据分析处理的需求，1秒 定律。

随着互联网技术的不断发展，数据本身就是资产云计算为数据资产提供了保管访问的场所和渠道，但如何盘活数据资产，使其为国家治理企业决策乃至个人生活服务，是大数据的核心议题，也是云计算的灵魂和必然的升级方向。

大数据已经出现 IDC多年的研究结果告诉我们: 全球数据量大约每两年翻一番，每年产生的数据量按指数增长，数据增速基本符合摩尔定律 全球有46亿移动电话用户，有20亿人访问互联网，人们以比以往任何时候都高得多的热情在与数据或信息交互 思科公司预计，到2013年，在互联网上流动的数据量将达到每年667艾字节［17］。

关键技术

2.1云计算;大数据的基础平台与支撑技术

如果将各种大数据的应用比作一辆辆“汽车”，支撑起这些“汽车”运行的“高速公路”就是云计算．正是云计算技术在数据存储、管理与分析等方面的支撑，才使得大数据有用武之地．文件系统是支撑上层应用的基础。原始的数据存储在文件系统之中，但是用户习惯通过数据库系统来存取文件．因为这样会屏蔽掉底层的细节，且方便数据管理．直接采用关系模型的分布式数据库并不能适应大数据时代的数据存储。据查询是数据库最重要的应用之一，而索引则是解决数据查询问题的有效方案。而数据分析技术是最核心的业务【18】。

2.2大数据处理工具

关系数据库在很长的时间里成为数据管理的最佳选择，但是在大数据时代，数据管理、分析等的需求多样化使得关系数据库在很多场景不再适用．而HadOop

【19】是目前最为流行的大数据处理平台．而Hadoop最先是Doug Cutting模仿GFS，MapReduce实现的一个云计算开源平台，后贡献给Apache．Hadoop已经发展成为包括文件系统(HDFS)、数据库(HBase、Cassandra)、数据处理(MapReduce)等功能模块在内的完整生态系统(Ecosystem)【20】．某种程度上可以说Hadoop已经成为大数据处理工具事实上的标准【21】．

三、大数据时代面临的机遇与挑战

综上所述，大数据时代的数据存在着如下几个特点：多源异构；分布广泛；动态增长；先有数据后有模式．正是这些与传统数据管理迥然不同的特点，使得大数据时代的数据管理面临着新的机遇与挑战。

大数据带来的机遇【22】

1.大数据的挖掘和应用成为核心，将从多个方面创造价值。

大数据的重心将从存储和传输，过渡到数据的挖掘和应用，这将深刻影响企业的商业模式 据麦肯锡测算，大数据的应用每年潜在可为美国医疗健康业和欧洲政府分别节省3000亿美元和1000亿欧元，利用个人位置信息潜在可创造出

【23】6000亿美元价值，因此大数据应用具有远超万亿美元的大市场。

2.大数据利用中安全更加重要，为信息安全带来发展契机。

随着移动互联网物联网等新兴IT技术逐渐步入主流，大数据使得数据价值极大提高，无处不在的数据，对信息安全提出了更高要求 同时，大数据领域出现的许多新兴技术与产品将为安全分析提供新的可能性;信息安全和云计算贯穿于大数据产业链的各个环节，云安全等关键技术将更安全地保护数据 大数据对信息安全的要求和促进将推动信息安全产业的大发展。

3.大数据时代来临，使商业智能信息安全和云计算具有更大潜力。大数据产业链按产品形态分为硬件基础软件和应用软件三大领域，商业智能信息安全和云计算主题横跨三大领域，将构成产业链中快速发展的三驾马车就国内而言，商业智能市场已步入成长期，预计未来3年复合年均增长率(CAGR)为35%，十二五期间潜在产值将超300亿元;信息安全预计未来3年CAGR有望保持35%～40%的快速增长，十二五期间潜在产值将超4000亿元;云计算刚进入成长期，预计未来5年CAGR将超50%，2015年产业规模预计将达1万亿元。

（一）面临的挑战 1.大数据集成

数据的广泛存在性使得数据越来越多地散布于不同的数据管理系统中，为了便于进行数据分析需要进行数据的集成．数据集成看起来并不是一个新的问题，但是大数据时代的数据集成却有了新的需求，因此也面临着新的挑战．

1)广泛的异构性．传统的数据集成中也会面对数据异构的问题，但是在大数据时代这种异构性出现了新的变化，大量出现的各种数据本身是非结构化的或弱结构化的，如留言、博客、图像、视频数据等，如何将这些数据转化成一个结构化的格式是研究者面临的一项重大挑战【25】．

2)数据质量．数据量大不一定就代表信息量或者数据价值的增大，相反很多时候意味着信息垃圾的泛滥.2.大数据分析

大数据最为严重的风险存在于数据分析层面。数据量的增大会带来规律的丧【26】失和严重失真。传统意义上的数据分析主要针对结构化数据展开，且已经形成了一整套行之有效的分析体系．首先利用数据库来存储结构化数据，在此基础上构建数据仓库，根据需要构建数据立方体进行联机分析处理(online analytical processing，OI。AP)，可以进行多个维度的下钻(drill一down)或上卷(roll—up)操作．对于从数据中提炼更深层次的知识的需求促使数据挖掘技术的产生，并发明了聚类、关联分析等一系列在实践中行之有效的方法．这一整套处理流程在处理相对较少的结构化数据时极为高效．但是随着大数据时代的到来，半结构化和非结构化数据量的迅猛增长，给传统的分析技术带来了巨大的冲击和挑战。据阿里巴巴称，虽然其各类业务产生的数据为数据分析创造了非常好的基础条件，然而却招聘不到合适的数据科学家而影响了研发进展【27】。

3.大数据的隐私问题

隐私问题由来已久，这基本也是大家最关心的问题。计算机的出现使得越来越多的数据以数字化的形式存储在电脑中，互联网的发展则使数据更加容易产生和传播，数据隐私问题越来越严重．

大数据高度依赖数据存储与共享，必须考虑寻求更好的方法消除各种隐患与漏洞，才能有效地管控安全风险。数据的隐私保护是大数据分析和处理面临的重要问题，既是技术问题也是社会学问题。如果对私人数据使用不当，尤其是泄漏有一定关联的多组数据，将导致用户的隐私泄漏【28】。

当前，数据安全形势不容乐观，需要保护的数据量增长已超过了数据总量的增长 据IDC统计【29】:2010年仅有不到1/3的数据需要保护，到2020年这一比例将超过2/5;2012年的统计显示，虽然有35%的信息需要保护，但实际得到保护的不到20% 在亚洲 南美等新兴市场，数据保护的缺失更加严重 首先个人隐私更容易通过网络泄露，随着电子商务 社交网络的兴起，人们通过网络联系的日益紧密，将个人的相关数据足迹聚集起来分析，可以很容易获取个人的相关信息，隐私数据就可能暴露，而数据在网络上的发布机制使得这种暴露似乎防不胜防;在国家层面，大数据可能给国家安全带来隐患，如果在大数据处理方面落后，就可能导致数据的单向透明。信息安全战略是国家战略不可分割的重要组成部分，其必要性体现在其从上而下，而非从下而上的推动作用。30美国发布大数

【

】据研发计划，大力发展大大数据技术就有增强国家安全方面的战略考量.4.大数据能耗问题

在能源价格上涨、数据中心存储规模不断扩大的今天，高能耗已逐渐成为制约大数据快速发展的一个主要瓶颈．从小型集群到大规模数据中心都面临着降低能耗的问题，但是尚未引起足够多的重视，相关的研究成果也较少．在大数据管 理系统中，能耗主要由两大部分组成：硬件能耗和软件能耗，二者之中又以硬件能耗为主．理想状态下，整个大数据管理系统的能耗应该和系统利用率成正比．但是实际情况并不像预期情况，系统利用率为0时仍然有能量消耗【31】。

5.大数据处理与硬件的协同

硬件的快速升级换代有力地促进了大数据的发展，但是这也在一定程度上造成了大量不同架构硬件共存的局面.大数据处理必须要有舍才有得。可以通过舍

【32】弃一些不必要的性能和精确性来获取更为重要的性能和精确性。

6.大数据管理易用性问题

从数据集成到数据分析，直到最后的数据解释，易用性应当贯穿整个大数据的流程．易用性的挑战突出体现在两个方面：首先大数据时代的数据量大，分析更复杂，得到的结果形式更加多样化．其复杂程度已经远远超出传统的关系数据库．其次大数据已经广泛渗透到人们生活的各个方面，很多行业都开始有了大数据分析的需求．但是这些行业的绝大部分从业者都不是数据分析的专家，在复杂的大数据工具面前，他们只是初级的使用者(naIve users)．复杂的分析过程和难以理解的分析结果限制了他们从大数据中获取知识的能力．这两个原因导致易用性成为大数据时代软件工具设计的一个巨大挑战．关于大数据易用性的研究仍处于一个起步阶段．从设计学的角度来看易用性表现为易见(easy to discover)、易学(easy to learn)和易用(easy to use)。

7.性能测试基准

数据库产品的成功离不开以TPC系列为代表的测试基准的产生．正是有了这些测试基准，才能够准确地衡量不同数据库产品的性能，并对其存在的问题进行改进。在过去20年里，产业基准起到了很大的作用。在制定行业的标准时，性能、持有成本和能源效率是成功的三大关键。产业界标准的基准都扮演了非常重要的作用，进一步推动了计算机产业科学的发展

四、结果和结论关系

像互联网、云计算以及物联网等技术一样，大数据时代的到来势必会再次让信息技术领域焕然一新。大数据时代下，每个个体都是数据的产生者，企业的任何一项业务活动都可以用数据来表示，如何保证大数据的质量，如何建模、提取并利用隐藏在大数据中的信息以提升企业信息系统绩效、提升企业决策能力，成

【33】

。为摆在业界和学术界面前的重大难题。

总的来说，目前对于大数据的研究仍处于一个非常初步的阶段，还有很多基础性的问题有待解决．大数据的几个特征中究竟哪个最重要?面对大数据管理我们需要的是简单的技术上的演变(evo1ution)还是彻底的变革(revoIution)?不同学科的研究者之间怎样协作才能更有利于大数据问题的解决?诸如此类的问题还有许多，要解决大数据问题仍有很长的路要走。

[参考文献]

[1]孟小峰，慈祥: 大数据管理：概念、技术与挑战。计算机研究与发展[146-169,2013] [2]阿尔温 托夫勒． 第三次浪潮［M］． 北京: 三联书店出版社，1984．

[3]Jim Gray． One Science A transformed scientific method[C]//Tony H，Stewart T，Kirstin T． The fourth paradigm: Data－intensive scientific discovery．Redmond，WA: Microsoft Research，2009: 19－33．

[4]Nature.BigData[EB/OL].http://www.xiexiebang.com 【2013年10月31日】

[33]CSDN:大数据：基准测试是一把尚未完成的尺子。IT专家网数据中心，【2013年12月10日】

第三篇：信息检索论文

应用化学

化学与化工信息检索论文

题目:造纸污水处理技术现状及进展

学生姓名------学号--------专业应用化学指导教师----

2010年12月 25日

造纸污水处理技术现状及进展

摘要：本文在查阅相关资料的基础上，介绍了国内外的造纸废水处理的常用方法，并对各种方法进行了评价和分析，综述了造纸废水处理研究的现状和进展。

关键词:造纸；废水处理；治理技术

随着造纸工业的迅速发展，造纸工业废水已经成为水环境的重要污染源之一。在造纸过程中，除纤维素和部分半纤维素之外的大量有机物要进入废水中，并且即使经过充分的废液回收利用，也还是或多或少地会有一些纤维素和半纤维素流失进入废水中。含有大量有机物的造纸废水排入水体，对水体会造成不同程度的污染。同时造纸过程中通常还需要加入一些必要的化学药剂和化学助剂，这些物质流失进入水体中更是加重了水体污染[1]。造纸工业的漂白工段通常是采用含氯化合物漂白，导致排出的漂白废水中含有大量的氯化有机物，其中的氯苯酚、氯化脂肪酸、氯化树脂酸、dioxin等有毒且难以处理的氯化有 机物，对环境中的生物具有强烈的毒害、致畸、致多发性脑神经病变作用[2]，因此如何有效地去除造纸废 水中的含氯有机物已经成为废水处理的一大难题。本文在查阅大量文献资料的基础上主要介绍国内外处理造纸废水的方法和新技术，并就国内外治理造纸废水的现状和未来的发展前景加以评述。

1概况

据经贸委粗略估计，目前我国大小造纸厂约有近万家。造纸工业总的特点是：使用原料种类多、生产工艺类型多、中小企业多、技术装备落后者多。调查统计表明，造纸工业废水年排放总量达17亿t，占工业废 水总排放量的10以上。造 纸工业废水主要包括黑液或红液(蒸煮制浆废水)、中段废水(制浆洗涤、筛选、漂白废水)、造纸 白水(抄纸废水)三大类，其中蒸煮黑液的环境污染最为严重，占整个造纸工业污染的90%。制浆废水 BOD、COD、SS、pH、色度、浊度等均严重超标；中段废水成分与制浆废水相近，但浓度低，富含漂白工段产生的对环境危害最大的有机氯化物；抄纸废水中主要含有细小纤维、填料(高岭土等)和胶料(松香等)，BOD值较低。造纸工业废水的治理是国内外造纸行业亟待解决的难题[3]。

2治理方法

2.1物理化学法

物理化学法是通过物理或者化学反应的作用来达到去除废水中的污染物的目的，主

要有以下方法：

2.1.1臭氧法

臭氧氧化技术已问世多年，近年来，由于低成本的臭氧发生装置和臭氧处理装置的出现而重新成为研究热点。臭氧(O3)是一种强氧化剂，O3作为两性离子，能选择性地分解发色基团。安郁琴[4]将经过化学混凝处理后和经过化学混凝过滤吸附处理后的麦革浆黑液利用臭氧法处理，处理 20分钟后脱色率可以达到 82．1％，但 CODCr去除率仅 15．8％，BOD5去除率为24．8％，Ff1此可见，臭氧脱色效果显著，但对 CODCr和 BOD5的去除效果不明显。臭氧在水中的溶解度较低，如何更有效地使臭氧溶解于水中从而提高其利用率已经成为该技术研究的热点。使用臭氧法也会产生其它副产物，其中最受关注的是羰基化合物中的醛类，比如甲醛、乙醛，这些物质具有急性毒性和慢性毒性，并具有一定的致畸、致癌、致突性。

2.1.2光催化氧化

光催化氧化技术是近年来比较活跃的研究领域，光催化氧化技术是在光化学氧化技术的基础上发展起来的。张志军等[5]利用中压汞灯作光源，研究了氯代二苯并一对一二哑英(CDDS、包括DCCD、PcDD和OCDD)在 TiO2催化下的光解反应，在室温下，4h内DCCD、PCDD和OCDD分别降解87．2％、84．6％和91．2％。M．Cristina Yeber等

[6]将 TiO2、Zno同定在玻璃上，对漂白废水进行了光催化氯化处理，处理 120min后，废水的色度可完全去除，总酚含量减少了85％，TOC减少了50％，处理后残留有机物的急性毒性和AOX比处理前大为减少，高分子化合物几乎全部降解。

2.1.3混凝法

混凝法是目前国内外重点研究的方向之一，该法适应性强、基建投资低、管理简单，是水处理常用的方法，在造纸行业的废水处理中使用普遍。造纸废水中由于含有大量纤维和化学药剂，所以一般在处理造纸废水时首先要用混凝法除去这些物质。张学洪、解庆林[9]等利用聚合氯化铝处理广西某造纸厂的造纸终端废水(CODcf=400mg／L)，处理后可以达到国家污水排放标准(CODcf<100 mg／L)。黄国林、乐长高等[1O]利用水溶性酚醛树脂和硫酸反应得到的聚合物处理抚州某造纸厂制浆车间排污口的废水，在最佳工艺条件下反应时，CODc和ss去除率分别可以达到80％一85％和 90％ 一95％，处理水可以达到排放标准。

2.2 生物法

废水的生物处理方法就是利用微生物的新陈代谢功能使废水中呈溶解状和胶体状的有机污染物被降解并转化成无害稳定的物质，使废水得到净化。生物法处理废水因其运行成本低，效果较好而在废水处理中得到了广泛应用。造纸废水中含有大量有机物质，废水的可生化性较好，可以为生物法的微生物提供大量的营养物质，从而能保证微生物的正常生长繁殖和生物法处理废水的正常运行。利用生物法对造纸废水进行二级处理可有效去除BOD、COD。造纸废水生物处理法主要有以下几种：

2.2.1好氧生物处理法

利用好氧微生物(主要为好氧菌)的新陈代谢作用来降解污染物，其中应用最多的主要是活性污泥法，我国的科研人员对活性污泥法处理造纸废水进行了大量的研究，取得了许多成功的经验。造纸废水中的木素是不易生物降解的物质，活性污泥对木素具有极好的吸附性能，通过生物降解和活性污泥吸附作用，可达到除去木素的目的，从而降低溶解木素的浓度。芬兰OULU纸浆厂[11]利用活性污泥法加污泥曝气再生处理漂白硫酸盐纸浆废水，可使BOD去除率达 90％，COD去除率达84％。活性污泥法由于其处理成本低、易于管理、处理效果较好而在废水处理中的应用越来越多。

2.2.2生物膜法

相对于活性污泥系统而言，生物膜系统具有如下显著优点：高容积负荷、更强的抗毒能力和耐负荷冲击能力、无须污泥回流且处理设施紧凑。朱光灿、吕锡武等[12]研究了采用脱木素—缺氧—好氧生物膜工艺处理造纸废水。其中的脱木素工艺可有效地将黑液中碱木素脱稳析出，并提高废水的可生化性，当废水 pH=5，绝干纤维污泥与废水 COD质量之比为 1．1，硫酸铝投加量为 160m g／L时，COD去除率大于 63％。生物法在利用微生物处理造纸废水时候，如果造纸废水中含有大量不利于微生物生长的物质时候，生物法处理效果较差，因此在制浆造纸过程中可以通过改变漂白剂的种类，提高造纸废水的可生化性，使其更利于生物法处理。

2.3 其他方法

2.3.1电化学法

利用电化学法进行废水的处理是电化学法获得应用的典型领域。通过电化学反应中的直接或者间接氧化和还原作用，可以破坏有毒或难降解有机物的结构，去除其生物毒性，提高其可生化性。电化学法处理废水一般无需加入化学药品，后处理简单，占地面积小，管理方便，被称为清洁处理法。景峰、王耀新、朱文菊等将电化学和凝聚沉淀法两种方法联合起来处理造纸废水，使造纸废水COD去除率达到55％～70％，色度去除，率达90％～95％[13]。目前关于电化学法的许多问题特别是降解机理、处理速度和经济

性问题尚未完全解决，电化学处理废水电耗较高，使该方法的工业应用受到限制。

2.3.2湿式空气氧化法

湿式空气氧化法是目前研究较多的新型处理方法，即在高温、高压下在液相中利用空气或者氧气作为氧化剂，将废水中的有机物氧化成二氧化碳和水，从而达到去除污染物的目的。国内从80年代开始进行湿式空气氧化法的研究，先后进行了造纸黑液、含硫废水、酚水及煤制气废水、农药废水、印染废水等的实验研究，目前，湿式空气氧化法在国内尚处于试验阶段。与常规方法相比，湿式空气氧化法具有适用范围广、处理效率高等优点。但由于湿式空气氧化法一般要求在高温高压的条件下进行，对设备材料的要求较高，须耐高温、高压并耐腐蚀，因此设备费用高，系统的一次性投资大，在实际推广应用方面仍存在着一定的局限性。

2.3.3超临界水氧化法

在处理难降解有机废水方面，超临界水氧化技术是目前研究较为活跃的新技术。由于超临界水气液 相界面消失．成为一均相体系，因而超临界水中的有机物反应速度极快。Model等[14]对有机炭含量达 27．33 g/L的废水进行超临界水氧化处理，在实验条件下，1分钟内就使有机氯和有机炭的去除率分别达到99．99％和99．97％。超临界水氧化技术具有良好的工业应用前景，但是由于对反应条件要求较为苛刻(高温、高压)，对设备要求偏高，因此还有一些实际的技术问题需要解决。造纸废水治理技术展望

随着全球可持续发展战略的实施，循环经济和 清洁生产技术越来越受到人们的关注，造纸工业废水治理从末端治理向清洁生产工艺、物质循环利用、废水回用综合防治方向发展。未来造纸工业废水治理将突出以下几个方面：

(1)贯彻循环经济理念、重视清洁生产技术的开发与应用，提高物质的转化率和循环使用率，从源头上削减各污染物的产生量并在厂内将大量废水循环回用，实现封闭循环，结合废水综合治理，最终实现废水零排放。

(2)综合目前国内外技术发展情况，应重视开发和引进先进的治理技术：重视黑液 处理技术(主要为碱 回收 技术)、重 视 SS、BOD、COD 的去除技术及脱色技术。

(3)应重视 生物处理方法在造纸工业废水处理中的应用，生物技术具有成本低、效益高、与其他方法组合可大大提高造纸废水的处理率，随着分子生物学技术、物种微生物技术的发展和应用，具有高效、耐毒性的菌种不断培育成功，为生物技术的广泛应用提供了前提条件。

(4)人工湿地处理系统作为一种成本低廉、节能降耗、简单易行、效果显著、无二次污染的废水处理技术，是造纸废水处理的新方法[15]。

(5)废纸造纸企业均存在诸多设计、建造、管理问题，阻碍废水回用现状的进一步改善。节水空间仍然很大。生产过程中，应加强管理，培养员工节水意识。调动员工积极性，根据实际生产经验，提出合理的回改进措施[16]。

参考文献

[1] 张 珂，陈仁锐。丁明秀，等．造纸工业污染防治技术与环境管理[M]．北京：轻工业出版社，1988．14-15．

[2] 谢 澄，陈中豪，疏明君，等．生物流化床～化学絮凝法处理纸浆漂白废水[J]．工业用水与废

水，2002，33(I)：27-30．

[3] 黄夏银，冯彬．造纸废水处理技术研究现状及展望[J]．污染防治技术，2004，12：17（4）:9-11．

[4] 刘全校，安郁琴．臭氧 用于治理造纸废水．纸和造纸，2000，7：44．

[5] 张志军，包志成，王克欧．二氧化钛催化下的氯代二苯并一对一二哑英光解反应[J]．环境化学，1996，15(1)：47．

[6] M Cfistina Yeber,Jaime Rodrlguez,Juanita Freer,et a1．Photocatalytic Degradation of

C：ellulose Bleaching Effiuent by supportedTiO2 andZ 0．C卜lEM0sPERE2000，41：1193．

[9] 张学洪，解庆林，李金城，等，造纸废水的混凝处理研究[J]．桂林工学院学报，2000，(4)：

189-191．

[10] 黄国林，乐长高，粱平．利用聚合物处理造纸废水的研究[J，环境科学与技术，1997，(1)：

24—26.[11] 范懋功．活性 污泥法处理造纸废水…．给水排水，1996，22(12)：29—31．

[12] 朱光灿，吕锡武，宋海亮，等，脱木素一缺氧一好氧生物膜工艺处理造纸废水试验研究[J]，给水排水，2004．30(1)：56—59．

[13] 景 峰，王耀新，宋文菊，试论电化学一凝聚法处理造纸废水[J]．黑龙江环境通报，2000，24(2)：

81—82．

[14] Model M．Processing Methods for the Oxidation ofOrganics in Supercritical Water『P1．US

Patent：4543(9)．1 985.09.24．

[15] 朱光灿，吕锡武，宋海亮，等，造纸废水治理技术研究现状及展望[J]，污染防治技术，2004．17(4)：14．

[16] 张金红，废纸造纸废水回用工艺现状及改造实例[J]，湖北造纸，2010．3：38．

第四篇：信息检索论文

关于数字化学习资源利用的思考

人资1W 学号：10213103

姓名：陈磊 班级：10摘 要：随着教育信息化工程的整体推进，要求数字化学习资源的建设也要同步地向前发展。正确认识数字化学习资源建设的现状，并提出正确有效的举措与做法，对于数字化学习资源的建设具有重要的指导作用。

关 键 词：数字化学习资源、发展趋势、应用与开发、质量监控

一、关于数字化学习资源的内容———要关注国际上教育思想的转变

1.1在考虑数字化学习资源建设的过程中，首先应当看到，从上世纪90年代末到本世纪初这几年间，整个国际教育界的教育思想有一个大的转变。[1] 由于在网络环境下既有丰富的学习资源，又有很强的交互性，便于自主学习、自主探究，所以，随着网络的普及，在建构主义理论的支持下，基于网络的“以学生为中心”的教育思想在上世纪90年代初期、中期甚至到90年代末都一直很流行，而传统的“以教师为中心”的教育思想则受到严厉的批判。与此同时，在教学过程中教师必不可少的主导作用（如正确的启发引导、重点与难点的分析把握、促进新知与旧知之间的联系等等）也被当作糟粕扔掉了。

与国际教育界上述教育思想观念的转变相适应，数字化学习资源建设的内容也要相应地实现由支持“以教为主”或“以学为主”，转变为支持“学教并重”。1.2 支持“以教为主”的数字化学习资源，由于其主要关注点是辅助教师解决教学中的重点、难点，提高教学效率，更好地向学生传授知识（而对学生自主学习、自主探究等活动则缺乏相应的关注与支持），故其内容强调要为一线教师的学科教学提供多媒体课件、CAI课件、典型课例、教学设计方案和各类试题等资源；支持“以学为主”的数字化学习资源，由于其主要关注点是要促进学者的自主学习、自主探究活动和小组的协作学习、协作探究活动（而对如何辅助教师的“教”，则缺乏相应的关注与支持），故其内容应是能起认知探究工具作用与协作交流工具作用的数字化学习资源。

二、关于数字化学习资源的管理———要关注两个新的发展趋势

关于数字化学习资源的管理，有两个新的发展趋势值得我们关注。

2.1目前对数字化学习资源的管理，主要考虑的问题是如何通过数据库存储方式对学习资源的数据内容进行有效的管理,但管理数字化学习资源的最终目的，是为了能在教学过程中充分地利用这些资源。所以，我们在建设数字化学习资源的过程中不仅应当关注学习资源的数据内容管理，同时也应当关注（甚至更应当关注）学习资源应用环境的支持与管理。

学科群资源网站是以不同学科的数字化学习资源为核心，建设起一个集资源共建共享、在线课件开发、联机备课、学科信息发布、互动交流等功能于一体的多学科、多层次的学科网站群，目的是使数字化学习资源的利用能更加符合教师和学生的思维方式与行为习惯。

2.2目前，绝大部分省、市或地区的数字化学习资源都是分散存储于该省、市的各个学校或该地区的不同学习资源网站上，应当采用何种机制才能对分散存储的资源进行有效管理并进行共建、共享，这是数字化学习资源建设关注的焦点之一。我们认为，建立“区域内分布式资源网络管理系统”是有效解决大范围数字化学习资源整合与共享问题的较佳方案。建设区域内分布式资源网络管理系统的核心技术包括两项内容：

2.2.1对资源目录的集中管理

本地区的学习资源中心（例如省电教馆）要为广大用户提供一个能覆盖本地区所有数字化学习资源网站的资源目录管理系统，以便本地区不同学习资源网站之间的互相访问与资源共享。而且，还要有专人对该资源目录系统进行经常性维护，从而达到本地区范围内各资源站点目录的同步更新与统一管理。与此同时，系统还应提供专用的教学搜索引擎，以实现对不同资源站点上相关信息的快速查询与检索；当用户需要打开某个资源时，资源目录管理系统应提供重定向功能 2.2.2对资源数据的分布式存储

数字化学习资源网络系统是由多个资源站点组成的，资源网内每一个提供资源信息服务的站点都是资源网中的一个节点———用于存储实际的物理资源，资源节点之间基于一定的信任授权关系进行资源互访，资源元数据信息与本地区学习资源中心目录管理系统中的目录信息保持同步，因此可以实现网络系统内数字化学习资源的分布式存储和集中式管理，并在本地区范围内提供广泛的基于共享的数字化学习资源服务。

三、关于数字化学习资源的质量监控———评审机制的建立和实施

3.1当前数字化学习资源的建设呈无序状态，很多单位在组织资源建设时，只注重数量而忽视质量。应该通过建立有效的数字化学习资源评审机制，并提高评审结果的科学性和权威性来规范资源建设行为。与此同时，还应制定具有可操作性的数字化学习资源评价指标体系，这种评价指标的制定要突出数字化学习资源的教育特性和新课程标准对学习资源的要求，并要以素质教育和创新教育为基本出发点。3.2 为了保证数字化学习资源评审的科学性与有效性，应当采用专家评审与群众（用户）评价相结合的方式。

专家评审应建立包括几方面专业人员的评审小组，通常应该包括学科教学专家、教育技术专家、信息技术人员、统计人员（对资源评审结果进行统计）等。在整个评审过程中每个成员应各司其职，把好相应环节的质量关。

群众（用户）评价从时间上看，分为使用前评价和使用后评价两种。使用前评价是根据事先制定的数字化学习资源评价指标体系，为不同用户编写不同的问卷来获取评价信息及相应的得分———使用前的评价得分。使用后评价则主要依据公开发布该资源后被引用情况的统计信息（如被点击次数、被下载次数、被引用次数等）以及用户使用该资源后在网上的评论信息，把二者结合起来（即把被引用情况的统计信息和网上的评论信息结合起来）进行综合评价，才能得出相应的得分———使用后的评价得分。再对使用前评价和使用后评价所产生的两种得分作加权统计———由此即可得出群众（用户）评价的总得分。

最后，将专家评审的结果与群众（用户）评价的总得分二者结合起来，这才是能够保证数字化学习资源评审科学性与有效性的最终结果，并可以此作为确定该数字化学习资源评价等级以及收费标准的主要依据。

【参考文献】

[1]何克抗，从Blending Learning看教育技术理论的新发展[J].电化教育研究，2004,（3）:1~6.2

第五篇：信息检索论文

居民用电远程抄表系统

长期以来，供电企业电能数据的抄算都是基于电能表的手工作业方式，即每月定期派人到各用户那里抄录电能表的用电数据作为电费计算和收缴的依据。随着电力负荷的急剧增长，一户一表和直供到户等营销举措的不断深入，用电企业纷纷将家属宿舍的用电治理业务交还供电企业，致使供电企业的电量抄录的工作量急剧膨胀。白银供电公司在城网农网改造结束后，仅市区居民直供用户将达到9万户，就地分散的手工抄表根本无法适应用电治理的需要。因此，远程抄表系统的技术研究和产品开发势在必行。

1远程自动抄表系统的现状及其特点

一般情况下，一个家属楼单元有14～18块低压电能表，单元子区数据采集器负责采集其下属的电能表电量数据，配变集中器则负责收集配电变压器下面的所有单元子区采集器的数据。从数据传输的角度看，其组网方式有：两级纯专线组网方式、两级混合组网方式、两级载波组网方式。

从组网拓扑的角度讲，只要在用户电能表、单元子区采集器、配变集中器采用专用信道通信，远程自动抄表系统的缆线工程量就非常大，有线专用信道的维护也有一定困难。鉴于这种情况，各科研单位和厂商都在努力做到取消单元子区采集器，实现用户电能表与配变集中器的直接低压电力线载波通信，这样就大大减少了缆线工程量，而且数据远程传输的组网拓扑与低压配电网保持一致，有利于系统的运行维护和用户数量的模数化扩展。这种拓扑要求一个用户终端，不但要实现电能计量，还要实现数据信息的编码、解码、载波收发等功能。可以构成完全基于低压电力线信道的载波电能表 配变集中器 营业站主机的组网拓扑。实践证实：目前市场上已经开发出来的窄带调制的低压载波表和配变集中器很难保证电量或控制数据的可靠传输。主要原因是低压电力线载波信道的特性随机性、时变性很大，非常地不稳定。因此，低压电力线载波技术是直接通过电力线组网的远程抄表系统进一步推广应用的瓶颈。

2试点居民小区远程抄表系统方案

在为试点居民小区远程抄表系统做的总体技术方案设计时，本文遵循三条基本原则：

（1）在试点小区的配电变压器和小区住户之间不敷设任何专用有线信道，数据的上行或下行传送必须使用现成的低压电力线作为数据媒介。

（2）只在配电变压器和住户地点对应安装数据的收发装置，建立起各用户电能表终端与配变集中器的直接数据链路，中间不安装任何硬件上的中继或第二级集中转发装置。

（3）用户电能表终端除了记录电量外，它还应该执行就地保护和远方监控功能。

2.1系统组成结构

系统由营业站用电治理主机、配电变压器集中器、接在配电变压器低压电力线上的多个用户电能表终端（接于A相的A1～Ap终端、接于B相的B1～Bm终端、接于C相的C1～Cn终端）和通信信道组成。配电变压器集中器和用户电能表终端分别与配电变压器、用户一一对应并就地分布式安装。用电治理信息只能在系统的上下级之间传输。其中用电治理主机到配电变压器集中器的信息传输媒介采用扩频无线信道或公共电话网（第一级信道），配电变压器集中器到用户电能表终端的信息传输媒介利用低压电力线载波信道（第二级信道）。显然，整个系统与配电变压器下面的电压电力网一样呈树形分布结构，可随用户发展和负荷增长任意扩展。

本系统的任务在于实现低压用户电量数据的远程传输和抄算，对低压电力用户的负荷和用电进行远程监控。

由于使用了分布式安装结构，在系统建设上与集中抄表箱用电系统相比，无须庞大繁琐的缆线工程，施工难度将会大幅下降。系统的扩展将随用户或配变数量的递增而模数化扩展，就象增加一个用户增加一块电能表那样简单。因此，系统扩展极具伸缩性，不会象集中式系统那样新建时资源闲置，用户发展时容量又不够。应该说，这个系统比较符合营业用电治理系统发展的主流方向。

2.2网络通信协议的选择与研究

在计算机网络中，信道共享技术已经比较成熟。一般可分为两类，即受控接入和随机接入。

随机接入共享信道的特点是所有用户都可以根据自己的意愿随机地发送信息。实际上就是争用接入，征用胜利者才能获得总线，从而发送自己的信息。典型的随机接入是载体侦听多重访问/冲突检测（CSMA/CD）网络，其为总线型结构，如图2所示。后文重点介绍的基于CEbus的扩频载波线性扫频信号（Chirp）由于具有自相关性，所以适用于CSMA网络。结合电力线的传输特性，综合比较各种网络，在本文所要开发的远抄系统中选用CSMA协议应该是比较合适的。CSMA协议网络的缺点，如时延不确定、重载时效率下降，对数据传输量较小的远程抄表系统来讲，并不是值得考虑的问题。

2.3用户电能表终端的总体设计

用户电能表终端由AC/DC开关电源模块、电量传感器模块、故障保护模块、计量模块、负荷控制模块、LED显示模块、MCU系统模块、低压扩频载波通信模块构成。

多输出开关电源负责为用户电能表终端供电，它输出DC 5V0.5A和DC±15V0.5A电源各一组，其交流输入的设计范围为AC220V±20。为了降低电源模块的体积，采用TOP2XX脉宽调制功率开关为核心器件，构成单端反激式电路。

故障保护模块负责监视低压用户的负荷电器的运行情况，当发生短路、过流、漏电或电网电压超标时，向MCU系统模块发出信号请求执行断电控制程序。

计量模块负责把用户的用电功率转化为频率正比于功率大小的脉冲串，提供给MCU系统模块进行电量计算。即使用户实施了窃电行为，它仍然可以输出正确的电量计算脉冲串，并向MCU系统发出窃电信号。

负荷控制模块是一个受MCU系统输出的TTL电平控制的大功率交流无触点开关，能够过零关断或开启6kW的负荷功率。

MCU系统由AT89C528位单片机、X5045看门狗芯片和DS1302时钟日历芯片构成。它是用户电能表终端的计算监控中心，主要负责对电量脉冲串进行计算或处理，执行就地或远方的负荷控制程序，与低压扩频载波通信模块进行数据交换并控制其收发信。

显示模块由一个8位LED及其动态扫描控制芯片构成，主要完成电量数据的旧的查询显示，便于用户了解自己的电量或电费情况。

低压扩频载波模块主要由SSCP200低压电力线扩频载波网络控制器、前置功放和电力线耦合电路构成，负责对MCU系统送来的数据进行线性扫频调制，放大后耦合到电力线上，对通过电力线送来的载波信号进行扫频解调后送给MCU系统。这种数据通信采用了收发分时控制的半双工通信。该模块与配变集中器的设计通信距离为1000m。在信道特性最恶劣的情况下，也要保证不小于600m。

2.4配电变压器集中器的总体设计

配变集中器主要由三个分相耦合的低压扩频通信模块、三个按相配置的电能表模块、MCU单片机系统、3个双口RAM和一个工控机系统及电话线调制解调器构成。

低压扩频载波通信模块分相配置，是为了杜绝跨相耦合载波信号，电能表和MCU电路按相配置是为了使集中器能够并行处理各相的用户终端数据，增加数据传输和处理速度。以上电路基本上与用户终端类似，只是不具备故障保护、窃电侦测和负荷控制电路而已。

在配变集中器内设置电能表模块便于对每一相的总电量进行计量和统计分析，以作为用电治理部门考核线损和平衡3相负荷的依据。

工控机完成与每一相的MCU系统交换数据，并通过Modem和公用电话网与营业站抄算主机交换数据信号。上行和下行数据要经过工控机的处理，并在不需要数据通信的时候储存在工控机的磁盘中。鉴于数据处理量不是很大，选用486工控机就能满足要求。

2.5营业站抄算主站的总体设计

营业站抄算主机主要由PC机、电话线Modem及其软件构成。主要负责营业站到配电变压器集中器之间的数据指令的调制发送、解调接受及综合分析处理。另外，电话线Modem还可以将营业站用电治理主机与电费托收银行联机。

PC微机主要完成用户用电数据的采集，送电能表参数、用电信息、欠费警告及断电控制，不安全和违章用电监视报警，用户用电治理及查询，报表输出等功能。

其中，用电采集程序可以进行定时统抄、不定时统抄及单用户随时查抄；用电量可按地址统计，也可按相位统计，以便合理地调整配电变压器A、B、C三相负载的配置，使供电系统的性能发挥得更好；在电费结算时，可通过分时计费，合理定价，使负载基本恒定；电表参数、用电信息可送到用户终端，从而非常方便地修改电能表参数，显示用户的用电量及结算电费；欠费警告及断电控制功能可督促用户按时交费；不安全和违章用电监视报警功能可使用电监察人员迅速准确地维护用电秩序；日报表、月报表、年报表的形成和输出方便而快捷。

3结论与展望

3.1研究结论

我们在几种不同的环境下对用户电能表终端和配变集中器进行了测试，取得了比较满足的结果。依照CEBus标准编制的程序，在传输过程中，没有发现误码的存在。不同的测试环境下，干扰强度与信道输入阻抗的波动范围是影响扩频载波可靠通信距离的两个主要因素，数据通信成功的平均帧延迟时间与平均通信距离的关系较大。

户表采集器的性能指标如下：

·载波通信距离：架空网或电缆电网均可达1000m；

·抄表成功率：可达99.7；

·抄表正确率：100；

·读数准确度：计数精度达到小数点后两位，用户电能表读数与标准电能表的误差不大于1个字(即0.5kWh)；

·时钟误差：天天小于 1s；

·用户电能表功耗：待机时≤200mW，发送数据时≤700mW，发送时间≤25ms，接收灵敏度≤2mW；

·采用工业级芯片，环境温度：-20～ 85℃；

·工作电压：AC165～260V；

·掉电保护：电源断电情况下，数据可保存10年；

3.2总结与展望

电能直供到户是供电企业最重要的营销举措，这使得电能营销部门的电能抄算业务量成倍增长。采用新的远程抄表技术来改善用电治理和电能营销的装备水平、优化电能市场服务的技术手段是供电企业最紧迫的需求。

我国的低压电能供给都是以配电变压器为一个台区单元，在配电变压器和用户之间不使用任何独立的中继通信设备或专用信道，直接利用低压电力线构成与低压电网系统结构相对应的用户电能表终端＋配变集中器＋营业站电能抄算主机组网的远程抄表系统，我们认为这符合低压远抄系统的主流发展方向，因而具有推广应用前景。

具有低压扩频载波数据远传功能的用户电能表终端和配变集中器是构成本文所提出的远程抄表方案的核心装置。最终的技术目的的实现必须建立在成功地开发用户电表终端和配变集中器的基础之上，还要做营业站抄算主机的软件编制和数据库编制。显然本文所做的工作还离这一目标有相当长的一段距离。本文只是对用户电能表终端及其扩频载波通信模块作了实用化开发设计和样机试制，并且通过样机的现场测试。配变集中器、软件只作了一个方案性的设计。

本文所取得的另一个成果就是，把用户电能表终端设计成一个智能化的综合性终端，除了完成电能的记录和计量外，它还具有用户现场防窃电、防误接线、故障保护、远方停送电、远方修改电能表参数和负荷控制功能，这些技术手段对提高供电企业的用电治理水平无疑具有积极的意义。

参考文献

[1]邵源,钟炬,等.关于低压用户集中抄表系统综述.电力系统自动化,1999(9).[2]徐平平,邱玉春.电力集中抄表中的通信技术.电力系统通信,1999(4).[3]杨士中.静电无绳广播方法.[4]周世炜,张绍卿,洪文学.一种基于电力配电网络的双向工频通信技术.电子技术,1999(8).[5]邱玉春.利用电力线组网的监控网络协议选择.现代通信,2000(1).[6]邱玉春,徐平平.低压电力线载波通信特性分析.电力系统通信,1998:6(48).