第一篇:广域网优化的技术实现和展望
广域网络带宽资源有限,承载业务量大。除了现有的QoS等技术手段,还有什么办法同时能够有效的提高网络质量,提升终端用户的体验?
广域网优化的技术实现和展望
文/孙松儿
随着IT基础架构的快速整合导致的数据相对集中、企业雇员全球化移动办公逐渐成为潮流,越来越多的企业应用系统交付需要通过广域网进行传输访问;而广域网分支和总部数据中心之间的应用交付性能及良好的用户体验,不仅可以有效提升办事处的工作效率,也可以在广域分支对客户多元化服务提供方面提供保障。
第 I 章 广域网业务类型分析
广域网分支办事处作为企业覆盖各区域市场交易活动的主体,其业务承载的种类比较多样化,同时每种业务有其自身的特点及对网络的要求,归结起来主要有如下几种。
1.企业生产业务应用系统
支撑企业分支正常运转的核心应用,如企业集团OA办公系统、企业的财务系统、订单管理系统、ERP企业资源系统、CRM客户关系管理系统等,其数据报文传输以小包居多,且一个应用往往需要分支客户端和总部服务器之间进行多次的交互,实现诸如应用数据库的查询,数据输入提交等行为。网络的时延对于其客户端的应用体验有最直接的影响。
2.大文件的数据传输应用
主要包括远程分支的文件共享(CIFS)、总部数据的远程缓存、数据同步(数据库同步、灾难备份)、大数据包提交等应用场景。数据传输以单方向为主,大多数情况下都是从企业总部数据中心到远程分支,链路中传输的以大数据包为主,单次传输容量达到数十兆甚至数G等。在这种情况下,广域网的链路带宽将直接影响用户的传输结果,大容量、长时间、多频次的数据下载将严重影响广域网的带宽利用。
3.以语音、视频、QQ/MSN等即时消息为主的统一通信类业务
这类应用尽管对企业的生成业务没有直接的关联,但是对于企业远程分支和总部的沟通效率有非常积极的影响,利用这些工具可以有效提升企业远程分支和总部的工作协同。常见的种类包括VoIP会议电话、Video视频会议、QQ/MSN等即时聊天工具、网络会议等。其数据传输以双向交互为主,报文的长度不确定,大包小包都混合存在,对于网络带宽和时延RTT都有较高的要求。
4.Internet类业务应用:
对于部分需要通过总部进行互联网访问的远程分支而言,基于HTTP的web浏览业务和部分P2P类下载业务也是其组成部分之一。由于该业务的优先级相对较低,即时带宽不足或者链路时延较大也是可以接受的。对于该类型业务最重要的是要防范大量工作无关业务对于带宽的滥用。
可以看出,现阶段的广域网质量相比与期望相比仍然有较大的差距,总结起来主要存在以下三个方面:
1)应用时延太大导致用户体验差
对于C/S模式下的企业应用,客户端和服务器之间的一次操作需要进行多达几十次的协议握手交互,直接导致远程分支的响应缓慢甚至不响应,这是广域网优化面临的关键问题。现阶段除了广域网优化技术外,没有更合适的解决方案。
2)带宽利用率不足,部署及维护成本高
面对需要进行大数据量传输、或者是频繁进行数据下载传输的应用(如FTP)等,安装部署大容量的远程服务器,用来充当本地的数据缓存,从而实现对大量常用应用的本地存取,避免占用广域链路的资源,是一种相对有效的手段,遗憾的是除了需要较大的成本投资外,对于这些设备的日常维护管理也比较复杂;
3)关键业务带宽质量无法保证
网络承载internet类互联网应用的时候,带宽抢占的现象会非常严重。尽管通过扩充带宽的方式,或者是利用交换机/路由器的ACL/QoS技术能够实现简单的带宽管理,但是由于交换机路由器本身对于业务的识别能力有限,单纯依靠ACL无法准确区分业务种类,且在业务带宽占用情况发生变化时,预先配置的ACL也无法实现主动的策略调整。因此对整个广域网的可视化管控将无法保证。
在这样的背景下,广域网优化技术随之产生。
第 II 章 广域网优化的关键技术实现
根据权威咨询机构Gartner的描述和定义,广域网优化是在总部汇聚点和各广域分支之间对称部署,通过消除网络延迟、数据包丢失和带宽限制所带来的影响,提升应用的交付质量。其核心技术主要是QoS业务识别和流量控制、TCP的协议优化、数据缓存压缩等。(i)QOS业务识别和流量控制
在有限的链路带宽下,面对广域网分支承载多种业务类型,实现对广域网分支业务的精细化识别和带宽管理,是广域网优化设备的关键功能之一,也是用户在实际使用中感受最为直观的功能。,广域网优化技术需要重点考虑四个方面的问题:
1)识别企业关键业务类型,并为关键业务提供QoS服务质量保证。
2)发现企业工作无关业务,实现对这些垃圾流量的及时清理,避免对带宽的滥用。
3)对于企业其他一般性业务,基于时间段、带宽、用户群组灵活定义QoS访策略。
4)提供可视化的管理工具,实现对分支业务的多维度报表监控、应用情况分析、QoS策略配置调整、多设备的批量管理等功能,提升整个业务管理平面的可操作性及简易化使用。
涉及到的技术实现主要包括DPI(Deep Packet Inspection)深度报文检测技术和QOS流量管理。DPI深度报文检测是目前比较前沿的技术,其对业务的识别不再依靠简单的报文头信息,而是通过对报文内容的逐包分析来定义业务类型。典型技术手段如通过对报文的固定端口号进行业务识别、对报文负载中包含的关键字特征进行识别、通过对协议报文的控制通道分析数据通道的状态信息进行识别、或者是通过对业务的连接行为分析进行识别等。同时,在对企业业务精确识别之后,可以通过QoS流量管理技术实现流量管理和带宽保证。在这个方面,除了常见的DSCP优先级标记、端口队列调度、端口拥塞避免等技术外,广域网优化设备还包括层次化的QoS技术,利用这种技术,可以基于用户组、用户、协议大类、协议小类和时间等多个维度进行组合,实现对带宽的精细化管理。只有这样,广域网链路承载的各种业务才能够合理的利用带宽资源,提升广域链路的带宽利用效率。
(ii)TCP连接的优化
企业的远程分支跨越广域网时,由于途径的设备跳数多,路由变化也比较频繁,应用上有延迟不可避免,但这并不是影响应用系统的关键因素,且广域网的优化设备本身也很难缩短时延。
TCP优化主要针对诸如ERP类的应用,当远程客户端在从总部服务器获取相关页面时,客户端和服务器之间存在多次的小包信息交互,使得一个应用的时延增加数十倍甚至上百倍。通常的解决办法是使用TCP代理技术,通过分支和总部的TCP优化设备,将原来单条的client到server之间的TCP连接切割成3个相对短路径的TCP连接,即client和分支设备的TCP连接会话,分支设备和总部设备之间的TCP连接,总部侧设备和服务器之间的TCP连接。这样,分支优化设备可以在短时间内代理client提交的多次消息请求,并合并成单条TCP消息与server进行交互;同时总部侧和业务服务器之间也可以保持少数的长连接,避免频繁的连接请求消耗业务服务器的性能,影响应用的交互效率;而广域网分支内部的高速局域网内无疑为客户端和分支侧优化设备的多次TCP交互提供了很好的时延保障。通过减少跨越广域网链路的TCP连接校验的次数,有利于减少延时的累计时间,从而提升TCP连接的效率,改善客户端用户的应用体验。
(iii)数据压缩技术
广域网的数据压缩可创造更大的吞吐率,更快的性能以及更大的网络容量。为了有效减少广域网的数据传输数量,数据压缩技术以实现以下两个目标为主。
1)针对同一个数据传输块,尽可能传输不重复的内容,重复部分的通过指针等表达方式进行描述。为了做到这点,广域网优化设备在进行数据传输之前,需要在缓冲区中对数据做尽可能小的数据分段并进行符号标记,以便在具体进行传输时,将报文前段出现过的重复内容通过指针符号描述,使得整个数据传输块都是由不同的数据分段辅助字符指针所组成。接收端优化设备将在缓冲区实现对数据的组装还原并建立其规模庞大的本地缓存数据库。
2)针对先后发生的不同数据传输块,只传输数据块中差异化的部分。在进行传输页面数据之前,先和本地缓存的数据进行比较,将相同的内容用指标描述,只传输差异化的数据内容到对端设备。如对PPT文件或者ERP系统的查询、表单修改等操作,涉及到的LOGO、表头、表尾、部分页面默认数据都是相同的,则不需要重传;对于再次更改的PPT或ERP表单,其往往也只是更改了非常少的内容,再次传送只需要传送更改的内容即可,从而达到优化的效果。(iv)数据缓存技术
数据缓存技术也是提高广域网性能的最有效的方法之一,尤其是对远程分支需要频繁访问总部的数据内容,效果更加明显。这种情况下的数据缓存包含两个方面内容:
1)分支优化设备缓存。当远程分支第一次从总部获取数据文件之后,该数据块将被分支优化设备高速缓存,之后如果该分支办公室的其他用户再请求同一份文件的时候,优化设备将在该请求进入广域网连接之前截获这个请求,然后直接从本地缓存区域进行高速的本地传输。
2)总部优化设备缓存。当分支用户通过总部优化设备访问过总部数据文件后,总部优
化设备也将对该数据内容进行高速缓存,这样一旦其他分支的用户也需要访问该总部数据文件,总部优化设备将直接将该文件进行广域传输,以减少服务器频繁进行数据交互的压力,间接的提升了服务器对其他应用的响应速度,缩短了交付时延。对于包含动态对象的缓存页面或文件,需要通过技术手段保证动态缓存内容和服务器内容的实时同步,确保用户访问的实时性。
第 III 章 广域网优化技术展望
现阶段,广域网优化技术的成功部署,有效的提升了远程分支关键业务的服务质量,尤其是对ERP或CRM等企业业务系统的响应延时改进,很好的提升了远程用户的使用体验。随着业务系统的进一步丰富以及IT基础架构整合的需要,广域网优化技术在后续的发展过程中,还需要对以下几个方面进行重点研究。
1、关注对UDP应用的优化
前面讨论的广域网优化技术主要是针对TCP流量,涉及的关键技术也是基于TCP的协议优化和报文重组,针对企业现阶段的很多关键业务系统也是以TCP承载为主,两者实现了很好的结合。但是在实际网络环境也同时部分UDP流量,如DNS、VoIP和一些媒体数据流,对于这些应用来说,数据的压缩程度或通用的压缩算法将可能影响业务(如语音和视频)的服务质量。因此,如何针对这些典型的UDP流量进行优化并且不损害语音或视频等业务的服务质量,是在后续的技术实现上需要考虑的问题。
2、强化对HTTPS加密应用的优化
在企业的远程访问过程中,随着Browser/Server模式的盛行,部分企业的关键应用(如ERP系统)也开始提供基于B/S的SSL/TLS加密模式的远程安全接入解决方案,经过SSL/TLS加密的数据在广域网传输将会更加安全可靠。但是在这种情况下,传统的广域网优化技术无法实现对这种HTTPS加密流量的内容识别和优化处理,必须要采取SSL proxy代理技术。客户端和分支优化设备之间建立SSL的会话连接,分支优化设备和总部优化设备之间建立另一个SSL的会话连接,在这种方式下,可以确保客户端的访问请求安全的接入到总部的应用服务器。这种方法从技术原理上可以实现,但是也存在两个问题:一方面广域网优化设备必须提供更高的处理性能以保证在使能SSL加解密之后的整体性能,另一方面必须将服务器的CA证书和加密私钥发布到广域网优化设备上,将可能出现新的安全风险。因此,如何更好的平衡技术实现和安全风险之间的矛盾,将成为后续另一个技术关注点。
3、产品如何适应数据中心的融合及虚拟化趋势
在数据中心走向融合、独立化的过程中,基础网络、存储、服务计算等资源已经率先开始整合和虚拟化的建设。作为广域网访问数据中心资源的重要桥梁,广域网优化设备无论是从产品形态还是业务特性上,都应该考虑如何适应这种虚拟化的趋势。
从产品形态上来看,无论是独立的盒式设备,还是和路由器平台集成的应用优化模块,都需要考虑提供更高的性能以支撑更大规模的应用,需要考虑虚拟化技术的实现以适应基础网络整合的需要。如果说更高的性能可以依赖现阶段的芯片技术的进步得到满足的话,实现虚拟化技术所面临的挑战则更大:除了要考虑设备的虚拟化资源管理之外,还需要考虑业务
策略如何实时跟随企业应用在服务器虚拟机之间的迁移,以确保应用系统平滑迁移后相关的广域网优化策略能够同步迁移并继续提供优化服务。这将是广域网优化领域在后续较长时间内最重要的技术方向。
第 IV 章 结束语
相信随着广域网建设的进一步深入,基于广域网的优化技术必将成为整体解决方案的重要组成部分,有效提升广域网承载的多种业务应用的服务质量,促进企业广域分支的建设。
第二篇:优化学校管理 实现可持续发展
优化学校管理实现可持续发展
可持续发展是我国改革与发展的战略国策,也是一所学校改革与发展的重要策略。学校要持续发展,是社会发展和教育发展的大趋势对学校的客观要求,也是学校自身求生存、谋发展、铸辉煌的必由之路。学校如何实现可持续发展,这已经成为摆在众多校长面前的一个重要课题。
一、加强师德建设
教师是一个学校的灵魂,是学校的生命和活力所在,精神和力量所依,学校的可持续发展关键在于教师队伍的可持续发展,加强师德建设是学校工作的永恒主题。在师德建设中,要求教师要摆正自己的位置,正确地看待教育主体,树立新时期的教师形象,学校组织教师听取师德报告,写出了自己的心得体会,教师中间广泛交流并引起了很大的反响。
二、突出人本管理
教师的可持续发展的能力是学校进步和发展的前提,建设一支师德高尚、业务精湛的教师队伍是学校治校的重要战略。学校通过必要的物质和精神奖励相结合的激励机制,使教师充分认识到自己的潜能和价值,体会到教师的工作有干头,有奔头,以自己的工作为荣,从而树立了正确的教师职业观,有了这样良好的职业感受为支点,广大教育就能够体验到自己的主体地位,建立自信和超越发展的欲望。①学校通过充分酝酿,实行《校园结构工资》,充分调动工作积极性。②《教师聘任制》进一步深化。采取“校长室聘班主任,班主任聘任课教师”模式。③新老教师结对《导师制》,由于学校的迅猛发展,一大批大学毕业生分配至我校,为了使新教师快迅成长,《导师制》应运而生。
三、创建校园文化特色
校园文化建设是学校德育最直接的感应场,它不是通过说教,而是通过潜移默化的影响,通过人的直观感觉,无形地对人的思想和行为产生作用。对学生学会如何做人、做事,起着渗透和暗示作用,达到“润物细无声”的境界,“环境造就人才”就是这个道理。健康、优美的环境能造就出一批个性正常发展、人格健全、行为端正、品质良好的人。这说明健康的学校环境,还依赖于学校的隐性课程——校园文化。为营造浓厚的校园文化氛围,紧紧抓住“艾青”这一主题,开展“专题材料”、“专题讲座”、“专题演讲”、“专题心得交流”、参观艾青故居等系列活动,并把“艾青精神”渗透于课堂教学,省级规划课题《艾青中学校园文化建设的实践与研究》获省二等奖,校本课程《走进艾青》出版发行,得到有关专家的充分肯定。
四、新校区投入使用
为了适应社会需求,加快学校硬件建设,提高办学档次,全面投入使用的金华新校区位于金东新城区施光南音乐广场旁,占地218亩,投资1.2亿,规模48个班,规划高起点,建设高标准,按省一级重点中学要求配备完善的设施,目标是要创办成“设施现代化,管理科学化,校园环境优美”的外向型、国际型的知名学校。我们相信,学校必将有跨越式的发展。
五、科研兴校深入人心
坚持走“科研兴校”的道路,这是学校可持续发展的重要保证。科研通过揭示规律,研究新的方法,来提高教育教学质量,提高教师队伍的素质。在认真贯彻教育方针、积极推行素质教育过程中,大力加强学校的教育科研工作,牢固树立科研兴校思想,使教育科研在学校各项工作中居于先导地位,充分发挥教育科研对教育教学实践的导向与示范作用,实现了教育科研年年有进展、教育质量逐年在提高的同步发展。由于坚持科研兴校,实施科研先导,我校各项工作在科研牵动下,呈现出科研带动工作、工作促进科研的良好局面。教师们由于科学素养与科研能力提高了,全校科研成果的数量与水平也迅速提高,在省级以上刊物上发表文章愈400篇。实践表明,科研为学校的可持续发展插上了坚强的翅膀。首期研究生课程班在我校开学,这在我市还是首次。
六、运用现代教育技术
现代教育是开放性教育,这明确地告诉我们,除了要开发和利用好校内资源,还要充分开发和利用好校外资源,不能关起门来办教育。学校在这方面进行了一些探索,完成的校园网建设,建立教学资源库,并成为北在附中远程教育网校,与名校进行了多层次、全方位的交流和合作活动,无论是办学理念,还是教育实践,都获益匪浅,广大教师们在开发利用信息资源中尝到了甜头。因此,学校已通过了《省现代教育技术学校》评估验收。
总之,实践告诉了我们一条硬道理,创新乃是现代学校可持续发展的不竭动力。
第三篇:搜索引擎优化技术及发展趋势
搜索引擎优化技术及发展趋势
一、引言
“搜索引擎”作为互联网上提供信息服务的一种工具,现在几乎已经是一个妇孺皆知的事物。按照中国互联网络信息中心在2006年7月19日发布的报告[1],中国网民中有66。3%经常使用搜索引擎,比半年前又提高了近1个百分点。
互联网上的第一代搜索引擎出现于1994年前后,以AltaVista、Yahoo和Infoseek为代表,搜索结果的好坏通常用反馈结果的数量来衡量,或者说是“求全”。然而研究表明,当时的搜索引擎性能并没有想象中那么优秀,根据SteveLawrence和C。LeeGiles在1999年2月的实验[2],全球11个主要的搜索引擎中,每个搜索引擎仅能搜索到互联网上全部页面的16%,甚至更低(图1)。造成这种情况的原因,主要是这些搜索引擎的处理能力和网络带宽等方面的限制。
1998年,以Google为代表的第二代搜索引擎出现在互联网上,其主要特点是提高了查准率,或者说“求精”。当时传统的搜索引擎如Lycos等主要使用网页中的关键词进行搜索,而Google则使用了一种综合页面排名算法:它不仅考虑搜索关键词,还考虑页面间的链接关系,然后对整个网络的链接结构进行分析和迭代计算,从而对页面进行区分[3]。
第二代搜索引擎在技术和商业上都获得了巨大成功,然而商业竞争和信息环境的变化仍在推动着它们不断创新和发展。当前所谓的第三代搜索引擎主要增加了互动性和个性化等技术,为用户使用搜索引擎获取信息提供更好的体验。至于互动性的评价标准是什么,以及第三代搜索引擎到底比第二代增加了多少价值,目前并没有非常令人信服的研究结论。在以下的论述中,我们不对产品概念进行太多讨论,而是就搜索引擎目前所面临的挑战,以及它们的应对方略和发展趋势进行梳理和阐述。
二、搜索引擎面临的挑战
面对瞬息万变的环境,搜索引擎如果在技术上不创新进取,从信息服务质量的角度讲,现在看来不错的技术,将来很可能会落伍。不进则退,在搜索引擎领域体现得很明显。关于搜索引擎的基础技术,读者可参见文献[23],那么目前有些什么变化在影响着搜索引擎呢?
(一)Web的发展
1。信息大量增加
Web自产生以来,其信息量一直以几何级数的形式递增,近两年来尤其如此。这主要有两方面原因:首先是Web2。0[16]的用户和以前有所不同,他们正在由单纯的信息消费者向生产者与消费者双重身份转变;其次是DeepWeb[4]的发展。
如果说Web1。0是单纯的网页浏览模式,那么Web2。0则是通过了真正的个性化、去中心化和信息自主权,向着内容更丰富、联系性更强、工具性更强而努力。尽管一切都还在探索中,但毋庸置疑,Web2。0已经成为互联网新的发展趋势。这种转变,从模式上可以概括为是从单纯的“读”向“写”和“共同建设”发展。这也更体现了互联网的第一规则,“用户需要表达”。只要有机会和便利,网民就不会满足于只是被动的信息接受者,他们需要表达,希望驾驭自己的传媒,而不是受其掣肘。在Web2。0实际应用中,除了原先的IM(InstantMessenger,即时通讯)、P2P(PeertoPeer,对等网络)等得到新的发展,更是涌现出了很多社会化的新事物,比如Blog(Weblog,网络日记)、RSS(RDFSiteSummary,站点摘要)、WIKI(网络百科)、WB(WebBookmarks,Web文摘)、SNS(SocialNetworkSoftware,社交网络)等。
这些新事物发展得非常快。以RSS为例,美国提供RSS内容的网站数目从2001年9月的1000余家激增至2004年9月的195000余家,短短的3年中增长了近150倍,市场的飞速发展令人瞩目。而Blog站点的大量涌现,更是为每一位用户都提供了畅所欲言的场所——据计世资讯(CCWResearch)的统计,2006年第二季度,中国注册博客的总数量达到6800万,比第一季度增长51。1%;中国博客用户则达到2100万人,比第一季度增加40。0%。这些无疑都在刺激着Web信息生产和消费的繁荣。
根据AlexandrosNtoulas等人的研究结果[5-6],每星期Web上新产生的页面数大约为8%。而这个数字是非常保守的:他们的实验是针对154个“popular”网站进行的,而实际上,那些大量涌现的新网站,如Blog网站,它们的成长速度远远超过这些所谓的流行网站。
关于DeepWeb的研究最近几年也受到越来越多的关注,DeepWeb又被称为InvisibleWeb或者HiddenWeb。JillEllsworth于1994年首次提出的InvisibleWeb概念,是指那些常规搜索引擎难以发现的内容。美国互联网专家ChrisSherman和GaryPrice在他们著作《TheInvisibleWeb》中将InvisibleWeb定义为:“在互联网上可获得的,但传统的搜索引擎由于技术限制不能或者经过慎重考虑后不愿意作索引的那些文本网页、文件或其他高质量、权威的信息。”InvisibleWeb分为四种类型:不透明网络(theOpaqueWeb)、私人网络(thePrivateWeb)、专有网络(theProprietaryWeb)和真正的隐形网络(theTrulyInvisibleWeb)。我们认为使用“deep”更为合适,因为这些内容不是真的Invisible,只是藏在Web中较深的位置。
根据BrightPlanet公司的调查[4],2001年的DeepWeb大概是SurfaceWeb的500倍左右,而且还在快速发展。ChrisSherman和GaryPrice的估算则保守些,他们认为InvisibleWeb只有SurfaceWeb的2~50倍。但不论如何,DeepWeb在数量上都不容小觑。更为重要的是,DeepWeb通常都组织良好、信息权威、质量很高,而且时新性强。正因为这样,国内外许多研究者都在克服重重困难,探索如何有效地发现这些有价值的信息,提供给更多用户使用。各大搜索引擎要想巩固和强化在搜索市场的地位,就必须重视DeepWeb,发展搜索技术,提高竞争力。对于垂直搜索而言,DeepWeb的作用更为突出。
Web信息的大量增加,使得搜索引擎面临严峻的挑战。任何技术都有它的适用范围,超出这个范围,其性能将严重下滑。以搜索引擎的检索页面集为例,粗略地说,当页面总数没有超过某个阈值时,搜索引擎工作良好,一旦页面总数超过这个阈值,搜索引擎的查询结果质量将急剧下降,用户往往在查询返回结果的前10位、前20位甚至前50位都找不到一个自己想要的结果。这一点在目前的几大搜索引擎上都已经初现端倪,相信他们已经为此绞尽脑汁。
2。信息更新加快
Web上不但新信息涌现速度很快,信息变化速度也非常快。以网页中的链接为例,根据AlexandrosNtoulas等人的研究结果[5],每星期将有25%的新链接产生,1年之后,将只有24%的原有链接仍然存在。Google等搜索引擎的成功在于正确地分析了页面间的链接关系,为了保持这种成功,搜索引擎必须不断地跟踪链接结构的变化,或者说不断地刷新自己所保存的相关信息。就以每周25%的新链接为例,这样的链接更新速度要求搜索引擎至少每周重新计算一次所有页面的Ranking值,否则便不能及时地、恰如其分地反映RealWeb上的当前状况,失去搜索引擎所必需的时效性(timeliness)和时新性(freshness)。
3。信息表现形式多种多样
随着网络速度的提高,Web上的多媒体信息也急剧增加,因此人们对多媒体信息的检索需求也就随之而来。传统的信息检索主要集中于文本的检索,在多媒体方面的研究并不是很多。需求的发展使得目前各大搜索引擎都不断推出自己的多媒体素材搜索产品,让用户可以在庞大的素材库中进行检索,如AltaVista可以让用户在5。5亿个素材(包括5。4亿个图片、1100万个视频/音频文件)中进行检索,Google的素材库也达到了4。4亿的量级。然而,目前对这些多媒体素材库的使用,大多还是标注、分类等方法,缺乏对图像、音视频内容的直接检索。搜索引擎如何自动分析音视频的内容,允许用户按内容进行检索,甚至在抓取音视频素材时就按内容进行,这些问题将在今后较长一段时间内构成挑战,成为搜索引擎所要迫切解决的问题。
4。SEO正在蓬勃发展
自古有矛便有盾,有盾便有矛。SEO目前已经成为一个新兴的互联网行业。SEO是SearchEngineOptimization的缩写,即搜索引擎优化。从事这方面工作的就是SearchEngineOptimizer——搜索引擎优化师。他们利用工具或其他手段使目标网站符合搜索引擎的搜索规则从而获得较好的网站排名。无止境地追求更高排名是搜索引擎优化师们的目标,因为他们知道,如果想让用户在烟波浩渺的Web中发现自己,获得一个很高的排名无疑是非常有效的一种方法。
客观地说,SEO的这种追求是很自然的,因为经济利益的诱惑实在是太大了。根据USCensusBureau的调查,2004年美国的电子商务销售额就达到692亿美元,并以7。8%的年增长率在发展,远远超过美国的GDP增长。而根据ForresterResearch的预测,美国B2C的销售额将于2010年达到3290亿美元,占全部零售额的13%。如果不能让用户认识自己,何谈电子商务呢?“搜索引擎优化”正是让大量用户认识自己的一种有效手段。
搜索引擎优化师们并不等于垃圾页面制造者,但他们中的一部分的确为Web和搜索引擎制造着麻烦,为搜索引擎用户制造着垃圾。虽然有良好素养和道德观念的搜索引擎优化师们仍然通过网站结构的优化、页面质量的提高等方法进行他们的工作,但那些不道德的搜索引擎优化师们发现有一些“捷径”更加有效,如在页面上堆砌大量关键词、使用重定位手段欺骗WebCrawler程序、构造LinkFarm来提高目标页面的排名,等等[7,8]。他们运用这些手段欺骗搜索引擎,浪费了搜索引擎大量带宽和时间,污染了搜索引擎的页面集合,歪曲了排名结果,浪费了用户的时间和精力,最后带给用户的只是大量垃圾。
这些垃圾制造者通常被称为WebSpammer。他们所运用的手段有Boosting技术和Hiding技术两大类:Boosting技术是指使用不道德的页面排名提升技术,而Hiding技术是指对使用的Boosting技术进行隐藏,尽量不让用户和WebCrawler发现。
Boosting技术包括TermSpamming和LinkSpamming。TermSpamming是较早出现的技术,是指Spammer操纵Web页面的正文,使其内容和众多的用户查询尽可能地相关,方法是在Body、Title和AnchorText等处插入大量毫无关联但用户经常使用的关键词。由于技术简单,只需要把别人已有的内容进行重复、编织和黏合,所以至今很多Spammer还在采用这些TermSpamming技术,而且已经发展到自动化和智能化的程度。LinkSpamming则更具隐蔽性,WebSpammer通常使用HoneyPot或构造强有力的LinkFarm来提高目标页面的排名。一个典型的LinkFarm可能包括几千个支持页面,而LinkFarm之间还可以构成威力更大的联盟[7]。由于隐蔽性很强,对于LinkSpamming的探测非常具有挑战性。
Hiding技术主要包括ContentHiding、Cloaking和Redirection。ContentHiding是指正文和页面背景使用相同的颜色,从而掩盖大量的无关正文,使得WebCrawler能够发现而对用户进行屏蔽。Cloaking是指对WebCrawler返回一个不同的页面,从而欺骗搜索引擎。Redirection本质上和Cloaking一样,但它是对浏览器而非Crawler返回不同的页面。Hiding技术也是Spammer所常用的,有时利益如此诱人,以至于一些著名大公司也跃跃欲试,如2006年初的时候,宝马德国公司网站(bmw。com。de)就曾因为使用了该欺骗技术而遭到Google的惩罚。
(二)用户需求的发展
1。更准、更全、更新、更快
经过十几年的技术发展和市场成熟,搜索引擎正日益渗透到人们日常生活的方方面面,人们对信息的获取越来越依赖搜索引擎。在全世界网民中,搜索引擎的使用率仅次于电子邮件而位居第二。随着对搜索引擎的使用不断走向深入,网民的要求也在提高。从产品层面来看,准、全、新、快仍然是用户对搜索引擎最基本的四个要求,而且用户希望搜索引擎在这些方面能做得更好。
目前而言,围绕这几个问题,各大搜索引擎服务商都在做许多细致的工作,以力求趋向完美解决。比如“准”,需要更准确地理解用户需求,不断更新Ranking算法,同时又要严格控制垃圾网页的干扰;“全”指的是全面,尽可能地把互联网中“有价值”的网页都索引下来,满足最大用户群的需要;“新”要求搜索引擎的抓取非常高效,能够把最新的东西及时提取出来,同时还要不断更新已抓取信息;第四点是“快”,不仅要让用户感觉速度很快,还要保持最大的系统稳定性。“搜得准、搜得全、搜得新、搜得快”,这是一个综合的服务过程,任何一个环节出了问题,都有可能导致用户满意度的下降。
2。使用更加方便和容易
随着技术的发展,人们希望搜索引擎无处不在,在任何时间任何地点,要寻找信息时都可以使用搜索引擎。而随着搜索引擎的逐步普及,越来越多的使用者(他们中很大一部分对计算机和网络了解不多)希望搜索引擎的工具性进一步加强,最好在不觉察的情况下使用搜索引擎服务。人们甚至期望搜索引擎的使用如微波炉和洗衣机一样方便和容易。
3。搜索个性化
搜索引擎的一个经验就是,用户很多时候并不确切地知道自己想要什么样的结果,除非你把结果放在他的面前。所以用户在使用搜索引擎时,很多时候相同表象的内容却意味着不同的需要。比如对于同一个查询词,不同的用户所需要的查询结果可能是不同的。即使是同一个用户输入同一个查询词,他在不同的时间、不同的地点和不同的查询背景下,希望得到的查询结果也可能是不一样的。
搜索引擎必须理解用户的意图和需求,才能非常到位地提供相关、准确的信息。要理解用户的意图,首先要理解用户的行为和习惯,对不同人的查询做不同的处理,反馈给用户个性化的内容;其次要理解用户查询时的上下文背景,包括时间、地点、语义等。个性化的搜索,意味着向更加精确搜索结果的方向又迈进了一步。
(三)网络的发展
1。网络终端形式更加丰富
目前各种客户端搜索工具的发展,使得用户可以不到搜索引擎的网站,而是直接在工具终端搜索所要查询的信息。手机、PDA等终端设备的不断发展,将最终帮助人们摆脱电脑的制约,而各种嵌入式智能装备的推广普及,正在印证着这一趋势。随着网络终端形式越来越丰富,很多应用找到了自己的位置,如手机电影;也有一些应用随着网络终端形式的发展而不断拓展,如Gmail的手机版。那么作为网络第二大应用的搜索引擎,也应该与时俱进,不断拓宽应用之路。
实际上很多搜索引擎已经这么做了。如Nokia和Yahoo在2006年9月7日发布了面向Nokia便携式终端的应用软件“NokiaMobileSearch”。该软件面向NokiaNseriesS60终端,用Yahoo的网页、图像搜索功能可向用户提供10种语言的搜索结果。但问题的关键是,只在新的网络终端上发布搜索产品还远远不够,应该挖掘各种网络终端的最佳应用模式,更好更方便地、个性化地服务用户,用户才可能喜爱这些新生事物。例如使用手机进行搜索时,完全可以根据时间和地点进行个性化服务。可以想象,如果快吃饭的时候使用手机查询饭店,那么把手机持有者附近的知名饭店作为查询结果返回,将会是一个很好的选择。
2。网络速度的提高
随着基础建设的发展和技术水平的提高,网络速度一直在不断提高。网速的提高对于搜索引擎的影响主要在两个方面:首先极大地促进了页面搜集的速度,能够使搜集的页面集合更全,覆盖率更高,同时使页面集合的更新更快,信息时效性更强;另一方面是在搜索结果的使用上,可以使用户更快地打开页面,下载自己需要的信息,包括pdf文件、图像文件、音视频文件等,给用户更好的应用体验。
网络速度的提高提供了以上的可能性,而搜索引擎必须把这种可能变为现实。另外,搜索引擎还要抓住机会,比如随着IPv6的发展,大力推进多媒体信息的搜索和使用。
3。无线网络的发展
互联网有从有线网络向无线网络发展的趋势,随着无线通讯技术的发展,无线传输速率、覆盖面和稳定性得到很大提高,3G的应用将进一步扩大这个趋势。摩根斯坦利(MorganStanley)2006年4月初发布了一份106页的名为“全球互联网趋势(GlobalInternetTrends)”的调查报告[9],这个报告包含了互联网的调查和市场数据,从金融市场的角度分析了互联网市场的风险和机遇。摩根斯坦利在这份报告中,试图说明互联网的发展趋势已经从PC互联网转向移动互联网;而规模远超过PC用户群,并且没有经过深度发掘的手机和消费电子设备,已经成为了主导互联网发展的主角。摩根斯坦利认为移动互联网将带来新的商机,在未来的数年内,移动互联网很可能会出现类似于Google那样的大服务商。
(四)来自非技术方面的挑战
1。知识产权问题
Web上的知识产权保护是一个很复杂的问题——不仅搜索引擎公司觉得麻烦,用户也很矛盾:一方面认为合法的知识产权理所当然应该受到保护,另一方面也希望自己能够更方便地获得更多权威的、有价值的信息。
事实上,Google公司不止一次地受到侵权起诉,Google使出浑然解数,也不过与原告们打个平手而已。国内的百度公司也因为提供MP3下载而屡屡为人诟病。知识产权的问题虽然最终要靠通过相应的法律解决,但某种程度上的技术处理,可以减轻侵权的压力。
2。所在国法律
搜索引擎庞大的搜罗万象的能力并非总是它的优势,有时正是因为在这一点上违反了所在国的相关规定而遭到封锁。比如“网页快照”是Google非常好的一项功能,但在中国内地因为与相关法规抵触而被封锁,而该项功能的封锁,使得它的不少用户不得不转向其竞争对手的产品。类似这种问题,是搜索引擎本地化时首要考虑的问题。
3。网络诚信问题
网络诚信不只是搜索引擎发展中所遇到的难题,而且也是整个互联网发展中的一个非技术瓶颈。这里以“点击欺诈”为例来说明问题的严重性。
“点击计费”是目前主流搜索引擎商普遍采用的广告收费模式,他们通过广告点击率向广告主收取费用,其广告收费=有效点击次数×广告投放价格,其中有效点击次数是指排除点击欺诈后的次数。点击欺诈自互联网诞生之际就出现了,成为全球搜索引擎商们的一大心病。虽然几乎每个搜索引擎商都有自己的反欺诈系统,但判断某个点击是“有效”还是“恶意”其实是非常困难的一件事。点击欺诈在中国更是泛滥到无法收拾的地步:靠点击广告挣钱甚至已经成为一个行业!点击欺诈的泛滥告诉我们,网络诚信远远没有我们预期的那么好。
2006年3月,网络搜索巨头Google宣布,公司同意支付最高9000万美元费用与点击欺诈案的原告达成和解。虽然Google这位行业老大终于愿意率先和广告主们握手言和了,但我们担心,Google能够独自承担整个行业的重责吗?恐怕这由非技术因素引起的挑战,最终还要靠技术手段把它们控制在搜索引擎公司能够承受的范围内。
三、搜索引擎应对方略
针对以上各种挑战,搜索引擎如何应对呢?我们对搜索引擎所采用的方略和相关的成型研究进行梳理,归纳为以下几点予以介绍。这几点和上面介绍的挑战并没有一一对应的关系。
(一)多元化
针对形形色色的用户,针对用户各种各样的需求,搜索引擎已经到了细分市场的时候,多元化是搜索引擎的必然之路。一方面,针对大量的普通用户,搜索引擎仍然致力于最广泛、最全面的信息检索;另一方面,针对检索目的明确、查询要求精准的用户,搜索引擎在特定领域和行业中发展,推出更有针对性的垂直搜索系统,为这些专业人士更好地服务。
1。通用系统:其定位是一个好的推荐系统
在通用系统层面,搜索引擎的定位更加清晰:它只是一个好的推荐系统,对于它的返回结果,用户必须经过自己的过滤和选择,而不是把排在前一二位的结果直接拿来使用。
作为一个好的推荐系统,搜索引擎着力做好这样几件事情:①信息尽量全而有价值;②信息具有良好的时效性和时新性;③信息查询尽量准确,或者说通过尽可能少的交互,引导用户找到其所需要的结果;④用户界面友好;⑤查询速度快。后面几个小节中,我们会有针对性地讨论这些方面。
2。专业系统:要求非常精准,有专业特色
专业搜索系统又称垂直搜索(verticalsearching)系统,它是搜索引擎的细化和延伸,在最近几年发展得如火如荼。垂直搜索引擎和通用搜索引擎的最大区别,是对网页信息进行了一定程度的结构化提取,然后将提取的数据进行深度加工处理,为用户提供针对性更强、精确性更高的服务。
垂直搜索引擎的应用方向很多,比如地图搜索、音乐搜索、图片搜索、文献搜索、企业信息搜索、求职信息搜索、购物搜索、房产搜索、天气搜索……几乎各行各业各类信息都可以细化成相应的垂直搜索对象。垂直搜索引擎一般在规模上比通用搜索引擎要小,因为它只涉及某个特定的领域。垂直搜索引擎在技术上也需要信息搜集程序(但只在一些特定站点活动,并且不是对所有的链接都感兴趣)、中间处理(分词、信息提取和索引等)程序以及为用户提供查询服务。在信息搜集方面,Crawler除了使用各种技术在限定领域内面向主题抓取尽可能全的信息外,从领域内的各种系统和数据库中获得信息更为重要,因为这些信息更为权威、也更有价值。在中间处理上,最大的挑战是如何利用模版、规则或Ontology技术,整理所抓取的纷繁芜杂的数据,从中提取结构化信息,然后使用关系模型或XML等半结构化模型进行组织。只有经过有效组织,才能提供有针对性的、更为精准的查询服务。
CiteSeer、GoogleEarth、YahooShopping、Shopping。com等都是代表性的垂直搜索引擎。计算机论文搜索引擎CiteSeer(http://citeseer。ist。psu。edu/cs)是NEC研究院建立的一个学术论文数字图书馆,它提供了一种通过引文链接检索文献的方式。GoogleEarth使用了公共领域的图片、受许可的航空照相图片、KeyHole间谍卫星的图片和很多其他卫星所拍摄的城镇照片,并将它们和GIS布置在一个地球的三维模型上,使人足不出户就可以在名川大山间翱翔,在摩天楼群中俯瞰。YahooShopping和Shopping。com是美国最大的购物搜索引擎,其中Shopping。com创建于1999年,每月可输送2000万个有效销售给商家,2005年8月被eBay以6。2亿美元收购。
至于国内,垂直搜索市场更是群雄纷争,令人眼花缭乱。然而问题是,大家在纷纷寻找好的赢利模式的时候,往往忽略了应该有一个好的技术作为支持。这是一个很可悲的现象。
(二)搜索质量提高
1。过滤垃圾页面
Web垃圾信息泛滥,不仅浪费了搜索引擎的带宽和时间等宝贵资源,更重要的是,它们的存在大大降低了搜索引擎的查询质量和查询效率,极大地影响了用户对Web信息的有效使用。搜索引擎主要在两个步骤上进行反击:①在Crawler抓取阶段即进行过滤,滤去那些质量极低、毫无内容可言的“高纯度垃圾”,这样可以节省网络带宽、费用、抓取时间、存储空间等,并且大大减轻了下一步在信息分类、信息组织和查询匹配时的负担;②在信息分类和组织阶段,计算网页信息的可信度,在用户查询信息时,把可信度作为一个重要因子对查询结果集进行排序,从而提高查询结果的信息质量,满足用户的实际需要。
搜索引擎公司传统上的做法是,聘请专业人员,不断地搜查探测那些恶意欺骗者。当确认了一个Web垃圾网站后,搜索引擎停止对它的搜索和索引。然而这个探测过程非常昂贵而且缓慢,鉴于此,搜索引擎公司、国内外知名大学和研究机构近几年开始从不同的角度研究和寻找更好的方法,其中有代表性的研究成果如下:
(1)Google在2002年就注意到Web垃圾信息日渐泛滥的问题,提出要在自己的排名算法中,加大页面质量的权重[10]。
(2)Microsoft对近6亿个页面进行了研究,从URL属性、HostName的解析、链接关系、内容特点等几方面分析了Web垃圾页面的特点,并试图按照这些统计属性来确认Web垃圾页面[8]。
(3)Stanford的Gyongyi等人受Haveliwala的“Topic-SensitivePageRank”思想的启发,认为好的页面所指向的链接页面通常也是好的,于是他们提出了TrustRank的概念,依靠一个人工选取的好种子页面集,计算他们的传播结果,从而对Web站点按可信度排序,进而把所有站点分为“好”和“坏”两种[11]。他们还对Webspam进行了分类研究[12],并对Linkspam联盟技术做了分析[13]。Gyongyi等人提出TrustRank的概念后,受到了广泛关注,陆续有很多研究者进行类似的研究,如匈牙利科学院的AndrásA。Benczúr等人,以及美国LehighUniversity的BaoningWu和BrianD。Davison等。
虽然很难见到Google、Yahoo等搜索引擎关于如何去除垃圾页面的技术报告,但他们一直在做着这样的工作,并且已经有所应用。这一点从相关产品的使用体验中可间接地验证。
2。提高查询准确度
对于一个查询,搜索引擎动辄返回几十万、几百万篇文档。面对大量的返回结果,用户只能在其中浏览筛选。实际上,用户大多数时间都没有足够的耐心去浏览多屏结果。根据Silverstein等人的研究结果,有85%的查询只需要给出前10个结果[14]。
如何使用户想要的查询结果出现在返回集合的前列(最好是第一屏),这个本来就具有挑战性的问题随着搜索引擎检索页面集的增大而越来越急迫。目前解决这个问题的主要几种方法是:
(1)通过各种方法获得用户没有在查询语句中表达出来的真正用途,包括:①相关度反馈机制,使用户告诉搜索引擎哪些文档和自己的需求相关(及其相关的程度),哪些不相关,通过多次交互逐步求精;②智能代理跟踪用户检索行为,分析用户模型;③用户注册使用,以便更好地分析用户的使用特点和喜好。
(2)使用正文分类技术将查询结果分类,使用可视化技术显示分类结构,用户可以有选择性地浏览自己感兴趣的类别(GoogleNews就采用了这种方法)。
(3)使用链接结构分析进行站点聚类或页面聚类,然后将信息推荐给用户(Vivisimo公司就是采用对搜索结果自动聚类的办法来满足不同类型用户的需要)。
我们认为最有力的方法是改进排名算法。Google的排名规则一直在变化中,2001年基于HillTop算法进行的优化是比较明显的变化(HillTop认为来自相同主题的相关文档链接对权重计算的贡献更大),现在又到了迫切需要算法更新的时候了。据说Google正在研究“多倍索引信息获取系统(MIBIRS)”,可以使搜索引擎的网页索引数量达到惊人的1000亿幅甚至更多,我们翘首以盼。
(三)搜索能力加强
1。对多媒体搜索的支持
随着多媒体信息在网络上的大量涌现和人们对多媒体信息需求的高涨,知名搜索引擎如Google、Yahoo、AltaVista、Lycos、AllTheWeb等对于多媒体搜索的能力也在不断加强。它们或在一个统一的用户界面上提供资料类型选择,或直接提供独立的多媒体搜索引擎。另外,各种图像搜索引擎和各种娱乐搜索引擎也不断涌现。这些系统可以说在很大程度上满足了用户的需要,然而它们对多媒体搜索的支持都还在初级阶段,基本上是基于文本关键词和自动标注进行多媒体信息检索,缺乏基于图像和音视频内容进行比对检索的功能。
一般的说,多媒体信息的内容表示可分为物理层(如信号样本、像素等)、特征层(如图像的颜色和纹理、语音频谱)、语义层内容(如语音的脚本、音乐的音符、图像中的物体形状和人脸)等三个层次。基于内容的检索一般针对后两个层次。基于特征层次的内容检索主要应用于以媒体实例为输入的查询方式。检索时,首先对输入的实例提取特征模板,再与检索源中的数据相匹配。相关研究主要围绕着检索的快速性和准确性问题展开,具体涉及特征选取、匹配策略、算法优化等。
关于图像处理和检索的专利较多,根据美国专利网的检索结果,与图像检索相关的专利达186项,但是很少见它们应用于实际系统,而用于网络多媒体搜索引擎的专利,则更是罕有。2004年Lowe提出了SIFT(Scale-InvariantFeatureTransform)[15]特征,该特征具有旋转、缩放不变性,并且对光照、仿射变换以及视角变化等都具有相当程度的鲁棒性。除此之外,每一个SIFT特征都具有很强的描述和区分能力,因此非常适用于图像实例检索。但在对海量数据的检索中,如何降低其复杂度需要进一步的深入研究。
在音频检索方面,常用的特征包括:短时能量、频谱、过零率、美标度倒谱等。针对大数据量检索问题,很多工作集中在特征匹配的策略优化上。基于内容的视频检索可以看做图像和音频检索的扩展,所用特征除图像和音频中的常用特征以外,还包括一些专有特征:如物体运动、镜头切换等。关于音视频检索的专利也不少,根据美国专利网的检索结果,与音频和视频检索相关的分别为28项和80项,但是应用于网络多媒体搜索引擎的专利却很少。
语义层次上的内容检索研究相对更为困难一些,下面几个方面是最近几年进展较快的:场景分类技术、语音数据识别、语音说话人分割、视频数据中精彩片段提取等。然而这些技术距离大规模检索应用还有相当的距离。
在这里值得一提的是,面对咄咄逼人的Google和Yahoo,法国总统雅克·希拉克在2006年新年讲话时宣布,法国决定联手德国,抓住多媒体搜索这个机会,开发“真正的多媒体搜索引擎Quaero,以应对Google和Yahoo带来的全球挑战”。
Quaero的拉丁语意是“我搜”,该项目的目标是,搜索时无须借助文字描述就能“读懂”音频、图像和视频的内容。目前,这样的图片识别程序已经存在。法国中型软件公司、Quaero项目成员LTUTechnologies向美国联邦调查局(FBI)提供电脑取证分析工具,用于分析被扣押的硬盘中的图片,并将其与已知的恋童癖罪犯的照片相比对。另外他们还有一些可将语音转化为文字的音频解析程序。Quaero项目组面临的挑战是,如何改进这些工具以提高搜索准确度,同时提高速度,适应大数据量的检索。
目前参与Quaero研发的主要公司和机构包括法国电信、汤姆逊公司、法国视听研究所、德国电信、贝塔斯曼集团和西门子公司等。Quaero项目预计在未来5年内需要投入10亿~20亿欧元,所需资金将由法、德两国政府以及两国企业共同承担,其中法国政府已计划5年内投资2。5亿欧元。这个项目究竟走势如何,我们将拭目以待。
2。对DeepWeb的搜索
DeepWeb已经拥有不少研究者,如Stanford和UIUC的学者们,他们分别搭建了HiWE[16]和MetaQuerier[17]两个很好的原型系统。也有一些搜索引擎能够搜索DeepWeb信息,如www.xiexiebang.com、www.xiexiebang.com。com、www.xiexiebang.com等。然而它们或者太小,或者搜索Invisible信息的能力太弱,所以使用起来很多时候不能得心应手。
几大主流搜索引擎尚未提供DeepWeb搜索功能,主要原因是技术上还不够成熟。然而“需求是创新之母”,我们期待在不久的将来能使用Google、Yahoo等查询DeepWeb信息,或者是基于DeepWeb查询的搜索引擎迅速发展起来,为我们提供更好的服务。
3。ArchiveSearch
搜索引擎通常能够提供的信息通常只是最近在网上有的信息,而很多情况下我们需要了解网上曾有的历史信息,甚至需要将不同时间的信息进行归纳、比较和综合。另外,对于搜索引擎来说,把自己辛辛苦苦搜集来的信息轻易抛弃也是很可惜的事。
这方面的研究国内国外都曾开展过,如InternetArchive、UCLA的WebArchive[18]和北京大学的WebInfoMall(http://www.xiexiebang.com/)作为搜索引擎的领袖公司,一直在进行着前沿研究,并不断推出新的产品。就在不久前,Google专门为中小企业推出了集成了Gmail、Gtalk、GoogleCalendar和GooglePageCreator等免费服务的GoogleAppsforYourDomain项目。接着Google又跟LitCam和UNESCO(教科文组织)合作,推出了一个专为教育和文化事业而设置的集成服务——Google知识工程。Google还推出了新搜索服务——SearchMash。com作为Google的子搜索网站,SearchMash采用了图文结合的方式显示搜索结果,左边为文字搜索结果,右边为符合度最高的图像搜索结果。另外,Google正在研究“多倍索引信息获取系统(MIBIRS)”,据说通过该项技术,可以使Google搜索引擎的网页索引数量达到惊人的1000亿幅或更多。Google对于语义搜索的研究也在进行中。
(2)Microsoft(http://research。microsoft。com/)对于搜索引擎这个庞大的市场当然不肯放过。微软亚洲研究院(http://research。microsoft。com/asia/)早在2001年底,便开始了有关互联网信息检索技术的研究,几年来发表了很多高水平的论文,并不断把这些研究成果转化为技术。他们的代表性成果包括对网页细分的“数据模块化的Web检索方法”、搜索动态网页数据的“深层网络数据发掘技术”,等等。对于分散于互联网上的图像资源,他们开发出的智能化图片搜索技术,已可自动识别与分类搜索结果。在2006年微软创新日上,微软亚洲研究院集中展示的38项技术中,搜索类技术就多达11种,包括对文字、图像、新闻事件等进行搜索,应用涵盖了手机移动、IPTV等多个方面。微软亚洲研究院院长沈向洋博士于2006年9月在北京宣布,微软亚洲研究院将在原有四大研究方向:新一代多媒体、新一代用户界面、无线及网络技术和数字娱乐的基础上,增加互联网搜索和挖掘为该机构的第五大研究方向。
(3)Yahoo!(http://www.xiexiebang.com)……就是例子。前面提到的法国和德国联手开发Quaero搜索引擎的计划也能给我们启示。在上述包罗万象数据(信息)的大搜索的概念下,本土努力将更有天然的优势,而一定的国家行为可以使这种优势发挥出最好的效益来。
本文www.xiexiebang.com www.xiexiebang.com A5首发,转载请保留。
第四篇:2022年技术保障部工作展望
2022年技术保障部工作展望
一、完善考核机制,提高工作效率,增强员工业务能力。根据两个部门日常工作内容分别制定绩效打分表,拉开差距,形成良性竞争;日常工作完成基础上持证上岗线上培训考证年前开展,两个月内拿证,实现全员持证上岗。
二、营造良好工作氛围,鼓励主动作为。给予员工平台及机遇,引导员工主动作为,培养员工对工作整体规划,合理安排,工作闭环管理。
三、节约成本,优化日常工作开支。手工分析与在线仪器的结合,降低药剂及人力成本,工作流程优化,深化对工作的研究,注重分析质量,形成总结性材料。
四、易制毒易制爆及安全工作常态化开展。
五、第三方在线监测系统的维稳。完善运维规章制度,督促第三方提供更好的运维服务,注重现场巡查质量和问题排查,人防技防措施的贯彻执行,新环保要求及外围运维经验的学习。
六、PLC系统的集成及维护。电气工程师或弱电工程方面的理论学习与证书获取;臭氧、MBR、活性炭PLC的集成;现场后期增加或改动仪器仪表通讯、线路、机柜维护。
七、工段仪器仪表的调整及维护。TOC设备的学习及探索;溶解氧、污泥浓度、ORP更换、维护及数据联PLC;点位及监测因子的新增。
八、网络、监控、光纤、电子屏、中控大厅等基础配套工作的优化,减少成本支出。
第五篇:光纤通信技术的发展及展望
通信原理论文
通信技术的新宠—光纤通信技术
班级:信息101 学号:201027012 姓名:张化迪
通信技术的新宠—光纤通信技术
摘要:
光纤通信技术就是以光波作为消息载体,以光导纤维作为传输媒介的一种通信技术。光纤通信的历史虽然不长,但其发展速度和规模却十分惊人。光纤通信以其宽带、大容量、低损耗、中继距离长、抗电磁干扰、体积小、重量轻、便于运输和敷设等一系列优点,成为当代信息传输的最主要的一种技术手段。
关键词:
通信技术、光纤通信、光通信历史、光纤通信发展趋势
正文:
一、光通信的发展历史:
1.古老的光通信技术: 光无处不在,在人类发展的早期,人类已经开始使用光传递信息,举例来说:打手势是一种目视形式的光通信,在黑暗中不能进行。白天太阳充当这个传输系统的光源,太阳辐射携带发送者的信息传送给接收者,手的动作调制光波,人的眼睛充当检测器;3000多年前就有的烽火台以及直到目前仍然使用的信号灯、旗语等都可以看作是原始形式的光通信。
这类古代的光通信方式有显著的缺点,一是它们能够传输的容量极其有限。二是其所利用的自然光为非相干光,方向性不好,不易调制和传输;第三点是这种通信技术以空气作为传输介质,损耗会很大,无法实现远距离传输,又易受天气影响,通信极不稳定可靠。
2.现代光通信技术发展简述:
要发展光通信,最重要的问题就是要寻找适用于光通信的光源和传输介质。(1)光源
1960年,美国的梅曼(T.H.Maiman)发明了红宝石激光器,它可以产生单色相干光,使高速信息的光调制成为可能。
1970年,美国贝尔实验室研制出在室温下连续工作的砷化镓铝半导体激光器,为光纤通信找到了一种可实用化的光源器件。后来逐渐发展到性能更好、寿命更长的异质结条型激光器和现在的分布反馈式单纵模式激光器以及多量子阱激光器。
在研究光通信光源的同时,人们进行了多种光波导的研究,其中包括光导纤维。
(2)传输介质 1966年,美籍华人高锟发表了关于传输介质新概念的论文,指出了利用光纤进行信息传输的可能性和技术途径,奠定了光纤通信的基础。
1970年,美国康宁公司研制出成功损耗仅为20dB/km的石英光纤。从而明确了光通信的发展目标。1974年美国贝尔实验室制造出了损耗为1db/km的光纤,到1990年损耗降到了1.1dB/km。
至此制约光纤通信的两个关键问题,光源和传输媒介问题都得到了解决。光纤通信的普及和推广获得了高速发展的基本条件。
二、探讨光纤通信的可应用性
光纤通信技术近年来迅速发展,已经成为当代信息传输的最主要的技术手段,这些与其自身的特性是分不开的。
光纤是光导纤维的简称,光纤通信是以光波作为消息载体,以光导纤维作为传输媒介的一种通信技术。光纤通信以其宽带、大容量、低损耗、中继距离长、抗电磁干扰、体积小、重量轻、便于运输等一系列有点,在信息传输的多种方式中脱颖而出。
光纤通信系统主要由电端机、光端机、光中继器和光缆组成。
1.电发送端机
如果信源是数字信号,电发送端机即成为信源;如果信源是模拟信号,电发送端机把其转换为电数字信号。2.光发送端机
光发送端机主要由光源、驱动电路和控制电路组成。电发送端机给出的电数字脉冲信号经过线路编码形成适合于光纤通信的码型。驱动电路用该码型对光源发出的光波进行调制,并将调制后的光信号耦合到光纤纤芯上去传输,完成电/光转换。3.中继器
中继器起到放大信号功率、延长通信距离的作用。4.光端接收机 光端接收机主要由光检测器、前置放大器、主放大器、均衡器、时钟提取电路、取样判决器以及自动控制增益电路组成。其功能是将光纤传输过来的微弱光信号,经光检测器转变为电信号,然后再经放大电路放大到足够大的电平,送到电接收端机。5.电接收端机
电接收端机接收判决器输出的再生码元数据流,并还原为信宿可接收的形式。
三、光纤通信的特点
光纤通信获得如此巨大的发展和广泛的应用是与其自身所具有的许多特点密切相关的。
1.传输损耗小,中继距离长。
在长途光纤通信系统中,通常大约每2km需要一个光纤熔接点,每个熔接点的损耗不超过0.2db。光纤的这种低损耗特点支持长距离无中继传输。并可大大减少系统的维护费用。
2.传输频带宽,通信容量大。
用于光纤通信的近红外区段的光波波长为800~2000nm之间,具有非常宽的传输频带。
3.抗电磁干扰,保密效果好。
光纤的非金属制造材料决定了它是一种电磁绝缘体,因此高压、雷电、磁暴都不能对它产生影响。其次,光波的频率很高,而各种外界电磁干扰信号的频率相对来说较低,很难对它产生干扰。光信号一旦逸出就会衰减消失,具有极强的保密效果。
4.体积小、重量轻、便于运输和敷设
光纤制成的光缆直径一般为十几毫米,比金属制作的电缆线径细、重量轻,在长途运输或敷设的时候空间利用率高。
5.原材料丰富、有利于环保
制造光纤的主要原料石英在地球上储量十分丰富,而制造电缆的铜、铝等有色金属材料储量有限且造价昂贵。光纤还具有耐高温、化学稳定性好、抗腐蚀能力强,不怕潮湿、可在有害气体下工作的优点。
但是,光纤传输媒介有其自身的不足,光纤质地脆弱易断,需要适当增加保护层保护;光缆铺设时弯曲半径不宜太小,否则会产生弯曲损耗;切断和连接光纤时需要高精度溶解技术和器具,接续点存在着接续损耗;光信号的分路耦合也不是很方便。但这些不足在现在都一一被人类克服。从长远来看,光纤通信技术完全会成为通信技术领域的新宠儿。
四、光纤通信的前景
(1)向超高速系统的发展。光纤通信系统的传输速率在过去20多年来一直在持续增加,未来的光纤高速系统的出现不仅会增加业务传输容量,也会为各种各样的新业务,特别是宽带业务和多媒体提供了实现的可能。
(2)向超大容量波分复用系统的演进。如果将多个发送波长适当错开的光源信号同时在一极光纤上传送,则可大大增加光纤的信息传输容量,满足波分复用的基本思路。
(3)新一代的光纤。近几年来随着IP业务量的爆炸式增长,传统的单模光纤在适应上述超高速长距离传送网络的发展需要方面已暴露出力不从心的态势,开发新型光纤已成为开发下一代网络基础设施的重要组成部分。
(4)光接入网。过去几年间,网络的核心部分发生了翻天覆地的变化,无论是交换,还是传输都已更新了好几代。另一方面,现存的接入网仍然是被双绞线铜线主宰的(90%以上)、原始落后的模拟系统。两者在技术上的巨大反差说明接入网已确实成为制约全网进一步发展的瓶颈。唯一能够根本上彻底解决这一瓶颈问题的长远技术手段是光接入网。
五、结束语
总的说来,任何一项技术的发展都是要与人类生活相适应的。目前社会,很多产品都在向小型化、集成化方向发展,光纤通信领域的设备也不例外,而其技术则在向越来越有利于人类的方向发展,这些技术、设备的进步都是在我们的研究中不断进步的,并且我国的光纤通信技术的建设还需要我们进一步的学习和研究发展。
【参考文献】:
[1] 樊昌信 曹丽娜编著 《通信原理》
[2] 崔健双主编 《现代通信技术概论》 [3] 穆道生主编 《现代光纤通信系统》