LIB2.0中关于高校图书馆信息检索系统的探索（共五则范文）

第一篇：LIB2.0中关于高校图书馆信息检索系统的探索

一、高校图书馆信息检索系统的现状

随着计算机技术的高速发展，图书馆信息检索系统已经完成从手工方式向计算机方式的转变。读者在信息检索系统中输入关键词，信息检索系统从馆藏资源中检索出满足读者需求的馆藏资源，并标注出馆藏资源所在的位置以及该资源的馆藏数量和可借数量。同时读者还可以对暂时没有可借的馆藏资源进行预约，这些服务方式极大的方便了读者，减少了读者寻找馆藏资源的时间，一定程度上提高了馆藏资源的利用率。

检索系统缺乏与读者的交互。检索系统无法获知读者的兴趣以及读者对这些馆藏资源的反馈，无法针对读者提供个性化的服务。读者只能单方向接受检索系统结果，没有办法参与检索系统的建设。检索系统缺乏指导性。对于高校这个特殊群体来说，学生的层次是有区别的，刚进入学校的学生没有足够的知识来选择合适的馆藏资源来促进他们的学业，这就需要在检索系统中加入更多的指导因素，指导学生选择更合适的馆藏资源。检索的结果缺乏动态性。检索系统主要通过标题、关键字、作者等信息进行检索。而这些信息在检索系统中是不会变化的，这也就导致了检索结果的静态性。静态的检索结果反映不出馆藏资源的优劣、读者的喜好等信息。

这些缺点影响着检索系统的使用效果及馆藏资源的利用率，同时检索系统也不能为读者提供个性化的服务。如何解决这些缺点成为当前以及未来信息检索系统的迫切要求。

二、lib2.0中高校图书馆信息检索系统

(一)推荐书目互动平台

推荐书目，又名导读书目、选读书目，它是为了某一个特定目的将某类或特定主题的书目推荐给特定的人群。推荐书目在我国自古有之，现存最早的推荐书目是敦煌发现的《杂抄》(伯2171号卷子)，为当时读书人列出一份包括《史记》、《三国志》、《春秋》等25种文献在内的书目清单。推荐书目平台在充分考虑高校图书馆的特殊性前提下，构建了可设置的多个主题与学科专栏的平台，形成以下几个类型的推荐：

第一，按学科专业推荐。高校的学生均从属于特定的专业，如，计算机专业，金融专业，外语等。如何学好这个专业是学生在高校阶段首要关心的话题。推荐书目广泛邀请该专业的教师或高年级的学生参与构建学科专业推荐书目，以他们的知识和经验来指导、帮助其他读者顺利的完成学业。

第二，按学业课程推荐。高校的学生每学期均要完成一定的课程，如何学好这些课程也是学生关心比较多的一个话题。在学业课程推荐中邀请已完成该课程的同学进行推荐，介绍他们当年学习时阅读的书籍，同时邀请课程教师对推荐书目进行修正和补充，以确保推荐书目的质量。

第三，按主题推荐。同一专业的学生毕业后可能从事不同技术方向的工作，如计算机专业的学生，毕业后可以从事c语言、c++语言、c#语言、java语言等方向的工作，不同方向所要阅读的书籍也大相径庭。通过教师和学生广泛参与这些主题的书籍推荐，形成了一系列不同主题的推荐书目。学有余力的同学按照自己的兴趣选择不同的方向来阅读书籍、扩展自己的知识面，提高自己的能力，为将来走向社会打下良好的基础。

推荐书目平台与信息检索系统是一个有机的整体。读者在输入检索条件检索信息时，系统自动检索这些关键词的推荐书目信息，以供读者参考。读者在阅读了相关的推荐书籍后，可以添加该书籍的阅读心得，以方便后来的阅读者。这种基于检索系统的推荐书目平台，改变传统信息环境下“推荐者一推荐书目一读者”的单向推荐书目模式，形成循环的推荐书目系统环节链。读者、检索系统与推荐书目平台三者的流程关系。

检索系统引入推荐书目，方便了教师与学生的参与，加强了受众的互动与交流，实现了阅读的分享与互动。众多用户通过检索系统的广泛参与推荐书目平台，确保了推荐书目的质量。同时拥有推荐书目平台的检索系统也实现了检索的平面化向网状化转变。

专题信息库针对同一学科可设置多个知识点，这些知识点构建成知识网络系统，形成在学科内共享领域知识。所有读者均可参与专题信息库的建设，设立知识点，解释知识点，通过共享写作的方式，共同维护专题信息库的质量与权威。

通过在检索系统中嵌入专题信息库，既能促进已有资源的使用，又能为图书馆增加新的资源。它的应用提供了一种崭新的图书馆信息检索系统个性化信息服务的模式。

(三)tag标签云

tag是一种用户决定、更为自由灵活的分类方式，这个标签名可以来自关键词，也可以来自分类。通过tag，不同用户可以进行交叉查询，即用户可通过关键词找到其他用户的收藏 列表，也可以通过大家收藏的url找到其他用户。这样，用户在提供信息的同时，也从他人的信息中受益。

传统的高校信息检索系统主要通过对文件的标题与关键字的搜索达到检索目的，这种搜索方式简单、准确，但不够智能。在检索系统中嵌入tag，提高了检索系统的智能化。用户参与使用tag主要有三种方式： 读者对自己搜索过的图书进行标签。这种标签对馆藏进行重新的聚类，可以极大的方便他人或自己再次使用馆藏资源。读者在检索系统中输入关键字进行检索，检索系统在提供传统检索结果的基础上，智能的检索该关键字对应的tag，这样，读者就可以通过他人的tag更方便地找到自己需要的图书。在浏览某tag对应图书时，检索系统智能化的列出该图书所对应的其他tag，读者可以通过这些tag进行网状的浏览，确定自己的目标资源。

tag代表了一种新的组织和管理信息的方式，它不同于传统的、针对文件本身的关键字搜索，而是一种模糊化、智能化的分类。在检索系统中嵌入tag功能，更加符合高校图书馆中“体验者”提高检索结果的相似程度，极大提高了高校图书馆提供个性化信息服务的能力。

(四)优化检索

传统检索系统主要通过书籍标题、主题、作者等关键字进行搜索。检索的结果是静态的，忽略了读者对检索系统的参与，无法列出最优化的搜索结果。

lib2.0下的检索系统嵌入了推荐书目平台、专题信息库与tag标签云，这为检索的优化提供了基础。检索的优化主要依靠以下四个动态因素：第一、书籍是否被推荐，以及被推荐的情况；第二、书籍是否被专题信息库引用；第三、书籍的tag是否包含搜索的关键词；第四、书籍的借阅量。在用户输入关键词进行搜索时，系统通过赋予这四个因素不同的搜索权重值，自动计算满足关键词的书籍权重，并按照权重顺序进行排序。在检索系统中引入动态检索因素后，检索系统能很好的体现了读者的参与情况，并能为读者提供个性化或有针对性的服务。

第二篇：目前信息检索系统的优缺点

目前信息检索系统的优缺点

摘要

目前，Internet上信息检索的方式主要分为二种:即非WEB信息检索方式和WEB信息检索方式。这两种检索方式为人们及时准确地检索网络信息提供了极大的方便和可能，尤其WEB信息检索工具中的搜索引擎，它已成为人们查询网上信息最重要的检索工具，几乎成了网络信息检索工具的代称，因而本文在论述网络信息检索工具时以搜索引擎为主要代表。然而目前网络信息检索又面临一系列的挑战，如网络信息量的迅猛增加，以至人工己经无法对它们进行有效的分类、索引和利用;简单的关键词搜索;返回的信息量过大已经让用户无法承担;网络信息组织的无序性;网络信息日新月异的更变;信息媒体的多样化等等，这些都给Internet信息的获取和利用造成了极大的阻碍[1]。

引言

信息检索系统的研究是伴随着科学技术的发展和信息数量的俱增而兴起的，是指信息用户为处理解决各种问题而查找、识别、获取相关的事实、数据、文献的活动及过程，其主要研究范围包括：信息检索理论、信息检索语义、信息检索系统的构建和评价、信息检索技术和方法等。

信息检索的研究已经有多年的历史，20世纪中叶以前，信息的存储和传播主要以纸质介质为载体，信息检索的研究主要围绕文献的获取和控制展开，主要关注如何检索和利用文献中记载的信息。直到50年代，计算机被图书馆等部门广泛用来存储和管理文档，信息检索技术作为新的热点被广泛地研究。到了80年代，信息检索领域在索引模型，文档内容表示以及匹配策略等方面取得了许多突破性的研究成果，并且成功地开发了一些系统。例如Cornell大学的SMART系统和Massachusetts大学的INQUERY系统等。Web的出现为信息检索提供了一个前所未有的实验环境和应用情景，许多Web信息检索系统应运而生，例如Yahoo！，Alta-vista等[2]。

目前信息检索系统的优缺点

1.评价标准

目前，得到普遍认同的检索效果的评价标准主要有以下几个:查全率、查准率、收录范围、输出格式，其中以查全率和查准率最为重要[1]。综合国内外关于搜索引擎评价及其方法的研究，笔者将搜索引擎评价的研究方法分为以下几种。

(1)实验方法

(2)调查方法

(3)数据分析法

(4)观察法

(5)综述和评论

综合评价指标是指对搜索引擎各个方面进行考量时依据的参考标准，如

Carpineto等就提出了3个一级指标，分别为:检索界面、检索性能和检索输入。其中，检索界面包括搜索引擎存在、主页检索框、结果页面检索框以及高级检索界面等4个二级指标;检索性能有7个二级指标:大小写敏感度、词干检索、禁用词、部分匹配、短语检索、布尔逻辑检索、全站检索等;检索输出包括基于相关度的排序、标记检索式、结果建议、无死链4个二级指标[3]。

2.按照信息搜集方法和服务提供方式的不同，搜索引擎系统可以分为三大类：

2.1目录式搜索引擎：

以人工方式或半自动方式搜集信息，由编辑员查看信息之后，人工形成信息摘要，并将信息置于事先确定的分类框架中，提供目录浏览服务和直接检索服务。该类搜索引擎因为加入了人的智能，所以信息准确、导航质量高，缺点是需要人工介入、维护量大、信息量少、信息更新不及时。

这类搜索引擎的代表是：Yahoo、LookSmart、Open Directory、Go Guide等。

2.2机器人搜索引擎：

由一个称为蜘蛛（Spider）的机器人程序以某种策略自动地在互联网中搜集和发现信息，然后索引器为搜集到的信息建立索引，再由检索器根据用户的查询输入检索索引库并将查询结果返回给用户。服务方式是面向网页的全文检索服务。该类搜索引擎的优点是搜索的信息空间大，更新及时，毋需人工干预，缺点是返回信息过多，有很多无关信息，用户必须从结果中进行筛选。

这类搜索引擎的代表是：AltaVista，Northern Light，Excite，Infoseek，Inktomi，FAST/FastSearch，Lycos，Google，“天网”，悠游，OpenFind等。

2.3搜索引擎：这类搜索引擎没有自己的数据，而是将用户的查询请求同时向多个搜索引擎递交，将返回的结果进行重复排除、重新排序等处理后，作为自己的结果返回给用户。服务方式为面向网页的全文检索。这类搜索引擎的优点是返回结果更多、更全，缺点是不能充分利用所使用搜索引擎的功能，用户需要做更多的筛选。

这类搜索引擎的代表是WebCrawler，InfoMarket等[4]。

3.新一代的智能Web信息检索系统：

3.1移动agent技术

一般来说，所有用移动agent实现的系统都可以用传统的分布式技术赖实现。那么为什么要选择移动agent呢？这是因为移动agnet为解决分布式问题提供了一个统一的模式。它为分布计算带来了更多的灵活性、高效性、可靠性和可伸缩性。移动agent已成为继CORBA、DCOM后新一代分布处理技术。移动agent具有以下5个优点：

（1）节约网络带宽和减少网络延时；

（2）移动agent能够使传统的C/S计算模式下的计算任务更加动态均匀地分配；

（3）在分布式环境下，移动agent系统能实现较好的并行性即并行任务求解；

（4）基于移动agent的分布式系统具有较好的可理解性；

（5）异步移动计算能力。

3.2本体技术

本体的目标是捕获相关领域的知识，提供对该领域知识的共同理解，确定该领域内共同认可的词汇，并从不同层次的形式化模式上给出这些词语和词语间相互关系的明确定义。

本体的研究与应用主要包括3方面：(1)理论研究，主要研究概念及其分类和本体上的代数运算；(2)在信息系统中的应用研究，主要研究信息组织、信息检索和异构信息系统互操作问题，(3)本体作为一种能在知识层提供知识共享和重用的工具在语义Web中的应用[4]。

3.个性化搜索引擎技术

当前，个性化搜索引擎技术主要表现在如下两个方面:

(1)搜索引擎提供的搜索结果满足用户的个性化需求。由个性化搜索服务获得的搜索结果更加准确，使不同用户能够得到各自需要的搜索结果，同时避免出现不相关的搜索结果。个性化搜索引擎技术通过分析用户的搜索词，跟踪用户的搜索行为和环境，结合用户的需求变化和网络信息的动态变化实时更新等资料进行信息检索，从而为用户提供更为个性化的、准确的、真正需求的搜索结果。

(2)个性化搜索引擎所提供的服务和功能具有优势和特色，与通用搜索引擎不同。由于各大搜索引擎为了获得竞争优势，不断推出新的特色服务和功能，因此出现了从核心搜索衍生出的各种其他服务，如桌面搜索、地图搜索、生活搜索、RSS订阅等服务。

目前不少搜索引擎都加入了个性化服务和功能，他们提出了各种技术和方法以实现个性化搜索服务。他们主要采用了基于规则的和基于信息、过滤的推荐技术。其中，基于信息过滤的技术又包括协作过滤和基于内容的过滤。基于规则的技术允许系统管理员根据用户的动态和静态属性生成规则，规则决定了在不同情况下如何提供不同的务，一个规则本质上是一个if-then语句。该方法的优点是简单、直接，缺点是规则不能动态更新，质量难以保证，随着规则数的增加，系统将更难管理。典型的系统有IBM的Webshere，BroadVision和ILOG等。

基于内容过滤的技术利用资源和用户兴趣的相似度进行信息过滤。该方法的优点是简单、高效，缺点是不能发现用户新的兴趣，并且难以区分资源内容的质量和风格。典型的系统有 Personal web Watcher，syskill&webert，CiteSeer，和Web personalizer等。

基于协作的过滤技术是利用用户之间的相似度来进行信息过滤。该方法的优点是能发现用户新的兴趣点，但缺点是当系统用户和资源逐渐增多时，系统性能会逐渐降低;另外，在系统使用的初期，难以发现相似的用户。典型的系统有Web watcher，Let’s Browse，GrouLens，Firefly和Siteseer等。

还有其它的一些提供个性化服务的信息搜索系统同时采用了基于内容和协作过滤两种技术。如:webSIFT，FAB，Anatagonomy和Dynamicprofiler等，结合这两种过滤技术可以克服协作过滤的稀疏性难题，使用用户已浏览的内容来预测用户对其它资源的评价，进而增加资源评价的密度，再利用这些评价进行协作过滤，从而改善协作过滤的效率[5]。

参考文献

[1] 网络信息检索及其发展趋势研究

[2] 基于结构化向量空间模型的中文信息检索系统研究与实现

[3] 搜索引擎检索功能的性能评价研究

[4] 基于本体的Web信息检索系统及其关键技术研究

[5] 基于内容的个性化Web信息检索系统的设计与实现

第三篇：关于高校图书馆服务的信息检索

关于高校图书馆服务的信息检索

摘要：信息检索（Information Retrieval）是指信息按一定的方式组织起来，并根据信息用户的需要找出有关的信息的过程和技术。狭义的信息检索就是信息检索过程的后半部分，即从信息集合中找出所需要的信息的过程，也就是我们常说的信息查寻（Information Search 或Information Seek）。本文是一篇文献检索报告,通过课题分析、检索工具的选择、检索词、检索过程及结果、文献阐述、参考文献等方面阐述信息文献检索技术的运用。

关键词：高校图书馆信息检索检索服务

前言

随着网络技术的迅猛发展，通过互联网提供的数据库及种类日渐增多。使得人们对于文献信息的查询、加工、存储、利用等方面有了更新的要求。作为高校图书馆以组织加工数字化信息及技术为广大读者提供有效信息服务，信息检索服务一向是高校图书馆重要工作的组成部分，尤以为教学科研课题的检索服务尤其显得重要，提供的文献信息对保障科研工作顺利进行起到不可忽视的作用。信息检索服务就是把图书馆的馆藏资源和网络资源通过整合和有序化，进行全方位、多途径为教学科研及广大读者提供快、精、准的信息服务和信息导航服务，来满足广大用户的信息需求。

一 课题分析

当今网络技术的发展。通过互联网提供服务的数据库种类日渐丰富。信息量大、分布广、信息的自由性强，而用户面对浩如烟海的信息海洋，感到茫然无措，对网络与数字资源利用能力准备的不足，这就需要图书馆馆员通过信息服务为读者进行信息导航，为读者提供细致、周到、全方位的信息检索服务。由于教学科研工作者的精力相对有限，对学术研究的规范性要求较高，而获取准确、有用的信息需占用大量时间和精力，这将成为制约网络信息有效利用的瓶颈。高校图书馆开展信息检索服务正是为教学科研工作者了解各国同行的研究现状，进行科技追踪起到导航作用。

二 检索工具的选择超星数字图书馆

超星数字图书馆成立于1993年，长期致力于纸张图文资料数字化技术开发及相关应用与推广，是国内专业的数字图书馆解决方案提供商和数字图书资源提供商。超星经过多年的研发，已经拥有了成熟的整套图书馆数字化解决方案，被公认为数字图书馆行业中的第一品牌。超星依托雄厚的资源和技术，不仅迅速占领了国内绝大部分的图书馆市场，也已经跻身于世界图书馆数字化进程中的领跑者行列。

超星数字图书馆于2000年被列入国家“863”计划中国数字图书馆示范工程，以

其数字图书馆的方式对数字图书馆技术进行推广和示范。超星电子图书数据按照“中图法”分为文学、历史、法律、军事、经济、科学、医药、工程、建筑、交通、计算机、环保等22大类，目前拥有数字图书100万种，是国内数字图书资源最丰富的数字图书馆。万方数据库资源系统

万方数据资源系统是建立在因特网上的大型科技、商务信息平台，内容涉及自然科学和社会科学各个专业领域。包括：学术期刊、学位论文、会议论文、专利技术、中外标准、科技成果、政策法规、新方志、机构、科技专家等子库。中国维普数据库

该数据库源于1989 年创建的《中文科技期刊篇名数据库》。其全文和题录文摘版一一对应。该数据库包含1989 年以来的自然科学、工程技术、农业、医药卫生、经济、教育和图书情报等学科8000 余种期刊文献。数据库按照《中国图书馆分类法》进行分类，所有文献被分为8 个专辑：社会科学、经济管理、教育科学、图书情报、自然科学、农业科学、工程技术。中国优秀硕士学位论文全文数据库

《中国优秀硕士学位论文全文数据库》简称 CMFD，是国内内容最全、质量最高、出版周期最短、数据最规范、最实用的硕士学位论文全文数据库。出版内容：覆盖基础科学、工程技术、农业、哲学、医学、哲学、人文、社会科学等各个领域。截止至2010年10月，收录来自561家培养单位的优秀硕士学位论文107多万篇。

资源特色：重点收录985、211高校、中国科学院、社会科学院等重点院校高校的优秀硕士论文、重要特色学科如通信、军事学、中医药等专业的优秀硕士论文。专机专题：产品分为十大专辑：基础科学、工程科技Ⅰ、工程科技Ⅱ、农业科技、医药卫生科技、哲学与人文科学、社会科学Ⅰ、社会科学Ⅱ、信息科技、经济与管理科学。十大专辑下分为168个专题。收录年限：从1984年至今的硕士学位论文。产品形式：WEB版（网上包库）、镜像站版、光盘版、流量计费。出版时间：

1、中心网站版、网络镜像版，每工作日出版，法定节假日（春节假日一般为15天，每年假日前10天公布起止日期）除外。

2、镜像版、光盘版，每月10日出版。

5Google搜索引擎

Google 的使命就是要为您提供网上最好的查询服务，促进全球信息的交流。Google 开发出了世界上最大的搜索引擎，提供了最便捷的网上信息查询方法。通过对 20 多亿网页进行整理，Google 可为世界各地的用户提供适需的搜索结果，而且搜索时间通常不到半秒。现在，Google 每天需要提供 1.5 亿次查询服务。Google 富于创新的搜索技术和典雅的用户界面设计使 Google 从当今的第一代搜索引擎中脱颖而出。Google 并非只使用关键词或代理搜索技术，它将自身建立在高级的 PageRank(tm)（网页级别）技术基础之上。这项正在申请专利的技术可确保始终将最重要的搜索结果首先呈现给用户。百度搜索引擎

百度公司是中国互联网领先的软件技术提供商和平台运营商。中国提供搜索引擎的主要网站中,超过80%由百度提供。1999年底，百度成立于美国硅谷，它的创建者是在美国硅谷有多年成功经验的李彦宏先生及徐勇先生。2000年百度公司回国发展。百度的起名，来自于“众里寻她千百度”的灵感，它寄托着百度公司对自身技术的信心。

三 检索词及检索式

1、中文：高校图书馆信息检索检索服务

2英文：University LibrarySearch Service

四 检索过程及结果

对高校图书馆服务这个概念很耳熟，但是要给出科学的精确地定义，一时难以下手。在各个搜索引擎和数据库搜索，信息量非常大，所以要认真慎重筛选，才能找到有效地信息。超星数字图书馆

先输入：高校图书馆，检索结果为：2条。万方数据库资源系统

共找到2168篇符合条件的论文。中国维普数据库

题名或关键词=高校图书馆服务。共找到810条，当前页1/41标记数0条。4 中国优秀硕士学位论文全文数据库

输入高校图书馆服务，共有211条记录。Google搜索引擎

获得约 2,030,000 条结果（用时 0.14 秒）百度搜索引擎

百度一下，找到相关网页约3,510,000篇，用时0.102秒

五 文献阐述

随着信息技术的发展网络信息资源的剧增，其分布性、异构性和动态性给信息检索带来了新的挑战。传统的检索服务已不能满足科研对文献信息检索日益增长需求，对新问题求解为目的的检索已成一种趋势，面对这种检索需求的转变。需要馆员对信息检索提供的深度要求有了更大幅度的提高。要求馆员在信息检索技术上进行资源整合。采用局部资源整合、文献资源深层次整合、数据库存资源层次的整合、异构数据库的同构化整合、基于文献内容层次的整合等。通过整合从而大大提高检索效率和资源利用率。高校用户在对信息内容综合性要求的同时，对所提供的文献信息及信息服务的深度要求也有了更大提高，因此在对用户提出的某一专业性较强课题时，这就要求馆员积极参与到课题的研究中去，从课题所属的专业角度出发，对其进行一系列的分析，并挖掘其深层含义，从而将分散在本领域和相关领域的专门知识与信息加以集中组织并有序化，从中提炼出有利于用户需求，具有创新思路的“知识因素”。向用户提供潜在内容知识、预测分析具有超前性领域的知识和成果，这将有利于检索质量的提高，也是高校图书馆今后进行信息检索服务的发展趋势。

总之，高校图书馆作为高校教学科研和读者服务的部门，必须进一步明确自身的定位，加强服务意识和创新服务举措，凭借自身在文献信息资源特有的行业优势，充分利用图书馆丰富的馆藏文献信息资源、特色数据库等资源，为教学科研工作提供优质、周到的服务，推动高校教学科研工作进一步的向前发展。

六 总结

通过课堂上对信息检索与利用的学习，以及课后信息检索的实践，利用各种信息检索工具，学到了很多信息检索方法，利用一个或者几个相关的关键词进行检索，然后筛选出合适的信息。通常利用网络搜索引擎搜索到的信息比较繁杂，如果要搜索专业的信息资源，应该选择专业学术数据库。

参考文献：

[1]杨玛萍.数字图书馆服务质量初探[J].科技情报开发与经济.2006（16）.[2]杨晓红.高校图书馆文献信息资源开发与服务创新[J].科技情报开发与经济.2005（21）.[3]刘芳兰.高校图书馆服务创新的探讨[J].湘潭师范学院学报.社会科学版.2005.（2）.[4]张玉峰.论知识检索与信息检索[J].中国图书馆学报.2003（5）.[5]余艳.搜索引擎原理剖析及其技术发展[J].图书馆学刊.2004（1）.[6]任岩.网络环境下图书馆信息服务的探讨[J].情报科学.2003（1）.

第四篇：基于lucene的信息检索系统 毕业论文

第三章 信息检索系统及其关键技术

3.1 信息检索系统简介

信息检索系统是利用信息检索技术(如全文检索等)帮助用户查找特定信息的一种工具。它能够对信息进行正确的表示、存储和组织，同时还提供对于信息的访问方式。在这里，信息的概念很宽泛，它可以是一篇文章，一段文本，一个网页，一封邮件，一张照片，甚至是一些虚拟信息的集合。

3.2 信息检索的过程

检索的整个过程包括：构建文本库，建立索引，进行检索。1.构建文本库

在开发检索功能前，一个信息检索系统需要做些准备工作。首先，必须构建一个文本数据库。这个文本数据库用来保存所有用户可能检索的信息。在这些信息的基础上，确定检索系统中的文本模型。文本模型是被系统所认可的一种信息格式，这种格式应当具有可识别、冗余度低等特点。当然，在系统的运作过程中，文本数据库的信息可能会不断地发生变化。

2.建立索引

有了文本模型后，就应该根据数据库内的文本建立索引。索引可以大大提高信息检索的速度。目前有多种索引的建立方式，采用哪种方式取决于信息检索系统的规模。大型信息检索系统(如百度、Google这样的搜索引擎)均采用倒排的方式来建立索引。

3.进行搜索

在为文本建立索引之后，就可以开始对其进行搜索。通常由用户提交一个检索请求，该请求被分析，然后在索引中检索并返回结果。

3.3 Lucene

Lucene是一个开源全文检索工具包，它是apache软件基金会jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。3.3.1 Lucene结构分析

Lucene作为一个优秀的全文检索引擎，其结构具有强烈的面向对象特征。首先是定义了一个与平台无关的索引文件格式，其次通过抽象将其核心组成部分设计为抽象类，具体的平台实现部分设计为抽象类的实现，此外与具体平台相关的部分比如文件存储也封装为类，经过层层的面向对象式的处理，最终达成了一个低耦合高效率，容易二次开发的检索引擎。Lucene的结构和源码组织结构如图3.1所示：

查询语句org.apache.lucene.queryPaser被索引文件查询结果org.apache.lucene.search对org.apache.lucene.analysis外接口org.apache.lucene.index核心索引org.apache.lucene.store索引文件org.apache.lucene.documentorg.apache.lucene.store基础结构封装 图3.1 Lucene结构和源码组织结构

从图中可以看出，Lucene由基础结构封装、索引核心、对外接口三大部分组成。其中直接操作索引文件的索引核心又是系统的重点。Lucene的将所有源码分为了7个模块（在java语言中以包即package来表示），各个模块所属的部分也如图3.1所示。3.3.2 Lucene索引的建立

索引是信息检索引擎工作的第一步，只有建立了索引才能进行信息检索。Lucene用Document逻辑文件和Field域来组织各种数据源。Document向Lucene提供原始的要索引的文本内容，Lucene从Document中取出相关的数据源，并根据属性配置进行相应的处理，建立索引。

索引过程如下：

(1)创建一个IndexWriter用来写索引文件，它有几个参数，INDEX_DIR就是索引文件所存放的位置，Analyzer便是用来对文档进行词法分析和语言处理的。(2)创建一个Document代表我们要索引的文档。

(3)将不同的Field加入到文档中。我们知道，一篇文档有多种信息，如题目，作者，修改时间，内容等，不同类型的信息用不同的Field来表示。(4)

IndexWriter调用函数addDocument将索引写到索引文件夹中。

3.3.3 Lucene的搜索

Lucene建立了功能强大的索引机制为搜索服务，这是因为在检索系统的使用中，用户体验最深的还是搜索部分。如果这一部分的性能无法达到用户要求，那么软件就没有太大的意义。

搜索过程如下：

(1)IndexReader将磁盘上的索引信息读入到内存，INDEX_DIR就是索引文件存放的位置。

(2)创建IndexSearcher准备进行搜索。

(3)创建Analyer用来对查询语句进行词法分析和语言处理。(4)创建QueryParser用来对查询语句进行语法分析。

(5)QueryParser调用parser进行语法分析，形成查询语法树，放到Query中。(6)

IndexSearcher调用search对查询语法树Query进行搜索，得到查询结果存放在TopScoreDocCollector。

3.3.4 中文分词

中文分词是处理中文信息的基础与关键。由于Lucene自带的分词器对英文的分词效果较好，但对中文的分词效果并不如意。为了使检索系统能更好的处理中文信息，本文采用了IKAnalyzer作为分词器。IK Analyzer是一个开源的，基于java 语言开发的轻量级的中文分词工具包。从2006年12月推出1.0 版开始，IKAnalyzer已经推出了3个大版本。最初，它是以开源项目Luence 为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer 3.X 则发展为面向Java 的公用分词组件，独立于Lucene 项目，同时提供了对Lucene 的默认优化实现。IKAnalyzer的特性：

 采用了特有的“正向迭代最细粒度切分算法“，具有60 万字/秒的高速处理能力。 采用了多子处理器分析模式，支持：英文字母（IP 地址、Email、URL）、数字（日期，常用中文数量词，罗马数字，科学计数法），中文词汇（姓名、地名处理）等分词处理。

 优化的词典存储，更小的内存占用。支持用户词典扩展定义

 针对Lucene 全文检索优化的查询分析器IKQueryParser；采用歧义分析算法优化查询关键字的搜索排列组合，能极大的提高Lucene 检索的命中率。

第四章 信息检索系统的分析与设计

4.1 系统功能需求

随着科技的发展，电脑的应用越来越普遍，人们的学习工作几乎都不能离开电脑。而笔记本电脑由于其轻便和时尚性，受到人们普遍的喜爱。但是，在购买笔记本时，我们需要详细地了解所买型号笔记本的外表及各种功能，为此我们往往要去各个商家挑选。为了方便，需要提供一个专门的笔记本电脑信息查询系统，能让用户轻松的获取各种型号笔记本的详细参数与外观。该系统提供一个良好的用户界面，用户查询时，系统能根据用户查询语句精确地给出查询信息，能够较好地理解用户的查询语句。

4.2 系统开发平台设计

本系统采用的是Eclipse6.5+MySQL5.1+Tomcat5.5的开发环境。

 Eclipse是一个开放源代码的、基于Java的可扩展开发平台。在开发时搭配使用MyEclipse进行开发。MyEclipse企业级工作平台是对Eclipse IDE的扩展，利用它可以在数据库和J2EE的开发、发布，以及应用程序服务器的整合方面极大地提高工作效率。它是功能丰富的J2EE集成开发环境，包括了完备的编码、调试、测试和发布功能，完整支持HTML CSS、Javascript、Struts、Spring、SQL、Hibernate和JSF。

 MySQL是最受欢迎的开源SQL数据库管理系统，它由MySQL AB开发、发布和支持。MySQL服务器支持关键任务、重负载生产系统的使用，也可以将它嵌入到一个大配置的软件中。本文采用的是当前的稳定版本5.1。

 Tomcat是一个免费的、开放源码的、支持JSP和Servlet的web服务器。Tomcat是一个小型的轻量级应用服务器，在中、小型系统和并发访问用户不是很多的场合下被普遍使用，是开发和调试JSP程序的首选。它运行时占用的系统资源小，扩展性好，支持负载平衡与邮件服务等开发应用系统常用的功能。目前Tomcat5.5是较稳定的版本，而且Eclipse也很好的支持该版本的集成，所以本文采用Tomcat5.5进行开发。此外，本系统所应用到的其它开源工具为：Struts1.2、Spring2.5、Hibernate3.1，网络爬虫Heritrix1.14.3，网页解析工具HtmlParser2.0，全文检索工具包Lucene3.0，中文分词软件IKAnalyzer3.0。

4.3 系统的组成结构

整个系统由三个部分组成：网页采集分析模块、索引与数据库模块、web搜索界面模块。其中网页采集与分析分别由开源工具网络爬虫Heritrix和网页解析器HtmlParser完成；由Lucene完成索引系统，并将索引与数据库关联；web查询界面基于SSH框架设计完成。模块组成结构如图4.1所示。

网页抓取分析模块索引与数据库模块InternetHeritrixWeb检索模块抓取的信息网页Lucene建立索引HtmlParser文本格式信息返回查询结果创建数据库数据库索引根据索引查找数据库查询索引基于SSH设计

图4.1 系统模块结构图

4.4 网页抓取分析模块设计

4.4.1 站点选择

从技术角度看，选择网站的主要依据有：

(1)网站能够被Heritrix爬虫抓取。因为有的网站使用了反爬虫技术，防止未经授权的爬虫对面页进行抓取。

(2)网站的信息不是用javaScript动态生成的。这种动态生成的内容需要在浏览器中运行生成，是爬虫无法获取到的。

(3)网站的面页结构不应该经常变化，最好是使用一种模版动态生成的。这样有利于在分析面页时，使用较为简单的方式从网页中解析数据。

除了上述3点技术方面的因素，在选择网站时，也应当尽量选择那些访问量较大、产品信息比较齐全的网站。这样，有利于数据完整性。基于上述各因素的考虑，本文选择太平洋电脑网(http://$ 例如苹果Macbook Pro 15(MC373CH/A)：

http://product.pconline.com.cn/notebook/apple/411413.html 产品详细参数面页URL的正则表达式为：

^http://product.pconline.com.cn/notebook/+[wd]+/d{5,6}_detail.html$ 例如苹果Macbook Pro 15(MC373CH/A)详细参数: http://product.pconline.com.cn/notebook/apple/411413_detail.html 产品页的产品图片URL都是以.jpg结尾。

通过对网站URL分析，可以总结出我们要抓取的面页URL的规律，只要抓取产品面页和产品详细信息面页及产品图片即可。因此，要扩展Heritrix来实现上述抓取策略。Heritrix有多个扩展点，本文选择扩展FrontierScheduler来抓取特定的内容。FrontierScheduler是Heritrix的一个PostProcessor，它的作用是将Extractor中分析得出的链接加入到Frontier中，以待继续处理。扩展代码如下：

protected void schedule(CandidateURI caURI){

//取得URI字符串

String url = caURI.toString();try{

//URI选择策略 //匹配 具体型号url Pattern pattern_model = Pattern.compile(MODEL_URL);Matcher matcher_model = pattern_model.matcher(url);//匹配 型号详细参数url

}

} Pattern pattern_detail = Pattern.compile(DETAIL_URL);Matcher matcher_detail = pattern_detail.matcher(url);//URL是产品面页/详细参数面页/jpg图片/DNS if(//matcher_detail.find()||matcher_model.find()||url.endsWith(“.jpg”)

} e.printStackTrace();||url.indexOf(“dns:”)!=-1){

getController().getFrontier().schedule(caURI);return;}else{ }catch(Exception e){ }finally{ 4.4.3 网页解析工具HtmlParser 对于抓取到的网页，需要经过解析，提取出需要的信息以便更好的建立索引和创建数据库。本文Html解析器是HtmlParser，HtmlParser是一个开源的Java库，它提供接口，支持线程和嵌套的解析Html文本。HtmlParser提供了两种访问Html结点的方法：Visitor模式和Filter模式，本文采用了Filter模式。Filter模式通过设置一定的过滤条件，对每个结点进行过滤，返回一个符合规则的节点列表。Org.htmlparser.filters包含所有已经实现的Filter类型，定义了16种Filter。

例如要解析一个网页中所有包含图片的链接，分析可得该节点中具有链接标签名”a”，并且它的字节点中还必须包含图片标签名”img”，则过滤器的定义为：

NodeFilter filter = new AndFilter(new TagNameFilter(“A”), New HasChildFilter(new TagNameFilter(“IMG”)))4.4.4 网页信息结构化

在抓取到笔记本产品各种信息的Html文本后，需要用HtmlParser对Html文本解析，得到建立索引所需的各种信息。处理后的的文件如图4.2所示。

图4.2 处理后产品的信息格式

从图中可以看出文件的格式如下：第一行是笔记本品牌(包括中文和英文名称)；第二行是笔记本具体型号；最后一行则是该笔记本的对应图片文件名，图片名是经过Hash后的字符串；其余部分则是该笔记本的详细参数。将所有笔记本产品的信息按上述格式存储，以便建立索引。

4.5 数据库与索引设计

4.5.1 数据库设计

本文数据库结构简单，只有一个数据表来存储笔记本产品的各种信息，数据库各字段含义如表4.1所示。

表4.1 数据库字段含义

字段名 Id name type content abstractcontent

字段含义 主键

品牌名称，如”苹果”

型号，如” ibook G4 M9627CH/A” 笔记本产品的详细信息

详细参数的摘要，供建立索引时使用

创建数据库的SQL语句如下： create database searchdb;use searchdb;create table product（id

int AUTO_INCREMENT, name varchar(128), type varchar(128), content varchar(20000), abstractcontent varchar(512),);4.5.2 索引设计

在使用Lucene建立索引时，需要定义Lucene的Document格式。索引中的信息应当尽量少，只要能够满足用户检索要求就可以了。本文中，为Document构建了4个Field：

//当前产品在数据库中的id

Field indentifier = new Field(“id”,id + “",Field.Store.YES, Field.Index.NOT_ANALYZED);//产品的品牌

Field name = new Field(”name“,product.getName(),Field.Store.YES, Field.Index.ANALYZED);//产品型号

Field type = new Field(”type“,product.getType(),Field.Store.YES, Field.Index.ANALYZED);//将笔记本产品的name、type、abstractcontent信息综合起来，默认的检索域 Field all = new Field(”all“,text,Field.Store.YES, Field.Index.ANALYZED);上述4中Filed中，前3个与数据库的内容有直接的对应关系，而最后一个Filed则是将name、type这两个Filed拼接起来并添加了abstractcontent来进行保存，为用户提供一个检索时的默认Filed。这种方式占用了索引空间，但却避免了使用多域搜索带来的性能损失，还可提高检索的全面性。

4.6 web检索模块设计

web检索模块基于SSH设计实现，由Struts作为控制器，Spring作为业务层，Hibernate作为数据持久层，结构如图4.3所示。

控制器Struts业务层SpringSpringAOP持久层HibernateHibernateTemplaterequestActionServletActionFrom数据库responseJSPActionSpringIocHibernateDAO图4.3 基于SSH的web检索模块结构图

从图中可以看出，用户的请求会发送给ActionServlet,用户数据通过ActionForm Bean传递给Action，由Action类来通过Spring的IoC容器访问Hibernate的DAO，DAO负责数据库的交互，然后再返回JSP面页将查询结果进行显示。

第五章 信息检索系统的实现

5.1 网页抓取的实现

在抓取任务开始前，需要对抓取的内容进行详细地分析，确定种子，即开始抓取的网页。本文中为了能尽量获取全部的产品信息，直接将需要抓取的面页(包括产品面页、详细参数面页、图片)的URL作为抓取的种子，这就需要找出所有产品的具体URL。在太平洋电脑网上提供了站内搜索功能，当输入查询某品牌的笔记本就能得到站内所有该品牌标记本的信息的面页，当然面页中也包含这些笔记本的产品面页的URL，这就提供了抓取的种子。依次查询各个品牌的笔记本，将查询结果面页保存到本地，然后用HtmlParser解析得到其中产品面页的URl，写入种子文件。

图5.1 查询结果面页源代码

从网页源代码中可以发现解析网页时可以得到该品牌所有笔记本产品的产品面页和详细参数面页的URL。其中产品详细参数面页URL的节点形如：