第一篇：网对网和Web数据挖掘在搜索引擎中的运用论文
摘 要：当今网络信息技术日益发展，传统意义上的搜索引擎更加难以满足广大用户日益增长的信息检索需求。在这种趋势下，智能技术在搜索引擎中的应用显得越来越重要。只有将智能技术引进搜索引擎，才能提高用户的工作效率，满足人们日益增长的客观需求。主要介绍了如今搜索引擎的几大分类，传统搜索引擎需要改进的不足以及两大智能技术在搜索引擎中的应用。在智能技术将会更加智能更加发达的未来，搜索引擎也将不断地更新和发展，为人们提供更加高效的搜索体验。
关键词：智能技术；搜索引擎；网对网技术；数据挖掘。
搜索引擎是根据一定的策略，运用特定的计算机程序来搜索互联网上的信息，在对信息进行组织和处理后，将处理后的结果显示给用户，是为用户提供检索服务的系统。而智能技术在搜索引擎中的实际应用也越来越广泛，不断有新兴的智能技术，搜索引擎也不断地结合这些智能技术来进行自身的变革和发展。这是一个渐进的过程。本文将详细介绍 2 种智能技术在搜索引擎中的应用。
1.搜索引擎的分类。
搜索引擎可分为以下 3 类：①全文搜索引擎。全文搜索引擎是最标准的搜索引擎，国外的主要代表是 Google,而国内的主要代表则是百度。全文搜索引擎的主要原理是在互联网中检索与所查目标相匹配的内容，继而建立数据库，按序排列并且将其展示给用户。②目录搜索引擎。从本质来说，目录搜索引擎其实不能算是真正的搜索引擎。只是将网站链接目录分类，用户并不需要输入关键字，根据目录就完全可以找到想要的信息。目录索引最具代表性的就是 Yahoo 和新浪索引。③元搜索引擎。元搜索引擎在接收用户的搜索请求后，可以在各个搜索引擎上同时搜索，随后将结果显示给用户。这一种搜索引擎的国内代表是搜星搜索引擎。
2.传统搜索引擎相比网络信息检索的缺点。
传统搜索引擎作为用户在互联网进行信息检索的一个重要途径，给广大用户提供了相当大的便利，随着互联网的迅速发展，用户对搜索引擎又提出了搜索速度更快、搜索效率更高等诸多要求。正是用户的这些需求刺激着搜索引擎的快速发展。传统搜索引擎越来越满足不了用户的需求，主要存在以下几点不足：①搜索引擎从互联网搜索的各种网页水准不一，存在着根本没用或者暂时性的网页。这严重加大了用户检索信息的困难程度，并且严重影响了检索速度。②主流搜索引擎大多采用关键词来检索，由于用户水平的差异，极少数可以总结出关键词或关键词组，以至于用户搜索不到想要的内容，从而加大了检索难度。③每个搜索引擎覆盖的范围虽然不小，但与庞大的互联网相比，简直是九牛一毛。④检索的结果不准确、不唯一，搜索结果为零或者为数万的情况时有发生。⑤不能智能搜索，难以满足用户深层次的需求。
3.智能技术的运用。
由于传统引擎的各种缺点，用户越来越渴望更好用、更便捷的搜索方式出现。在这种刺激下，智能技术在搜索引擎中的应用大量出现。这使得搜索引擎需具有一定的智能化和理解能力。当前主要有以下两大智能技术。
3.1 网对网技术。
顾名思义，“网对网技术”就是网络和网络对应起来的意思。这其中又要提到两个概念了，是两个单词。一个单词我们都相当熟悉了--Internet.我们常说的互联网，就是这个单词。而在这里，这个单词指的是一个信息网络，也就是我们所说的网络中的信息网。我们想要搜索什么东西时，将它输入搜索引擎中，引擎就会在这个网络库中查找，找到相关信息，然后呈现在我们面前。而另一个词可能就有一些陌生了--Innernet.表面上看起来与 Internet 很像，英文词典中并没有这个词，我们在这里叫它“内联网”.与看起来更像数据库的 Internet 比起来，内联网更像是人类大脑的一个信息网络。这里面不仅仅有我们生活和工作中所用到的各种各样的信息，更重要的是，信息之间繁杂又紧密的联系。就像我们在生活中和他人交流，提到“小伙伴”这个词，我们会想到其他与之有联系的词汇，比如“朋友”“同学”等。同样的，当提到“师父”,我们的大脑也会迅速联想到“师门”“师生”这样的相关词汇。我们所说的内联网，它所着重的，也是信息与信息之间这样息息相关的联系。Internet 和 Innernet都是知识的网络，互联网时代的信息社会发展日新月异，因此无论是哪个网络，其内的信息都是不断变化着的。人们将这个技术运用在搜索引擎中，大大提高了搜索引擎的实用性。作为内联网的 Innernet 和 Internet 联结起来，运用信息之间存在的各种各样的联系，将用户输入搜索引擎中，将复杂的联系正确分割开，然后各自拓展出一些对人们而言有用的信息，将 Internet 中庞大、杂乱的信息进行有序化的筛选和整理，最终将信息呈现在人们的眼前。这大大提高了搜索引擎的可操作性，缩短了人们不断删改语句来配合 Internet 的时间，自然也就提高了用户的工作效率。
3.2 Web 数据挖掘技术。
数据挖掘作为一门交叉学科，其原理比较复杂，可以从庞大的数据中将更有用、更有新意的数据挖掘出来，而 Web 挖掘，便是将数据挖掘和 Web 发展联系起来。Web 数据挖掘有 3 种不同的挖掘形式，即内容挖掘、结构挖掘和使用记录的挖掘。
3.2.1 内容挖掘。
内容挖掘指的是从 Web 文档中或是描述中挖掘，在网页中进行数据挖掘，其中包括文本、超链接、图像和视频等，而半结构化的数据和无结构的文本便是主要的挖掘对象。
3.2.2 结构挖掘。
Web 结构挖掘则是通过网页中的超链接，发现其中信息之间的结构及其紧密或稀疏的联系。在平时上网时，我们只能看到一个个的网页，打开浏览或者关闭。但是在这些页面的背后，其实隐藏着无数个结构链接。Web 数据挖掘就能够通过这些结构上的链接，发现页面与页面、数据与数据之间的联系，随后对它们分类，以便为用户提供含有相似信息的更多页面，帮助用户完善自己想要在搜索引擎中得到的信息。
3.2.3 使用记录的挖掘。
与前两者相比，Web 使用记录的挖掘让我们感觉更加熟悉，至少“使用记录”4 个字是我们上网过程中能够看到的。当我们点击一下搜索引擎的输入框想要输入文本时，搜索引擎会自动下拉出我们前几次使用时所查询的内容，以便我们重复查看相似内容的信息。搜索引擎有时也会为我们推荐一些内容的信息。这些信息也会是我们所感兴趣的一些内容，是搜索引擎结合了我们之前的使用记录，为我们提供感兴趣的相类似的内容。这些都是 Web 使用记录挖掘在搜索引擎中的实用例子，但并不是全部。搜索引擎会从用户的访问痕迹中挖掘出很多有意义的数据，包括数据端、服务器端和代理端的数据。而其获得这些数据的途径又分为 KDD 和专业化追踪。这些方法和深度的挖掘，使搜索引擎更加“智能”地了解用户的兴趣和需要。
4.总结。
搜索引擎是我们工作、学习和生活中必不可少的实用性技术，正如一个调查中所显示的，85%的人都是通过搜索引擎获取到他们所需要的信息和所喜爱的网站，可见搜索引擎的重要性。随着智能技术的不断更新，人们的生活变得越来越智能，对搜索引擎的要求也会随之越来越高，因此不断利用新的技术完善和提高搜索引擎的智能性，是用户的选择，也是时代的选择，是搜索引擎在现在和未来的发展中必然的趋势，且将一直持续下去。
参考文献：
[1]陈勇跃，张玉峰。智能技术在搜索引擎中的应用[J].情报杂志，2004（02）：2-3,6.[2]杨占华，杨燕。数据挖掘在智能搜索引擎中的应用[J].微计算机信息，2006（12）：244-246.[3]朱素媛，马溪俊，梁昌勇。人工智能技术在搜索引擎中的应用[J].合肥工业大学学报（自然科学版），2003（S1）：657-661.
第二篇：数据挖掘在培训管理中的应用论文
1、引言
对很多培养机构而言，目前急需解决的问题主要有：如何根据不同成员需求设置合理的课程、如何通过教学方式提高成员学习积极性、如何提高成员培训效果、如何通过考核检验成员学习成果等，都是培养机构发展过程中必须面对的问题。随着我国信息化进程的加快，一些培养机构也开始进行信息化建设，通过信息系统对培训相关事宜进行管理。但目前在针对培养机构的信息系统中，所实现的功能和模块是进行简单的查询、统计。在了解培训评估效果时，目前的信息系统中，学员通过系统对不同课程的教师进行打分，系统自对进行汇总、统计，得出教师评价。但这种汇总、统计是最简单的，对教师评价也缺乏全面性和深度。
2、数据挖掘在培训管理系统中的应用
大数据时代下，数据信息呈现出海量特点。如何从海量、不完全的信息中寻找到真正有用的信息，是大数据时代中重要的问题。由此便利用到数据挖掘，顾名思义，数据挖掘就是从众多数据信息中寻找到有用、有价值的信息。大数据时代下，教育行业中，信息量也是海量的，要想提高教学质量就需要运用数据挖掘找寻到有用的教育信息，并运用到实际教学中。信息系统通过一段实际应用后，里面存储了大量数据，相应的，学习管理系统也是如此，里面蕴含了大量数据信息。如在线课程等功能中藏有大量师生应用过程中的数据资料。如图1为数据挖掘在培训管理中的流程图。
2.1初步探索
培训管理系统中一般具有数据统计功能，将相关事宜进行统计。如网络课程开展过程中，数据挖掘在培训管理系统中的应用文/张宏亮在大数据时代，如何使用现有的数据对学员进行培训管理，从而提高培训效率是当前培训管理中所面临的问题。本文分析了数据挖掘在培训管理中的应用主要表现在初步探索、数据预处理以及数据挖掘过程。其中数据预处理和数据挖掘是培训系统的核心功能。
2.2数据预期处理
数据预处理时，原始数据库会发生转变，以适应数据挖掘、数据挖掘算法等的要求。在处理结构化的数据时，数据预处理需要完成两项任务，即消除数据缺陷现象的存在和为数据挖掘奠定良好基础。数据处理是对现有的数据进行前期处理，方便后期数据挖掘。如图2为培训管理系统中数据预处理模块。
2.3数据挖掘
WangJ开发了一个将数据挖掘技术与基于模拟的培训相结合的混合框架，以提高培训评估的有效性。以信仰为基础的学习概念，用于从知识/技能水平和信心水平的两个维度来评估学员的学习成果。数据挖掘技术用于分析受训人员的个人资料和基于模拟的培训产生的数据，以评估学员的表现和学习行为。提出的方法论以台湾基于模拟的步兵射击训练的实例为例。结果表明，提出的方法可以准确地评估学员的表现和学习行为，并且可以发现潜在的知识来提高学员的学习成果。BodeaCN使用数据挖掘技术进行了培训学习管理，用于分析参加在线两年制硕士学位课程项目管理的学生的表现。系统数据来源是收集学生意见的调查数据，学生记录的操作数据和电子学习的平台记录的学生活动数据。
3、总结
目前培训机构在进行教学评估时，所选择的指标都是参考其他机构的，并没有真正从自身实际出发进行评估，因此教学评估时存在诸多问题。其中最明显的两个问题是：第一教学评估方式单一化严重，只以数字评估为主；第二评估时容易受各种主观因素影响。
参考文献
[1]菅志刚,金旭.数据挖掘中数据预处理的研究与实现[J].计算机应用研究,2004,21(07):117-118.[2]王全旺,赵兵川.数据挖掘技术在Moodle课程管理系统中的应用研究[J].电化教育研究,2011(11):69-73.[3]陈怡薇.数据挖掘技术:教育培训管理新手段[J].石油化工管理干部学院学报,2014(04):49-52.[4]肖明,陈嘉勇,栗文超.数据挖掘在学习管理系统中应用的研究进展综述[J].现代教育技术,2010,20(09):127-133.
第三篇：在现代档案信息管理系统中引入数据挖掘技术论文
计算机技术的不断发展，信息技术不断加强，在社会新的发展趋势下，以往的传统管理模式落后于现代化发展的管理水平。为了创新档案管理的模式，提高档案管理的质量，在现代档案信息管理系统中引入数据挖掘技术。
1、信息挖掘技术
1.1数据挖掘技术概述
数据挖掘技术是一种基于统计学、人工智能等等技术基础上，能够自动分析原有数据，从而做出归纳整理，并对其潜在的模式进行挖掘的决策支持过程，简单来说就是从一系列复杂的数据中提取人们需要的潜在性信息。
1.2数据挖掘技术的方法
二十世纪末，计算机挖掘技术产生。其一般用到的方法有：
（1）孤立点分析。孤立点分析法主要用于对于特殊信息的挖掘。
（2）聚类分析。聚类分析方法是在指定的对象中，对其价值联系进行搜索。
（3）分类分析。分类分析就是找出具有一定特点的数据，对需要解读的数据进行识别。
（4）关联性分析。关联性分析方法是对指定数据中出现频繁的数据进行挖掘。
（5）序列分析。与关联性分析法一样，由数据之间内在的联系得出潜在的关联。
1.3计算机挖掘技术的形式分析
计算机挖掘技术在使用过程中，收集到的数据不同，数据收集的方法也就不同。在对数据挖掘技术进行形式分析的时候，主要用到：分类形式、粗糙集形式、相关规则形式。
2、计算机数据挖掘技术在档案信息管理
系统中的应用计算机挖掘技术，能够将隐藏的信息挖掘出来并进行总结和利用，运用到档案管理中来，在充分发挥挖掘技术作用的同时，极大的提高了档案数据的利用价值。数据挖掘技术在档案管理系统中，一般用到的方法为：
2.1收集法
该方法在对数据库中的数据进行分析的基础上，建立对已知数据详细描述的概念模型。然后将每个测试的样本与此模型进行比较，若有一个模型在测试中被认可，就可以以此模型对管理的对象分类。例如，档案管理员就某事向客户进行问卷调查并将答案输入到数据库中。在该数据库中，对客户的回答进行具体属性描述，当有新的回答内容输入的时候，系统会自动对该客户需求分类，在减轻管理员工作压力的同时，提高了档案管理的效率。
2.2保留法
该方法是防止老客户档案丢失并将客户留住的过程。对于任何一个企业来说，发展一个新的客户的成本要远远高于留住一个来客户的成本。在客户保留的过程中，对客户档案流失原因的分析至关重要，因此，采用挖掘技术对其进行分析是必要的。
2.3分类法
通过计算机挖掘技术对档案进行分类，按照不同的性质进行系统的划分，将所有相似或相通的档案进行整理，在人们需要的时候，能够快速的被提取出来，提高了检索的效率和分类的专业性。
3、档案管理引入计算机挖掘技术的必要性
计算机挖掘技术的应用，对档案管理方式的不断完善有着极其重要的意义，其重要性主要体现在：
3.1对档案的保护更全面
一部分具有历史意义的档案，随着保存的时间不断增加，其年代感加强，意义和价值增大。相应的，利用的频率会随着利用的价值增加，也更容易被损坏从而导致档案信息寿命折损，此外，管理不当造成泄密，使档案失去了原本的利用价值，这种存在于档案管理和利用之间的矛盾，使得档案管理面临着巨大的难题。挖掘技术的运用，缓解了这种矛盾，在档案管理工作中具有重要的意义。
3.2提升档案管理的质量
在档案信息管理系统中引入计算机挖掘技术，使得档案信息管理打破了传统的模式，通过挖掘技术，对管理的模式有了极大的创新，工作人员以往繁重的工作压力得到释放，时间和精力更加丰富，在对档案管理的细节方面也就更加注意，同时也加快了对档案的数据信息进行处理的速度，提升档案管理的整体质量。
4、结语
综上所述，计算机数据挖掘技术涉及的内容很广，对挖掘技术的运用，使得各行各业的发展水平得到了很大的提高，推动社会经济的发展，带动社会发展模式的创新。在档案管理中使用计算机挖掘技术，使得档案信息保存的方法及安全性有了很大的提高。同时，也需要档案信息管理人员在进行档案信息管理的时候，能合理利用计算机信息挖掘技术，在提高工作效率的同时，促进管理模式的不断创新，以适应时代发展的要求。
第四篇：数据挖掘在房地产营销中的应用
文章摘要：信息资源的分析、整合在房地产行业的竞争中起着越来越重要的作用。数据挖掘作为一种系统地检查和理解大量数据的工具，能有效地帮助房地产企业从不断积累与更新的数据中提取有价值的信息。因此，数据挖掘被引入到房地产市场研究领域，并日益受到重视。本文从数据挖掘在房地产行业中的市场研究价值入手，分析了数据挖掘在房地产市场研究尤其是客户信息中的应用，并加以举例说明。关键词：数据挖掘 关联分析 分类
一、房地产行业需要数据挖掘技术的支持
随着房地产行业竞争的加剧，房地产企业要想在竞争中制胜，必然需要充分的信息支持和准确的市场判断。房地产行业拥有大量的数据积累，包括行业信息、经济环境信息、客户信息等。这些数据是房地产企业市场运作的重要参考。面对快速增长的海量数据收集，企业需要有力的数据分析工具将“丰富的数据”转换成“有价值的知识”，否则大量的数据将成为“数据丰富，但信息贫乏”的“数据坟墓”。
数据挖掘（Data Mining）是从大量数据中发现潜在关联、模式，做出预测性分析的有效工具，它是现有的一些人工智能、统计学等技术在数据库领域中的应用。应用数据挖掘有助于发现业务发展的趋势，揭示已知的事实，预测未知的结果，并帮助企业分析出解决问题所需要的关键因素，使企业处于更有利的竞争位置。
二、数据挖掘在房地产行业的应用
1．数据挖掘的概念
对于企业的海量信息存储，数据挖掘是一种系统地检查和理解大量数据的工具。数据挖掘根据预定义的商业目标，对大量的企业数据进行探索和分析，揭示其中隐含的商业规律，并进一步生成相应的分析、预测模型。
数据挖掘发现的是以前未知的、可理解的、可执行的信息，所以也被称为“知识发现”(Knowledge Discovery in Databases)。与统计分析技术相比，数据挖掘技术能很好地和数据库技术相结合，而且数据挖掘工具用以发现数据中隐含的商业规律的方法已不局限于统计技术，还包括神经网络、遗传算法、自组织图、神经模糊系统等统计学科以外的方法。数据挖掘发现的“知识”一方面可以用于构建预测模型，另一方面可以被用于丰富统计分析师的背景知识，再被统计分析师应用到数据分析中。
数据挖掘任务一般可以分两类：描述和预测。描述性挖掘任务刻划数据库中数据的一般特性。预测性挖掘任务在当前数据上进行推断，以进行预测。具体来讲，数据挖掘主要用于解决以下几种不同事情：
（1）关联分析（Association analysis），是寻找属性间的相关性。两种常用的技术是关联规则和序列模式。关联规则是寻找在同一事件中出现的不同项的相关性，比如某个住宅项目的目标客户对该项目各方面评价之间的相关性序列分析寻找的是事件之间时间上的相关性，如对股票涨跌、房地产周期的分析。
（2）分类（Classification）和预测（Prediction）。分类根据某种标准将数据库记录分类到许多预先定义好的类别中。例如，将房地产企业客户根据消费决策模式进行分类；同时可以建立预测模型，给定潜在客户的收入、职业、家庭构成等个人属性，预测他们在购房支出；如将房地产企业客户分为潜在客户、购买者和实际客户。分类系统可以产生这样的规则：“如果客户可以并且愿意承担每月2000元的月供，计划在1年内在某地区买房，那么他/她是一个潜在客户；如果客户至少进行过一次业务访问，那么他/她是一个购买者。”
（3）聚类（Clustering）是把整个数据库分成不同的群组。它的目的是要群与群之间差别明显，而同一群之间的数据尽量相似。聚类与分类不同：分类之前已经知道要把数据分成哪几类，每个类的性质是什么；聚类则恰恰相反。
（4）演变分析（evolution analysis）描述行为随时间变化的对象的规律或趋势，并对其建模。例如，结合人口构成变动趋势、教育水平发展趋势、社会经济发展趋势进行房地产消费趋向的分析。
（5）描述和可视化（Description and Visualization），对数据进行归约、概化或图形描述等。例如，通过空间聚集和近似计算对一些具体的地理位置概化聚类，形成对某区域的形象化描述。
2．数据挖掘的市场研究价值
数据挖掘技术在商业上实际应用十分丰富。应用数据挖掘技术，可以帮助房地产行业找出有价值的信息，十分有助于企业发现商机、制定开发计划与营销策略。对于房地产市场研究，数据挖掘可以应用于宏观经济形势研究、市场发展趋势研究、楼盘供应研究、竞争对手研究、客户研究。包括但不局限于以下几个方面：
（1）宏观经济形势研究——1）房地产周期时序分析中的相似搜索：可找出已有房地产周期数据库中与给定查询序列最接近的数据序列。比较识别两个相似时间段间数据系列的主要差异，对房地产市场的宏观分析很有参考价值。2）宏观经济形势研究——房地产周期一般性因素关联分析：一般而言，房地产周期是影响不动产收益的一系列因素组成的总体概念。各因素均会对总体房地产周期起决定作用。关联分析方法可用于帮助发现各因素和房地产周期间的交叉与联系。
（2）市场发展趋势研究——1）销售量的增长与人均可支配收入的回归分析；2）个人购买与集团购买房地产比重的拟合与分析；3）对房地产销售波动率的回归分析。通过对市场总体状况、市场占有率、发展水平等动态的分析、总结和评价，及时获得准确数据，辅助经营决策。
（3）楼盘供应研究——地理发展空间的多维分析：综合人口住房条件及分布、土地利用现状及政府规划、交通现状分布信息，通过聚集及层次化描述，发掘区域内需建立的高档别墅、高、中、低档公寓的数量及各自的地理位置和发展计划。
（4）客户研究——客户信息的多维关联和序列模式分析：关联分析可在客户信息中发现客户的消费行为模式，帮助营销人员找出影响消费者的机会与方式。
目前，专业市场研究公司对房地产行业的调研主要集中在客户需求分析方面，并积累了一定的经验，因此，本文主要探讨房地产客户信息的数据挖掘。
3．数据挖掘在房地产客户研究中有着广泛的应用
房地产行业的客户信息有许多特点，如下图所示，一方面房地产行业面对的客户群广泛，而且客户的特征描述的结构复杂，另一方面房地产客户需求的层次不一，且易受外界因素影响，具有多层次性和多变性。
对于复杂、多样而且擅变的客户信息，房地产行业客户信息的数据挖掘有助于识别客户购买行为，发现客户购买模式和趋势。从而，帮助房地产企业改进服务质量，取得更好的客户关系和满意程度，设计更好的营销方案，减少商业成本。根据已有的数据挖掘经验，数据挖掘在房地产行业的应用可以归纳成以下几个方面：
4．明确商业目标
三、如何在房地产行业应用数据挖掘技术
应用数据挖掘的首要任务就是明确需要达到什么样的商业目标，并描述出需要解决的问题。目标的描述应该细化、清楚，以便于选择合适的挖掘方法，也方便检测数据挖掘效果，判断建立的模型的有效性。例如，下列目标是大而空的目标：获得客户行为的了解；在数据中发现有用的模型；发现一些有意思得东西。而另外一些目标有较强操作性：发现哪些客户不受某种促销手段的影响；找出项目封顶时哪类客户成交率增加。
5．数据准备
基于数据挖掘的商业目标，提取所需要的数据。为了保证数据的质量，除了对数据进行必要地检查和修正外，还需要考虑不同源之间数据的一致性问题。
如果数据集包含过多的字段，需采用一定的方法找到对模型输出影响最大的字段，适当的减少输入的字段。常用的方法包括：“描述型数据挖掘”、连结分析等。
很多变量如果组合起来（加、减、比率等）会比这些变量自身影响力更大。一些变量如果扩大它的范围会成为一个非常好的预测变量，比如用一段时间内收入变化情况代替一个单一的收入数据。因此，在数据准备阶段需考虑是否创建一些新的变量。
处理缺失数据也是数据准备阶段的一个重要工作。有些缺值本身就非常有意义。例如：富有的顾客会忽略“收入”，或者不在乎价格的影响。
6．建立模型
建立模型是一个反复的过程。首先需要选择适合解决当前问题的模型。对模型的选择过程可能会启发对数据的理解并加以修改，甚至改变最初对问题的定义。
一旦选择了模型的类型及应用的方法，所选择的模型将决定对数据的预处理工作。例如，神经网络需要做数据转换，有些数据挖掘工具可能对输入数据的格式有特定的限制等。
接下来是建立模型的工作。对于通过数据挖掘建立的模型需要有一定的数据来测试和验证。对于预测性任务，需通过反复的测试、验证、训练，才能不断提高模型的准确率。
大部分数据挖掘模型不是专为解决某个问题而特制的，模型之间也并不相互排斥。不能说一个问题一定要采用某种模型，别的就不行。例如：Cart决策树算法、神经网络既可以用于建立分类树，也可建立回归树。
7．输出结果的评价和解释
模型建立好之后，必须评价其结果，解释其价值。在实际应用中，模型的准确率会随着应用数据的不同发生变化。但准确度自身并不一定是选择模型的正确评价方法。对输出结果的理解需要进一步了解错误的类型和由此带来的相关费用的多少。如果模型每个不同的预测错误所需付出的代价（费用）也不同的话，代价最小的模型（而不一定是错误率最小的模型）将是较好的选择。
直接在现实世界中测试模型很重要。先在小范围内应用，取得测试数据，觉得满意后再向大范围推广。
8．实施
模型在建立并经验证之后，可以有两种主要的使用方法。一种是提供给分析人员做参考，由他通过查看和分析这个模型输出，并做出解释和方案建议；另一种是把模型应用到不同的数据集上。模型可以用来标示一个事例的类别，给一类客户打分等，还可以用模型在数据库中选择符合特定要求的记录，以用其他工具做进一步分析。
在应用模型之后，还要不断监控模型的效果。即使模型的运用很成功，也不能放弃监控。因为事物在不断发展变化，很可能过一段时间之后，随着购买方式、消费观点的变化，模型就不再起作用。因此随着模型使用时间的增加，要不断的对模型做重新测试，有时甚至需要更新建立模型。
四、应用举例：基于客户分类的关联分析
1．商业目标
为了更详尽地了解客户的消费决策，本案例设计的问题是：“给客户分类，并了解不同类的客户有什么特点？”针对此类问题挖掘出的结果可以被用于预测性分析，例如预测客户最倾向于做出哪种购买行为。２．数据准备
本案例中采用某一时点上的房地产消费者需求抽样调查，取出描述消费者个人属性和消费特点的字段。
３．建立模型
（1）对数据进行分类
本案例中由购房者选择最多五个自己在购房决策过程中比较看重的因素，并以总评分100分为前提给出每个因素的看重程度的评分。
案例得到的抽样数据显示，尽管地理位置是影响一个房地产项目定位的重要因素，人们对地理位置的看重程度仍有较大的差异。因此，以客户对地理位置的关注程度为分类标准，构建了一个简单的决策树。决策树中根据购房者对地理位置的看重程度，将购房者分为：地理位置决定型、地理位置重要参考型、地理位置参考型、地理位置不重要型、地理位置无关型五种类型。下表是应用决策树得到的客户分类结果。从各客户群评分的均值和标准差可以看出，各客户群具有较好的组内相似性和组间差异性，说明所构建的决策树的分类结果比较理想，可用于进一步的分析。
（2）关联分析运用关联分析的目的是寻找数据库中值的相关性。本例采用基于兴趣度的关联规则挖掘算法，挖掘每类客户不同属性间的相关性。经过挖掘，发现一些值得深入探讨的关联，见下表：
注：a)支持率反映了关联是否是普遍存在的规律。例如：支持率=5%，表示在1000个客户中有50个客户符合关联规则描述。
b)可信度反映了关联规则前提成立的条件下结果成例的概率。本例中，可信度=15%可以解释为，对应的客户群中有15个人符合关联规则的描述。
c)兴趣度反映了关联规则中元素的关系的密切程度。兴趣度越大于1说明该规则中的元素的关系越密切，该规则的实际利用价值越大。
d)最小支持度阈值、最小可信度和最小兴趣度的阈值可以由用户和领域专家设定。此例中以支持度>3.5%，可信度>15%，兴趣度>2为阈值。
上表中列出的关联规则均有较高的支持率、可信度和兴趣度。为了更加准确地挖掘关联规则。对挖掘出的关联规则更换因果关系，形成新的关联规则与之进行对比。如下例：
关联规则A1：地理位置无关型客户＝≥重视物业管理
支持率=9.7% 可信度=30.3% 兴趣度=2.4与
关联规则B1：重视物业管理 ＝≥地理位置无关型客户
支持率=9.7% 可信度=76.9% 兴趣度=2.4
对比两个关联规则将发现，“重视物业管理的人不关心地理位置”的可能性（76.9%）高于“不关心地理位置的人重视物业管理”的可能性（30.3%）。说明关联规则B1：重视物业管理＝≥地理位置无关型客户是一条更有意义的关联规则。
其他被发掘的关联也可以通过类似的比较，进行深一步的挖掘。在此不再全部做出详细分析。从本例挖掘出的信息可以看到，如果仅依赖于已有行业经验进行统计分析，往往会因为分析人员的主观性或者数据量太大难以实施而存在信息提取的局限性。而通过数据挖掘得到的信息，一方面能弥补直接应用统计分析时的局限性，开拓分析人员的思维，丰富分析人员的行业背景知识；另一方面可以通过反复的验证、机器学习建立模型，直接成为分析人员的分析、预测的工具。
需要说明：
a)本案例的目的在于说明数据挖掘算法的应用价值，得到的结果仅供参考，并不作为定论，而且数据挖掘的结果需要由行业内的商业分析人员判断：是否真的具有意义，是否有进一步分析、探讨的价值。也就是说数据挖掘作为信息提取的工具，其输出是决策分析的参考，不能代替行业内商业分析人员的分析工作。
b)案例中的数据挖掘作为方法应用的探讨，如要生成一个可操作的模型工具还需足够的数据集支持进行测试、验证、训练才能不断提高模型的准确率。
c)本案例中解决问题的方法不是唯一的，可能应用其他的分类手段、分类标准能得到更好的结果。具体方法的应用要取决于实施人员的建模能力、行业经验。也就是说，数据挖掘对人员有较高的要求。数据挖掘的人员不仅要有良好的统计概念、建模能力，还要懂得基本的商业和行业概念。
五、房地产行业数据挖掘的应用前景
随着IT/Internet等新技术发展，市场研究在房地产行业的应用已经不再局限于数据采集和简单的归纳、数据分析。更高的决策服务是建立在更大量的“数据——信息——知识”的基础上的，因此数据挖掘、商业智能等概念与技术的引入促进了数据挖掘在房地产行业的应用。与此同时，随着房地产企业数据挖掘应用的深入，数据、数据挖掘的任务和数据挖掘方法的多样性将给数据挖掘提出了许多挑战性的课题。例如：
1、应用地理信息系统(GIS)寻求数据挖掘过程中的可视化方法，使得知识发现的过程能够被用户理解，也便于在知识发现过程中的人机交互。
2、web挖掘：由于web上存在大量信息，随着web的发展，有关web内容挖掘、web日志挖掘等网络上的数据挖掘将成为数据挖掘中一个最为重要和繁荣的应用领域。房地产公司的企业形象宣传、营销、客户维护等工作都将离不开网络，也必然将需要web挖掘数据支持。
第五篇：Web使用挖掘在电子商务个性化服务中的应用
Web使用挖掘在电子商务个性化服务中的应用
摘要
电子商务的快速发展和电子商务系统积累大量的数据为Web使用挖掘提供了一个广阔的应用领域。通过Web使用挖掘技术挖掘出电子商务用户潜在模式，对用户提供个性化服务。
关键词： Web挖掘技术
电子商务 个性化服务
随着Internet应用迅速发展，电子商务以其成本低廉、快捷、不受时空限制为许多企业提供了新的发展机会，但是这种新型的商务模式也对企业提出了新的挑战。一方面，24小时的在线销售让用户有了更为便捷、更为广泛的选择，企业之间的竞争骤然加剧；另一方面，虚拟的网络环境让用户不能直接接触商品、不能全面地了解商品的质量特征，增加了用户挑选商品的难度。因此，如何利用技术手段了解电子商务系统用户的偏好、习惯、购物模式和潜在的消费意识，为不同用户提供不同的信息和商品服务策略，以完成对用户个性化服务已
成为电子商务企业获取成功的关键。电子商务企业收集了大量的Web使用上的电子数据，采用数据挖掘技术发现这些数据的规律性，提取出有效信息，为企业实施“一对一服务”提供了可能。
1.电子商务中Web使用挖掘的资源
Web使用挖掘是对用户访问Web时在服务器方留下的访问记录进行挖掘，对了解用户 的网络行为数据所具有的意义，Web使用挖掘面对的是在用户和网络交互的过程中抽取出来的第二手数据，这些数据总结起来有以下几种类型：
1.1 Web日志数据
当用户访问电子商务系统，Web服务器便会自动建立该用户的访问日志信息。用户每访问一个页面，Web服务器的日志中就会增加一条记录不同的Web服务器产品，其日志格式不同，但通常都包括访问者的IP地址、访问时间、访问方式(GET或POST)、访问的页面、协议、错误代码以及传输的字节数等信息。通过这些日志文件还能够得到查询数据，它是电子商务站点在服务器上产生的一种典型数据，是在线客户在查询需要的信息时生成的。如在线存储的客户也许会搜索一些产品或某些广告信息,这些查询信息就通过cookie或登记信息连接到服务器的访问日志上。
1.2用户注册数据
用户注册数据是指用户通过网页输入提交给服务器的相关信息。因为HTTP协议是无状态的,所以不能区分和跟踪一个访问者在网站上的所有行为,仅依靠分析日志文件所得到的用户信息是很少的。因此要吸引访问者成为注册用户，以便得到更多的用户信息，例如姓名、职业、收入、年龄、地址、爱好等。
1.3用户交易数据
用户交易数据主要是用户的历史购买信息，如商品代码、数量、价格等。
2.电子商务中Web使用挖掘的流程
Web使用挖掘遵循传统数据挖掘的研究思路，挖掘过程分为三个步骤：数据预处理、模式发现和模式分析。
2.1数据预处理
实际系统中的数据一般都具有不完全性、冗余性和模糊性。为了使数据挖掘的过程效率更高，数据挖掘的结果更合理、用于挖掘的数据应该准确、简介且易于处理，为此要通过数据预处理。数据预处理包括数据清理、用户识别、会话识别和路径补充事件识别和格式化等处理。
2.2模式发现
模式发现阶段就是对预处理后的数据利用挖掘算法挖掘出有效的、新颖的、潜在的、有用的以及最终可以理解的信息和知识。可用于We b使用的挖掘技术有路径分析、关联规则、分类分析、聚类分析、序列分析等等。路径分析是用于发现一个站点中最经常被访问的路径；关联规则揭示数据项之间的内在的联系；分类分析是给出类的公共属性描述，并将新的记录分配到预先定义好的类中或分类新的项。聚类分析是分类的逆过程，按照“类内相似性最大，类间相似性最小”的原则，对数据进行类的聚集。序列分析挖掘出数据的前后时间顺序关系分析是否存在一定趋势，以预测未来的访问模式。
2.3模式分析
模式分析的目的是根据实际应用，通过观察和选择，将发现的统计结果、规则和模型转化为知识、再经过某种度量得到真正有价值的模式，即我们感兴趣的模式，使用可视化技术以图形界面的方式提供给使用者，模式分析常用的方法有信息过滤、可视化、联机分析等。
3.电子商务个性化服务中Web使用挖掘的应用
个性化服务是针对不同的用户提供不同的服务策略和服务内容的服务模式。电子商务个性化服务通过收集和挖掘用户的兴趣和行为来实现以用户需求为中心的Web服务。因此，基于Web使用挖掘的个性化服务体系包括收集用户兴趣和行为的用户信息收集模块、挖掘用户兴趣和行为的用户建模模块、个性化服务模块和用户四个层次，其结构见图1。
在个性化服务体系结构中，用户信息收集模块是个性化服务系统的基础模块。用户访问的过程中产生的信息有：用户输入搜索引擎的查询关键词、用户浏览的页面、用户浏览的行为、用户手工输入的其他信息、用户的购物过程、用户交易结果等等，这些信息可通过Web服务器和数据库服务器中获取。个性化服务系统收集到用户信息后，提交给用户建模模块来进行处理，构建用户模型。个性化服务模块根据用户模型向用户提供相应的服务，如个性化的网页、个性化的商品、个性化的信息服务。根据服务形式的不同，个性化服务模块提供的功能也不一样，如提供个性化Web页面的过程，个性化服务模块需分析用户的当前会话，识别出用户的当前会话后，得到用户当前访问页面集合，然后与用户模型相匹配，将匹配后推荐页面的地址附加到用户当前请求的页面的底部发送给用户，这些被推荐的页面不一定是用户计划要访问的页面，而是用户可能比较感兴趣的页面。当用户访问时，看到这样针对他本人特点的推荐，有可能会对其中的一些页面进行访问，对页面中的商品进行购买。用户对个性化服务的反馈用于调整个性化服务系统。
参考文献
1.韩家炜，孟小峰.web挖掘研究[J]．计算机研究与发展．2001(4)
2.粱英．电子商务个性化推荐技术研究[J]．商场现代化．2007(9)
3.王玉珍．Web使用模式挖掘在电子商务中的应用[J].计算机应用研究．2003(10)
4.靳明霞，李玉华，管建军.序列模式挖掘在电子商务个性化服务中的应用[J]、计算机技术
与发展.2006(10)
5.赵艳霞．梁昌勇.基于关联规则的推荐系统在电子商务中的应用[J].价值工程，2006(5)
点击咨询 