数据挖掘在情报信息方面的应用

第一篇：数据挖掘在情报信息方面的应用

数据挖掘在情报信息方面的应用

[ 标签：数据挖掘, 情报信息 ] 欧阳烽 2011-07-14 12:57

满意答案

呵呵，这个我举个例子来说明：四人帮那时候，新闻标题都是毛主席说什么什么，后面会跟着个江青副主席怎样怎样，而某一天，报纸上新闻突然只有毛主席说的话，而没有江青说的话了，这个时候，就可以看出风向变了，四人帮倒了。呵呵，这就是数据挖掘技术在情报信息方面的应用案例。

报纸、专业杂志这类公开或者部分范围公开的媒体，密级不是很高，但是专业人员，分析专家，智囊团队通过这些资料进行深度寻找，就能找到资料反映的本质，从而判断或作出推测，这对军事、情报、外交、经济、科学、文化、法律方面都能够起到有效的作用，所以很多有钱人喜欢看书读报就是这个道理。

再举个例子，某次国外小规模战争，临近某个国家，然后那个企业家马上就大量购置铜矿，结果大赚了一笔。本来，别人战争和你有什么关系呢？对吧，但那两个国家战争，给那两个国家附近的一个国家的铜矿出口带来严重影响，所以势必会影响国际铜价，涨了十几块也发了，呵呵，这个机会只有少数人抓住了，科学技术是第一生产力，情报、信息同样也是生产力呀！情报之所以之前，就是因为情报可以带来可观的利益。兰德公司就是数据挖掘和数据分析的杰出代表，世界上最厉害的情报公司。他们在抗美援朝的时候开出报告说中国会出兵朝鲜，想把这份报告以五百万美元（在那个年代五百万简直就是巨款）卖个美国军方，美国国防部没有采纳，呵呵，结果战略部署上没有考虑到中国，战败是必须的结果了！战后，美国国防部花了四百万美元把这份报告买了回来。兰德公司因此而闻名世界。如果你想要深入学习这方面的知识，建议搜索一下兰德公司的一些报告和案例。

纯粹个人自己积累的知识哟，手打的，给个好评呀！

第二篇：关于数据挖掘在出口退税中的应用

关于数据挖掘在出口退税中的应用引言

出口货物退（免）税，简称 出口退税，其基本含义是一个国家或地区对已报送离境的出口货物，由税务机关将其在出口前的生产和流通的各环节已经缴纳的国内产品税、增值税、营业税和特别消费税等间接税税款退还给出口企业的一项税收制度。出口退税 主要是通过退还出口货物的国内已纳税款来平衡国内产品的税收负担，使本国产品以不含税成本进入国际市场，与国外产品在同等条件下进行竞争，从而增强竞争能力，扩大出口创汇[1]。

我国从1985年开始，全面地实行了 出口退税 政策，并从1995年开始全面实行电子化管理，它是全国税务系统第一个全面推广应用的税收管理软件，是金关工程和金税工程的一个子系统，在强化出口退税管理，提高出口退税工作效率，防范和打击骗税上发挥了巨大的作用[2]。但是，目前的出口退税电子化管理只完成了出口退税业务的电子化操作，还未在决策的电子化方面取得较大进展。经过十多年的发展，积累了大量涉税信息，如何将这些“历史的、静态的”数据变成动态的、具有分析决策性质的信息已成为当前急需研究的课题[3]，数据挖掘技术的出现使这种应用成为现实。出口退税数据挖掘的目的和基本方法

现行的出口退税电子化管理主要是通过出口企业把申报退税的信息通过出口退税申报系统录入计算机并生成申报数据，然后再经过出口退税审核系统把企业申报的出口退税凭证的电子信息与税务机关接收到的其他部门（征税机关、海关 和外管）传来的凭证信息进行比对，以达到审核出口退税凭证的合法性和真实性的目的，进而根据比对审核通过的数据进行退税。可以看出，目前的出口退税电子化管理只侧重了出口退税的 单证 信息的计算机审核，而对于挖掘审核通过的 单证 信息和各部门传递来的电子信息的价值方面存在着很大的不足。随着金税二期网络建设的推动，各省现已基本实现了出口退税数据的省级大集中[4]，这些数据都是各出口退税部门在日常的业务审核中积累下来的数据，十分宝贵，如何充分发挥其应有的作用，已成为人们研究的热点。1

数据挖掘的目的就是分析出口企业的出口退税数据，挖掘这些数据与经济的内在联系，全面掌握本地区出口退税的产品结构、出口的贸易方式、出口产品的地区差异等，对于调整一个地区的产业结构、经济发展方向以及制定经济发展战略有着重要的参考价值；对于税务机关掌握出口企业的实际生产出口情况，培养税源，打击偷税漏税和防范出口骗税等方面有着重要的意义。

对于出口退税部门在日常的业务审核中积累下来的数据进行挖掘，主要是指在了解和掌握具体纳税人生产经营情况和财务数据的基础上，对纳税人的税收经济关系和税收缴纳状况进行客观评价和说明的分析，主要是通过对历史数据进行纵横比较分析和逻辑关系稽核来进行挖掘，以指导税收管理工作。

1)横向比较分析

横向比较分析是指同一指标在不同个体、单位、地区之间的比较分析。横向比较分析最典型的分析例子就是同业税负分析。受市场均衡作用的影响，同一产品在生产技术工艺、原材料能源消耗方面有相近之处，适用税收政策有统一的要求，因此反映生产成本费用方面的指标有相同的规律特征。总结这种规律特征，以此检验个体数据指标的表现，找出差异较大的个体予以预警。

2)纵向比较分析

纵向比较分析或历史数据分析是指同一个体的同一指标在不同历史时期的数据比较分析。常用的分析方法有趋势分析和变动率分析。分析的理论依据是大多情况下企业的生产经营是处于一种相对平稳的状态，不会出现突然的波动或大起大落现象。因此，如果企业生产能力没有作大的调整，一般情况下企业各个时期的数据指标彼此接近，不会出现大的差异。如果出现较大差异，应引起主管部门的注意，及时进行相关的纳税评估。

3)数据逻辑关系稽核

受会计核算原理的约束和税收制度规定的制约，反映纳税人生产经营情况和财务状况的众多数据指标之间存在非常严谨的、相互依存的逻辑关系。这种逻辑关系决定了企业的纳税申报数据必须满足企业财务数据相关性的特定要求，检查这些数据逻辑关系是否吻合，可以鉴别企业申报数据的真实性和合理性，从而发现税收问题，堵塞征管漏洞。出口退税数据挖掘的功能

数据挖掘通过预测未来趋势及行为，做出前摄的、基于知识的决策。数据挖掘的目标是从数据库中发现隐含的、有意义的知识，主要有以下五类功能：

1)趋势预测

数据挖掘自动在大型数据库中寻找预测性信息，以往需要进行大量手工分析的问题如今可以迅速直接由数据本身得出结论。出口退税数据挖掘的预测趋势是对纳税人特定税收指标、经济指标或税收经济关系指标一段时期走势和趋向的分析和推断，了解和掌握税收经济的发展趋势，有利于判断未来出口退税形势的好坏，使出口退税做到心中有数。

趋势预测的两个基本要求是说明特定指标的发展方向和变化幅度，基础分析技术是时间序列分析技术，常用说明指标有变动率和平均变化速度等。

2)关联分析

数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之间存在某种规律性，就称为关联。关联可分为简单关联、时序关联、因果关联。关联分析的目的是找出数据库中隐藏的关联网。有时并不知道数据库中数据的关联函数，即使知道也是不确定的，因此关联分析生成的规则带有可信度。

在出口退税评估工作中，可以利用企业财务报表、纳税申报表和出口退税汇总表等各项数据指标之间的相互逻辑关系进行核算检查，对于不满足应有逻辑计算关系的内容，即认为破坏了会计核算或税款计征关系，均应视为异常做进一步的深入分析。由于企业财务指标和出口退税申报数据有上百条之多，所以与此相关的逻辑计算关系也会在此基础上更为丰富和复杂，只有通过关联分析，才有可能在出口退税申报环节实现实时的出口退税评估工作。

3)聚类分析

聚类分析是数理统计的一个分支，是运用事物本身所具有的某种数据特征，遵循“物以类聚”规律进行数据处理，为事物的分类管理提供数据支持的一种分析方法。借用这种方法开展税收分析，可将具有某种税收共同特征的事物聚集在一起，使我们更清楚地认识税收征管工作的分类特征。

聚类分析的基本原理是根据数据指标差异的绝对距离进行分类，结合矩阵分析技术，可以进行多指标的综合特征分析，为复杂事物的分类提供了一种可行的分析方法。聚类分析的关键是找到一组关系密切的相关指标，如退税增长、税源增长、退税变化弹性和出口影响等，均可以利用这一分析技术进行综合分析和技术处理。

4)差异分析

数据库中的数据常有一些异常记录，从数据库中检测这些差异很有意义。差异包括很多潜在的知识，如分类中的反常实例、不满足规则的特例、观测结果与模型预测值的偏差、量值随时间的变化等。

差异分析的基本方法是测算不同样本同一指标的差异程度。差异分析的关键是建立评价差异的标准，有了标准才能说明差异的影响程度。表示差异程度可以用绝对值，也可以建立参照系用相对值。应用差异分析开展微观税收分析的典型分析案例就是同业税负分析模型。应用同业税负分析模型可以测算出各项相关指标的客观水平和样本离散状况，以此为标准比对个别检验样本的具体数值，超出差异允许界限的即为预警对象。

5)波动分析

波动分析是描述税收事物运行变化平稳性的分析。税收事物的运行受经济变化影响、税收制度规定的约束和现有征管环境制约有其自身客观的规律。在经济

运行相对平稳、税制不变的条件下，税收事物运行平稳与否，直接反映税收征管情况的影响作用。因此，开展波动分析，一定程度上可以了解和说明退税管理的表现，反映退税管理是否能按税源的发展变化规律同步开展，监督退税管理的执行情况。出口退税数据挖掘的实现

出口退税数据挖掘应用系统由三部分组成：第一部分是由用户数据源到中央数据库的ETL过程;第二部分是根据出口退税业务模型建立业务智能分析模型;第三部分是面向税收管理人员进行数据的发布和多维分析工作。基本结构如图1所示。

数据的ETL(Extract-Transform-Load，数据抽取、转换、装载)过程采用微软的SSIS(SQL Server Integration Services)来完成数据预处理阶段对于原始数据的转换、清洗加载过程;中央数据库采用微软的SQL Server 2005，SQL Server 2005除了提供一个安全、可靠和高效的数据管理平台之外，它还是一个企业级数据整合平台，通过SSIS提供了构建企业级ETL应用程序所需的功能和性能，是一个集成的商业智能平台，通过Analysis Services提供了统一和集成的商业数据视图，可被用做所有传统报表、OLAP分析、关键绩效指标(KPI)记分卡和数据挖掘的基础。

SQL Server 2005分析服务提供了数据挖掘服务，支持集成其它个人或者企业的DM算法，并且将DM算法集成的复杂度不断降低，它主要是基于OLE DB for DM规范，使用灵活。开发人员能够利用数据挖掘功能开发应用程序，其数据挖掘语言非常类似于SQL，数据挖掘供应者是一个开放系统，因为它是OLE DB的一个部件，数据挖掘服务能够通过DSO(Decision Support Object)、或ADO可包含在任何用户应用程序中。将DM算法无缝集成到SQL Server的分析服务中，利用集成的DM算法来构建数据挖掘解决方案是一种理想的方式。

在SQL Server 2005数据挖掘平台中，创建关系型挖掘模型的语法如下：

Create mining model()using

它类似于建立一个关系表，其中包括输入、预测属性，每一个模型与一个数据挖掘算法相关联。

多维数据分析工具和报表工具使用统一空间模型UDM(Unified Dimensional Model)，利用UDM中对业务实体的友好描述、等级导航、多视角、自动平滑 翻译 为本机语言等功能，可以实现出口退税数据挖掘过程中所得到的结果集的友好展示。结束语

随着数据仓库技术的发展，数据挖掘会越来越发挥其独到的分析优势，特别是将挖掘出的新知识通过用基于OLAP的决策支持系统加以验证、结合，可以更好地为决策者服务。出口退税管理的电子化系统已经积累了大量的业务数据，可以为数据挖掘提供大量数据，数据仓库和数据挖掘技术在收税管理具有广阔的应用前景。

第三篇：数据挖掘在房地产营销中的应用

文章摘要：信息资源的分析、整合在房地产行业的竞争中起着越来越重要的作用。数据挖掘作为一种系统地检查和理解大量数据的工具，能有效地帮助房地产企业从不断积累与更新的数据中提取有价值的信息。因此，数据挖掘被引入到房地产市场研究领域，并日益受到重视。本文从数据挖掘在房地产行业中的市场研究价值入手，分析了数据挖掘在房地产市场研究尤其是客户信息中的应用，并加以举例说明。关键词：数据挖掘 关联分析 分类

一、房地产行业需要数据挖掘技术的支持

随着房地产行业竞争的加剧，房地产企业要想在竞争中制胜，必然需要充分的信息支持和准确的市场判断。房地产行业拥有大量的数据积累，包括行业信息、经济环境信息、客户信息等。这些数据是房地产企业市场运作的重要参考。面对快速增长的海量数据收集，企业需要有力的数据分析工具将“丰富的数据”转换成“有价值的知识”，否则大量的数据将成为“数据丰富，但信息贫乏”的“数据坟墓”。

数据挖掘（Data Mining）是从大量数据中发现潜在关联、模式，做出预测性分析的有效工具，它是现有的一些人工智能、统计学等技术在数据库领域中的应用。应用数据挖掘有助于发现业务发展的趋势，揭示已知的事实，预测未知的结果，并帮助企业分析出解决问题所需要的关键因素，使企业处于更有利的竞争位置。

二、数据挖掘在房地产行业的应用

1．数据挖掘的概念

对于企业的海量信息存储，数据挖掘是一种系统地检查和理解大量数据的工具。数据挖掘根据预定义的商业目标，对大量的企业数据进行探索和分析，揭示其中隐含的商业规律，并进一步生成相应的分析、预测模型。

数据挖掘发现的是以前未知的、可理解的、可执行的信息，所以也被称为“知识发现”(Knowledge Discovery in Databases)。与统计分析技术相比，数据挖掘技术能很好地和数据库技术相结合，而且数据挖掘工具用以发现数据中隐含的商业规律的方法已不局限于统计技术，还包括神经网络、遗传算法、自组织图、神经模糊系统等统计学科以外的方法。数据挖掘发现的“知识”一方面可以用于构建预测模型，另一方面可以被用于丰富统计分析师的背景知识，再被统计分析师应用到数据分析中。

数据挖掘任务一般可以分两类：描述和预测。描述性挖掘任务刻划数据库中数据的一般特性。预测性挖掘任务在当前数据上进行推断，以进行预测。具体来讲，数据挖掘主要用于解决以下几种不同事情：

（1）关联分析（Association analysis），是寻找属性间的相关性。两种常用的技术是关联规则和序列模式。关联规则是寻找在同一事件中出现的不同项的相关性，比如某个住宅项目的目标客户对该项目各方面评价之间的相关性序列分析寻找的是事件之间时间上的相关性，如对股票涨跌、房地产周期的分析。

（2）分类（Classification）和预测（Prediction）。分类根据某种标准将数据库记录分类到许多预先定义好的类别中。例如，将房地产企业客户根据消费决策模式进行分类；同时可以建立预测模型，给定潜在客户的收入、职业、家庭构成等个人属性，预测他们在购房支出；如将房地产企业客户分为潜在客户、购买者和实际客户。分类系统可以产生这样的规则：“如果客户可以并且愿意承担每月2000元的月供，计划在1年内在某地区买房，那么他/她是一个潜在客户；如果客户至少进行过一次业务访问，那么他/她是一个购买者。”

（3）聚类（Clustering）是把整个数据库分成不同的群组。它的目的是要群与群之间差别明显，而同一群之间的数据尽量相似。聚类与分类不同：分类之前已经知道要把数据分成哪几类，每个类的性质是什么；聚类则恰恰相反。

（4）演变分析（evolution analysis）描述行为随时间变化的对象的规律或趋势，并对其建模。例如，结合人口构成变动趋势、教育水平发展趋势、社会经济发展趋势进行房地产消费趋向的分析。

（5）描述和可视化（Description and Visualization），对数据进行归约、概化或图形描述等。例如，通过空间聚集和近似计算对一些具体的地理位置概化聚类，形成对某区域的形象化描述。

2．数据挖掘的市场研究价值

数据挖掘技术在商业上实际应用十分丰富。应用数据挖掘技术，可以帮助房地产行业找出有价值的信息，十分有助于企业发现商机、制定开发计划与营销策略。对于房地产市场研究，数据挖掘可以应用于宏观经济形势研究、市场发展趋势研究、楼盘供应研究、竞争对手研究、客户研究。包括但不局限于以下几个方面：

（1）宏观经济形势研究——1）房地产周期时序分析中的相似搜索：可找出已有房地产周期数据库中与给定查询序列最接近的数据序列。比较识别两个相似时间段间数据系列的主要差异，对房地产市场的宏观分析很有参考价值。2）宏观经济形势研究——房地产周期一般性因素关联分析：一般而言，房地产周期是影响不动产收益的一系列因素组成的总体概念。各因素均会对总体房地产周期起决定作用。关联分析方法可用于帮助发现各因素和房地产周期间的交叉与联系。

（2）市场发展趋势研究——1）销售量的增长与人均可支配收入的回归分析；2）个人购买与集团购买房地产比重的拟合与分析；3）对房地产销售波动率的回归分析。通过对市场总体状况、市场占有率、发展水平等动态的分析、总结和评价，及时获得准确数据，辅助经营决策。

（3）楼盘供应研究——地理发展空间的多维分析：综合人口住房条件及分布、土地利用现状及政府规划、交通现状分布信息，通过聚集及层次化描述，发掘区域内需建立的高档别墅、高、中、低档公寓的数量及各自的地理位置和发展计划。

（4）客户研究——客户信息的多维关联和序列模式分析：关联分析可在客户信息中发现客户的消费行为模式，帮助营销人员找出影响消费者的机会与方式。

目前，专业市场研究公司对房地产行业的调研主要集中在客户需求分析方面，并积累了一定的经验，因此，本文主要探讨房地产客户信息的数据挖掘。

3．数据挖掘在房地产客户研究中有着广泛的应用

房地产行业的客户信息有许多特点，如下图所示，一方面房地产行业面对的客户群广泛，而且客户的特征描述的结构复杂，另一方面房地产客户需求的层次不一，且易受外界因素影响，具有多层次性和多变性。

对于复杂、多样而且擅变的客户信息，房地产行业客户信息的数据挖掘有助于识别客户购买行为，发现客户购买模式和趋势。从而，帮助房地产企业改进服务质量，取得更好的客户关系和满意程度，设计更好的营销方案，减少商业成本。根据已有的数据挖掘经验，数据挖掘在房地产行业的应用可以归纳成以下几个方面：

4．明确商业目标

三、如何在房地产行业应用数据挖掘技术

应用数据挖掘的首要任务就是明确需要达到什么样的商业目标，并描述出需要解决的问题。目标的描述应该细化、清楚，以便于选择合适的挖掘方法，也方便检测数据挖掘效果，判断建立的模型的有效性。例如，下列目标是大而空的目标：获得客户行为的了解；在数据中发现有用的模型；发现一些有意思得东西。而另外一些目标有较强操作性：发现哪些客户不受某种促销手段的影响；找出项目封顶时哪类客户成交率增加。

5．数据准备

基于数据挖掘的商业目标，提取所需要的数据。为了保证数据的质量，除了对数据进行必要地检查和修正外，还需要考虑不同源之间数据的一致性问题。

如果数据集包含过多的字段，需采用一定的方法找到对模型输出影响最大的字段，适当的减少输入的字段。常用的方法包括：“描述型数据挖掘”、连结分析等。

很多变量如果组合起来（加、减、比率等）会比这些变量自身影响力更大。一些变量如果扩大它的范围会成为一个非常好的预测变量，比如用一段时间内收入变化情况代替一个单一的收入数据。因此，在数据准备阶段需考虑是否创建一些新的变量。

处理缺失数据也是数据准备阶段的一个重要工作。有些缺值本身就非常有意义。例如：富有的顾客会忽略“收入”，或者不在乎价格的影响。

6．建立模型

建立模型是一个反复的过程。首先需要选择适合解决当前问题的模型。对模型的选择过程可能会启发对数据的理解并加以修改，甚至改变最初对问题的定义。

一旦选择了模型的类型及应用的方法，所选择的模型将决定对数据的预处理工作。例如，神经网络需要做数据转换，有些数据挖掘工具可能对输入数据的格式有特定的限制等。

接下来是建立模型的工作。对于通过数据挖掘建立的模型需要有一定的数据来测试和验证。对于预测性任务，需通过反复的测试、验证、训练，才能不断提高模型的准确率。

大部分数据挖掘模型不是专为解决某个问题而特制的，模型之间也并不相互排斥。不能说一个问题一定要采用某种模型，别的就不行。例如：Cart决策树算法、神经网络既可以用于建立分类树，也可建立回归树。

7．输出结果的评价和解释

模型建立好之后，必须评价其结果，解释其价值。在实际应用中，模型的准确率会随着应用数据的不同发生变化。但准确度自身并不一定是选择模型的正确评价方法。对输出结果的理解需要进一步了解错误的类型和由此带来的相关费用的多少。如果模型每个不同的预测错误所需付出的代价（费用）也不同的话，代价最小的模型（而不一定是错误率最小的模型）将是较好的选择。

直接在现实世界中测试模型很重要。先在小范围内应用，取得测试数据，觉得满意后再向大范围推广。

8．实施

模型在建立并经验证之后，可以有两种主要的使用方法。一种是提供给分析人员做参考，由他通过查看和分析这个模型输出，并做出解释和方案建议；另一种是把模型应用到不同的数据集上。模型可以用来标示一个事例的类别，给一类客户打分等，还可以用模型在数据库中选择符合特定要求的记录，以用其他工具做进一步分析。

在应用模型之后，还要不断监控模型的效果。即使模型的运用很成功，也不能放弃监控。因为事物在不断发展变化，很可能过一段时间之后，随着购买方式、消费观点的变化，模型就不再起作用。因此随着模型使用时间的增加，要不断的对模型做重新测试，有时甚至需要更新建立模型。

四、应用举例：基于客户分类的关联分析

1．商业目标

为了更详尽地了解客户的消费决策，本案例设计的问题是：“给客户分类，并了解不同类的客户有什么特点？”针对此类问题挖掘出的结果可以被用于预测性分析，例如预测客户最倾向于做出哪种购买行为。２．数据准备

本案例中采用某一时点上的房地产消费者需求抽样调查，取出描述消费者个人属性和消费特点的字段。

３．建立模型

（1）对数据进行分类

本案例中由购房者选择最多五个自己在购房决策过程中比较看重的因素，并以总评分100分为前提给出每个因素的看重程度的评分。

案例得到的抽样数据显示，尽管地理位置是影响一个房地产项目定位的重要因素，人们对地理位置的看重程度仍有较大的差异。因此，以客户对地理位置的关注程度为分类标准，构建了一个简单的决策树。决策树中根据购房者对地理位置的看重程度，将购房者分为：地理位置决定型、地理位置重要参考型、地理位置参考型、地理位置不重要型、地理位置无关型五种类型。下表是应用决策树得到的客户分类结果。从各客户群评分的均值和标准差可以看出，各客户群具有较好的组内相似性和组间差异性，说明所构建的决策树的分类结果比较理想，可用于进一步的分析。

（2）关联分析运用关联分析的目的是寻找数据库中值的相关性。本例采用基于兴趣度的关联规则挖掘算法，挖掘每类客户不同属性间的相关性。经过挖掘，发现一些值得深入探讨的关联，见下表：

注：a)支持率反映了关联是否是普遍存在的规律。例如：支持率=5%，表示在1000个客户中有50个客户符合关联规则描述。

b)可信度反映了关联规则前提成立的条件下结果成例的概率。本例中，可信度=15%可以解释为，对应的客户群中有15个人符合关联规则的描述。

c)兴趣度反映了关联规则中元素的关系的密切程度。兴趣度越大于1说明该规则中的元素的关系越密切，该规则的实际利用价值越大。

d)最小支持度阈值、最小可信度和最小兴趣度的阈值可以由用户和领域专家设定。此例中以支持度>3.5%，可信度>15%，兴趣度>2为阈值。

上表中列出的关联规则均有较高的支持率、可信度和兴趣度。为了更加准确地挖掘关联规则。对挖掘出的关联规则更换因果关系，形成新的关联规则与之进行对比。如下例：

关联规则A1：地理位置无关型客户＝≥重视物业管理

支持率=9.7% 可信度=30.3% 兴趣度=2.4与

关联规则B1：重视物业管理 ＝≥地理位置无关型客户

支持率=9.7% 可信度=76.9% 兴趣度=2.4

对比两个关联规则将发现，“重视物业管理的人不关心地理位置”的可能性（76.9%）高于“不关心地理位置的人重视物业管理”的可能性（30.3%）。说明关联规则B1：重视物业管理＝≥地理位置无关型客户是一条更有意义的关联规则。

其他被发掘的关联也可以通过类似的比较，进行深一步的挖掘。在此不再全部做出详细分析。从本例挖掘出的信息可以看到，如果仅依赖于已有行业经验进行统计分析，往往会因为分析人员的主观性或者数据量太大难以实施而存在信息提取的局限性。而通过数据挖掘得到的信息，一方面能弥补直接应用统计分析时的局限性，开拓分析人员的思维，丰富分析人员的行业背景知识；另一方面可以通过反复的验证、机器学习建立模型，直接成为分析人员的分析、预测的工具。

需要说明：

a)本案例的目的在于说明数据挖掘算法的应用价值，得到的结果仅供参考，并不作为定论，而且数据挖掘的结果需要由行业内的商业分析人员判断：是否真的具有意义，是否有进一步分析、探讨的价值。也就是说数据挖掘作为信息提取的工具，其输出是决策分析的参考，不能代替行业内商业分析人员的分析工作。

b)案例中的数据挖掘作为方法应用的探讨，如要生成一个可操作的模型工具还需足够的数据集支持进行测试、验证、训练才能不断提高模型的准确率。

c)本案例中解决问题的方法不是唯一的，可能应用其他的分类手段、分类标准能得到更好的结果。具体方法的应用要取决于实施人员的建模能力、行业经验。也就是说，数据挖掘对人员有较高的要求。数据挖掘的人员不仅要有良好的统计概念、建模能力，还要懂得基本的商业和行业概念。

五、房地产行业数据挖掘的应用前景

随着IT/Internet等新技术发展，市场研究在房地产行业的应用已经不再局限于数据采集和简单的归纳、数据分析。更高的决策服务是建立在更大量的“数据——信息——知识”的基础上的，因此数据挖掘、商业智能等概念与技术的引入促进了数据挖掘在房地产行业的应用。与此同时，随着房地产企业数据挖掘应用的深入，数据、数据挖掘的任务和数据挖掘方法的多样性将给数据挖掘提出了许多挑战性的课题。例如：

1、应用地理信息系统(GIS)寻求数据挖掘过程中的可视化方法，使得知识发现的过程能够被用户理解，也便于在知识发现过程中的人机交互。

2、web挖掘：由于web上存在大量信息，随着web的发展，有关web内容挖掘、web日志挖掘等网络上的数据挖掘将成为数据挖掘中一个最为重要和繁荣的应用领域。房地产公司的企业形象宣传、营销、客户维护等工作都将离不开网络，也必然将需要web挖掘数据支持。

第四篇：数据挖掘技术在客户关系管理中如何应用毕业论文.

数据挖掘技术在客户关系管理中如何应用

根据波特的影响企业的利益相关者理论,企业有五个利益相关者,分别是客户、竞争对手、供应商、分销商和政府等其他利益相关者。其中,最重要的利益相关者就是客户。现代企业的竞争优势不仅体现在产品上,还体现在市场上,谁能获得更大的市场份额,谁就能在竞争中占据优势和主动。而对市场份额的争夺实质上是对客户的争夺,因此,企业必须完成从“产品”导向向“客户”导向的转变,对企业与客户发生的各种关系进行管理。进行有效的客户关系管理,就要通过有效的途径,从储存大量客户信息的数据仓库中经过深层分析,获得有利于商业运作,提高企业市场竞争力的有效信息。而实现这些有效性的关键技术支持就是数据挖掘,即从海量数据中挖掘出更有价值的潜在信息。正是有了数据挖掘技术的支持,才使得客户关系管理的理念和目标得以实现,满足现代电子商务时代的需求和挑战。

一、客户关系管理(CRM CRM是一种旨在改善企业与客户之间关系的新型管理方法。它是企业通过富有意义的交流和沟通,理解并影响客户行为,最终实现提高客户获取、客户保留、客户忠诚和客户创利的目的。它包括的主要内容有客户识别、客户关系的建立、客户保持、客户流失控制和客户挽留。通过客户关系管理能够提高企业销售收入,改善企业的服务,提高客户满意度,同时能提高员工的生产能力。

二、数据挖掘(DM 数据挖掘(Data Mining,简称DM,简单的讲就是从大量数据中挖掘或抽取出知识。数据挖掘概念的定义描述有若干版本。一个通用的定义是从大量的、不

完全的、有噪声的、模糊的、随机的实际应用数据中提取人们感兴趣的知识,这些知识是隐讳的、事先未知的、潜在有用的信息。

常用的数据挖掘方法有:(1关联分析。即从给定的数据集中发现频繁出现的项集模式知识。例如,某商场通过关联分析,可以找出若干个客户在本商场购买商品时,哪些商品被购置率较高,进而可以发现数据库中不同商品的联系,进而反映客户的购

买习惯。(2序列模式分析。它与关联分析相似,其目的也是为了控制挖掘出的数据间的联系。但序列模式分析的侧重点在于分析数据间的前后(因果关系。例如,可以通过分析客户在购买A商品后,必定(或大部分情况下随着购买B商品,来发现客户潜在的购买模式。(3分类分析。是找出一组能够描述数据集合典型特征的模型,以便能够分类识别未知数据的归属或类别。例如,银行可以根据客户的债务水平、收入水平和工作情况,可对给定用户进行信用风险分析。(4聚类分析。是从给定的数据集中搜索数据对象之间所存在的有价值联系。在商业上,聚类可以通过顾客数据将顾客信息分组,并对顾客的购买模式进行描述,找出他们的特征,制定针对性的营销方案。(5孤立点分析。孤立点是数据库中与数据的一般模式不一致的数据对象,它可能是收集数据的设备出现故障、人为输入时的输入错误等。孤立点分析就是专门挖掘这些特殊信息的方法。例如,银行可以利用孤立点分析发现信用卡诈骗,电信部门可以利用孤立点分析发现电话盗用等。

三、数据挖掘在客户关系管理中的应用 1.进行客户分类

客户分类是将大量的客户分成不同的类别,在每一类别里的客户具有相似的属性,而不同类别里的客户的属性不同。数据挖掘可以帮助企业进行客户分类, 针对不同类别的客户,提供个性化的服务来提高客户的满意度,提高现有客户的价值。细致而可行的客户分类对企业的经营策略有很大益处。例如,保险公司在长期的保险服务中,积累了很多的数据信息,包括对客户的服务历史、对客户的销售历史和收入,以及客户的人口统计学资料和生活方式等。保险公司必须将这些众多的信息资源综合起来,以便在数据库里建立起一个完整的客户背景。在客户背景信息中,大批客户可能在保险种类、保险年份和保险金额上具有极高的相似性,因而形成了具有共性的客户群体。经过数据挖掘的聚类分析,可以发现他们的共性,掌握他们的保险理念,提供有针对性的服务,提高保险公司的综合服务水平,并可以降低业务服务成本,取得更高的收益。

2.进行客户识别和保留

(1在CRM中,首先应识别潜在客户,然后将他们转化为客户

这时可以采用DM中的分类方法。首先是通过对数据库中各数据进行分析,从而建立一个描述已知数据集类别或概念的模型,然后对每一个测试样本,用其已知的类别与学习所获模型的预测类别做比较,如果一个学习所获模型的准确率经测试被认可,就可以用这个模型对未来对象进行分类。例如,图书发行公司利用顾客邮件地址数据库,给潜在顾客发送用于促销的新书宣传册。该数据库内容有客户情况的描述,包括年龄、收入、职业、阅读偏好、订购习惯、购书资金、计划等属性的描述,顾客被分类为“是”或“否”会成为购买书籍的顾客。当新顾客的信息被输入到数据库中时,就对该新顾客的购买倾向进行分类,以决定是否给该顾客发送相应书籍的宣传手册。

(2在客户保留中的应用

客户识别是获取新客户的过程,而客户保留则是留住老顾客、防止客户流失 的过程。对企业来说,获取一个新顾客的成本要比保留一个老顾客的成本高。在保留客户的过程中,非常重要的一个工作就是要找出顾客流失的原因。例如,某专科学校的招生人数在逐渐减少,那么就要找出减少的原因,经过广泛的搜集信息,发现原因在于本学校对技能培训不够重视,学生只能学到书本知识,没有实际的技能,在就业市场上找工作很难。针对这种情况,学校应果断的抽取资金,购买先进的、有针对性的实验实训设备,同时修改教学计划,加大实验实训课时和考核力度,培训相关专业的教师。

(3对客户忠诚度进行分析

客户的忠诚意味着客户不断地购买公司的产品或服务。数据挖掘在客户忠诚度分析中主要是对客户持久性、牢固性和稳定性进行分析。比如大型超市通过会员的消费信息,如最近一次消费、消费频率、消费金额三个指标对数据进行分析,可以预测出顾客忠诚度的变化,据此对价格、商品的种类以及销售策略加以调整和更新,以便留住老顾客,吸引新顾客

(4对客户盈利能力分析和预测

对于一个企业而言,如果不知道客户的价值,就很难做出合适的市场策略。不同的客户对于企业而言,其价值是不同的。研究表明,一个企业的80%的利润是由只占客户总数的20%的客户创造的,这部分客户就是有价值的优质客户。为了弄清谁才是有价值的客户,就需要按照客户的创利能力来划分客户,进而改进客户关系管理。数据挖掘技术可以用来分析和预测不同市场活动情况下客户盈利能力的变化,帮助企业制定合适的市场策略。商业银行一般会利用数据挖掘技术对客户的资料进行分析,找出对提高企业盈利能力最重要的客户,进而进行针对性的服务和营销。

(5交叉销售和增量销售

交叉销售是促使客户购买尚未使用的产品和服务的营销手段,目的是可以拓宽企业和客户间的关系。增量销售是促使客户将现有产品和服务升级的销售活动,目的在于增强企业和客户的关系。这两种销售都是建立在双赢的基础上的,客户因得到更多更好符合其需求的服务而获益,公司也因销售增长而获益。数据挖掘可以采用关联性模型或预测性模型来预测什么时间会发生什么事件,判断哪些客户对交叉销售和增量销售很有意向,以达到交叉销售和增量销售的目的。例如,保险公司的交叉营销策略:保险公司对已经购买某险种的客户推荐其它保险产品和服务。这种策略成功的关键是要确保推销的保险险种是用户所感兴趣的,否则会造成用户的反感。

四、客户关系管理应用数据挖掘的步骤 1.需求分析

只有确定需求,才有分析和预测的目标,然后才能提取数据、选择方法,因此,需求分析是数据挖掘的基础条件。数据挖掘的实施过程也是围绕着这个目标进行的。在确定用户的需求后,应该明确所要解决的问题属于哪种应用类型,是属于关联分析、分类、聚类及预测,还是其他应用。应对现有资源如已有的历史数据进行评估,确定

是否能够通过数据挖掘技术来解决用户的需求,然后将进一步确定数据挖掘的目标和制定数据挖掘的计划。2.建立数据库

这是数据挖掘中非常重要也非常复杂的一步。首先,要进行数据收集和集成,其次,要对数据进行描述和整合。数据主要有四个方面的来源:客户信息、客户行为、生产系统和其他相关数据。这些数据通过抽取、转换和装载,形成数据仓

库，并通过 OLAP 和报表，将客户的整体行为结果分析等数据传递给数据库用户。3.选择合适的数据挖掘工具 如果从上一步的分析中发现，所要解决的问题能用数据挖掘比较好地完成，那么需要做的第三步就是选择合适的数据挖掘技术与方法。将所要解决的问题转 化成一系列数据挖掘的任务。数据挖掘主要有五种任务：分类，估值预测，关联 规则，聚集，描述。前三种属于直接的数据挖掘。在直接数据挖掘中，目标是应 用可得到的数据建立模型，用其它可得到的数据来描述感兴趣的变量。后两种属 于间接数据挖掘。在间接数据挖掘中，没有单一的目标变量，目标是在所有变量 中发现某些联系。4.建立模型 建立模型是选择合适的方法和算法对数据进行分析，得到一个数据挖掘模型 的过程。一个好的模型没必要与已有数据完全相符，但模型对未来的数据应有较 好的预测。需要仔细考察不同的模型以判断哪个模型对所需解决的问题最有用。如决策树模型、聚类模型都是分类模型，它们将一个事件或对象归类。回归是通 过具有已知值的变量来预测其它变量的值。时间序列是用变量过去的值来预测未 来的值。这一步是数据挖掘的核心环节。建立模型是一个反复进行的过程，它需 要不断地改进或更换算法以寻找对目标分析作用最明显的模型，最后得到一个最 合理、最适用的模型。5.模型评估 为了验证模型的有效性、可信性和可用性，从而选择最优的模型，需要对模 型进行评估。我们可以将数据中的一部分用于模型评估，来测试模型的准确性，模型是否容易被理解模型的运行速度、输入结果的速度、实现代价、复杂度等。模型的建立和检验是一个反复的过程，通过这个阶段阶段的工作，能使数据以用 户能理解的方式出现，直至找到最优或较优的模型。6.部署和应用 将数据挖掘的知识归档和报告给需要的群体，根据数据挖掘发现的知识采取 必要的行动，以及消除与先前知识可能存在的冲突，并将挖掘的知识应用于应用 系统。在模型的应用过程中，也需要不断地对模型进行评估和检验，并做出适当 的调整，以使模型适应不断变化的环境。参考文献: [1]罗纳德．S．史威福特．客户关系管理[M]．杨东龙译．北京：中国经济 出版社，2002 [2]马刚:客户关系管理[M]大连：东北财经大学出版社，2008

第五篇：数据挖掘技术在图书采购中的应用初探.专题

数据挖掘技术在图书采购中的应用初探 湖南理工学院图书馆 张 晖

[摘 要]数据挖掘是一种新的信息技术,在许多行业有着广泛的应用。高校图书馆同样可以成为其应用的一个领域。在图书采购中,可以应用数据挖掘技术来提高采购的效率和针对性。

[关键词]数据挖掘 高校图书馆 图书采购

计算机网络与数据库技术的发展和广泛应用,信息日益成为企业的一种重要资源,人们利用信息技术生产和搜集数据的能力大幅度提高,在这些数据背后隐藏着极为重要的商业知识,但是这些商业知识是隐含的、事先未知的。面对“人们被数据淹没,人们却饥饿于知识”的挑战,数据挖掘技术应运而生,越来越显示出其强大的生命力。

1数据挖掘技术概述

数据挖掘(D ata M in ing是一种新的信息处理技术,其主要特点是对单位、企业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理,以从中提取辅助管理决策的关键性数据。数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘是一门交叉学科,它把人们对数据的应用从低层次的简单查询,提升到从数据中挖掘知识,提供决策支持。常用的数据挖掘技术主要有以下几种: 1.1人工神经网络

仿照生理神经网络结构的非线性预测模型,主要由“神经元”的互联,或按层组织的节点构成,通常由输入层、中间层和输出层三个层次组成,在每个神经元求得输入值后,再汇总计算输入值;由过滤机制比较输入值,确定网络的输出值。

1.2决策树

决策树是一个类似流程图的树型结构,其中每个内部节点表示在一个属性上的测试,每个分枝代表1个测试输出,而每个树叶点代表类或类分布。树的最顶层节点是根节点。目前,在数据挖掘中使用的决策树方法有多种,典型的在国际上影响较大的决策树方法是Q n in lan研制的I D3算法。

1.3遗传算法

遗传算法是模拟生物进化过程的计算模型,是自然遗传学与计算机科学相互结合渗透的计算方法。遗传分析应用搜索技术,先找出两个合适的父样本,通过“交叉”“变异”等带有生物遗传特点的操作产生下一代样本,对子样本反复“交叉”“变异”操作直到子样本收敛为此,再找另外两个合适的父样本重复上述过程,就能得到下一代的样本集。由此得到当前样本集较可能的发展方向。

1.4近邻算法

用该方法进行预测的基本概念就是相互之间“接近”的对象具有相似的预测值。如果知道其中一个对象的预测值后,可以预测其最近的邻居对象。

1.5规则推导

根据统计意义上对数据中的规则“如果条件怎么样、怎么样,那么结果或情况就怎么样”,对给定的一组项目和一个记录集合,通过分析记录集合,推导出项目间的相关性。

1.6聚类方法

聚类分析方法按一定的距离或相似性测度将数据分成系列相互区分的组,它是不需要预定义知识而直接发现一些有意义的结构与模式。可采用拓扑结构分析、空间缓冲区及距离分析、覆盖分析等方法,旨在发现目标在空间上的相连、相邻和共生等关联关系。

1.7可视化技术

可视化技术在数据挖掘过程中的数据准备阶段是非常重要的,它能够帮助人们进行快速直观地分析数据。利用可视化方法,很容易找到数据之间可能存在的模式、关系和异常情况等。

2高校图书馆可以成为数据挖掘技术的应用领域

目前,在很多领域,数据挖掘都是一个很时髦的词,尤其是在银行、电信、保险、交通、零售(如超级市场等商业领域。同样,数据挖掘技术在高校图书馆中的应用,将为图书馆在数字资源的组织和管理、服务质量的提升和服务方式的拓展等方面提供技术支持,并显示出强大的生命力。高校图书馆可以成为数据挖掘技术的应用领域,理由如下: 2.1高校图书馆管理的需要

在信息化社会中,图书馆的生存与发展和先进技术的运用是密不可分的。目前,高校图书馆利用的信息管理系统可以高效地实现传统图书馆信息管理中的数据的录入、查询、统计、流通借阅等功能,相对于从前的手工加工管理时代,可以说是一次飞跃,但图书情报部门的工作仍然主要是对信息的载体进行管理,以提供信息的外在特征服务为主,无法发现数据中存在的关系和规则,无法根据现有的数据预测未来的发展趋势。高校图书馆作为学术性、科研性、服务性机构,在高等教育中承担着重要角色,特别是在向数字化图书馆转型过程中,迫切需要应用分类、回归分析、聚类、关联规则、特征、变化和偏差分析、W eb网页挖掘等技术手段对信息进行深加工,以推动图书馆业务与管理的全面进步。运用数据挖掘技术,实现海量数据的存储和利用,支持图书馆各种层次的科学决策,促进图书馆管理的发展。

2.2图书馆物质基础的形成

在现代科学技术推动下,高校图书馆正朝着自动化、数字化和信息化的方向发展。一方面,我国的图书馆系统经过多年的自动化建设,已具备相当的物质条件和人才储备,并积累了大量数据,为数据挖掘应用奠定了一定的物质基础。另一方面,图书

馆的数字化发展是我国信息化建设的重要组成部分,国家对此给予了高度的重视并提供了大量政策上和经济上的支持,为行业

— 8 5 1 —

性数据挖掘的实施提供了良好的政策环境和经济保障。2.3实现技术的成熟

数据挖掘在经过多年的发展之后已经形成相对成熟的技术体系,特别是在数据挖掘设计、数据抽取以及联机分析处理技术等方面都取得了令人满意的进展,为数据挖掘的应用奠定了技术基础。另外,数据挖掘技术在发达国家的电信、制造、零售、金融等领域已有较深程度的应用,并取得了巨大的回报,这些成功应用的例子为我们提供了可资借鉴的宝贵经验。

3应用数据挖掘技术开展图书采购工作

目前,国际上已经将图书馆的信息服务纳入了电子商务之中,数据挖掘技术不仅在商业界倍受青睐,它在现代化图书馆中的应用前景也十分广阔,而图书采购则是数据挖掘技术在高校图书馆应用中的一个典型领域。基于数据挖掘技术的图书采购策略的基本思路是:利用计算机图书管理数据库积累的图书借阅流通资料,利用数据挖掘技术得到读者借阅频率较高的图书类型的关键词、出版社、编著者信息,考虑缺书比例较大的图书,依此决定采购策略。

3.1读者信息资源的收集

采访部门职能发挥的好坏关系到图书馆资金及资源利用率的高低,如何采购高质量的书刊是图书馆工作的重中之重。因此,准确地定位读者对象的需求就成为提高资源利用率的一个主要因素。根据流通数据库的集成数据进行数据挖掘,能够得到读者对图书资源的使用频率表,对读者进行分类的同时对适合不同类别的读者的图书资源进行聚类,可以快速而精确地得到订书单。通过收集整理图书馆网站上的在线调查、留言簿等数据,或是设计读者调查表,包括读者的基本情况、阅读兴趣、查阅资料的途径及对国内外文献资源的需求情况等,将这些元数据转化为标准的结构化数据库,利用数据挖掘方法分析读者行为倾向,发现用户兴趣模式,就能动态的调整采购策略,有针对性地应对需求。

3.2确定采购的重点

图书馆每年的文献购置费是有限的,各门学科之间如何分配、各种文献载体形式如何均衡才能使这些经费最好地发挥效益,这是一件令人头疼的事。随着出版物的数量日益增多,载体日益丰富,高校图书馆信息结构、读者需求与资金利用的平衡问题越来越不易把握,也令采购工作的决策变得更加复杂。数据挖掘技术可以对流通数据库和采访数据库中的历史记录数据进行关联性分析和序列分析,可以轻松地统计出文献的拒借集合和频繁借阅集合,科学分析各类文献的利用率,为采购文献提供科学合理的各种分析报告及预测信息,从而指导采访人员对文献种类进行科学地筛选,合理地确定各种文献所需的复本量,及时补充短缺的文献,剔除过时的文献,帮助采购人员确定采购重点,保障图书馆信息资源体系的科学性和合理性。

3.3订购渠道的管理

图书订购是图书馆采访部门的主要工作,它是图书馆工作链的开端,也是现代化图书馆资源建设的开始。传统图书馆的订购信息大多来源于出版社和书商,信息量有限,这样会导致重复订购和馆藏资源不足的矛盾现象出现。随着信息技术的发展,图书订购渠道已呈现多样化,包括专家订书、光盘检索、电子文献、借阅数据库查询等。通过数据挖掘技术可以为图书采购提供科学的、合理的分析和预测,从而实

现订购渠道的管理,选择合适的订购渠道,为图书馆节省可贵的经费,买到最适用的图书。

3.4确定图书的学科比例

图书馆要全面兼顾不同类型的读者,考虑各个学科内容的完整搭配组合。即使最近一段时间武侠小说非常流行,也不能全部只购买武侠小说。大学的图书馆必须结合学校的专业设置,为各个专业的教学科研配备参考书,不能顾此失彼。应当结合馆藏图书的学科专业分布、发展趋势以及现有藏书量,控制不同学科的图书占总采购金额的比例。对于馆藏数量少,而根据发展趋势急需加强的学科需要扩大比例。通过流通、采访系统数据进行如关联性分析、序列分析等挖掘方法得到的结果,可以分析出文献的利用率,及时补充短缺的文献,剔除过时的文献信息,为采购文献提供科学合理的各种分析报告及预测信息,指导采访人员对购书的种类、所需复本数量等进行科学的筛选,优化馆藏结构,合理确定各学科的图书比例。

3.5采购经费的管理

传统图书馆信息采集多由专门采访人员独自确定或与少数专家商讨决定,不可避免的带有极大的主观性以及个人喜好;而且图书馆每年的文献购置费是有限的,各门学科之间如何分配,各种文献载体形式如何均衡才能使这些经费最好地发挥效益,这是一件令人头疼的事。而运用数据挖掘技术可以通过对图书馆的借阅流通记录、检索请求进行分析、挖掘,有针对性的补充和丰富信息资源,并可以籍此分析出文献的利用率,从而实现采购经费的合理管理,区分轻重缓急,“好钢用在刀刃上”。

参考文献

[1]王向辉等.数据挖掘技术及其在决策支持系统中的应用[J]计算技术与自动化,2004(4 [2]陈瑞雪.数据仓储与数据挖掘技术在现代化图书馆中的应用[J].图书馆学研究,2004(11

[3]张存禄等.数据挖掘在图书采购中的应用[J].情报科学,2004(5 [4]刘晓东.数据挖掘在图书馆工作中的应用[J].情报杂志,2005(8 [5]鲍翠梅等.数据挖掘技术及其在图书馆中的应用[J].情报杂志,2004(9 — 9 5 1 —