数据仓库与数据挖掘第一次作业

第一篇：数据仓库与数据挖掘第一次作业

数据仓库与数据挖掘第一次作业

电子商务这一行业目前还处于摸索期，有很多需要完善和可以创新的地方。这学期选修了袁老师的《电子商务》，印象最深的就是老师提过这样的想法：电商（主要是B2B）、百度等搜索引擎以及新浪微博等社交平台都是可以做咨询业的，即根据客户的消费（或搜索）记录、评价等信息定期为企业生成反馈报告。要实现之一定是需要数据仓库和数据挖掘等这类技术，通过收集、分析大量客户数据，为企业的预测、决策提供情报。

企业通过电子商务网站开展网络经营的过程中，利用数据仓库组织和存储大量的客户信息，在此基础上利用数据挖掘技术对这些信息进行抽取、分析，找出更深层次的隐藏信息，从而使企业的电子商务网站达到更高的客户满意度，将大大地提高企业网络经营的效率，大大降低企业的运营成本。具体功能和作用如下： 首先，电子销售商可以获知访问者的个人爱好，更加充分地了解顾客的需要，并根据顾客的资料分析潜在的目标市场。

其次，企业也可以了解客户的价值，利用数据仓库的资料，发现什么样的顾客群在网站上购买什么商品，区分高价值顾客和一般价值顾客，对各类顾客采取相应的营销策略。

再次，根据顾客的历史资料，不仅可以预测需求趋势，还可以评估需求倾向的改变，为顾客提供更好的服务。

另外，企业通过理解访问者的动态行为可以优化电子商务网站的经营模式。最后，对涉及消费行为的大量信息进行收集、加工和处理，企业就可以确定特定消费群体或个体的兴趣、消费习惯、消费倾向和消费需求，进而推断出相应消费群体或个体下一步的消费行为，然后以此为基础，对所识别出来的消费群体进行特定内容的定向营销。例如：（1）对那些要通过网站发送广告的企业，分析用户访问模式有助于针对性地在某些用户经常访问的地方插播广告条。这样，根据这些信息，网站的建设者就可以对特定的顾客群提供个性化广告服务。这种广告要比泛泛的、随意的广告有价值得多；（2）在强大的数据挖掘技术与全面的顾客资料数据基础上，企业可以根据各个细分市场，甚至是每一个顾客的独特需求来为他们设计“量身定造”的产品。高度细分化、定制化的产品有利于提高顾客满意度，巩固与他们的长久关系，最终达到留住顾客的目的；（3）针对顾客设计个性化网站。利用数据挖掘工具，电子商务网站可以做到以顾客需求为导向，达到一对一行销的目的。网站将改变原有的千篇一律的形式，而强调信息个性化，亦即顾客所得到的信息将是网站针对其个人喜好、需求与特点的设定所给予的，也就是符合顾客的个人信息需求。例如顾客可以到一些新闻上去订阅他喜欢看的信息类别，如政治新闻或科技新闻。当使用者再次拜访此网站时，网站就会智能地只显示出该顾客所喜欢看的信息。

第二篇：数据仓库与数据挖掘学习心得.

数据仓库与数据挖掘学习心得

通过数据仓库与数据挖掘的这门课的学习,掌握了数据仓库与数据挖掘的一些基础知识和基本概念,了解了数据仓库与数据库的区别。下面谈谈我对数据仓库与数据挖掘学习心得以及阅读相关方面的论文的学习体会。

《浅谈数据仓库与数据挖掘》这篇论文主要是介绍数据仓库与数据挖掘的的一些基本概念。数据仓库是支持管理决策过程的、面向主题的、集成的、稳定的、不同时间的数据集合。主题是数据数据归类的标准,每个主题对应一个客观分析的领域,他可为辅助决策集成多个部门不同系统的大量数据。数据仓库包含了大量的历史数据,经集成后进入数据仓库的数据极少更新的。数据仓库内的数据时间一般为5年至10年,主要用于进行时间趋势分析。数据仓库的数据量很大。

数据仓库的特点如下:

1、数据仓库是面向主题的;

2、数据仓库是集成的,数据仓库的数据有来自于分散的操作型数据,将所需数据从原来的数据中抽取出来,进行加工与集成,统一与综合之后才能进入数据仓库;

3、数据仓库是不可更新的,数据仓库主要是为决策分析提供数据,所涉及的操作主要是数据的查询;

4、数据仓库是随时间而变化的,传统的关系数据库系统比较适合处理格式化的数据,能够较好的满足商业商务处理的需求,它在商业领域取得了巨大的成功。

作为一个系统,数据仓库至少包括3个基本的功能部分:数据获取:数据存储和管理;信息访问。

数据挖掘的定义:数据挖掘从技术上来说是从大量的、不完全的、有噪音的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在的有用的信息和知识的过程。

数据开采技术的目标是从大量数据中,发现隐藏于其后的规律或数据间的的关系,从而服务于决策。数据挖掘的主要任务有广义知识;分类和预测;关联分析;聚类。

《数据仓库与数据挖掘技术在金融信息化中的应用》论文主要通过介绍数据额仓库与数据挖掘的起源、定义以及特征的等方面的介绍引出其在金融信息化中的应用。在金融信息化的应用方面,金融机构利用信息技术从过去积累的、海量的、以不同形式存储的数据资料里提取隐藏着的许多

重要信息,并对它们进行高层次的分析,发现和挖掘出这些数据间的整体特征描述及发展趋势预测,找出对决策有价值的信息,以防范银行的经营风险、实现银行科技管理及银行科学决策。

现在银行信息化正在以业务为中心向客户为中心转变6银行信息化不仅是数据的集中整合,而且要在数据集中和整合的基础上向以客为中心的方向转变。银行信息化要适应竞争环境客户需求的变化,创造性地用信息技术对传统过程进行集成和优化,实现信息共享、资源整合综合利用,把银行的各项作用统一起来,优势互补统一调配各种资源,为银行的客户开发、服务、综理财、管理、风险防范创立坚实的基础,从而适应日益发展的数据技术需要,全面提高银行竞争力,为金融创新和提高市场反映能力服务。沃尔玛利用信息技术建设的数据仓库,在1997年圣诞节进行市场技术建立的数据仓库,即分析顾客最可能一起购买那些商品,结果产生了经典的“啤酒与尿布”的故事,这便是借助于数据仓库系统

第三篇：数据挖掘与数据仓库--教学大纲

数据挖掘与数据仓库（教学大纲）

Data mining and data warehouse

课程编码：05405140 学分： 2.5 课程类别： 专业方向课 计划学时： 48 其中讲课：32 实验或实践： 上机：16 适用专业：信息管理与信息系统、电子商务 推荐教材：

陈文伟，数据仓库与数据挖掘教程，清华大学出版社，2008 参考书目：

1.Richard J.Roiger, Michael W.Geatz.Data Mining: A Tutorial-Based Primer.2003.2.Ian H.Witten, Eibe Frank.Data Mining: Practical Machine Learning Tools and Techniques(第二版).机械工业出版社（影印版），2005.3.Jiawei Han, Micheline Kamber.Data Mining: Concepts and Techniques.2001.5.4.数据仓库与数据挖掘技术（第2版），陈京民 编著，电子工业出版社，2007.11 5.数据仓库和数据挖掘，苏新宁 等编著，清华大学出版社，2006.4 6.数据挖掘Clementine应用实务，谢邦昌 主编，机械工业出版社，2008.4

课程的教学目的与任务

本课程将系统介绍数据挖掘的基本概念、基本原理和应用基础，通过课堂讲授、实例分析，提高学生数据挖掘技术的认识，熟悉基本工具应用，并掌握设计和开发数据挖掘算法和系统的初步能力。

课程的基本要求

1、了解数据仓库及数据挖掘的概念、特征、应用范围，以及主要数据挖掘工具

2、了解OLTP 和 OLAP的区别；熟悉OLAP 的体系结构，以及如何评价OLAP工具；掌握多维分析的基本分析动作。

3、了解数据质量，掌握数据预处理方法，4、掌握数据挖掘的定性归纳技术、关联挖掘、聚类分析、分类方法、预测方法、文本挖掘、WEB挖掘

5、熟练掌握数据挖掘软件Clementine在各类挖掘任务中的应用。各章节授课内容、教学方法及学时分配建议（含课内实验）

第一章.数据仓库与数据挖掘概述 建议学时：2 [教学目的与要求] 了解数据仓库及数据挖掘的概念、特征、应用范围，以及主要数据挖掘工具。[教学重点与难点] 数据仓库及数据挖掘的概念

[授 课 方 法] 以课堂讲授为主，课堂讨论和课下自学为辅 [授 课 内 容] 1.1 为什么要数据挖掘 1.2 数据挖掘的应用示例 1.3 数据挖掘方法简介

1.4 数据挖掘与其他学科的关系 1.5 商务智能的三大块 1.6 常用数据挖掘工具简介

第二章 数据仓库技术

建议学时：4 [教学目的与要求] 了解数据仓库的概念，区分与传统数据库技术的不同；掌握数据仓库存储的抽取、转换和装载

[教学重点与难点] 数据仓库存储的抽取、转换和装载；数据仓库存储的数据模型 [授 课 方 法] 以课堂讲授为主，课堂讨论和课下自学为辅 [授 课 内 容] 2.1 数据仓库的概念

2.2 数据仓库存储的数据模型 2.3 数据仓库的体系结构

2.4 数据仓库应用的抽取、转换和装载

第三章 数据仓库开发模型

建议学时：4 [教学目的与要求] 了解数据仓库开发模型的概念，了解数据仓库开发过程，掌握数据仓库三种概念模型：星型模式、雪花模式、或事实星座模式，掌握数据粒度概念，元数据概念。

[教学重点与难点] 数据仓库三种概念模型，数据粒度概念，元数据概念 [授 课 方 法] 以课堂讲授为主，课堂讨论和课下自学为辅 [授 课 内 容] 3.1 数据仓库开发模型的概念

3.2 数据仓库的概念模型 3.3 数据仓库的逻辑模型 3.4 数据仓库的物理模型 3.5 数据仓库的生成

3.6 数据仓库的使用和维护

3.7 数据仓库的粒度、聚集和分割 3.8 元数据

第四章 联机分析处理(OLAP)技术 建议学时：4 [教学目的与要求] 了解OLTP 和 OLAP的区别；熟悉OLAP 的体系结构，以及如何评价OLAP工具；掌握多维分析的基本分析动作。[教学重点与难点] OLAP 的体系结构；多维分析的基本分析动作 [授 课 方 法] 以课堂讲授为主，课堂讨论和课下自学为辅 [授 课 内 容] 4.1 从OLTP 到 OLAP 4.2 OLAP 的基本概念

4.3 多维分析的基本分析动作 4.4 OLAP 的数据组织 4.5 OLAP 的体系结构 4.6 OLAP 工具及评价

4.7 Codd 关于 OLAP 产品的十二条评价准则

第五章 数据挖掘的原理与技术 建议学时：4 [教学目的与要求] 了解为什么要数据挖掘、数据挖掘与其他学科的关系，熟悉常用数据挖掘方法和工具，掌握数据挖掘的原理与技术。

[教学重点与难点] 数据挖掘的原理与技术，数据挖掘与其他学科的关系 [授 课 方 法] 以课堂讲授为主，课堂讨论和课下自学为辅 [授 课 内 容] 5.1 知识发现的过程

5.2 数据挖掘的方法和技术 5.3 数据挖掘的知识表示

第六章 数据的获取和管理 建议学时：4 [教学目的与要求] 了解数据的数据获取和管理，掌握数据质量的多维度量，掌握数据预处理方法 [教学重点与难点] 数据质量，数据预处理方法

[授 课 方 法] 以课堂讲授为主，课堂讨论和课下自学为辅 [授 课 内 容] 6.1 数据仓库的数据获取 6.2 数据管理 6.3 系统管理 6.4 数据的预处理

6.5 数据质量的多维度量 6.6 数据预处理的主要方法

第七章 定性归纳

建议学时：2 [教学目的与要求] 了解数据挖掘的定性归纳技术，掌握ID3算法、C5.0算法。[教学重点与难点] ID3算法、C5.0算法

[授 课 方 法] 以课堂讲授为主，课堂讨论和课下自学为辅 [授 课 内 容] 7.1 基本概念 7.2 数据泛化 7.3 属性相关分析 7.4 挖掘概念对比描述

7.5 挖掘大数据库的描述型统计信息

第八章 关联挖掘

建议学时：2 [教学目的与要求] 了解关联挖掘和的方法，掌握Apriori算法 [教学重点与难点] Apriori算法

[授 课 方 法] 以课堂讲授为主，课堂讨论和课下自学为辅 [授 课 内 容] 8.1 基本概念

8.2 单维布尔逻辑关联规则挖掘 8.3 多层关联规则挖掘 8.4 多维关联规则挖掘

8.5 关联规则聚类系统(ARCS)8.6 关联规则其它内容

第九章

聚类分析

建议学时：2 [教学目的与要求] 了解什么是聚类分析、聚类和分类的区别，掌握聚类分析的算法。[教学重点与难点] 聚类分析的算法

[授 课 方 法] 以课堂讲授为主，课堂讨论和课下自学为辅 [授 课 内 容] 9.1 什么是聚类分析

9.2 聚类分析中的数据类型 9.3 主要聚类算法的分类

第十章 分类 建议学时：2 [教学目的与要求] 了解什么是数据挖掘的分类，掌握KNN(K-Nearest Neighbor)分类和Bayes分类 [教学重点与难点] KNN(K-Nearest Neighbor)分类和Bayes分类 [授 课 方 法] 以课堂讲授为主，课堂讨论和课下自学为辅 [授 课 内 容] 10.1 10.2 10.3 10.4 10.5

第十一章 预测 建议学时：2 [教学目的与要求] 了解预测算法，掌握回归预测、广义线性GenLin模型预测、支持向量机预测 [教学重点与难点] 回归预测、广义线性GenLin模型预测、支持向量机预测 [授 课 方 法] 以课堂讲授为主，课堂讨论和课下自学为辅 [授 课 内 容] 11.1 11.2 预测的基本知识 预测的数据准备 分类的基本知识 决策树分类 支持向量机分类

KNN(K-Nearest Neighbor)分类 Bayes分类 11.3 11.4 11.5 11.6

预测的主要方法 回归预测

广义线性GenLin模型预测 支持向量机预测

撰稿人：蔡永明 审核人：

第四篇：数据仓库与数据挖掘结业论文

结合《数据仓库与数据挖掘》课程内容，写一篇与该课程内容相关的论文。

参考题目：

1.数据挖掘技术在数据仓库中的应用

2.关联规则在数据仓库中的应用

3.Aproior算法及其改进

4.决策树算法综述

5.聚类技术在XXX中的应用

6.XXX分类算法在XXX中的应用

7.分类算法的比较

8.聚类算法的比较

9.……

10.……

要求如下：

1.最上面内容为：姓名、学号、专业和成绩，见模板。

2.题目居中，宋体4号字加粗。

3.正文：首行缩进2个汉字，宋体小四号，行间距为1.25，页面设置为：左-2 右-1.5 上-2 下-2.左侧装订。

4.若包含图或表，则居中。

5.至少4页，并在每页下面的中间加上页码。

模板如下：

姓名___________ 学号____________ 专业______________ 成绩_____________

题目

1.引言

2.XXX

3.XXX

4.…

5.结论

第五篇：数据仓库与数据挖掘期末试题

广西财经学院2007——2008学年2005级《数据仓库与数据挖掘》卷

2、请列举您使用过的各种数据仓库工具软件（包括建模工具，ETL工具，前端展现工具，OLAP Server、数据库、数据挖掘工具）和熟悉程度。

ETL工具：Ascential DataStage，IBM warehouse MANAGER、Informatica公司的PowerCenter、Cognos 公司的DecisionStream

市场上的主流数据仓库存储层软件有：SQL SERVER、SYBASE、ORACLE、DB2、TERADATA 但是使用过的只有SQL SERVER和数据挖掘工具Analysis Services，而且不大熟悉。

3、请谈一下你对元数据管理在数据仓库中的运用的理解。

元数据能支持系统对数据的管理和维护,如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据。具体来说,在数据仓库系统中,元数据机制主要支持以下五类系统管理功能:（１）描述哪些数据在数据仓库中；（２）定义要进入数据仓库中的数据和从数据仓库中产生的数据；（３）记录根据业务事件发生而随之进行的数据抽取工作时间安排；（４）记录并检测系统数据一致性的要求和执行情况；（５）衡量数据质量。

4、数据挖掘对聚类的数据要求是什么？

（1）可伸缩性（2）处理不同类型属性的能力（3）发现任意形状的聚类（4）使输入参数的领域知识最小化（5）处理噪声数据的能力（6）对于输入顺序不敏感

（7）高维性（8）基于约束的聚类（9）可解释性和可利用性

5、简述Apriori算法的思想，谈谈该算法的应用领域并举例。

思想：其发现关联规则分两步，第一是通过迭代，检索出数据源中所有烦琐项集，即支持度不低于用户设定的阀值的项即集，第二是利用第一步中检索出的烦琐项集构造出满足用户最小信任度的规则，其中，第一步即挖掘出所有频繁项集是该算法的核心，也占整个算法工作量的大部分。

在商务、金融、保险等领域皆有应用。

在建筑陶瓷行业中的交叉销售应用，主要采用了Apriori 算法

三、翻译分析题（30分）

1、附件有一名为“Data Mining in Electronic Commerce”的电子文档，请同学们翻译其中的一段。每位同学翻译的段号以大家学号的最后两位为准，如10号同学只需翻译正文的第10段，以此类推。

分类则是一个标准的问题，在数据挖掘和在电子商贸的应用-原则下，适当的方法[随机森林，支持向量机（支持向量机），后勤拉索等]有赖于敏锐地在该网

站上，该类型的广告都是可以收集到的资料。在亚马逊商务网站中，该推荐系统已进入先前购买和书籍进行视察。

这是一个更丰富的信息来源，通过dictionary.com可以接入（他们只

知道这个词，有人期待在这次会议上，除非他们有库克-网页）。一些企业获得更多的信息，从数据仓库中，如作为choicepoint公司，这使得他们的专家来建立高度个性化的分类规则。

2、通过阅读该文挡，请同学们分析一下数据挖掘在电子商务领域的应用情况（请深入分析并给出实例，切忌泛泛而谈）。

随着网络技术和数据库技术的成熟，全球传统商务正经历一次重大变革，向电子商务全速挺进。这种商业电子化的趋势不仅为客户提供了便利的交易方式和广泛的选择，同时也为商家提供了更加深入地了解客户需求信息和购物行为特征的可能性。数据挖掘技术作为电子商务的重要应用技术之一，将为正确的商业决策提供强有力的支持和可靠的保证，是电子商务不可缺少的重要工具。

电子商务的发展促使公司内部收集了大量的数据，并且迫切需要将这些数据转换成有用的信息和知识，为公司创造更多潜在的利润，数据挖掘概念就是从这样的商业角度开发出来的。

由于数据挖掘能带来显著的效益，它在电子商务中（特别是业、零售业和电信业）应用也越来越广泛。

在金融领域，管理者可以通过对客户偿还能力以及信用的分析，进行分类，评出等级。从而可减少放贷的麻木性，提高资金的使用效率。同时还可发现在偿还中起决定作用的主导因素，从而制定相应的金融政策。更值得一提的是通过对数据的分析还可发现洗黑钱以及其它的犯罪活动。

在零售业，数据挖掘可有助于识别顾客购买行为，发现顾客购买模式和趋势，改进服务质量，取得更好的顾客保持力和满意程度，提高货品销量比率，设计更好的货品运输与分销策略，减少商业成本。

电信业已经迅速地从单纯的提供市话和长话服务演变为综合电信服务，如语音、传真、寻呼、移动电话、图像、电子邮件、机和WEB数据传输以及其它的数据通信服务。电信、计算机网络、因特网和各种其它方式的通信和计算的融合是的大势所趋。而且随着许多国家对电信业的开放和新型计算与通信技术的发展，电信市场正在迅速扩张并越发竞争激烈。因此，利用数据挖掘技术来帮助理解商业行为、确定电信模式、捕捉盗用行为、更好的利用资源和提高服务质量是非常有必要的。分析人员可以对呼叫源、呼叫目标、呼叫量和每天使用模式等信息进行分析，还可以通过挖掘进行盗用模式分析和异常模式识别，从而可尽早发现盗用，为公司减少损失。

四、编程题（20分）

请大家用所学过的java语言改写p192-p194的vb核心源程序