第一篇：基于大数据的推荐系统介绍
参考资料：
1.基于大数据技术的电子商务个性化推荐系统设计与实现 北京交通大学 专业硕士学位论文 工程领域：软件工程
2.大数据系统和分析技术综述
程学旗, 靳小龙, 王元卓, 郭嘉丰, 张铁赢, 李国杰 中国科学院计算技术研究所网络数据科学与技术重点实验室 3.基于大数据的电子商务个性化信息推荐服务模式研究 吉林大学
作者姓名：胡一 专业名称：情报学 指导教师：张向先教授
4.数据挖掘在电子商务推荐系统中的应用研究 大连交通大学 专业硕士学位论文
研究方向：企业管理信息化 姓名：贺云
5． 基于数据挖掘的电子商务推荐系统设计与实现 电子科技大学
专业学位类别：工程硕士 工程领域名称：软件工程 姓名：王世东
指导教师：吴跃教授
6.基于数据挖掘技术的电子商务推荐系统的研究 北京邮电大学
硕士研究生学位论文 专业：信息安全 姓名：徐莉 导师：钮心析
7.基于web数据挖掘商务网站推荐系统的研究 研究方向:人工智能 指导教师:邱玉辉教授 研究生:谢中
8．大数据服务若干关键技术研究 博士研究生学位论文 专业：计算机科学与技术 姓名：韩晶 导师：宋美娜
9.数据挖掘在电子商务旅游线路推荐系统中的应用研究 重庆交通大学
硕士研究生学位论文 管理科学与工程 姓名：吴春阳
10.基于数据挖掘的电子商务推荐系统研究 电子科技大学
博士研究生学位论文 计算机应用技术 姓名：杨帆
11.电子商务个性化推荐系统研究 电子科技大学 硕士学位论文 计算机软件与理论 姓名：雷坤
12.基于数据挖掘的电子商务推荐系统研究 电子科技大学 计算机应用技术 研究生：裴蕾
指导教师：陶树平教授
13.基于个性化推荐的电子商务推荐系统的设计与实现 吉林大学
专业名称：软件工程 作者姓名：单 明
指导教师：王 喆 副教授 14.大数据时代的信息技术处理 作者：冯骞
出版社：信息通讯 2014年08期 15.电子商务推荐系统核心技术研究 学科：管理科学与工程 指导教师：蒋国瑞
16.电子商务推荐系统关健技术研究 院系(所):信息科学与工程学院 专业:计算机软件与理论 姓名：邓爱林 导师：朱扬勇教授
17.电子商务大数据导购系统设计与实现 作者：谢少群
作者单位：广东财经大学广东省电子商务市场应用技术重点实验室;18.电子商务系统中的大数据处理 作者：高珍
谢玉婧
作者单位： 同济大学软件学院;
19.大数据环境下电子商务个性化推荐服务发展动向 作者：王倩 钱力
作者单位:中国科学院 文献情报中心
20.基于大数据的电子商品个性化推荐方法 作者：朱燕 吴锦群 专业：计算机网络技术
目录： 1．大数据
1．1大数据基本概念 1.2大数据特征
1.3大数据处理方式
1.4知识计算对商务推荐系统的启示 1.5社会计算对商务推荐系统的启示 2．电子商务推荐系统
2．1电子商务推荐系统基本概念 2.2电子商务推荐系统研究现状 3．电子商务推荐系统的实现 3.1推荐方法实现
3.2推荐系统关键技术综述 3.3推荐系统目标
4．基于大数据的电子商务推荐系统的实现 4.1电子商务推荐系统分析所需信息 4.2电子商务推荐系统架构
4.3基于大数据的电子商务推荐系统架构 4.4大数据与web的区别（待编写）5.基础知识
5.1电子商务模式
正文
1.大数据
1．1大数据基本概念
近几年,大数据迅速发展成为科技界和企业界甚至世界各国政府关注的热点数据已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素.人们对于大数据的挖掘和运用,预示着新一波生产力增长和消费盈余浪潮的到来”什么是大数据,迄今并没有公认的定义.从宏观世界角度来讲,大数据是融合物理世界(physical world)、信息空间和人类社会(human society)三元世界的纽带,因为物理世界通过互联网、物联网等技术有了在信息空间(cyberspace)中的大数据反映,而人类社会则借助人机界面、脑机界面、移动互联等手段在信息空间中产生自己的大数据映像.从信息产业角度来讲,大数据还是新一代信息技术产业的强劲推动力.所谓新一代信息技术产业本质上是构建在第三代平台上的信息产业,主要是指大数据、云计算、移动互联网(社交网络)等。1.2大数据特征
人们将大数据的特征总结为 5 个 V,即体量大(volume)、速度快(velocity)、模态多(variety)、难辨识(veracity)和价值大密度低(value).但大数据的主要难点并不在于数据量大,因为通过对计算机系统的扩展可以在一定程度上缓解数据量大带来的挑战.其实,大数据真正难以对付的挑战来自于数据类型多样(variety)、要求及时响应(velocity)和数据的不确定性(veracity).因为数据类型多样使得一个应用往往既要处理结构化数据,同时还要处理文本、视频、语音等非结构化数据,这对现有数据库系统来说难以应付;在快速响应方面,在许多应用中时间就是利益.在不确定性方面,数据真伪难辨是大数据应用的最大挑战.追求高数据质量是对大数据的一项重要要求,最好的数据清理方法也难以消除某些数据固有的不可预测性.1.3大数据处理方式
目前,人们对大数据的处理形式主要是对静态数据的批量处理,对在线数据的实时处理,以及对图数据的综合处理.其中,在线数据的实时处理又包括对流式数据的处理和实时交互计算两种。
批量数据处理的典型应用场景包括电子商务:电子商务中产生大量的购买历史记录、商评论、商品网页的访问次数和驻留时间等数据,通过批量分析这些数据,每个商铺可以精准地选择其热卖商品,从而提升商品销量;这些数据还能够分析出用户的消费行为,为客户推荐相关商品,以提升优质客户数量。1.4知识计算对商务推荐系统的启示
基于大数据的知识计算是大数据分析的基础.知识计算是国内外工业界开发和学术界研究的一个热点.要对数据进行高端分析,就需要从大数据中先抽取出有价值的知识,并把它构建成可支持查询、分析和计算知识库.目前,世界各国各个组织建立的知识库多达50 余种以及一些基于维基百科等在线百科知识构建的知识库,如.除此之外,一些著名的商业网站、公司和政府也发布了类似的知识搜索和计算平台,在国内,中文知识图谱的构建与知识计算也有大量的研究和发工作.代表性工作有中国科学院计算技术研究所的 Open KN,百度推出了中文知识图谱搜索,搜狗推出的知立方平台,支持知识计算的基础是构建知识库,这包括 3 个部分,即知识库的构建、多源知识的融合与知识库的更新.知识库的构建就是要构建几个基本的构成要素,包括抽取概念、实例属性和关系.从构建方式上,可以分为手工构建和自动构建。
电子商务推荐系统可以基于这个理念，对商品进行分类编写介绍，讲平台做成商品百科，商品成分百科，健康百科等。1.5社会计算对商务推荐系统的启示
社会计算 以 Facebook、Twitter、新浪微博、微信等为代表的在线社交网络和社会媒体正深刻改变着人们传播信息和获取信息的方式，人的互联成为信息互联的载体和信息传播的媒介,社会媒体的强交互性、时效性等特点使其在信息的产生、消费和传播过程中发挥着越来越重要的作用,成为类重要信息载体.大家关注的问题包括了对在线社会网络结构、信息传播以及信息内容的分析、建模与挖掘等一系列问题.社会媒体中信息检索与数据挖掘，社会媒体的出现对信息检索与数据挖掘的研究提出了新的挑战.不同于传统的 Web 数据,社会媒体中的数据呈现出一些新的特征:(1)信息碎片化现象明显,文本内容特征越发稀疏;(2)信息互联被人的互联所取代,社会媒体用户形成的社会关系网络的搜索和挖掘过程中的重要组成部分;(3)社会媒体的易参与性使得人人具有媒体的特征,呈现出自媒体现象,个人影响力、情感与倾向性掺杂其中.针对这些特点,研究人员在传统信息检索与数据挖掘技术基础上提出了一系列的新模型.鉴于用户所创造的信息往往具有很强的时效性,Yang 等人提出了一种时间序列聚类的方法,从 Twitter 数据中挖掘热门话题发展趋势的规律因为用户的状态和评论中包含了大众的观点和态度,所以 Bollen 等人通过对 Twitter 中用户的信息进行情感分析,将大众情绪的变化表示为 7 种不同的情绪时间序列,进而发现这些序列能够预测股票市场的走势.此外,基于用户在协作平台上所贡献的内容和标签等信息往往蕴含有丰富的大众知识和智慧这一现象,Hu 等人利用 Wikipedia 中的文章和类别信息来确定用户的查询意图,进而辅助信息检索.社会媒体的检索与挖掘研究在国内也受到了越来越多的重视,包括北京大学、清华大学、哈尔滨工业大学、上海交通大学、浙江大学、复旦大学、中国科学院、微软亚洲研究院等大学和研究机构已经取得了一定的进展,涉及的研究内容包括社会化标签系统中的标签学习和排序、信息抽取和分类、社会化多媒体检索、协作搜索和推荐等等.基于这些研究，可以使电子商务推荐系统更加专门化，人性化，可以利用社交网络，根据用户个人喜好更加全面的进行推送。2.1电子商务推荐系统基本概念
电子商务的飞速发展增加了消费者的可选择性，拓展了消费选择的宽度和广 度，激发他们的购买欲望的同时，却又使消费面对海量商品感到茫然，难以抉择 自己想要的产品，甚至使他们陷入数据丰富而知识贫乏的境地。推荐系统的目的模拟现实生活中销售员向消费者推荐商品的过程，协助消费找到自己所满意的商品。现有电子商务推荐算法往往是依据用户浏览行为将用户聚类，以相似用户行为作为推荐依据，这一过程忽略了用户对商品的情感态度。而实际上，当用户对商品持积极情感时则会提高用户满意度，否则用户满意度则会降低。2.2电子商务推荐系统研究现状
推荐系统的主要任务是通过分析用户所产生的信息获取他们的兴趣度和偏 好，从而发现他们潜在的兴趣偏好，为主动向用户推荐他们感兴趣的内容，总体 来说，推荐系统属于信息过滤的范畴。推荐系统不同于信息检索，信息检索是由用户主动发起是一种“pull”的过程，而推荐系统则可以主动向用户推荐用户可能感兴趣的内容，一种“push”过程。尽管，信息检索的过程由于用户的参与目的性较强，但是，用户却不得从检索的内容中人工查找他们所感兴趣的内容，在某些情形下，用户陷入“信息迷航”的尴尬境地。而“push”的过程，是根据用户的历史信息以及用户的相似性分析用户的兴趣，从而挖掘出用户可能的兴趣需求。
推荐算法可分为基于内容的过滤算法以及协同过滤算法两大类。基于内容过 滤的推荐算法其关键技术多为信息检索技术，其主要目的在于分析项目内容，对 现有资源进行建模，完成信息推荐。在这一过程中记录用户所产生信息内容以及 用户的浏览行为，依据用户所产生的信息进行兴趣度建模。在推荐过程中，对比 用户的兴趣度的相似性，对于兴趣度高相似且未产生浏览行为的用户进行推荐。
目前为止，大量网站以及科研机构仍采用基于内容的推荐方法。其中，麻省 理工学院采用基于内容的过滤方法在邮件发送以及接收双方实现了电子邮件过滤。Balabanovic等构建了一个智能推荐系统 LIRA 专门用于网页推荐。LIRA 推荐过程中首先利用检索方法对网络进行内容搜索，判断搜索结果，若满足预先制定的条件则推荐给用户，否则不予以推荐。为了完成个性推荐，LIRA 还设置了反馈机制。用户依据推荐结果与自己的兴趣度进行评价，LIRA 依据用户的评价结果更新搜索规则，从而不断学习训练完善系统，最终达到满足用户个性化推荐的目的。Lieberman以用户浏览行为作为依据构建用户兴趣度模型 Letizia，并基于该模型后台搜索网页，将符合用户兴趣的网页推荐给用户。这一过程是一个主动学习过程，无需用户参与。与 LIRA 显式反馈不同，该模型属于一种隐式反馈模型。Armstrong 等在分析用户浏览行为时，增加了浏览路径机制，从而开发了Webwatcher推荐系统。该系统不但分析用户浏览过的网页，而且还分析用户浏览网页中包含的超链接。结合用户的浏览行为以及网页中的超链接构建用户兴趣度模型，提高了推荐的效率。Pazzani 等通过学习用户的浏览行为以及用户反馈信息构建用户兴趣度模型Syskill& Webert。该模型中，对用户兴趣度分类过程中引入了贝叶斯分类器达到多样性分类的目的。
协同过滤与基于内容的推荐系统不同，协同过滤更加关注用户的社会性特征，协同过滤过程中将兴趣度相同或相似用户划分为一类，推荐过程中该类别中有用户关注某些信息，则认为兴趣度相同的用户也对该类信息感兴趣。由此可见，协同过滤是以用户兴趣群体或社会群体为基础，因此，协同过滤应该首先依据用 户的社会特征将用户分类，对目标用户推荐过程中依据用户所在群体的兴趣相似 为依据完成推荐。协同过滤在电子商务中也得到了广泛应用。如 Amazon、C2C、以及 e Bay 等网站均利用基于协同过滤的电子商务推荐系统，除此之外，还增加了用户反馈机制，用于评估用户对商品的满意度。国内对电子商务推荐系统的研究相对较晚，目前为止还没一个与国外相竞争的电子商务推荐系统。这一点也引起了国内研究者的注意。其中，清华大学的曾春等首先综述了个性化推荐算法，并集中讨论了个性化推荐系统所涉及的核心算法，为国内电子商务推荐系统奠定了基础。中国科学院许海玲等比较了目前互联网中常用的推荐系统，并对常用推荐算法、评价指标等做了总结。北京邮电大学的王立才等为了提高推荐系统的推荐的精确度以及用户满意度对上下文感知的推荐系统进行综述。华东师范大学的任磊博士首先分析了互联网环境下信息过载的起因，并在此基础上进一步分析了个性化信息需求的必要性，对目前个性化需求做了进一步总结，最后针对推荐系统中存在的数据稀疏以及概念漂移问题提出了 WSBCF、IBCFBP 以及 HRRF 等，经实验验证其有效性。南京航空航天大学的李涛博士对推荐系统中存在高维稀疏性问题，在推荐系统中引入降维技术，并利用聚类技术对用户聚类，达到推荐系统实时性的目的。此外，该系统中还增加了数据隐私保护机制，大大提高了系统的安全性。王征和谭龙江在推荐系统中引入了用户心理特征，构建基于用户心理的特征空间，利用贝叶斯算法依据用户行为及商品聚类，最后估计用户心理特征预测其兴趣度，达到个性化推荐的目的。崔春生等首先以用户的浏览行为、浏览时间以及网页差异量等特征为依据，分析用户对商品的需求，在此基础上对用户聚类，得到用户兴趣度集，完成商品推荐的目的。3电子商务推荐系统的实现 3.1推荐方法实现
为了提高用户对推荐结果的满意度，在研究各类推荐算法的基础上，研 究用户情感挖掘方法，并构建一个融合情感挖掘的推荐算法。该方法首先依据用 户行为信息将用户聚类，认为相同类别的用户有着相同的购买欲望。在此基础上 生成推荐商品候选列表。然后利用用户情感信息对候选商品列表过滤，去除那些 用户评价较差的商品，保留用户满意度的商品生成最终的推荐结果。为了分析用 户的情感信息，采集用户对商品评价的内容，采用基于情感词的倾向性分析 方法来判断评价内容的倾向性。为了生成情感词表，本文首先假设包含较多正向 情感词的文本其倾向为正向，同时被较多正向文本所包含情感词的倾向为正向，反之亦然。以此假设为基础，采用 PMI 方法达到情感词扩展的目的，形成最终的情感词表。
3.2推荐系统关键技术综述
推荐算法可被划分基于内容的推荐算法、协同过滤推荐算法以及混合推荐算法三类。
内容的推荐算法
基于内容的推荐算法主要通过分析用户所产生的内容信息，从中挖掘出用户的兴趣爱好，以及用户之间的联系，最终完成对用户商品推荐的目的。整个推荐 过程可描述如下： 假设已存在一个商品c，且有 Cci，其中C 为商品的集合，ic 表示与商品 c 相似的商品，在推荐中可利用兴趣度函数 cuf),(来描述商品 c 对用户u 的兴趣度。基于内容的推荐算法其核心思想仍是对用户所产生的内容进行挖掘，而内容挖掘算法研究较为成为的领域却又是信息检索或信息过滤，因此基于内容推荐算法其实质是信息检索与信息过滤算法在推荐系统中的应用。目前，基于内容的推荐算法主要集中在用户所产生文本信息分析上。首先利用信息检索关键技术搜索用户所产生的内容信息，并且针对用户所产生的内容建立用户特征空间，特征空间中多包含用户的兴趣爱好、项目需求、职业信息、品位信息等基本信息。为了进一步挖掘商品可能引起用户的兴趣大小，需要计算用户特征与项目特征之间的相似度，当相似度大于某个阈值时，则在用户与项目之 间产生推荐，否则不予推荐。协同过滤推荐算法
协同过滤(Collaborative Filtering, CF)是当前应用最为广泛的推荐算法之一，它依据用户的群体特征来判断用户个体特征的兴趣。主要基于如下一个基本假设：用户群体对某一个商品具有相同或相似的兴趣，那么对于其它商品他们仍具有相同或相似的兴趣。因此，该算法依据用户群体兴趣相似度将用聚类，并且依据用户个体兴趣度产生对群体用户的推荐。在这个过程中，首先构建用户群体共同感兴趣的商品的集合，并且不断分析群体用户中个体用户的兴趣偏好，来完成整个推荐。可将协同过滤算法进行如下描述。假设需要预测商品c 是否为用户u 所感兴趣的商品，并且判断是否依据用户的兴趣产生推荐。首先计算商品 c 对用户u 的兴趣度 cuf而 cuf 的设计是通过相似群体集合中其它用户对于商品 c 的兴趣度cuf而获取。协同过滤算法可分为基于内存的协同过滤算法和基于模型的协同过滤算法两大类。(1)基于内存协同过滤算法是挖掘用户的浏览日志，从而确立用户的历史浏览行为，对于用户浏览行为采用 K近邻算法计算用户群体中个体用户的浏览行为相似度，从而将具有相同或相似浏览行为的用户聚为一类(2)基于模型的协同过滤推荐算法是在算法学习采用机器学习的思想，不断的学习待推荐商品所存在的潜在模式。基于模型的协同过滤推荐算法中常采用回归分析、奇异值分解技术、语义分析技术以及各种有监督或无监督的聚类算法来学习推荐模型。在基于模型的协同过滤推荐算法的研究过程中，研究者们通过将模型学习过程视为序列模式决策的过程，对于序列中的每一步往往引入马尔可夫标注来产生每一步的推荐
混合推荐算法
无论是基于内容的推荐算法还是协同过滤推荐算法都有着其优点以及难以逾越的缺陷，为了综合利用基于内容的推荐算法和协同过滤算法的优点，并规避 它们的缺点，研究人员开始尝试将两类模型融合，组成新的推荐算法，通过将这 种融合两类或两类以的推荐算法称之为组合推荐。目前而言，混合过滤推荐系 统可划分为组合推荐及融合推荐两大类：基于内容的推荐算法主要通过分析用户所产生的内容信息，从中挖掘出用户的兴趣爱好，以及用户之间的联系，最终完成对用户商品推荐的目的。
数据挖掘算法
数据挖掘是指从大量数据中提取或“挖掘”知识。这个知识指的是数据库中各类知识之间的联系，这些知识大致可分为：(1)频繁模式挖掘，挖掘数据集频繁出现的项集或者子序列。(2)分类：首先事先定义类别，然后依据某种算法将待分析数据划分到这些类别之中。(3)聚类：不同于分类的是，聚类不考虑已知类，而是依据最大化类内相似性同时最小化类间相似性则，对数据进行分组。(4)演变分析：用于描述某种行为随时间变化而呈现的规律或趋势，并依据该规律或趋势进行建模，为最终决策提供依据。融合用户情感挖掘的推荐算法
融合用户情感信息挖掘的推荐算法实质上是一种组合推荐算法，算法分为三 步，第一部挖掘用户的日志行为，利用用户的日志行为聚类生成用户行为特征库，利用情感分析对用户行为特征库中用户购买过的商品进行过滤，保留那些用户评 价较好的商品，屏蔽用户评价不好的商品。最后计算用户行为相似度完成推荐。算法流程如下：(1)信息采集(2)用户行为特征提取(3)利用单边聚类生成用户行为集合(4)训练生成用户行为模板库(5)用户行为相似度计算(6)候选推荐结果生成(7)推荐结果倾向性过滤(8)生成推荐结果 3.3推荐系统目标
推荐系统属于电子商务的辅助系统，而不能算作是独立的系统，它的主要作 用在于给潜在用户推荐他们满意的产品，极大可能的促成交易的成功，因此我们 把系统的目标定义为：(1)内嵌于电子商务系统中。(2)依据用户行为实行自动推荐。(3)可方便的实现浏览和搜索功能。(4)响应速度快，实时反馈。(5)系统运行稳定、安全、可靠。
4基于大数据的电子商务推荐系统的实现 4.1电子商务推荐系统分析所需信息
融合用户情感信息挖掘的推荐算法实质上是一种组合推荐算法，算法分为三 步，第一部挖掘用户的日志行为，利用用户的日志行为聚类生成用户行为特征库，利用情感分析对用户行为特征库中用户购买过的商品进行过滤，保留那些用户评 价较好的商品，屏蔽用户评价不好的商品。最后计算用户行为相似度完成推荐。算法流程如下：(1)信息采集(2)用户行为特征提取(3)利用单边聚类生成用户行为集合(4)训练生成用户行为模板库(5)用户行为相似度计算(6)候选推荐结果生成(7)推荐结果倾向性过滤(8)生成推荐结果。
所需信息
4.2电子商务推荐系统架构
4.3基于大数据的电子商务推荐系统架构
基于大数据技术的电子商务个性化推荐架构推荐系统的具体设计依赖于其具体的使用场景，比如亚马逊主要完成电子商务方向的推荐，豆瓣完成社交关系、文艺生活相关推荐，Digg完成新闻应用相关推荐。本文主要针对基于电子商务网站的应用场景来设计出一个基于大数据技术的电子商务个性化推荐系统。对于一个标准的电子商务网站系统，其系统架构图如图所示。
对于一般购物网站来讲，主要分为web前端模块，业务处理模块、前端数据库模块、日志处理模块、推荐系统模块、核心业务模块。web前端模块负责界面展示以及与用户的UI交互；核心处理业务一般封装成服务，核心数据库的访问只对核心业务模块开放；中间的日志等模块负责简单界面展示相关处理。推荐系统相对于后台业务并不是非常的核心，但对于整个电子商务网站来说非常重要。随着个性化推荐技术的不断发展，电子商务水平的不断提高，推荐系统也已经成了整个系统的一项基本服务。当前的推荐系统已经不是简简单单的一个后台逻辑或者是一个函数调用可以完成的。广义上说，推荐系统属于数据挖掘和机器学习范畴，推荐系统的服务也更依赖与科学的推荐算法以及大量的学习数据。
4.4大数据与传统web服务的区别
数据服务与传统服务存在多方面差别： 输入输出需求不同：一般的服务需要事先规定输入和输出，以便多个服务之间按照业务流程进行组合；而对于数据服务而言，针对消费者的多样化访问请求，数据服务应能够采取灵活的方式来描述服务和动态产生满足需求的新数据服务。关键技术不同：传统服务关键技术包括服务建模、服务组织和管理、服务组合、服务提供等。而数据服务关键技术不仅包括服务建模、服务组合，还有服务应用，尤其是与数据特征相关的应用，如查询、分析和可视化。服务流程不同：传统服务流程包括服务建模、服务注册、服务组合分解、服务调用等，数据服务的流程是服务操作请求、请求分解请求重写、服务建模、査询分析请求执行、结果组装。显然，数据服务是以数据应用需求为导向的。在数据服务方面，文献提出一个数据服务的抽象架构数据存储系统、外部模型、服务消费方法、数据元数据请求和操作结果数据。
服务组合区别：于传统服务，服务组合是指通过某种服务组合语言方式按给定逻辑和业务流程将多个服务组合成一个整体的技术。服务组合作为一个满足业务需求的流程规划，涉及到基本服务和复合构件服务的协同。已经有大量的研究者对 服务组合进行了深入和广泛的研究。目前服务组合的方法一般是通过将通过某种服务之间的控制逻辑来实现特定的业务流程，通过服务输入和输出接口的匹配来实现服务组合。这些服务组合方法主要有四种，即手工服务组合、基于工作 流的服务组合、基于的服务组合方法和软件工程的服务组合方法。手工方式的服务组合根据实际的业务逻辑，人工选择所需服务，通过编码或者采用可视化工具定义这些服务的交互流程；手工服务组合的方式随着数据服务的动态组合和数据剧增而变得不可行，随后产生了后三种自动化服务组合方式。其中基于工作流的服务组合从工作流视角看待服务组合，首先构建原子服务集，通过控制力和数据流实现服务组合，它们主要采用的服务语言来实现服务组合，例如和，它们定义了语义服务标准。然而基于工作量的服务组合方法其自动化程度依然较弱。基于 的服务组合方法其原理是提前规定服务组合的触发点和结果，通过规划器等人工智能方式来完成自动化服务组合，然而该方法较为复杂使得其使用范围较少。数据服务由于其本身的数据密集型特征，与上述传统服务组合的目标有很大区别。传统服务进行服务组合是为了实现一定的业务流程，而数据服务组合的目标是为了实现跨域异构数据的集成共享。此外，由于用户查询需求的不确定性和多样性，数据服务为了满足用户需求，可能要面临查询组合和数据源带来的双重复杂度，这也使得数据服务的组合方法面临挑战。数据服务组合方法的实现一方面依赖于服务接口映射规范，另一方面则依赖于数据服务中数据模式和逻辑的表达，这就要求数据服务本身也具有强大的描述能力。针对数据服务组合的研究一类面向专业人员，另一类面向业务人员或非人员。面向人员数据服务组合其原理是通过对服务输入输出进行模式匹配，以半自动方式预先编制好服务组合逻辑来实现组合。例如，文献提出基于服务匹配的数据集成方法，该方法将数据封装为数据服务单元并基于设计本体描述模型，通过服务发布、注册和检索的方式实现了数据集成；文献提出通过本体方法发布与组织数据服务，还提出了动态产生数据服务和基于查询重写的数据服务组合算法。此种方法能够根据用户需求动态产生数据服务，提高了用户满意度其局限性是主要面向关系数据，对于非结构化的数据服务较难实现。
5.基础知识
5.1电子商务模式
电子商务模式是指在企业确定细分市场和目标顾客之后，通过对信息技术以及互联网络技术的运用，以在企业内部特定的组织结构和在价值网中定位，从而与价值网上的各个合作成员对相关的流程进行整合，并最终满足客户的需求，同时给企业带来盈利的一种方式。电子商务模式，作为企业在价值链系统一定位置上位目标市场提供价值和盈利的方式，它由以下六方面要素构成：市场环境、企业资源、业务流程、客户关系、产品创新和财务要素。这六个要素之间相互联系、相互依赖、共同确定了电子商务模式的构成和特点。常见的电子商务模式有：B2B 模式、B2C 模式和 C2C 模式。
第二篇：大数据详细介绍
大数据
随着网络信息化时代的日益普遍，移动互联、社交网络、电子商务大大拓展了互联网的疆界和应用领域，我们正处在一个数据爆炸性增长的“大数据”时代，大数据在社会经济、政治、文化，人们生活等方面产生深远的影响，大数据时代对人类的数据驾驭能力提出了新的挑战与机遇。
‚大数据‛作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。
一、大数据时代产生的背景
进入2012年以来，大数据（Big Data）一词越来越多地被提及与使用，人们用它来描述和定义信息爆炸时代产生的海量数，它已经出现过在《纽约时报》、《华尔街时报》的专栏封面，进入美国白宫网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国君证券、国泰君安、银河证券等写进了投资推荐报告，大数据时代来临据。
有人说21世纪是数据信息时代，移动互联、社交网络、电子商务大大拓展了互联网的疆界和应用领域。我们在享受便利的同时，也无偿贡献了自己的‚行踪‛。现在互联网不但知道对面是一只狗，还知道这只狗喜欢什么食物，几点出去遛弯，几点回窝睡觉。我们不得不接受这个现实，每个人在互联网进入到大数据时代，都将是透明性存在。各种数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然现在企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。正如《纽约时报》2012年2月的一篇专栏中所称，‚大数据‛时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。哈佛大学社会学教授加里〃金说：‚这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。‛
二、什么是大数据？
美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。此外，数据又并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。
对于‚大数据‛（Big data）研究机构Gartner给出了这样的定义。‚大数据‛是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据‛这个术语最早期的引用可追溯到apache org的开源项目Nutch。当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。随着谷歌MapReduce和GoogleFile System（GFS）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。
大数据（Big Data）是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高，或者其结构不适合原本的数据库系统。为了获取大数据中的价值，我们必须选择另一种方式来处理它。数据中隐藏着有价值的模式和信息，在以往需要相当的时间和成本才能提取这些信息。如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。而当今的各种资源，如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。即使是在车库中创业的公司也可以用较低的价格租用云服务时间了。对于企业组织来讲，大数据的价值体现在两个方面：分析使用和二次开发。对大数据进行分析能揭示隐藏其中的信息。例如零售业中对门店销售、地理和社会信息的分析能提升对客户的理解。对大数据的二次开发则是那些成功的网络公司的长项。例如Facebook通过结合大量用户信息，定制出高度个性化的用户体验，并创造出一种新的广告模式。这种通过大数据创造出新产品和服务的商业行为并非巧合，谷歌、雅虎、亚马逊和Facebook它们都是大数据时代的创新者。
随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数
十、数百或甚至数千的电脑分配工作。
从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。
大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用。工程和科学问题尚未被重视。大数据工程指大数据的规划建设运营管理的系统工程；大数据科学关注大数据网络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系。
（一）、大数据四个特性
海量性：企业面临着数据量的大规模增长。例如，IDC最近的报告预测称，到2020年，全球数据量将扩大50倍。目前，大数据的规模尚是一个不断变化的指标，单一数据集的规模范围从几十TB到数PB不等。简而言之，存储1PB数据将需要两万台配备50GB硬盘的个人电脑。此外，各种意想不到的来源都能产生数据。
多样性：一个普遍观点认为，人们使用互联网搜索是形成数据多样性的主要原因，这一看法部分正确。然而，数据多样性的增加主要是由于新型多结构数据，以及包括网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。其中，部分传感器安装在火车、汽车和飞机上，每个传感器都增加了数据的多样性。
高速性：高速描述的是数据被创建和移动的速度。在高速网络时代，通过基于实现软件性能优化的高速电脑处理器和服务器，创建实时数据流已成为流行趋势。企业不仅需要了解如何快速创建数据，还必须知道如何快速处理、分析并返回给用户，以满足他们的实时需求。根据IMS Research关于数据创建速度的调查，据预测，到2020年全球将拥有220亿部互联网连接设备。
易变性：大数据具有多层结构，这意味着大数据会呈现出多变的形式和类型。相较传统的业务数据，大数据存在不规则和模糊不清的特性，造成很难甚至无法使用传统的应用软件进行分析。传统业务数据随时间演变已拥有标准的格式，能够被标准的商务智能软件识别。目前，企业面临的挑战是处理并从各种形式呈现的复杂数据中挖掘价值。
（二）、大数据三个特征
除了有四个特性之外，大数据时代的数据还呈现出其他三个特征。
第一个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。
第二个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值‚提纯‛，是大数据时代亟待解决的难题。
第三个特征是处理速度快，时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。
大数据的4个‚V‛，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，价值密度低，商业价值高。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个‚V‛——Volume，Variety，Value，Velocity。
三、大数据时代对生活、工作的影响
大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的‚加工能力‛，通过‚加工‛实现数据的‚增值‛。且中国物联网校企联盟认为，物联网的发展离不开大数据，依靠大数据可以提供足够有利的资源。
大数据，其影响除了经济方面的，它同时也能在政治、文化等方面产生深远的影响，大数据可以帮助人们开启循‚数‛管理的模式，也是我们当下‚大社会‛的集中体现，三分技术，七分数据，得数据者得天下。
‚大数据‛的影响，增加了对信息管理专家的需求。事实上，大数据的影响并不仅仅限于信息通信产业，而是正在‚吞噬‛和重构很多传统行业，广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中，数据分析的技术与手段更是得到广泛的应用，传统企业如沃尔玛通过数据挖掘重塑并优化供应链，新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析，为用户提供更加专业化和个性化的服务。
大数据在个人隐私的方面，大量数据经常含有一些详细的潜在的能够展示有关我们的信息，逐渐引起了我们对个人隐私的担忧。一些处理大数据公司需要认真的对待这个问题。例如美国天睿资讯给人留下比较深刻印象的是他的一个科学家提出，我们不应该简单地服从法律方面的隐私保护问题，这些远远不够的，公司都应该遵从谷歌不作恶的原则，甚至更应该做出更积极的努力。
四、大数据时代的发展方向、趋势
虽然大数据目前在国内还处于初级阶段，但是商业价值已经显现出来。未来，数据可能成为最大的交易商品。但数据量大并不能算是大数据，大数据的特征是数据量大、数据种类多、非标准化数据的价值最大化。因此，大数据的价值是通过数据共享、交叉复用后获取最大的数据价值。在他看来，未来大数据将会如基础设施一样，有数据提供方、管理者、监管者，数据的交叉复用将大数据变成一大产业。
大数据的整体态势和发展趋势，主要体现在几个方面：大数据与学术、大数据与人类的活动，大数据的安全隐私、关键应用、系统处理和整个产业的影响。大数据整体态势上，数据的规模将变得更大，数据资源化、数据的价值凸显、数据私有化出现和联盟共享。
大数据的发展会催生许多新兴新职业，会产生数据分析师、数据科学家、数据工程师，有非常丰富的数据经验的人才会成为稀缺人才。随着大数据的发展，数据共享联盟将逐渐壮大成为产业的核心一环。随着大数据的共享越来越大，隐私问题也随之而来，比如说每天手机产生的通话、位置等等。但这给带来了便利的同时也给带来了个人隐私的问题。数据资源化，大数据在国家和企业和社会层面成为重要的战略资源，成为新的战略制高点和抢购的新焦点。
随着社会的不断发展，大数据对IT技术架构的挑战，大数据的生态环境问题，大数据的应用及产业链将日益突出。数据与机遇
数据：成功的新前线
众所周知，企业数据本身就蕴藏着价值，但是将有用的数据与没有价值的数据进行区分看起来可能是一个棘手的问题。显然，您所掌握的人员情况、工资表和客户记录对于企业的运转至关重要，但是其他数据也拥有转化为价值的力量。一段记录人们如何在您的商店浏览购物的视频、人们在购买您的服务前后的所作所为、如何通过社交网络联系您的客户、是什么吸引合作伙伴加盟、客户如何付款以及供应商喜欢的收款方式等所有这些场景都提供了很多指向，将它们抽丝剥茧，透过特殊的棱镜观察，将其与其他数据集对照，或者以与众不同的方式分析解剖，就能让您的行事方式发生天翻地覆的转变。但是屡见不鲜的是，很多公司仍然只是将信息简单堆在一起，仅将其当作为满足公司治理规则而必须要保存的信息加以处理，而不是将它们作为战略转变的工具。毕竟，数据和人员是业务部门仅有的两笔无法被竞争对手复制的财富。在善用的人手中，好的数据是所有管理决策的基础，带来的是对客户的深入了解和竞争优势。数据是业务部门的生命线，必须让数据在决策和行动时无缝且安全地流到人们手中。
所以，数据应该随时为决策提供依据。看看在政府公开道路和公共交通的使用信息这样看起来甚至有点晦涩的数据时会发生什么：这些数据来源为一些私营公司提供了巨大的价值，这些公司能够善用这些数据，创造满足潜在需求的新产品和服务。
企业需要向创造和取得数据方面的投入索取回报。有效管理来自新旧来源的数据以及获取能够破解庞大数据集含义的工具只是等式的一部分，但是这种挑战不容低估。产生的数据在数量上持续膨胀；音频、视频和图像等富媒体需要新的方法来发现；电子邮件、IM、tweet和社交网络等合作和交流系统以非结构化文本的形式保存数据，必须用一种智能的方式来解读。但是，应该将这种复杂性看成是一种机会而不是问题。处理方法正确时，产生的数据越多，结果就会越成熟可靠。传感器、GPS系统和社交数据的新世界将带来转变运营的惊人新视角和机会。数据=机遇
自从有了IT部门，董事会就一直在要求信息管理专家提供洞察力。实际上，早在1951年，对预测小吃店蛋糕需求的诉求就催生了计算机的首次商业应用。自那以后，我们利用技术来识别趋势和制定战略战术的能力不断呈指数级日臻完善。
今天，商业智能(使用数据模式看清曲线周围的一切)稳居 CXO 们的重中之重。在理想的世界中，IT 是巨大的杠杆，改变了公司的影响力，带来竞争差异、节省金钱、增加利润、愉悦买家、奖赏忠诚用户、将潜在客户转化为客户、增加吸引力、打败竞争对手、开拓用户群并创造市场。
大数据分析是商业智能的演进。当今，传感器、GPS 系统、QR 码、社交网络等正在创建新的数据流。所有这些都可以得到发掘，正是这种真正广度和深度的信息在创造不胜枚举的机会。要使大数据言之有物，以便让大中小企业都能通过更加贴近客户的方式取得竞争优势，数据集成和数据管理是核心所在。
面临从全球化到衰退威胁的风暴，IT 部门领导需要在掘金大数据中打头阵，新经济环境中的赢家将会是最好地理解哪些指标影响其大步前进的人。当然，企业仍将需要聪明的人员做出睿智的决策，了解他们面临着什么，在充分利用的情况下，大数据可以赋予人们近乎超感官知觉的能力。Charles Duigg是《习惯的力量》一书的作者，他找出的一个黄金案例分析的例子是美国零售商 Target，其发现妇女在怀孕的中间三个月会经常购买没有气味的护肤液和某些维生素。通过锁定这些购物者，商店可提供将这些妇女变成忠诚客户的优惠券。实际上，Target 知道一位妇女怀孕时，那位妇女甚至还没有告诉最亲近的亲朋好友，更不要说商店自己了。
很明显，在可以预见的将来，隐私将仍是重要的考量，但是归根结底，用于了解行为的技术会为方方面面带来双赢，让卖家了解买家，让买家喜欢买到的东西。
大数据将会放大我们的能力，了解看起来难以理解和随机的事物。对其前途的了解提供了获取崭新知识和能力的机会，将改变您的企业运作的方式。数据回报率
简而言之，企业可以通过思考数据战略的总体回报，来应对大数据的挑战，抓住大数据的机会。Informatica所指的‘数据回报率’，是为帮助高级IT和业务部门领导者进行大数据基本的战术和战略含义的讨论而设计的一个简单概念。等式非常简单：如果您提高数据对于业务部门的价值，同时降低管理数据的成本，从数据得到的回报就会增加--无论是用金钱衡量，还是更好的决策
数据回报率=数据价值/数据成本
在技术层面，数据回报率为数据集成、数据管理、商业智能和分析方面的投入提供了业务背景和案例。它还与解决业务的基础有关：挣钱、省钱、创造机会和管理风险。它涉及对效率的考虑，同时推动了改变游戏规则的洞察力。
五、企业应如何应对大数据时代
近些年，大数据已经和云计算一样，成为时代的话题。大数据是怎么产生的，商业机会在哪？研究机会在哪？这个概念孕育着一个怎样的未来？企业如何应对？
一个好的企业应该未雨绸缪，从现在开始就应该着手准备，为企业的后期的数据收集和分析做好准备，企业可以从下面五个方面着手，这样当面临铺天盖地的大数据的时候，以确保企业能够快速发展，具体为下面五点。
‚大数据‛作为一个较新的概念，目前尚未直接以专有名词被我国政府提出来给予政策支持。不过，在2011年12月8日工信部发布的物联网‚十二五‛规划上，把信息处理技术作为4项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。而另外3项关键技术创新工程，包括信息感知技术、信息传输技术、信息安全技术，也都与‚大数据‛密切相关。
（一）、以企业的数据为目标
几乎每个组织都可能有源源不断的数据需要收集，无论是社交网络还是车间传感器设备，而且每个组织都有大量的数据需要处理，IT人员需要了解自己企业运营过程中都产生了什么数据，以自己的数据为基准，确定数据的范围。
（二）、以业务需求为准则
虽然每个企业都会产生大量数据，而且互不相同、多种多样的，这就需要企业IT人员在现在开始收集确认什么数据是企业业务需要的，找到最能反映企业业务情况的数据。
（三）、重新评估企业基础设施
大数据需要在服务器和存储设施中进行收集，并且大多数的企业信息管理体系结构将会发生重要大变化，IT经理则需要准备扩大他们的系统，以解决数据的不断扩大，IT经理要了解公司现有IT设施的情况，以组建处理大数据的设施为导向，避免一些不必要的设备的购买。
（四）、重视大数据技术
大数据是最近几年才兴起的词语，而并不是所有的IT人员对大数据都非常了解，例如如今的Hadoop，MapReduce，NoSQL等技术都是近年刚兴起的技术，企业IT人员要多关注这方面的技术和工具，以确保将来能够面对大数据的时候做出正确的决定。
（五）、培训企业的员工
大多数企业最缺乏的是人才，而当大数据到临的时候，企业将会缺少这方面的采集收集分析方面的人才，对于一些公司，特别是那种人比较少的公司，工作人员面临大数据将是一种挑战，企业要在平时的时候多对员工进行这方面的培训，以确保在大数据到来时，员工也能适应相关的工作。
做到上面的几点，当大数据时代来临的时候，面临大量数据将不是束手无策，而是成竹在胸，而从数据中得到的好处也将促进企业快速发展。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。
六、案例分析
IBM战略
IBM的大数据战略以其在2012年5月发布智慧分析洞察‚3A5步‛动态路线图作为基础。所谓‚3A5步‛，指的是在‚掌握信息‛（Align）的基础上‚获取洞察‛（Anticipate），进而采取行动（Act），优化决策策划能够救业务绩效。除此之外，还需要不断地‚学习‛（Learn）从每一次业务结果中获得反馈，改善基于信息的决策流程，从而实现‚转型‛（Transform）。
第三篇：共青团基层组织数据采集系统操作说明介绍
共青团基层组织数据采集系统操作说明
一、程序安装
注意：尽量不要修改文件路径
（一）、安装“2安装程序（基层组织）.exe”
（二）、安装“3升级程序（基层组织）100531.exe”
二、程序使用
（一）、程序登录
点击桌面程序图标进入
是否为乡镇（街道）团委（团工委）：选否
输入团组织代码及简称，具体参考《基层团组织数据采集系统团组织代码》，登陆密码建议统一设置成：123456
（二）、主界面及基层团组织信息填写
这就是进入后的界面，作为团支部，首先点击修改团组织信息。
点击修改团组织信息按钮后，进入此界面，三亚运行基地作为团支部，因此在组织类别一栏选择“团支部”，单位所属类别选择国有经济控制企业，然后表格变成下图。（如是团总支，就在组织类别一栏选择“团总支”）
关于在【团员数据】信息一栏，团员数是指目前该支部（总支）团员人数。发展团员数是指本该团支部（团总支）所属部门由非团员发展为团员的人数。【团籍注册数】是指本年底该团支部（团总支）新增团员数。剩下的空格，有则填，无则不管。如果最基本的资料例如团员数、团籍注册人数这些没填，是无法正常保存的。
（三）、团干部信息填写
完成团组织基层填写后，点击右上角团干部管理，进入下页。
在这个界面中，作为以“三亚运行基地团支部”为例，他的团干部就仅限于该团支部的支部书记、副书记及委员。点击上方“上方”新增按钮，填写团干资料（如果是团总支填写，团干部就仅限于团总支书记、副书记、委员）
进入该界面后，就将该团支部团干部信息如实填写，输入姓名后，姓名简拼自动生成，输入身份证号后，出生年月自动生成。最后点保存。
（四）、团员信息填写（这部分主要由支部书记负责收录，团总支负责汇总）
点击右上角团员管理，进入团员信息录入。
点击上方新增按钮
根据信息要求，详尽填写相关信息，最后保存。
（五）、团员信息数据交换
在团支书收录完支部所有团员信息后，需将该支部数据导出后发送给团总支汇总。
点击首页右上角的数据交换
点击左上角生成上报文件
上报选择2015，包含下级单位的信息打钩，保存上报文件到桌面打钩，然后确定。
最后在桌面上生成.cyl后缀的信息文件，各团支部将文件发送到团总支汇总。
团总支在接收到下级团支部发送的团员信息.cyl文件后，进入数据交换页面，点击接收下级上报文件。
点击，打开下级发送的cyl后缀的文件
点击打开
点击确定后，下级上传的文件就已经导入到团总支的电脑中。各团总支在收集完所有支部信息后，按照以上方法，再将该团总支信息导出后，发送给公司团委汇总。
第四篇：APP数据分析系统
中国领先的互联网营销分析服务提供商
APP数据分析系统
SiteAPPTM，是99click公司自主研发的移动终端APP用户行为分析系统。借助SiteAPPTM的强大功能，用户可以对安装了APP的用户，在APP中的浏览、点击、购买、订单等行为做全方位各角度的分析，随时掌握APP运行和使用问题，及时调整和优化，从而提升APP的用户体验和销售业绩。
1、安全：采用软件+硬件可选的加密识别方式，满足不同客户对唯一终端的识别需求，同
时避免应用商城对APP的审核障碍。
2、实时：系统综合信息分析数据每小时更新一次，确保用户得到最即时的信息。
3、全面：通过用户留存、注册/交易情况、内容浏览、点击、用户忠诚度、消费意愿、用户
使用习惯等各类数据统计，全面分析用户使用情况和体验。
4、稳定：监测服务器采用集群结构，多点布阵，实现海量数据处理；
T：010-62703392-281[1]商助科技（北京）有限公司 市场部
第五篇：系统数据备份方案
系统数据备份方案
采供血信息系统从开始正常运行，就将随着时间的推移，不断地积累数据。在采供血机构中一切基于业务流程的活动都以这些数据为基础。在系统运行中常常会不可避免地遇到一些问题，如人为误操作、硬件损毁、电脑病毒、断电或是天灾人祸等造成网络系统瘫痪、数据丢失，这会给采供血机构、献血者和用血者带来难以弥补的损失。避免这种损失的最佳途径就是为系统进行可靠的数据备份。备份方案
1.1 备份策略 建立一套完整的备份策略，是做好备份的先决条件。（1）备份周期:根据数据的重要程度和需要，可以选择每周、每日、每时进行备份;（2）备份介质:使用的存储介质如磁带、磁盘等进行备份;（3）备份方案:目前常用的方案有双机备份、磁带备份、异机备份等方案，备份方案的选择是备份策略中最关键的一步;（4）自动备份和手工备份:自动备份是指计算机按预先设定好的时间自动启动备份作业，手工备份是指程序员不定时的人工启动备份作业;（5）检查备份数据的完整性:数据库在使用过程中有时会由于某种原因而造成索引损坏或数据丢失。由于不能对实时库进行检查，所以在数据备份后通常要对备份数据库进行完整性检验。
1.2 常用备份方案
1.2.1 双机备份 双机备份分为双机冷备份和双机热备份两种。双机冷备份为一台主机实时工作，一台备用机等待备用。这种方案最大的问题是无法实现实时数据备份。对于采供血机构的工艺流程对于数据连续性要求很强，基本无法使用备用机工作。双机实时热备份为双机镜像和共享磁盘阵列两种方案。双机镜像方案是准备两台在软件和硬件配置都要完全一样的服务器，分为一主一备，并互为镜像。将主数据库服务器上的表、文件、数据库或全部内容通过专用连接通道镜像到备用服务器上。当主服务器发生故障时，由主服务器迅速装载事务处理日志到备份服务器。备份服务器将接管事务处理日志继续完成主服务器的操作。优点是简单、便宜;缺点是降低系统效率，对数据维护的能力与共享磁盘阵列方案相同，都无法防止逻辑上的错误，如人为误操作、病毒和数据错误等。共享磁盘阵列方案为两台主机共用一个磁盘阵列。优点是不降低系统性能，为目前较为流行的主流技术，但要求磁盘阵列具有较高的可靠性。
目前较为先进的备份方案为多主机集群方案，多台主机都在同时分别工作，当其中一台主机故障，其它主机可以接管故障机的任务。这种方案在“理论上”十分完美，可以避免冗余服务器的闲置浪费，但在系统方案设计中，仍要考虑一台主机故障后，全部任务交给备份机，备份机是否有能力承担全部任务，因而硬件冗余能力必须大于系统负载，故冗余硬件能力的闲置在理论上是不可避免的。双机备份方案主要有三种模式:Mutual backup（双机同时工作相互热备份）模式虽然可各自执行各自的作业，但在出现故障时，前端客户机的工作需重新开始;Hot standby（双主机固定热备份）与Muster-Slaver（双机主从热备份）的区别在于原MASTER主机修复后是否从SLAVE恢复到MAS-TER。由于目前所有的热备软件均不能解决数据库的故障，数据库的安全和可靠性仍需单独维护。另外，数据库的切换时间与数据库的数据量及进程的复杂性有关，所以应尽量减少数据的切换、数据库的回滚及系统重新启动等。
1.2.2 异地备份 选择1台与主服务器配置相近的备用服务器，建立1个与主服务器数据库同名的数据库。利用系统本身提供的异地传送工具，通过设置定时由计算机自动地把主服务器数据库中的数据传送到备份数据库上。如果主服务器系统出现故障时，启用该服务器通过网络做临时性单机运行。一旦主服务器系统瘫痪，只要重新在主服务器上安装操作系统或重装数据库，就可以利用异地传送工具把备用服务器上的数据传回至主服务器，确保数据安全恢复。这种方案近似于手工完成备份和恢复工作。优点是简单，可根据服务器的瘫痪情况控制数据的恢复程度。缺点是不能实时备份主服务器数据。
1.2.3 磁带备份 磁带备份就是将数据库中的数据备份到磁带上。磁带备份长期以来一直是首选的数据存储备份技术。磁带介质不仅能提供高容量、高可靠性、可管理性、容易携带和保存，并且价格便宜。常用的硬件设备包括磁带机和磁带库。磁带库是一种框式封闭机构，由数台磁带机、机械手、数十盘磁带构成。它能够提供基本自动备份和数据恢复功能，可以实现连续备份、自动搜索磁带。在备份软件方面，通常使用操作系统本身所提供的备份功能。缺点是磁带质量常常影响存储效果。我站数据备份方案
2.1 血站信息系统的特点（1）工艺流程性强。整个流程包括献血者档案管理、血液采集、检测、搬运、制备、包装、发出、报废、销毁、血费收取、血液返还等，环节众多，纷繁复杂，对于信息的一致性要求极高。（2）判定机制健全、严格。为保证提供血液安全、有效，保证献血者和用血者身体健康，信息判定机制对于各种情况的判断要非常细致，对信息的完整性要求很高。（3）业务信息时效性强。
2.2 数据备份方案 根据我站信息系统的特点，笔者采用了具有容错功能的服务器，选用双机热备、磁盘阵列技术的硬件设备配置方案为主，异机备份为辅的数据备份方案。
2.2.1 硬件环境 两台服务器采用IBM xSeries225，单PII-II2.8CPU，512M，本地硬盘36.4G，分别装有10/100M网卡。服务器通过光纤集线器与一个IBM磁盘阵列柜相连，以共享其36.4G的磁盘空间作为双机热备服务器组。一台联想T200服务器作为异机备份服务器。
2.2.2 软件环境 服务器上安装Windows2000企业版，O-RACLE805，VERITAS BackUP EXEC。2.2.3 备份 系统采用VERITAS BackUP EXEC软件，实现对Oracle数据库的在线备份。备份Oracle数据库之前，每个数据库的Oracle数据库日志模式设置为ARCHIVELOG模式，并且启动每个数据库的自动归档设置，以便Oracle代理 程序能在运行备份操作之前，将每个表空间置于备份模式。由于我站信息系统数据发生经常性的变化，该系统采用完全备份策略，每天备份整个联机数据库。系统每天定时将主备份服务器上的数据备份到异机备份服务器。
点击咨询 