第一篇：商业银行生产数据漂白设计与实现
摘 要：在非生产环境中使用生产数据,减少数据使用的限制,就必须保障数据中涉及客户和生产的敏感信息不外泄。这就需要对数据进行漂白，或称脱敏，即通过数据变换的方法去除敏感信息。银行业监管机构明确要求商业银行须规避信息风险，对客户资产安全以及敏感信息提供完善的保护。如何去除数据中的敏感信息，又不改变数据的完整性和一致性，是数据安全管理需要解决的问题。本文就数据漂白的范围、目标、方法以及流程的论述。
关键词：数据漂白 目标 流程
一、数据漂白背景
目前我行生产数据到测试数据没有经过脱敏、变形处理而直接加载到测试环境，这将存在泄漏客户信息的风险并严重违反监管机构的要求。根据银监会《银行业金融机构重要信息系统投产及变更管理办法》第二十二条规定“银行业金融机构应加强重要信息系统投产及变更过程中的数据管理与质量控制，测试环境中使用的敏感生产数据应进行脱敏、变形处理”，所以客户信息数据脱敏、变形工作迫在眉睫。
二、数据漂白范围
金融数据漂白解决方案是运用成熟脱密算法对客户敏感数据进行漂白处理，并使漂白后的数据仍保持数据的一致性、完整性。可漂白的数据内容有： & 名称类：如客户姓名、客户名等； & 证件类：如身份证号码等；
& 联系方式类：如联系电话号、手机号、地址等 & 密码类：如查询密码、取款密码、柜员密码 & 资金类：如存款金额、贷款金额等； & 时间日期类：如生日等；
并同时制定银行业非生产数据的管理规范和流程，制定管理岗位和职责，解决系统开发、测试时客户敏感信息外泄的问题。
三、数据漂白目标
数据漂白既要去除敏感信息，又要满足测试部门测试需求；数据漂白工作必须保持漂白后的数据一致性、完整性，避免数据关联。数据漂白就是通过数据变换的方法去除数据中的敏感信息，不同于数据加密，数据漂白可以是不可逆的过程。
四、数据漂白技术特点
& 适合多种不同的数据库系统，如db2、oracle、sybase等； & 性能可靠，漂白效率高，经过测试，同样数据量的数据（如核心系统100万条客户信息表），漂白效率比ibm optim数据漂白产品高（快0.85秒）。
& 数据源、目标库灵活配置，数据漂白过程监控，结果查询； & 灵活性、参数化、可配置性。数据漂白架构图
五、数据漂白方法
（一）置换类方法
针对某些集合数据，通过置换的方法对数据进行漂白。例如将生产环境的身份证号码建立一个集合，只是顺序发生变化，通过置换就可以将真实的身份证号码换成一个新的身份证号码。置换可以是直接置换，即把一个现有的地名，通过查表置换成新地名，也可以随机置换，即通过一个随机数查询集合中的地名，替换真实数据中的地名。这类方法也可以用新集合代替现有码表，以达到数据漂白的目的。
（二）生成类方法
对邮件地址、电话号码、姓名等内容的漂白，可以通过算法随机生成相应的字段值，以达到漂白的目的，如将姓名置换成cname001,cname002等，且漂白后的名字不重复。
（三）日期类方法
这类方法主要针对日期的变化，如果年龄发生了变化，很可能相应的日期也会随之变化，否则就会发生不合业务逻辑的数据。
（四）组合类方法
组合类方法可以生成通信地址，一个完整的地址包括省、市、区、街道、门牌等，可以采用组合类的方法生成不重复的地址。姓名的漂白主要看用户对姓名要求的高低，直接把姓名替换成一个字符串也是一种漂白，但是用户要求比较高，例如要求姓名不能有太多重复且高效率，可以将姓名分解成姓、中间字、第三字，也可以通过组合方法实现漂白。
六、数据漂白的流程
一般数据漂白流程跟etl一致，etl是数据抽取（extract）、清洗（cleaning）、转换（transform）、装载（load）的过程。为规避风险，在我行数据漂白过程由三个团队完成： 1． 通常由测试中心相关人员提交数据需求；
2． 数据抽取由存储管理团队从生产环境的带库恢复到磁盘上，同时就数据文件加载到数据库中；
3． 数据漂白团队根据测试中心要求进行数据漂白, 4． 待数据漂白完成后通知dba将数据库导出成数据文件并将数据文件加密后交接给测试中心相关人员；
5． 测试中心相关人员将得到的数据文件进行装载。这样，整个数据漂白过程结束。
第二篇：氯气的漂白性教学设计
“富集在海水中的元素——氯”的教学设计（第二课时）——化学学院2009级甘亮 2009210330
一、教材分析
本节内容安排在新课程标准人教版《化学1》第四章《非金属及其化合物》中的第二节，有其重要意义。
（一）、教材的地位和作用
本节内容是全章教材的重点之一，而本章也是《化学1》的重点内容。氯不仅是卤素中最有代表性的元素，而且也是最典型的非金属元素。对氯气的性质、用途、制法等进行比较全面、细致的学习和研究，不仅是下一节进一步学习、研究卤素性质相似性及其变化规律的需要，也是以后学习和研究同族元素性质变化规律的需要；氯气的化学性质也是第一章所学氧化还原反应知识的进一步应用和巩固；在教材中对氯气性质的认识，是以实验验证的方法完成的，这为培养学生的实验能力、观察能力及思维能力等提高提供了一个极好的机会。
（二）、教学内容
本课时包含了两个方面的内容：氯气与水的反应、氯气与碱的反应。在第一部分的教学中：利用实验学生自主探究氯气与水反应生成的产物，写出氯气与水反应的化学方程式，继而讲述次氯酸的性质。第二部分讲解氯气与碱的反应，从而导出工业漂白粉的制备方法，最后介绍氯气在化学工业中的应用。
（三）教学目标
1、知识与技能目标: 认识氯气能部分溶于水，掌握氯气跟水的反应，了解氯气可用来漂白杀菌，掌握次氯酸的化学性质；掌握氯气与碱的反应以及漂白粉的制法和漂白原理、使用方法，从中进一步认识氯气是一种活泼的非金属单质。
2、过程和方法目标: ①通过学生自己分析、制定研究方案、动手做实验、培养其表达、观察、分析能力。让学生掌握分析、制定实验方案、抽象概括的科学方法；②培养学生搜集处理信息、获取新知识的能力及交流与合作的能力。
3、情感、态度和价值观目标: ①通过实验，增强了同学们对身边的化学现象的好奇心和探究欲，培养学生学习化学的兴趣；②在对问题的解决中能培养学生事实求是，言必有据的的科学学习态度和自信、自立、自强的优良品质；能培养学生敏锐的观察能力。通过氯气在生产、生活中的应用体会化学与生活的联系。
（四）、教学重难点
1、教学重点：氯气与水反应、氯气与NaOH溶液反应；以及次氯酸的性质。
2、教学难点：氯气与水反应后产物的检验以及次氯酸的强氧化性。
二、学情分析
（一）、学生起点能力分析
学生通过第三章《金属及其化合物》这一章节及本章第一节——无机非金属材料硅的学习，已基本掌握了元素化合物学习的学习方法。学生可以运用原子结构的基本理论分析，知道氯原子最外层有7个电子，从而推测氯气是一种活泼的非金属元素，稳定价态为-1价，高一的学生也可以在老师的指导下，通过老师设计适当的情境和问题，就可以归纳出氯气的各种性质。而且，通过第二章氧化还原反应的学习，也为本节课内容的学习奠定了一定的基础。
（二）、学生认知方式分析
由于授课对象是高一学生，学生对于氯气及其化合物的了解并不多，尤其是次氯酸。而在氯水成分中，由于学生还没有学习弱电解质的电离，次氯酸根离子的存在学生难以理解；虽然氯元素与我们的生活息息相关，可是学生对其在我们生活及工业生产中的应用却关注不多，所以，教师可从生活中的问题着手，积极引导学生去思考，高一的学生在思维上很有活跃性，并有一定的广阔性和创造性，英雌，可以让学生主动的去探索和获取知识。同时，学生对于实验现象的观察和分析也具备一定的能力，因此，让学生主动参与实验探究也有利于学生学习的兴趣。
三、教学方式
1、教法指导: 采用以实验探究为主的教学方法进行开放式教学，在发现问题、提出假设、设计实验等过程中突出学生的主体参与和主动探索意识，激发学生学习激情，开拓学生思维，让学生在愉快的氛围中感知和探索新知，从而调动学生学习的主动性和积极性，培养学生集体主义情感。
2、学法指导: 体现“以学生的发展为本”的教学理念，让学生在原有知识的基础上发展新知识，不搞零起点上课，做到学生能自学的知识就创造条件让学生自己去学，采取合作探究式的学习方法。
四、教学过程设计 教师活动
学生活动
设计意图
【活动1】投影：武汉近期发生水污染，出现刺鼻异味，武汉市居民大量抢购自来水。播放一则视频，报道当时的新闻 【提问】：
从视频中，同学们知道自来水为什么会突然出现刺鼻异味呢？这股异味是从何而来呢？ 播放一张图片，图片为用污染的自来水做实验，将AgNO3溶液滴入到自来水中产生大量白色沉淀的实验。【提问】
师：从图片和新闻中我们知道，自来水中投入了大量的氯气，可是为什么自来水受到污染要投入如此多的氯气来进行消毒呢？同学们想不想知道其中的原因和奥妙呢？ 生：想
师：同学们都很有求知欲，那么今天就带着这个问题，老师和同学们来探讨氯气的漂白性
认真观看
学生回答问题：是因为投放了大量的氯气。观看图片，注意其中的白色沉淀。思考问题，并引起了探讨的兴趣
培养学生捕获信息能力、读图能力。从生活中息息相关的事件入手，激发学习兴趣，同时也暗示学生生活中处处有化学。并引发学生学习和应用化学知识来解决生活中的问题的兴趣。
【导入】：氯气的漂白性
【活动2】播放氯气和色素反应的对比实验 ［提问］
1、同学们看到了什么实验现象
2、对比这两个实验及其现象，说明了什么？
学生回答：干燥的蓝色布条褪色，说明干燥的氯气没有漂白性；湿润布条褪色，说明氯气在有水存在条件下有漂白性
学生回答：说明了氯气是和水反应生成了一种漂白性物质。
使学生学会观察实验现象，并通过现象学会分析其内在本质。
讲述氯气在水中的溶解性，以及氯水的形成和概念
看课本，熟记氯水的概念
为下面实验探讨氯气和水反应做铺垫
【活动3】将学生分成若干个小组，并提供实验药品和器材：新制氯水、稀盐酸、紫色石蕊试液、蓝色布条、AgNO3溶液+稀HNO3溶液、试管若干
动员同学以小组为单位进行试验探究氯气和水反应生成了什么物质。同时老师也在上面自己做实验。
五分钟后，请学生踊跃发言，分享小组的实验成果。
以小组为单位设计并进行实验，认真观察实验现象，并注意记录和分析实验现象 学生回答小组做的实验，包括实验现象，以及由此可以得出的结论。
通过学生自己分析、制定实验方案、动手做实验、培养其表达、观察、分析能力。同时培养学生的交流合作能力。
表扬同学们都积极思考，做实验也很认真，然后多媒体播放自己做的实验和现象 【实验1】观察氯水颜色，呈淡黄绿色
【实验2】向氯水中滴加紫色石蕊试液，溶液先变红后褪色 【实验3】滴入含有硝酸的AgNO3溶液，产生白色沉淀
【实验4】稀盐酸和氯水中放入蓝色布条，氯水中的褪色，稀盐酸中无明显现象
通过老师呈现的实验现象归纳结论 回答下列结论： 氯水中存在氯气分子
氯水中存在H+，有漂白性物质 有Cl-存在
氯水有漂白性而稀盐酸没有
过程教学比结果更重要，老师摆出实验，学生可根据实验现象由学生得出结论，培养学生透过现象看本质的科学眼光，同时增强了师生在课堂上的互动
归纳总结：氯气和水反应生成了盐酸和一种漂白性物质
指导学生依据实验得出的结论以及氧化还原反应的知识，写出氯气和水反应的化学方程式
在下面写氯气与水反应的方程式Cl2＋H2O＝HCl＋HClO； 并有一个学生在黑板上写
学生试着自主推导，有利于加强记忆和理解
讲述：氯气和水反应生成的这种漂白性物质是次氯酸（HClO）由H和O的化合价很容易推得Cl的化合价为+1价，具有强氧化性，因此，次氯酸能杀死水中的细菌，起到消毒的作用。次氯酸的强氧化性能把有色物质氧化成无色物质从而起到漂白的效果。问：氯气漂白，氯水漂白，归根结底是什么在起作用？
掌握次氯酸的强氧化性，明白其漂白性和消毒作用，从而明白导课中的问题 回答：次氯酸
化学知识回归来解决生活中的问题，引起学生学习化学的兴趣
【提问】既然次氯酸这么神通广大，既有漂白性又可以消毒，那同学们有没有见到过一瓶瓶的次氯酸试剂呢？
讲述：那同学们有没有想过，为什么没有次氯酸试剂呢？因为次氯酸极其不稳定，见光即分解：2HClO=2HCl+O2↑
问题1：久置氯水会变质吗？最终变成什么？ 问题2：新制氯水如何保存？
问题3：思考：液氯、新制氯水、久制氯水的区别？
回答：没有
掌握次氯酸的不稳定性，熟记化学方程式
学生讨论:久置氯水会变成盐酸，以及实验室保存氯水的方法——细口棕色试剂瓶，置于阴凉处保存。
液氯：液态的Cl2，纯净物；
新制氯水：混合物，能漂白；久制氯水：混合物，是稀盐酸
探讨次氯酸的不稳定性，学生交流表达，讲到氯水的保存也是化学知识在实验中的一个运用。
提问：氯水极其不稳定，漂白效果不理想，而且氯气在水中的溶解度也不大，我们怎样制取比较稳定高效的漂白剂？ 学生思考，预习课本，寻找解决问题的途径
设置悬念，过渡到氯气与碱的反应的学习
【实验】请同学们把NaOH溶液滴加到新制氯水中，观察有什么实验现象？
提问：我们已经氯气和水反应生成HCl和HClO，那么氯气和NaOH反应生成什么物质？请试着写出化学方程式？
发现氯水的淡黄绿色褪去 答：NaCl和NaClO Cl2+2NaOH=NaCl+NaClO＋H2O
由酸碱中和反应推导此反应，活跃学生的思维
讲解：氯气是一种非常活泼的非金属单质，能与强碱发生反应。根据氯气和NaOH的反应，请同学们写出写出Cl2与Ca(OH)2溶液的反应。
写出方程式： 2Cl2+2Ca(OH)2=CaCl2＋Ca(ClO)2＋2H2O
【课堂练习】
下列离子方程式正确的是（）
A.氯气与水反应：Cl2 ＋ H2O＝2H＋＋Cl－＋ ClO－
B.氯气与氢氧化钠溶液反应：Cl2 ＋ 2OH－＝ Cl－＋ ClO－＋H2O
C.浓盐酸与二氧化锰共热：MnO2 ＋ 4HCl ＝Mn2＋ +2Cl －＋Cl2↑＋ 2H2O
D.漂白粉溶液中通入少量的二氧化碳气体：
Ca2＋＋ 2ClO－＋ H2O＋ CO2＝CaCO3↓＋2HClO
运用已学离子方程式的有关内容，结合新知识，进行练习和判断。答案：B、D
巩固知识。
【归纳总结】氯气与碱反应生成两种盐，次氯酸盐中Cl为＋1价，有强氧化性，可以漂白，而它的稳定性比次氯酸强。工业上用向石灰乳中通入氯气来制备漂白粉，就是应用这一原理。漂白粉是CaCl2和Ca(ClO)2的混合物，起漂白作用的Ca(ClO)2是漂白粉的有效成分。
掌握漂白粉的制取原理，还有其组成及有效成分。
了解漂白粉和漂粉精既可用作漂白剂，也可用作游泳池及环境的消毒剂。学会归纳、总结
【讲解】同学们已经了解到漂白粉已经走进了我们的生活，那么作为活泼非金属氯，同学们还知道氯在生活中有哪些应用吗？
学生回答后，展示一些这些化工品的图片
通过预习：制取高纯硅、锗的重要中间物质；是有机化工中合成塑料、人造纤维、橡胶、农药、染料和药品的重要原料
与实际结合，体会化学知识在生活中的重要性，体会化学——让生活更美好的理念。
但是，氯气在悄悄走进和方便我们生活的同时，也在暗地里威胁着我们的生命，2004年天原化工厂因氯气泄露而引起大爆炸，造成9人死，多人伤，损失惨重。呈现一些爆炸现场的图片给学生。
同学们，如果我们当时在爆炸现场，你会怎样正确逃生呢？
观看图片，了解氯气的毒性对我们生活的威胁。
(1)用毛巾捂住口鼻，也可先将毛巾用肥皂水或稀的碱液浸泡；(2)往高处跑；(3)向上风口跑
创造情景，使学生对与化学有关的社会和生活问题做出合理的判断
【结尾】据一位职工回忆：天原化工总厂在发生爆炸事故以前，就已经出现过3次氯气泄漏，但作为中国西南最大的化工厂，却没有引起广泛重视，以致酿成大祸，造成15万人流离失所，这更应该值得我们深思。希望我们同学能够灵活运用所学知识，在生活中为自己所用，同时也好好保护我们美丽的家园。
反思，在生活中从自我做起
让学生学以致用，学会以所学知识来解决生活问题
布置作业
完成相关练习题，并进行复习
巩固所学知识
五、板书设计 氯气——第二课时
一、氯气和水反应
Cl2＋H2O＝HCl＋HClO；
二、次氯酸
1、化学式 HClO Cl +1价
2、强氧化性
——用于漂白和消毒
3、不稳定性
2HClO=2HCl+O2↑
4、氯水的变质和保存
三、氯气和碱的反应
1、氯气和NaOH溶液反应 Cl2+2NaOH=NaCl+NaClO＋H2O
2、氯气和Ca(OH)2反应
2Ca(OH)2＋2Cl2＝CaCl2＋Ca(ClO)2＋2H2O
3、漂白粉组成：CaCl2和Ca(ClO)2 漂粉精组成：主要为Ca(ClO)2
六、教学反思
本节课讲的是氯气第二课时中的氯气和水反应部分。
优点：课程设计有条理，有一定的创新性，具体体现在通过学生自主探究氯气和水反应生成的物质，符合新课程理念，对知识有适当的拓展和延伸。
由于是第一次进行高中课堂的模拟，在这次训练中，通过老师同学的指点，还有自己课后的反思，觉得这堂课还是存在很多缺点的，首先，从基本教学技能来说：教态不够优雅，在讲台上没有教师风范，讲课时声音不够洪亮、清晰，口语技能还有待提高。但是化学专业术语用词很准确。下面我讲以讲课过程顺序来分析自己这堂课存在的诸多不足：
导课：先自己以一段话叙述武汉近期的水污染，紧接着又来了一段视频，还有图片，导课时间过长，也有重复累赘之嫌。解决问题的办法，要么口述水污染事件，要么通过视频来传达，二者取其一。
在探讨“氯气和水反应生成什么物质时”，是直接由学生自主去探讨，但是氯气和水反应产物的确定是本节课的重点，也是本节课的难点，真正的高一学生要做实验区探究，是相当有难度的。所以，应该先由同学猜测生成了什么物质，再通过实验去验证猜想是否正确，这就增强了实验的指向性，减少了盲目性。同时，给同学们提供实验器材做实验之前，老师应点拨一下，比如“蓝色布条有什么作用”，“紫色石蕊遇酸变红”，“Ag+和Cl-结合产生不溶于稀硝酸的白色沉淀”等等，这样就在很大程度上降低了学生通过实验来确定产物的难度。Cl2和水的化学方程式是本节课的重点，可以叫学生在下面试着写，但是不应该请同学来黑板上写。另外，学生上来写完后，下去之后我竟忘了评价，对也没有说，不对也没有说，相当于提问没有介入评价。
在由氧化还原反应的只是推导氯气和水反应的化学方程式，犯了一个知识性错误，生成盐酸的同时有可能另一种物质是次氯酸，也有可能是亚氯酸、氯酸、高氯酸，而为什么是次氯酸并没有向学生阐述清楚。
既然讲到了氯水，应该在课堂上带领学生分析氯水的成分，把有哪些分子、离子跟学生讲清楚，以及氯水中的主要成分，这为后面氯水和碱反应方程式的书写做铺垫。而课堂上并没有讲到氯水的成分，我主要是考虑到新课内容不应该讲这么深，而且课堂上时间也不够。板书问题：板书不全面，只写了氯气和水反应的化学方程式。完整板书应为： 氯气——第二课时
一、氯气和水反应
Cl2＋H2O＝HCl＋HClO；
二、次氯酸
1、化学式 HClO Cl +1价
2、强氧化性
——用于漂白和消毒
3、不稳定性
2HClO=2HCl+O2↑
4、氯水的变质和保存
7、个人疑惑：
一、氯气和水反应实质上是个可逆反应，而课本里第一次接触到可逆反应是在S元素那一节，在这里有没有必要讲到可逆反应？
二、进行氯水成分的分析时。由于没有学到弱电解质的电离平衡，氯水成分中ClO-这种离子的存在要怎么跟学生讲解？
三、讲述新课时，我个人觉得氯水的成分探讨没有必要讲，因为新课不应该讲那么难，可以在以后的复习课或者讲习题时给学生讲，老师怎么认为？
第三篇：商业银行数据治理与应用 —以光大银行为例
【商业银行数据治理与应用 —以光大银行为例】
发布时间：1月13日 14:17
近来，国内外经济形势异常复杂，为促进银行业健康发展，有效防范风险，中国银监会积极推进国内银行逐步实施巴塞尔新资本协议(Basel II 和Basel
III)，并进一步提出了“CARPALS(腕骨)”监管原则，旨在推动国内各商业银行充分利用风险管理技术，提升风险管理内控水平，全面具备风险信息化管理能力，及时进行风险预警，调整经营策略，主动适应市场变化。
数据治理体系概述
具备高度信息化管理能力，是国内银行向“以客户为中心”转型的要求，是银行业务决策、客户营销、内控管理向精细化发展的要求，是发挥风险管理技术应用价值、共享全行风险管理经验、全面提升风险管理能力的要求。随着信息科技的日益发展，银行多年来为实现业务自动化处理建设了庞杂的IT应用系统，存储在这些应用系统中的海量数据为银行实现信息化管理提供了坚实的基础。比如非零售信贷风险中的违约率计算、财务分析等，零售信用风险中的催收打分卡、申请打分卡等，市场风险计量、操作风险事件识别等，高级风险技术中的经济资本计量、风险调整后资本收益率(RAROC)计算等相关指标考量，都需要银行对客户、客户集团、交易、合同、市场信息、产品、财务甚至IT系统操作信息等3～7年的数据积累以及整合与应用。如何为精细化管理提供高效、高质的数据支持，数据治理由此成为商业银行面临的重要课题。
商业银行数据治理的内容，主要包括建立数据治理机制、数据管理制度及流程，以及数据标准制定等。数据治理的最终目的是提升数据质量，通过有效的数据整合、数据应用与数据服务使企业真正具备业务信息化管理能力。其中数据应用与数据服务包括面向财务管理、风险管理、绩效考核、客户营销四个方面的支持。
构建全面的数据治理体系，需从组织架构、管理流程和操作规范、IT应用技术、绩效考核支持四个纬度，对企业数据模型、数据架构(包括数据仓库、数据应用)、数据管理(包括数据质量、数据标准、元数据管理、数据安全等)、数据生命周期等各方面进行全面的梳理、建设并且持续改进。可以简单概括为：明确数据治理主体、建立数据质量标准、加强数据生命周期的全过程管理。
银行数据治理实践探索
数据治理历程与规划
自2005年始，光大银行用六年完成了企业级基础数据平台(即数据仓库EDW)的建设，并整合了核心系统、对公信贷系统(CECM)、个贷系统、网银系统、国际结算系统等41个源业务系统数据，在有效整合全行数据的同时完成了银监会非现场稽核报表(1104)、人行大集中、信用卡BI、电子银行BI、信用风险集市、风险加权资产(RWA)、资产负债等19个数据集市和应用的建设。
伴随数据仓库和数据应用的建设，光大银行制定了数据标准的五年规划并展开实施，秉承定义、执行、监督检查三者并重的原则，先后完成了客户、产品、渠道、交易、关键统计指标、内部机构以及风险主题数据标准的定义。2009年基于客户数标准，推进全行对私统一客户管理系统(ECIF)的建设。2010年基于风险新资本协议相关数据标准推进了RWA数据集市建设。2011年完成了全行渠道类型数据标准在各交易系统中的落地改造。鉴于数据标准实施的难度，未来光大将持续落实数据标准实施规划，做好数据标准系统落地以及监督评价工作，并结合数据质量管理、数据应用与数据服务的要求准备下一个实施周期的规划。
数据治理组织与规范
为保障全行数据治理相关工作推进，光大银行从下到上由几个层面的组织构成：第一层面由数据使用相关各业务部门组成，它们负责本条线的数据标准制定和数据质量管理，例如风险管理部设立了数据管理岗，专门负责数据管理相关工作；第二层面是由计财部、科技部组成，它们是银行IT战略委员会下设数据标准小组的牵头管理部门，负责数据标准实施的管理和组织推动，以及数据质量的综合管理；第三层面是审计部，负责数据管理、数据应用、数据服务过程的审计、监督、评价；更高层面是董事会和行领导的关注，审计委员会和风险管理委员会的明确了相关职责。
随着数据仓库以及数据标准的实施，光大银行逐步制定了数据治理相关管理规范，最终落实在数据标准和数据质量的绩效考核指标上。只有合理制定数据治理相关考核指标并切实推进到业务基层，才有可能从数据产生开始实现对数据的真正治理。例如光大银行已经制定的风险数据补录质量考核指标、对公客户信息准确性考核指标等。
数据治理应用与管理
一般包括数据仓库、数据应用、数据服务、数据管理(包括企业元数据管理、数据标准、数据质量管理等)等技术平台的建设和应用。光大银行在建设数据治理相关应用过程中，充分结合数据标准的落地，使数据在整合、应用以及管理过程中实现统一标准管理(见图)。
数据治理助力风险管理
数据治理机制使风险管理有数据可依，也使高级风险技术发挥真正价值。首先，风险数据集市支持RWA的整合计算。风险数据集市是建立在数据仓库基础上面向全行风险管理主题的数据集合，是全行风险管理数据分析、业务决策的重要数据基础。同时，整合数据支持风险偏好评估管理。银行风险偏好计算评估是内部资本充足评估流程(ICAAP)的重要组成部分，风险管理通过风险限额、准入管理等方式对业务发展进行控制和调节，资本管理通过经济资本分配以及绩效考核等手段在各业务线、产品对资源进行最优配置。数据仓库以及风险数据集市为风险偏好计算评估提供了高效、准确、整合的信用风险、市场风险、操作风险以及计划财务的数据支持。
关于数据治理的思考
如何评估银行的数据治理能力，目前可以通过信息导向架构进行初步衡量。该架构包括数据文化、数据管理能力、数据应用建设能力三个方面，其中数据文化是衡量银行从组织层面是否具备信息化管理能力，也是数据治理体系实施是否成熟、是否成功的重要衡量标准。
培养业务管理信息化
银行高层管理人员应适应业务精细化管理的要求，培养依靠数据信息进行业务管理决策的意识和习惯；中层业务经理要养成用数据信息分析业务、分析客户，依靠数据信息进行业务创新思考的习惯，并具备基本数据分析的能力；基层业务人员要培养信息收集的习惯，应具备在日常业务操作中保证收集信息的数据质量和数据安全的意识；同时，人力资源和绩效考核部门需通过制定信息管理培训计划以及涉及信息管理绩效考核指标与相关奖励机制(如信息收集、数据质量提高等都需要通过绩效和奖励来激励一线员工执行)，帮助和促进信息化管理文化在银行各级机构层面的落实。
建立数据治理长效机制
管理层应对数据治理予以高度重视，在梳理并完善企业数据体系架构的基础上制订长效机制，确定适合银行文化、高效的数据治理管理组织架构。采用虚拟组织与实体部门相结合的管理模式，有利于数据治理过程中的横向协调和纵向有效落实；定期重检数据治理相关制度、流程、规范；规划与评价并重，合理规划是复杂的数据治理过程有序进行的必要保证，定期评价回顾规划落实，根据评价结果及时调整规划策略是数据治理真正发挥价值效能的必要手段。
坚持信息科技建设创新
将先进的科学技术快速应用于数据管理与数据服务中。例如，研究并建设集数据服务、数据管理、数据分析共享社区为一体的开放式数据服务平台，为实现全行业务信息化管理提供应用支持。
基于商业银行安全稳定运营、风险管理、业务及管理创新、合规的多重需要，数据治理已经成为国内银行的必修课，同时，“数据治理”之路也必将是一条长期艰苦的道路。由于历史原因，目前国内银行的数据治理多在技术层面，将分散在各个业务及管理环节的已有数据进行清洗、整合、应用，而对更深层次的数据治理，如建立数据模型、设计银行数据体系还少有涉足。只有当银行的数据体系能够明确解决需要什么数据、为什么需要、如何获取、怎么应用等一系列问题时，才能真正实现基于数据基础的经营决策分析和风险管控，这也是新资本协议对数据治理的内在要求。银监会出台的《中国银行业实施新监管标准的指导意见》，着重强调了数据基础和IT系统建设的重要性，今后几年，相信国内银行会不断总结多年数据整合、数据服务、数据管理的实施经验，探索建立数据治理机制的有效方式，为银行提升信息化管理能力夯实基础。（来源：银行家）
第四篇：【大数据时代中小商业银行的战略与路径】
【大数据时代中小商业银行的战略与路径】
已经来临的大数据时代，将深刻影响中小商业银行的未来发展，加之我国当前正在深化以市场化为导向的金融改革，在此背景下，中小商业银行将面临较大的生存压力。本文从大数据时代对中小商业银行的影响进行了分析，指明了中小商业银行应对大数据挑战的转型战略方向，并提出了以管理、产品、功能、渠道、服务等“五化”为具体路径的模式创新构想。
微软前总裁比尔·盖茨在20世纪90年代曾预言，传统的商业银行将是在21世纪灭绝的恐龙。也许盖茨的预言过于悲观。但在大数据时代以及互联网技术突飞猛进的当下，作为中小商业银行需要正视面临的挑战，运用大数据思维对传统银行进行改造，实现经营转型，这也是传统中小银行焕发生机、获得生存与发展的必由之路。
大数据时代挑战中小商业银行经营思维
大数据时代对中小商业银行的影响或中小商业银行面临的挑战主要表现在以下几个方面：
对传统中小商业银行发展战略的冲击。传统商业银行的发展战略是在预计未来经济环境、金融政策的前提下，依据现有银行规模、网点、人员、资本、客户等资源占有状况，以及客户需求、竞争对手状况来确定其战略目标及路径与方式的。而在大数据时代，决定一家银行成功的关键因素在于对数据的占有及其使用能力，而传统的人员、网点因素将逐渐淡化；未来银行客户资源的稳定及增长，将更多依赖于对不同类别客户需求数据的掌握并开发出便捷、安全、高值的产品，更多地依赖于对互联网特别是移动互联网、电子渠道的开发利用。这就要求中小商业银行在评判自身优势和竞争对手实力时要充分考虑大数据实力与IT能力；在确定战略目标时要兼顾财务承受能力来确定对大数据的投入，使战略规划与大数据支撑、业务引领相适应；在确定实施路径与方法时需要把数据收集与挖掘、产品创新、风险控制、电子渠道、互联网金融作为向客户提供服务、内部控制的主要方式与手段。
对传统银行经营范围的冲击。人类从古至今的商业活动大都是信息流、物流、资金流分离，随着信息化时代的升级，每一笔交易都将是信息流、物流、资金流的同时整合。在互联网时代，银行业与其他商业活动的界限将日渐模糊，银行业的经营范围正逐步扩大。当然不是说金融可以替代其他商业活动，而是说金融与其他商业活动将融为一体。这就意味着一方面IT让金融无所不在，金融业的版图日益扩大与延伸；另一方面，IT使金融不再是金融机构的特权。这不仅使金融机构之间的混业成为现实，而且使金融与其他非金融机构之间的混业成为趋势。大量非金融机构将结合自身的商业模式，从不同角度渗透进金融或准金融业务。眼下电子商务和互联网企业的跨界渗透金融行业只是这种演化的开端。也许有人认为这样的演化将使风险过大而难以驾驭，但随着大数据时代的到来，在“样本=总体”变成现实的情况下，人类对金融风险的识别、量化与控制将比以往任何时代更加精准，对风险的驾驭能力更加强大。当然，商业银行对风险的隔离以及监管的变革也势在必行。因此，可以预见未来的商业银行不仅经营现有的银行业务、非银行金融业务，而且经营与交易相关的信息与物流业务也会成为趋势。也就是说随着金融互联网化、互联网金融化时代的到来，金融将变得无所不能。
对传统银行业经营方式的冲击。进入大数据时代，互联网与银行业务深度融合，将彻底改变银行经营方式。在产品开发与营销方面，通过对大量交易、行为数据的收集和对数据的分析、挖掘，建立数据模型，可以展示出分层客户的金融需求，从而按照市场需求、客户需要开发产品、实施营销，真正做到以客户为中心设计开发产品，并做到精准营销，而不是以银行为中心来制造与推销产品；在风险管理方面，目前不少中小银行在风险评价中虽引入了数量分析，但由于历史数据积累较少，加之风险管理技术水平普遍不高，经验判断仍在风险管理和决策中发挥着主要作用。借助大数据对法人与个人客户进行多维度的评价，其风险模型将更加符合市场实际，对客户违约率(PD)、违约损失率（LGD）的取值将更准确，这将极大改善商业银行过去凭经验办业务的经营范式。尤其在微贷业务上，大数据可以极大改变信息不透明、不对称给银行带来的风险与不确定性，银行可以在准确计量风险溢价的基础上，构建快速授信审批流程，既满足微型企业的融资需求，又确保银行风险调整后的总体收益水平；在绩效管理上，可以通过大数据，借助通讯、移动终端、视频等技术对员工工作频率、方式、业绩、能力等做出准确评价，银行绩效考核的正向激励作用会更好地发挥作用。
对传统商业银行盈利模式的冲击。在宏观经济增速由高速向中速过渡、利率市场化改革进程明显加快的大背景下，商业银行净息差下降成为必然趋势，信贷成本继续下降的空间有限，收入成本比大幅压缩的空间也不大，银行业未来利润增速会放缓。在可预见的3～5年内，中小商业银行的经营压力将逐步增加。商业银行可以应大数据时代变迁，强化IT支撑，建设数据仓库并对数据进行分析、加工和挖掘，利用现代信息技术和电子渠道，为客户提供满意的线上服务，同时在线下提供咨询以及智能化工具难以替代的个性化服务。这样不仅可以改变过去因业务量增加和经营范围延伸而必须增加网点与人员，进而导致成本增加的经营模式，而且将改变过去一味依赖关系营销扩大客户群体的营销模式，为迅速扩大客户群提供了可能。此外，由于大数据时代将使银行业与非银行业的相互渗透变得更加可行和容易，这就为商业银行拓展电子商务、对接资本市场、加强财富管理等新兴业务领域提供了广阔的天地，这些新兴业务将可能取代传统存贷汇业务成为中小商业银行未来赢利的主要渠道。
大数据时代的中小商业银行转型战略
当前，大部份中小商业银行在经营规模、资金实力、技术水平、管理能力、人员素质等各方面与大型银行和全国性股份制银行相比都处于绝对的劣势，尤其是在金融国际化、市场化改革提速的形势下，传统银行的经营模式将难以为继。而随着大数据时代的到来，中小商业银行又面临新一重的危险，当然从另外一个角度来看，对有准备的银行来说，这种危险同时也是一种前所未有的机遇，如果抓住并及时融入这一深刻变革，实施经营战略的转型，不仅可以转危为安，而且有弯道超车，后来居上的可能；如若不然、其后果可想而知。
确立大数据战略。大数据时代，中小商业银行董事会要充分认识大数据对商业银行经营的重大影响，要树立大数据思维并对大数据源、大数据技术做出规划。经营管理层要制定分期实施计划，并将实施落实情况及时报告董事会。具体来讲，首先要制定尽可能详尽的数据需求规划，并及时完善与数据采集和存储相关的运行系统，充实自身数据库。其次要改变目前内部系统之间数据各自为政或分散化的状态，建立统一的数据管理平台或数据仓库。第三要增强数据分析能力，或借助专业咨询服务商、集成服务商和通信厂商的技术优势，采取合作或外包等方式，提升自身对数据的整合、分析、挖掘以及转化为商业运用的能力。
实施业务结构转型战略。在可预见的未来，金融管制将进一步放松，金融市场将更为开放和自由，利率市场化、金融脱媒等因素叠加，将导致金融领域的竞争全面加剧，中小商业银行依靠大企业、大客户、大项目来维持一定的增速将逐渐成为过去式。因此，中小商业银行将小微企业和个人客户作为转型的核心发力点，打造小微和零售业务核心竞争力，不仅可以降低对大企业、大客户、大项目的依赖，开辟金融蓝海，而且由于大数据时代风险管理技术的进步以及成本成几何级数的降低，使微贷业务、零售业务成为中小商业银行持续稳健发展的核心支撑变得更加现实。
加快新兴业务拓展战略。一直以来，中资商业银行以存贷利差作为盈利模式，以至于商业银行以追求规模作为最主要经营目标，因为规模越大自然盈利就越多。在利率市场化背景下，利率市场全面放开可能在不远的将来成为现实，利差收窄是必然趋势，中小商业银行如何长期保持一定的盈利能力？唯有加快盈利结构调整，逐步降低对利差收入的依赖，提高中间业务收入及其占比。为此，中小商业银行必须发展传统存贷汇业务以外的新兴业务，如投资银行、资金业务、国际业务、财富管理、代理业务等，这也将成为中小商业银行未来业务发展的必然趋势。
推进金融互联网化战略。大数据时代信息技术和金融产业将更加深入地融合在一起，金融电子化的深度和广度将不断强化。中小商业银行必须主动顺应这一趋势，主动贴近技术进步，拥抱互联网和移动互联网浪潮，加快推行金融互联化战略，除了继续深化自身运行和管理系统的电子化建设及传统业务的电子化受理以外，还必须紧跟互联网发展步伐，探索建立电子化金融商业模式，着力发展互联网金融、社区智能银行、移动终端、电子商务、直销银行等业务。这就要求中小商业银行必须从战略高度将金融互联网及电子渠道作为未来提供金融服务和打造核心竞争力的主渠道。
中小商业银行经营转型的路径选择
大数据时代，中小商业银行必须加强管理、产品、功能、渠道、服务等模式创新，具体就是要做到以下“五化”：
管理系统化。未来中小商业银行实施精细化管理，必须依托信息技术提升内部经营管理的效率，也就是说，要加快推进银行内部管理信息化系统建设，从客户需求分析、产品开发、市场营销、内部控制、业务流程、服务监控方面入手，建设包括客户关系管理、人力资源管理、绩效考核、业务流程处理、运营管理、风险管理、评级授信、办公自动化等系统，逐步实现银行整个经营管理的信息化、系统化和智能化，促进经营管理决策水平和日常运营管理效率的提升。
产品个性化。目前，大多数银行在产品设计与营销上，仍从自身角度出发，先根据自己对风险控制的内部要求，设计出统一的标准化产品，再向市场和客户进行推销，这种模式从根本上来说是建立在银行自身风控需求上的产品制造，并没有对客户需求进行面对面地充分了解，往往导致银行设计的产品与客户的需求严重脱节。在大数据时代，商业银行竞争的焦点是对客户的竞争，这种竞争不是传统的“关系”竞争，而是如何满足客户个性化需求的竞争。这就要求中小商业银行要将“以客户为中心”从口号变为行动，彻底摒弃以银行自身为出发点和中心的产品设计与营销模式，转变成先充分了解每一类客户甚至每一个客户（主要是集团客户、大客户）对金融产品和服务的差异化、特殊化需求，再设计出与其特殊需求相适应的人性化产品，并反馈和提供给客户。只有这样，才能增强客户对银行产品的粘性，提高客户对银行服务的依赖性，建立银企长期合作共赢的关系。
功能平台化。大数据时代，银行业与证券、保险（放心保）、期货、基金等相关金融业的融合将更加深入，甚至银行与其他非金融业的合作和渗透的深度也将无限扩大。因此，未来的商业银行功能将是一个综合化的大平台，不仅是传统银行充当的资金融通中介，还要为客户提供与非银行金融机构以及电商、商超、物业、商品交易等其他行业之间进行资金、信息、物流交换的平台，也就是既要销售金融产品，还要提供交易及物流通道。
渠道电子化。在大数据时代，客户对银行服务的需求将是无时无处、不分时间和地点的全天候、实时的业务需求，任何客户都可能在任何时间、任何地方以任何方式和渠道发起任何交易。商业银行的实体网点显然无法满足这一类快捷、便利的金融服务需求，只能通过基于通信网络技术的自助式服务才能满足这种需求，并增加客户的粘性。电子化自助式服务渠道具有延伸服务、叠加服务、降低成本和风险的优势，将取代或迫使遍布大街小巷的传统银行营业网点转型。银行间的竞争优势将不再取决于分支机构及网点等物理渠道的数量，甚至物理网点将成为个别银行的负担。中小商业银行应适时借助与信息技术的交互，快速延伸出电子化的虚拟“网点”和“柜台”，以金融互联网、社区智能银行、移动支付为载体，为客户提供全天候金融服务。
服务人性化。大数据时代的银行服务人性化表现在：一方面是以信息化为手段，为客户提供随时随地、以秒时计算的线上标准化服务；另一方面，通过面对面咨询，为客户量身设计个性化产品，并且为客户提供多渠道、跨行业的综合信息等线下服务。因此，商业银行在服务渠道、业务流程、品牌标识、价值追求、企业文化、行为礼仪、营销推动等方面需要体现服务的人性化。比如说，未来的客户经理不仅仅是推销员，负责向客户营销设计好的产品，而且还必须是产品经理，具有为客户设计、开发个性化产品的专业能力，使银行服务更加快捷、方便、友好。
返回目录
【大数据时代银行资产管理业务探索】
随着社交网络、移动互联网、云计算等相继进入人们的日常工作和生活中，全球数据信息量呈指数式爆炸增长。以数据、资金和平台为基础的互联网金融在2013年的飞跃式发展，更是充分证实了数据的价值，使得数据真正成为一种商业资本、一项重要的经济投入，并且可以创造新的经济效益。
通过大数据分析客户行为，有助于企业在创新经营模式时更加贴近、深刻理解客户需求并做出预判，从而改善经营水平、提升经营效率，这将是今后金融机构核心竞争力所在。对于以投研和销售为核心的商业银行资产管理业务，当面临来自互联网金融企业的挑战时，如何利用大数据思维、挖掘大数据技术带来的市场潜力是当前亟需关注、思考的问题。
“大数据”起源及其内涵
互联网与传统行业的碰撞产生了今天全民关注的“大数据”，而大数据概念真正盛行是因为奥巴马政府在2012年高调宣布了其“大数据研究和开发计划”。美国政府希望利用大数据解决一些政府部门面临的重要的问题，该计划由横跨6个政府部门的84个子课题组成。这标志着大数据真正开始进入主流经济。
虽然大数据的概念被广泛使用，但业界仍未形成统一的定义。隶属IBM公司的TDWI(The Data Warehousing Institute)在其研究报告中首次提出了大数据的3V特性，主要是指：一是容量大（Volume），二是数据来源的多样化（Variety），三是数据源速度（Velocity）。大数据的核心内涵包括：一是跨领域数据的交叉融合。相同领域数据量的增加是加法效应，不同领域数据的融合是乘法效应。例如，对于消费者行为的分析不仅分析对于某一产品的消费，结合其他产品消费分析得到的预测性效果会更好。二是数据的流动。数据必须流动，才可能产生价值。事实上，在十多年前建立企业级数据仓库开始，企业级数据仓库的目标就是让不同部门的数据流动起来；而如果各个部门数据割裂，数据价值便得不到发挥，对大数据的有效分析才是真正的挑战。
首先，要分析与某事物相关的所有数据，而不是分析少量的随机样本。利用所有数据的分析必然要求较高的处理信息的速度和更为先进的技术。大数据分析是基于可以获得全体数据，总体即为样本。过去由于信息处理技术的受限，数据分析的准确性依赖于样本抽样的随机性，但实现抽样的绝对随机非常困难，一旦抽样存在偏见，分析结果会相去甚远。而有些分析只有使用所有数据分析方可得到结果。例如，信用卡诈骗是通过观察异常情况来识别的，只有分析所有数据才能做到，这种情况异常值才是最有用的信息，是一个大数据问题；再如，从事跨境汇款业务的公司也开始得到了大数据分析技术的支持，因为交易是即时的，所以数据分析也应该是即时的。
其次，大数据时代的数据分析允许我们接受数据的混杂性，而不再过多关注其分析数据的精确性。只有接受数据的混杂性，才可以利用95%的非结构化数据。数据的混杂性，一是指数据量之大，可能会包容了错误的数据，造成分析结果的不准确；二是格式不一致。“小数据”分析最基本的要求是在分析之前进行数据清洗达到格式一致的要求。因而大数据分析也是精确性与数据量的权衡。计算人员发现，大数据的简单算法要比小数据的复杂算法更为有效。但是对于数据混杂性的处理，要求新型数据库的诞生来弥补传统数据库设计要求数据严格一致性的缺陷。此外，因为大数据储存在不同的电脑和硬盘中，同步更新记录不甚现实，所以对于精确性要求不高的领域，允许适当错误的大数据分析不妨是一种选择。
最后，建立在相关关系分析法基础上的预测是大数据的核心。在小数据时代，分析员需要收集和选择关联物，并且在某些假设基础之上进行数据相关性的分析。而在大数据时代，较高的计算能力和互联网平台不需要人工选择关联物或建立假设基础。大数据的相关关系分析法更准确、更快且不易受偏见的影响。例如，德勤公司为中英人寿保险（放心保）公司设计建立的个人风险预测模型，就利用了大数据分析技术。德勤把信用报告和顾客市场分析数据作为部分申请人的血液尿液分析的关联物，分析找出易患高血压、糖尿病和抑郁症的人；其中用来分析的数据包括好几百种生活方式的数据，比如个人爱好、常浏览的网站等。
大数据在金融领域的应用
银行作为金融中介的本质是解决了资金融通过程的信息不对称问题，而大数据、互联网对于金融的贡献也在于解决信息不对称和降低交易成本，也因此对传统金融机构的功能形成挑战。大数据集合海量非结构化数据，通过实时分析客户交易和消费信息进而掌握客户的消费偏好，可以准确预测客户行为，在营销和风控方面做到有的放矢。以下主要以案例形式介绍大数据在投资决策、信用评分、金融服务平台三个金融领域的应用，以及国内银行业的战略举措。
投资决策——利用微博信息预判市场走势
微博信息一般是以文本、图片、音频和视频形式存在的外部数据，具有典型的大数据特征。近年来，微博数据量迅猛增加，微博在国内出现之后，其信息扩散速度之快使其迅速成为信息交流的重要方式。
事实上，华尔街的金融分析师们已经开始使用微博信息进行大数据分析挖掘，不断找出互联网中金融微博的“数据财富”，如金融微博股民的情感信息，并进一步利用广大股民在互联网上的信息预判市场走势，取得了很大收益。这些外部的互联网数据有：一是金融机构可以根据微博中民众的情绪抛售股票；二是对冲基金根据购物网站的评论分析企业产品的销售状况；三是银行根据收集、挖掘求职网站上的岗位数量，推断就业率；四是投资机构搜集并经过文本挖掘，分析上市企业声明，从中寻找破产企业的蛛丝马迹。通过这些大数据挖掘手段，金融机构把这些大数据成功地转化成“财富”。
IBM估计，这些微博“大数据”的价值主要是时间性。快速掌握互联网信息对金融机构来说至关重要。目前，华尔街有一半金融机构已经使用了这种技术。虽然新的大数据技术应用与研究在金融领域还处于初级探索阶段，但未来的金融大数据将会包括金融数据提供方、金融数据监管者等因素，并最终成为金融业重要的基础设施之一。
信用评估应用—ZestFinance的探索
ZestFinance从本质上来看是一家数学企业，它精通于数据计算、分析和逻辑。其创始人之一梅里尔曾是谷歌前CIO，在麾下65人团队中，大部分是数据科学家。他们开发了数十个基于学习机器的分析模型，对每位贷款申请人拥有的上万条原始信息数据进行分析，并得出超过几千个可对其行为做出预测的指标，而这一过程在5秒钟内就能全部完成。与传统信用评分模型使用的10～15条数据相比，该公司能够更精准地评估借款人的信用风险。
ZestFinance目前是为次级贷款者提供担保服务的第三方机构，其退出直接借贷业务是为了避免和新的合伙人竞争。ZestFinance创始人由于在信用评分和数据挖掘方面的丰富经验和最近得到的投资资金，ZestFinance在利用和继续研发大数据技术解决信用担保问题上具有巨大的优势。但同时也面临着监管风险，如危机后监管部门对次级贷款的严格监管以及利用大数据进行信用评估触及了消费者保护法的红线等。可以预见，将机器算法与人工预测相结合的信用评分法会进一步应用到金融领域其他相关业务的信用风险评估中。
基于大数据的金融服务平台——以Bankrate（银率网）为例
1976年成立的“Bank Rate Monitor”原是一家金融出版公司，1996年开始在线运行。如今Bankrate是一家全球领先的个人金融产品信息服务公司，凭借其资深的金融编辑、优秀的分析师团队，Bankrate对全美、加拿大及中国境内约5600多家金融机构的金融产品进行实时跟踪调研，通过其网站“Bankrate”在线向消费者提供及时、客观、全面的金融产品查询及190多种个人理财计算器，金融产品数据高达32.6万多款，内容涉及房贷及各类个人贷款、银行卡、理财产品、储蓄与国债、黄金、基金、保险、外汇等多个专栏。除了提供实时更新的金融产品数据信息，Bankrate还通过原创的个人理财故事帮助消费者增强理财观念，把握投资方向。Bankrate这种将原创的个人金融资讯、金融产品查询及个人理财计算器集合于同一平台服务的形式，不仅时刻影响消费者理财决策的每个环节，赢得广大消费者的信赖，同时也为金融机构搭建了直接有效的精准营销平台，使得金融机构能够在潜在用户群中有效推广自身的产品与服务，并降低营销成本。
Bankrate的成功，一是依托了专业化的金融研究团队和独特的网络平台；二是依托平台细分客户和推送信息的精准营销模式，获得了各金融机构和监管部门的认可，也成为了消费者信赖的金融产品超市和金融产品数据的信息源。
目前国内金融平台模式主要是两类，一类是只提供搜索和销售的金融产品销售平台，另一类是以阿里金融为代表的互联网企业，依托购物网集投融资、消费、支付系统为一体的互联网金融平台。该类平台服务人员多数是互联网行业出身，多数产品只停留在客户体验方面；相比金融机构建立的互联网金融平台，其后台风控和投研能力有所不足。随着客户群体更加专业化的需求以及利率市场化的深入推进，以银行为主导的电商平台或是信用卡服务平台将逐渐凸显其投研和风控优势。
大数据时代国内银行业举措
大数据时代，信息价值体现方式及获取方式都发生了根本变化，过去以提供信用服务为主的银行业正在面临信息脱媒的挑战，也不再是经济关系的信息中心。银行必须提高对于非结构化数据收集、存储、分析和运用的能力和效率，方可适应瞬息万变的金融市场。面对外部的冲击和挑战，目前国内同业积极发挥自身优势，逐步开始实施适应各行优势业务的互联网金融与大数据金融战略举措，并取得了初步的成效。
随着大数据在金融领域的广泛应用和发展，未来银行业有可能发展成为智能型银行。例如，在光大银行的未来规划中将提供具有身份识别功能的定制化信息推送、视频客服和自动发卡服务。而信息化银行作为工商银行的重要战略方向，打造大而全的电商平台成为目前重要的举措之一。工商银行的电商平台将具有融资、消费信贷等功能，并将充分发挥其拥有大量资质较高的大企业和强大信息系统的优势，成为集供应链金融与互联网金融于一体的电商平台。
目前商业银行信息库中主要的数据为结构化数据，非结构化数据通过Hadoop系统应用到信息发布层，而非结构化数据的应用与整合尚处于规划阶段。Hadoop是Apache软件基金会开发的开放源代码并运行运算编程工具和分布式文件系统，能够以可靠、高效、可扩展和高容错的方式对大量数据进行分部处理的软件框架。它可以维护多个工作数据的副本，确保能够对失败的节点重新分部并处理。
由于大数据挖掘在银行业尚处于起步阶段，技术也并不成熟，因此商业银行对于大数据的应用普遍采用外购系统。就工商银行而言，其信息化银行的建设将着力于加快建立集团信息库，同时将社交媒体信息等行内外各类非结构化数据入库，并在非结构数据挖掘平台实现对客户行为、信息等数据的分析，届时非结构化数据有望应用到全行的营销、客户管理和风控系统之中。
大数据时代的资产管理业务
尽管大数据的应用在技术方面仍存在许多挑战，例如如何探索大数据复杂性和不确定性特征描述方法及大数据的系统建模、如何对数据进行“二次挖掘”等，应用也尚处于摸索阶段。但我们仍可借鉴大数据思维方式和新的数据挖掘技术提高商业银行资产管理业务的产品开发、销售和管理能力。
充分利用集团信息库进行资产管理业务信息挖掘
商业银行信息化平台的最终目标是要建成非结构化信息的统一检索、集中共享与综合应用的平台，面向全行提供信息检索和挖掘服务，并与数据仓库中结构化信息相互配合、互为补充，形成面向客户和应用的信息资源整合。因此，资产管理业务应充分利用集团信息库进行信息挖掘。
首先，信息化平台打通了银行内部已有的各个数据仓库，实现了原有的结构化数据的流动，进而资产管理业务可将原有结构化数据仓库及其他部门的研究成果应用到投资管理实践中；其次，在实现了非结构化数据集中共享之后，可将与资产管理业务相关的各类外部数据，如客户外部信息、微博信息、销售信息、价格信息等整合到信息平台，利用Hadoop模块对于各类非结构数据进行“数据清洗”和“打标签”，为资产管理业务的客户营销、投资管理、风险管理等提供有效支持。
创建多元化理财产品销售渠道和营销模式
精准营销是大数据时代的主要特点之一，对于资产管理业务而言，真正达到精准营销需要利用大数据技术打通内外部数据，分析客户需求和客户流失的原因，有的放矢地进行销售和市场预测，并及时调整产品及销售战略。营销的过程始终不会离开“人”的因素，包括营销的受众、推动和评估，而互联网营销很好将其结合并凸显了移动化、智能化、感知化和精准化等特点。
因此，大数据背景下资产管理业务发展应多元化理财产品销售模式：一是拓宽渠道，包括利用电商直销平台、微信银行、微信推送信息、第三方销售平台等方式扩大投资群体，同时加入客户评价和推荐功能。二是针对机构投资主体或是大客户，建立客户信息库，及时跟踪大客户和机构客户在投资和消费方面的偏好变化，同时培养资产管理部门自己的销售队伍。通过针对性的产品设计和营销、实时地推送和推荐，减少客户流失和增加潜在客户。三是做好市场预测。利用大数据进行预测是大数据挖掘的核心，营销部门应利用信息平台优势、结合同业市场产品动向，及时向后台反馈销售变化预警信息，辅助中后台实现迅速有效的流动性管理和风险管理。
探索基于大数据挖掘的量化投资策略
资产管理业务涉及的投资市场和领域广泛，涵盖了国内外市场可以投资的所有金融产品，因此投资策略中对套期保值和风险管理的要求也日渐增加，量化投资策略的作用也逐渐受到关注。商业银行可以探索将微博的作用加入到量化投资决策中，同时利用非结构化信息平台开发新型的简单易行的投资策略模型。
一般来说，数据库形式的金融数据挖掘分为两类，一是银行历史数据挖掘，另一类是证券数据挖掘。资产管理业务的数据挖掘既涉及对融资人的信用评估，又包括证券市场的数据挖掘。以股票投资为例，基于大数据挖掘的量化投资方法主要有两类应用，一类是上述案例中利用网络信息预测金融市场价格，印第安纳大学的著名学者约翰·博伦和毛慧娜的实证研究表明，分析师将Twitter中的情感表现加入神经网络模型进行分析预测，发现预测准确率上升了18.3%，绝对平均误差下降了6.5%。二是基于粗糙集（Rough set）的股票价格预测方法。该理论的核心思想是在稳定分类能力不变的情况下，通过约简得到分类规则或问题的决策分类，从不完整、不充分的信息中挖掘数据中隐含的有价值的规律。此外，债券投资也可以对全体债券样本进行神经网络分析进而得到债券评级，为投资决策服务。
开发基于大数据挖掘的信用风险评分法
传统的信用风险评分法是利用历史违约样本通过本地化的数据挖掘，结合定性分析得到信用评分的代表性指标的过程。而宏观经济不确定性、客户需求的多元化正在考验着商业银行及资产管理业务的风险管理能力，并对传统信用评分法的准确性提出了更高的要求。在资产管理业务中，占有多数份额的项目融资非标资产需要资产管理人员对融资人进行信用评价。由于资产管理业务是完全不同于商业银行信贷业务的契约模式，除了可以参照银行信贷审批系统和信贷标准之外，项目审批人应该建立一套有别于传统信用评分模式、适合资产管理业务特征的项目融资信用评价体系。因此，借鉴Zestfinance评分模式，基于银行信息平台对融资人进行信用风险评估的大数据挖掘方法，如神经网络信用评分法与支持向量机（SVM）信用评分法，可能将成为未来金融领域信用评分的新趋势。其中，支持向量机的信用评分在解决小样本、非线性及高维模式识别中具有一定优势。目前，结合支持向量机和模糊系统的机器学习方法正在成为继神经网络研究之后新的研究热点，并逐渐应用在系统识别、生物信息和行为科学以及金融等领域。Zestfinance便是将机器学习法首先开发应用于贷款违约主体信用评分体系中的金融机构。
利用数据挖掘进行流动性管理
随着利率市场化的深入，资产管理业务将面临愈加严峻的流动性风险，也要求更高的流动性风险管理技术。区别于传统银行业的流动性风险管理技术，资产管理业务流动性管理要求更加准确的市场预测，包括对政策风险、客户偏好、销售业绩和同业竞争等信息的全面把握和分析预测，同时及时调整投融资策略。大数据挖掘采用非结构化数据的分析技术，符合了资产管理业务流动性管理的多样需求。因此，在资产管理业务中，流动性管理可以说是大数据理念最为简单易行的实践。阿里金融使用大数据分析进行流动性管理的实践为业内提供很好的借鉴，理财业务也应充分利用现有的资源和平台，发挥数据优势，开发建立在全行信息平台基础上的流动性管理系统，提高监测和预警准确性，进一步提升流动性管理水平。
随着信息化银行的推进和大数据技术的蓬勃发展，资产管理业务的发展既有机遇也面临着一定挑战。正如工商银行资产业务总监陈晓燕所强调：“资产管理业务没有创新，便无法生存。”在大数据时代，资产管理业务的创新应是全面的创新，包括产品创新、销售管理创新、投融资方式创新、金融数据挖掘方法的创新以及后台理财业务流动性风险管理、投融资信用风险管理等涵盖资产管理业务前中后台各个方面的创新。这与其说是信息技术带来的革命，不如说是一次理念和思维的转变。
第五篇：数据集市论文：基于数据集市的电信经营分析系统设计与实现
数据集市论文：基于数据集市的电信经营分析系统设计与实现
【中文摘要】近十几年来,随着Internet和电子信息技术的迅速发展,电子商务系统、电子政务系统、ERP、MIS等如雨后春笋一般迅速的在各行各业成长起来,很多公司积累的数据越来越庞大。合理的管理这些数据,并能够有效的利用这些复杂而无章的数据,从中发觉有价值的信息成为现今的研究热点。信息化的普及使电信企业得到迅速地发展,越来越多的电信业务、维护、管理数据被保存了下来,然而电信行业的数据管理也面临着与其他行业相同的困境,数据丰富而可用的知识贫乏。在这种背景下,数据仓库技术和经营分析系统技术应运而生了。目前电信企业所使用的基于数据仓库的经营分析系统在一定程度上缓解了这种困境,为电信运营商提供了数据管理和信息展示的功能。由于经营分析系统是建立在省级电信企业的数据仓库基础上的,所以仅对省级电信运营商提供了经营分析和决策支持功能,另外目前多数经营分析系统的数据分析基本依靠OLAP提供的功能,分析能力有限。针对这种情况,本文根据数据集市和数据仓库的关系以及数据集市的灵活性,使用了日渐成熟的数据挖掘技术,提出了基于数据集市和数据挖掘的经营分析系统。系统仍对省级电信运营商建立数据仓库,对各地市运营商和需要数据分析的业务部门建立当前部门的数据集市,为之提供OLAP和数据挖掘功能。另外本文还提出了一个完整的数据挖掘模型的设计,丰富了经营分析系统的功能。本文阐述了
数据集市的设计、数据管理的实现,数据挖掘的功能、设计和实现,提供了一个为电信运营商分析数据、提供信息和知识、辅助经营决策的平台。
【英文摘要】In the past decade, Electronic Commerce System, E-government Affairs System, Enterprise Resource Planning, Management Information System appears rapidly with the development of Internet and electronic information technology, and the amount of many companies` data becomes large.It is really a hotspot nowadays to manage the data probably and discover the valuable information from it.The popularization of informatization benefits the telecommunication enterprise.Larger and larger amount of data of business, operation and support, management has been stored, however the knowledge and information cannot be find easily although the amount of data is large.It is the problem that the telecommunication operating agencies confront as same as which other companies do.Now the Data Warehouse and Business Analysis Technology help the telecommunication operators, and Business Analysis System Based on Data Warehouse established, offered the operators data management, data analysis and information illustration.However it could only respond the request from the province levels` and the system only offers the users
limited options on data analysis, such as OLAP.After the analysis on the telecommunication business and Data Mart, it is believed that a new Business Analysis and Data Mining System which is based on the Data Mart is needed, the new system not only offers its` users, except the OLAP, many advanced data mining tools which supplied by the advanced data mining system based on the data mart, but also has ability to respond the city-level and sub level request, and it could also offer data analysis options to the telecommunication company departments.In the following articles, it describes the details on the design of the data mart, the implement of the data management, the functions, design and the implement of the data mining and knowledge discovery.The new system which is introduced here in this essay offers the telecommunication operating agency a smart platform on data management and decision support.【关键词】数据集市 经营分析 数据挖掘
【英文关键词】Data MartBusiness AnalysisData Mining
【目录】基于数据集市的电信经营分析系统设计与实现4-5
ABSTRACT5
第一章 引言9-13
摘要
1.1 系统的1.3 系统开
1.5 本
开发背景9-10发设计思想10-11
1.2 开发的目的和意义10
1.4 本文研究的主要内容11
文的内容安排11-1313-26
第二章 系统理论基础及相关技术
2.1.1 数据挖掘的一
2.2
2.1 数据挖掘技术13-15
般步骤13-142.1.2 数据挖掘技术的分类14-15
2.2.1 数据仓库的特性
数据仓库技术15-2015-16
2.2.2 数据仓库的组成16-192.2.3 数据仓库
2.3.1 数的实现方式19-20据集市的特点2121-2222-23
2.3 数据集市技术20-232.3.2 数据集市中数据的结构
2.3.3 数据集市与数据仓库的区别与联系2.4 联机分析处理技术
23-26
2.4.1 联机分析
2.4.3 OLAP
处理的特点23-242.4.2 OLAP 存储方式24
分析与数据仓库的关系24-26标26-36
第三章 系统需求分析及设计目
3.1.1 电信业
3.2 电3.3.1
3.1 电信业务系统介绍26-28
务系统概述26-28信经营分析系统28-29功能需求29-33计目标34-36构设计36-37功能37-383839-4140-41计42-50
3.1.2 电信业务数据特点28
3.3 系统需求分析29-34
33-34
3.3.2 非功能需求3.4 系统设4.1 系统架4.2.1 支撑类
第四章 系统概要设计36-424.2 系统功能设计37-384.2.2 分析类功能38
4.2.3 系统管理4.4 数据存储设计
4.4.2 数据粒度第五章 系统详细设
5.1.1 账
4.3 数据获取设计38-39
4.4.1 数据主题划分39-404.5 数据访问和接口41-42
5.1 数据集市模型详细设计42-45
务类设计43-44争类设计45计45
5.1.2 业务量类设计44-455.1.4 用户类设计
5.1.3 竞
5.1.5 大客户类设5.3 前台展现详细5.3.2 功能设计
5.2 数据挖掘详细设计45-46
5.3.1 界面设计46-48
设计46-5048-5050-685154-6060-6268-76
第六章 基于数据集市的经营分析系统实现6.1 系统体系架构50-546.1.2 软硬件及网络配置51-546.3 系统后台实现60-686.3.2 数据处理层62-687.1 系统界面68-70
6.1.1 逻辑分层6.2 系统前台实现6.3.1 数据获取层第七章 系统测试7.2 经营分析系统中的客
7.2.2 7.3
户流失分析70-73用户欠费分析72功能测试73-75出73-747576-7878-79
7.2.1 用户行为分析71-727.2.3 用户流失预警查询72-737.3.1 模型输入参数73
7.3.2 模型输7.4 性能测试
7.3.3 模型准确性验证74-75
7.5 总体测试结论75-768.1 总结76-77参考文献79-82
第八章 总结与展望
致谢
8.2 展望77-78
点击咨询 