第一篇:中国铁路大数据:可绕地球三圈
中国铁路大数据:可绕地球三圈
——中国铁路可绕地球三圈,国务院发话:还不够
每年一到节假日,尤其是春节期间,火车站拥挤的场景,过道站满旅客的车厢,都让人不禁发问,中国的铁路交通何时才能满足人口的需求,满足不辗转换乘直达家门口的真正便利?铁路建设确有不足,但逐年建起的高速铁路,新增开通的新路线都显现着我国铁路交通的不断进步,即便还未十分发达,但未来一定还会有更多突破。
6月29日,国务院常务会议通过了《中长期铁路网规划》,根据这一规划,未来中国的铁路网将更加密集和便捷,至此我国全面开启了铁路经济时代。具体规划如何,大数据为您详细解读。
截至2015年底,中国全国铁路营业里程达到12.1万公里(赤道周长约4万公里,中国铁路可绕地球三圈),居世界第二位,其中高铁超过1.9万公里,占世界高铁运营里程的60%以上,是世界上高速铁路发展最快、规模最大的国家。虽然看似已经十分发达,但相对于中国庞大的人口数量,还有很大的发展潜力。
八横八纵、县级覆盖、零距离换乘
《规划》对铁路建设本身提出了三点规划要求:一是要打造以沿海、京沪等“八纵”通道和陆桥、沿江等“八横”通道为主干,城际铁路为补充的高速铁路网,实现相邻大中城市间1~4小时交通圈、城市群内0.5~2小时交通圈。二是要完善普速铁路网,扩大中西部路网覆盖,优化东部网络布局,形成区际快捷大能力通道。打通普速干线通道瓶颈、卡脖子路段,实现铁路交通基本覆盖县级以上行政区。三是按照“零距离”换乘要求,同站规划建设以铁路客站为中心、衔接其他交通方式的综合交通体,扩大集装箱中心站、末端配送等货物集散服务网络,形成配套便捷、站城融合的现代化交通枢纽。
3万公里高速铁路,覆盖大城市80% 贯穿哈尔滨至北京至香港(澳门)、连云港至乌鲁木齐、上海至昆明、广州至昆明高速铁路通道,建设北京至香港(台北)、呼和浩特至南宁、北京至昆明、包头银川至海口、青岛至银川、兰州(西宁)至广州、北京至兰州、重庆至厦门等高速铁路通道。高速铁路营业里程达到3万公里,覆盖80%以上的大城市。
市场化多渠道融资,超8000亿建铁路
中国投资协会副会长刘慧勇认为,高铁建设主要通过发债券的方式,另有一部分是用银行贷款,资本金不到20%,资本金是少数,大部分还是要靠融资。规划指出,要深化投融资、价格等改革,提高中央资金对中西部铁路建设投入比重,培育多元投资主体,放宽市场准入,鼓励支持地方政府和广泛吸引包括民间投资、外资等在内的社会资本参与铁路投资建设。铁路总公司要推进自身改革,加快建立现代企业制度,盘活现有资产,用市场化方式多渠道融资,在铁路建设发展中发挥出关键作用。
数据显示,近年来中国铁路投资规模一直处于高位。2014年铁路建设完成投资8088亿元,创2010年后新高;2015年全国铁路完成固定资产投资更是达到8238亿元。根据《2016年政府工作报告》要求,今年中国也要完成铁路投资8000亿元以上。在一些业内专家看来,今年与前两年一样超目标完成投资的可能性较大,而且未来五年我国城市轨道交通预计增加投资可能达到1.84万亿元。
多省已出台具体计划
目前,四川、福建等多省已经陆续出台了未来五年的铁路发展规划。“十三五”期间,四川铁路建设计划投资2000亿元以上,到2020年,全省铁路运营里程将达6000公里以上,高速铁路达2100公里以上。福建省将投入7500亿元打造现代交通运输体系的升级版,其中,2020年底前,福建省将有7条铁路建成通车,新增通车里程超过1200公里。
铁路作为公共基础设施的特殊性,其投资成本比较高,而短期盈利又较为困难,对于这一难题,规划提出了要培育壮大高铁经济新业态,促进沿线区域交流合作和资源优化配置,加速产业梯度转移,带动制造业和整个经济转型升级。由此一系列规划举措看来,我国未来的铁路发展十分值得期待,或将交出令人瞩目的成绩。
第二篇:中国大数据行业调查报告
中国大数据行业调查报告
公司使用大数据的基本情况
无论你是来自互联网行业、通信行业,还是金融行业、服务业或是零售业,相信都不会对大数据感到陌生。据调查报告显示,32.5%的公司正在搭建大数据平台,处于测试阶段;29.5%的公司已经在生产环境实践大数据,并有成功的用例/产品;24.5%的公司已经做了足够的了解,开发准备就绪;基本不了解的只占3000+用户的13.5%。
现有公司大数据的使用情况
其中,大家对大数据平台提出的的主要需求有:36.5%是进行海量数据的离线处理,比如大数据BI;23.2%是为了大量数据的实时处理,比如在线交互式分析;40.3%的公司的大数据平台则同时负责这两种业务。
大数据平台主要负责的业务
传统观念下,大数据往往是大型互联网公司的玩物。然而,通过本次调查,我们却发现在那些对大数据平台有需求的公司中,研发团队规模远没有我们想象的大,29.11%的研发团队仅有1-10人,次居第二的10-50人的规模占到了25.77%,两种规模的研发团队就超过了一半。可见,当下大数据的需求已不止步于大型公司。
研发团队规模 从传统架构到大数据时代应用程序架构的转变往往都会遇到一些问题和挑战。在对计算框架门槛调查中,非专业人士难于入手这一难题的比例达到了46.5%,这对企业人才的培训提出了迫切的要求。
当下计算框架使用过程中存在的问题
打造大数据平台需要企业克服诸多问题和挑战,尤其是安全性和可靠性方面。
大数据平台打造的主要挑战 大数据技术现状 大数据技术在开发者或从业人员的应用中逐步走向成熟,这些成熟的技术在开发人员的探索中得到了初步的稳定发展,公司的使用便是对这些技术的肯定。包括开发语言,数据分析语言、数据库等在内的大数据工具,究竟哪个更适合自己的业务,相信开发者们都有自己的评判标准。
在众多的开发语言中,大数据平台开发者们尤为青睐Java,占到了总比例的65%,远远超过其他开发语言。值得一提的是,Hadoop本身就由Java实现的。
大数据开发语言
在大数据分析语言中,SQL的使用比例达到了64%,是R语言使用者人数的2倍之多。我们从中不难看出SQL-on-XXX项目的前景;同时从R的支持率上,也看到了更多非技术人员,比如数据分析师对低门槛分析类语言的需求。
大数据分析通常用的语言
在大数据存储上,HBase则以67.55%的比例位居榜首,远超其他数据仓库,当然这点与Hadoop原生支持是分不开的。
大数据存储中适合的数据库
对存储在HBase或Cassandra这样NOSQL数据库中的数据进行复杂查询,Solr、Elasticsearch、Splunk等主流的搜索引擎差距并不大。
对存储在NOSQL数据库中的数据进行复杂查询,比较合适的工具 大数据未来发展
诚如上文所说,许多对大数据有需求的公司并不一定具备强大的研发团队,在大数据处理过程中往往遭遇众多挑战。那么,在面临这些挑战时,开发者最迫切需要的是什么?
为了解决公司中的实际问题,39.28%的人希望拥有更犀利和通用的计算框架;37.88%的人希望能拥有更好的数据挖掘算法;21.59%的人则对保障性更高的运维有了更多的期盼。
为了解决公司的实际问题,最希望拥有的新技术
良好的大数据计算平台能够有效地支撑企业的海量数据,对于下一代通用大数据技术平台,Spark和Hadoop是公司的主要选择。同时,我们也看到了新贵Spark的发展前景,对比老将Hadoop,差距也仅有3.7%。
人们看好的下一代通用大数据计算平台
现有公司中,大数据平台已包含的部件位居前三的主要是SQL数据库(90.3%)、NoSQL数据库(50.7%)和HDFS(47.2%),在此基础上,公司计划添加的部件主要包含SQL数据库(57.2%)、Spark(41.5%)和NoSQL数据库(26.9%)。从各公司已有大数据部件和计划添加的部件可以看出,SQL数据库和NoSQL数据库在公司的大数据平台中发挥了重要的作用,得到了各公司的青睐。
现有大数据平台已包含的部件
现有大数据平台计划添加的部件
为了获取更高的收益,企业在前期需要进行有效地成本投入,对大数据平台的投资,公司更加不会吝啬,其中被调查的人群中,45.7%的人所在企业有追加投资大数据平台的打算,同时,公司也期望能够通过多种途径完善大数据平台,主要的完善途径包括基于开源平台自主研发、购买成熟的解决方案,使用公有云。
企业期望完善大数据平台的途径
使用公有云也是企业期望完善大数据平台的有效途径之一,在选择公有云平台方面,企业也面临着很大的倾向性,45.26%的人将阿里云作为首选。
公有云平台的选择 大数据技术培训
技术培训能够对开发者起到一定的指导作用,使得听众可以系统全面的把握新技术的知识脉络,了解技术的发展趋势。在此次调查活动中,69.4%的被调查者表示从未参加过大数据平台构建的技术培训。对于技术培训的形式,49%的人希望是线上培训,收费,成系列型的大数据解决方案,专攻一个方向,解决实际问题;37%的被调查者还是希望免费进行技术培训,即使不成系列,无论是线上线下,能听一节是一节。虽然收费在一定程度上影响了开发者对大数据技术培训的热情,但是能够切实解决实际问题,得到技术和能力的提升,仍是相关技术人员追求的培训目标。
更适合的技术培训形式
那么,对开发者来说,大家特别期望从技术培训中获取的知识又会是什么?
第三篇:大数据演讲稿
まず、私はビッグデータについての簡単な内容を説明します。では、始めます。那么既然说到大数据,就得先了解大数据地定义。什么是大数据。试想如果未来我们一个人拥有的电脑设备超过现在全球现在计算能力的总和,一个人产生的数据量超过现在全球数据量的总和,甚至你的宠物小狗产生的信息量都超过现在全球数据量的总和,世界会发生什么呢?那么就先来看一些官方网站给出的大数据的定义。
为导出对事业起作用的数据。对于大数据商务有目的性的定义:“利用大数据解决经济和社会的问题。提高业务附加的价值。或者是支援事业”大数据不只指它的规模是多少,还有这些数据是由那些数据构成的,还有可以怎样利用大数据。由此是与到现在的系统是不同的。用被卖出的数据基础管理工具或者是到现在为止处理数据的应用程序,来处理巨大困难的复杂数据集合,这样的词语。再来看两个中文的。
那么大数据到底是啥。其实就是很多数据。它是把很多信息用数据的方式储存起来,然后不断累积,一直到这些数据大的没办法用简单进行利用。大数据并不是很神奇的事情。就如同电影《永无止境》提出的问题:人类通常只使用了20%的大脑,如果剩余80%大脑潜能被激发出来,世界会变得怎样?在企业、行业和国家的管理中,通常只有效使用了不到20%的数据(甚至更少),如果剩余80%数据的价值激发起来,世界会变得怎么样呢?特别是随着海量数据的新摩尔定律,数据爆发式增长,然后数据又得到更有效应用,世界会怎么样呢?发挥想象去思考一下。那么大数据是怎么形成的呢?
以前我们关注的都是交易系统和业务系统产生的数据,通过数据仓库去分析展现,其实终端,尤其是个人各种流水操作,例如购买物品清单,上网浏览历史,照片,微博等也有,但是不关注,而大数据时代,更多的是关注这些大量的数据,期望分析这些数据来发现价值,因此大数据其实以前在系统,终端,个人等等都在产生,只是没有加以利用而已,现在要分析这些数据从中发现价值。这才是大数据形成的原因和意义。数据再多,但如果被屏蔽或者没有被使用,也是没有价值的。中国的航班晚点非常多,相比之下美国航班准点情况好很多。这其中,美国航空管制机构一个的好做法发挥了积极的作用,说起来也非常简单,就是美国会公布每个航空公司、每一班航空过去一年的晚点率和平均晚点时间,这样客户在购买机票的时候就很自然会选择准点率高的航班,从而通过市场手段牵引各航空公司努力提升准点率。这个简单的方法比任何管理手段(如中国政府的宏观调控手段)都直接和有效。
先说一下这个打印的课本,它里面举了两个例子。对于福岛核电站的事,以及对于便利店的优势,都是利用了大数据。比如说超市,要进好多货,然后有的买的人少可能就堆积,即使减价处理也不一定能卖得掉,从而造成亏损。那么便利店,就会根据平时周围生活的人们来选择性的进货。在上班族公寓附近就多进快餐,在老年人或者中年人多一点的地方,就进一些生活用品。对于福岛核电站,如果将监测核电站的信息及时收集,并且分析就可能发现它有问题,可能会泄露,进而去解决问题避免损失。这就是预测未来可能发生的事故,这样的话可以有效的避免。再比如说,天文学家们研究天体的运动轨迹,发现更多的行星。将这些数据收集在一起就是大数据,对这些数据分析整理,就有可能计算出,未来某个行星可能会撞上地球。然后采取一些必要的措施,来将这种毁灭性的打击消除。如何认清现在呢?比如说在医学上,通过医疗设备对细胞进行观察,并根据其他测试进而推测出该细胞是不是癌细胞。如果把判断的依据变成数据化,输入到电脑中,并且再赋予她一定的学习能力,比如给他一个癌细胞,他会记住这些细胞的特征,久而久之,他的准确度会越来越高。在医学上的作用也会越快越明显。这就是对他的应用进行简单的了解。之后赵飞会更深入更仔细的讲一下这方面的内容。
那么,大数据对我们带来的都是好的么。不是的。就比如刚刚那个医学的例子。研究出的机器会让诊断癌细胞的工作人员逝去工作。就像是80年代工厂逐渐自动化一样,工人失业会很严重。如果你是一匹马,那么你肯定不喜欢工业革命。
接下来说一下大数据现在面临的难题,就是如何利用好这些大数据,进而为人们服务,造福我们。就个例子就拿LSST来说。他是一个广域的天文望远镜,是由多个国家参与研发,现在在智利的一个山上,2010年开始动工,并在2015年启用查尔斯·西蒙尼和比尔·盖兹分别捐赠2000万美金和1000万美金给LSST计划。LSST计划至今仍寻求美国国家科学基金会能拨发将近4亿美金的赞助费。它每三天可以拍摄整个天一次。到2022年,它会搭载一个超级数码相机,拍摄出的照片达到32亿像素。这样的照片需要1500块高清电视屏才能展示出来。LSST的照相机每年要拍摄超过人员所能分析的超过20万张影像。如果利用好了这些数据会是很大的一笔财富,但是目前还没有一个很有效的解决方法。没有那么多人力能去分析它,也没有那样的设备直接分析。所以这堆数据就是没用的数据,没有价值的。所以大数据是很有潜力的一门科学。接下来跟大家一起看一段TED的演讲视频。演讲人是肯尼斯-库克耶《经济学人》数据编辑,曾任职于《华尔街日报》(亚洲版)和《国际先驱论坛报》。他是美国外交关系协会成员,CNN、BBC和NPR的定期商业和技术评论员之一。对大数据有很深的研究,听一下他是如何评价大数据的。看完这个演讲之后,在有请赵飞带来对大数据更深入的认识。
第四篇:大数据时代:中国迎来新挑战
大数据时代:中国迎来新挑战
日期:[2012年11月26日] 版次:[SA26] 版名:[深圳读本 深评] 稿源:[南方都市报] 网友
评论: 0 条
嘉宾简介
涂子沛,知名信息管理专家、专栏作家,先后为《南方都市报》、《IT经理世界》多个报刊网站撰写专栏,著有《大数据》。涂子沛先生在中美两国都有广泛的技术、管理从业经历。
赴美之前,曾在中国省、市、县几级政府的不同部门工作过,现担任K IT Solutions软件公司亚太事务主任、中国旅美科技协会董事、匹兹堡分会主席。涂子沛先生毕业于卡内基梅隆大学,获信息技术科学硕士、公共管理硕士学位。
关于大数据,我会讲三方面的内容:第一,解读一下大数据现象;第二,谈谈大数据这个现象的意义;第三,讨论一下这个时代对我们意味着什么?具体有一些什么样的挑战?
五因素促成大数据形成
首先讲讲大数据现象。“数据”不是“数字”,对数字可以有很多解读,但是对数据来说,它就是一个有根据的数字,是对客观事件的记录,所以它不仅仅是数字。进入信息社会之后,“数据”的概念和内涵在不断丰富。因为人类发明计算机之后有一个外来词就是“database”,翻译成中文是“数据库”。人类的计算机最早只能处理数据和数字,后来计算机技术不断向前发展,可以处理图像、文档、视频、音频。这一切的东西,无论是文档还是视频、音频,都存放在数据库中,所以,后来大家就把它们统称为“数据”。
不仅是数据的内涵在扩大,数据的体积也在扩大。但是这个“大”的含义也是在不断演变的,最早提出“大数据”的时候,这个“大”意味着重要。到2000年,这个定义又开始慢慢转变,这时很多企业的数据业绩有“太”级别的数据了。2000年,有一个宾夕法尼亚大学的教授定义说“200太的数据是大数据”。我认为大数据不仅仅是从容量来看,容量不是那么重要,而是要从大含量、大价值方面来看。
“大数据”现象是怎么形成的?我认为有5个因素,包括摩尔定律、普适计算、数据挖掘、社交媒体、云计算,它们促成了“大数据”的形成。首先说摩尔数据。1965年时,英特尔创始人戈登·摩尔发现了一个很重要的现象,总结出一个规律。他说同一个面积的芯片上晶体管的数量在成倍增长,每一到两年就增长一倍。这意味着存储量越来越大,计算量、计算的速度越来越快,越来越密集,同时价格在不断下降。从上世纪50年代人类开始有存储器之后到现在,它的价格下降了300万倍。
1988年时又出现了一个新现象,叫做“普适计算”,是马克·韦泽提出的。1988年,他说人类计算机浪潮应该有三组:第一组是主机阶段,很多人共用一个主机,这个主机非常大。然后,可以人手一机了,但是他说这不是终结,未来时代计算机变得非常微小,计算机会无处不在,甚至融入到日常环境中,你发现不到它在计算。我们现在是否已经进入这个时代了?个人的手机已经很小了,其实它就是一台个人电脑。还有无处不在的传感器。我们现在谈的互联网就是普适计算的一部分,覆盖全球的互联网就是它的一个子概念。它又为我们解决了一个新问题,这时人类收集数据的能力得到增强,不仅仅是保存数据了,我们还可以广泛收集数据,无处不计算。1989年时,一个新的东西成为热点,这就是“数据挖掘”。超市通过数据挖掘、购买记录,判断出顾客的需要,定向投放广告。数据挖掘有两种:一种是对过去进行挖掘,发现规律,把这种规律提炼出来;一种是对未来进行预测。数据挖掘解决了一个新问题,这就是现在人类不仅收集、保存数据能力很强,分析数据的能力也得到了提高。
2004年之后又有了一个新现象,社交媒体出现了。这时不仅是信息系统,每一个人都在贡献数据。原来的信息记录是一个严整的、有格式的,数据库也是这样的,这个长度是一致的。但是到微博时代就变成了非结构化的数据,每个人都在贡献数据。微博不仅在中国起到了这样的作用,在全世界都起到了很重要的作用。我前两天在北师大和别人交流,他们谈到了一个很有意思的现象。说一个学生总结了一个现象,“信息只能传播信息,行动才能够引发行动”。其实公民社会就是一个可以产生集体行动的社会。
2006年,“云计算”出现了。上世纪80年代的公用电话网解决不了私密通话的问题,后来有一个新技术叫做虚拟技术(VPN),它解决了这个问题。就是你在想与别人通话时,立刻运行这个软件,就可以架设一条虚拟专线。他们就把这种服务称为“云”。1997年时,就有教授把“云”和“计算”结合到一起。为什么?他们认为计算也会变成这样。不要你去买芯片、处理器,计算会成为一种服务,想要的时候就来。云计算有三种模式:第一种是软件即服务,也就是用互联网上的软件,而不用自己装软件。第二种是平台即服务,用它的软件后,连操作系统都不要装了。第三种是设施即服务,不仅系统不需要了,自己的计算机也不需要了,只需要一个显示器就可以了。很多专业机构都认为“大数据”这个现象非常重要,是人类下一个创新竞争的前沿。2012年3月份,大数据甚至成为了美国的国家战略、国家行为,美国联邦政府把它上升到与当年的互联网和超级计算一样的高度。当年的互联网,美国政府投资5亿美元,现在对大数据的第一次投资也达到2亿多美元。
从“信息时代”走向“智能时代”
我认为大数据这个现象是一个革命性的变化,它意味着我们从“信息时代”迈向“知识时代”,最后再走向“智能时代”。
在信息时代,信息无所不在。信息时代再向前迈进就是知识时代,知识无所不在。知识是系统化的、有规律的、经过了分门别类整理的信息。进入大数据时代,不仅仅是知识无所不在,而且是智能无所不在。计算机最后就是发展到智能,能自己算,自动识别很多东西。大数据时代出现之后,数据成为一个重要的资源和创新的基础,成为这个生产过程当中一个基本的要素和资产。我们看到数据也可能成为一种可以交易的商品。数据最大的作用就是可增值性,通过整合可以发现新的知识。人类已经从软件时代进入了数据时代,正因为数据的重要,基于数据的创新和竞争成为企业、组织,甚至国家之间的一种竞争形式。
大数据还催生了很多管理创新。美国、英国三所大学合作,把240年庭审记录输入到电脑中去,进行分析,并且与其他数据进行整合,分析犯罪情况与社会的运行,经济情况的改变有没有关系。
社会科学在以前是很难量化的东西。你来研究我,我就会有一种抗拒,行为就被扭曲了。而这个时代的数据那么多,你的个人行为已经在网上被广泛记录了。当这些记录被整合到一起时,人的行为就可以量化了。
怎么去理解大数据?这绝对不能从体积上去理解,而是说人类现在分析数据的能力得到增强了。即使是小的数据,也能从中发掘出大的价值。美国为什么会有一些创新?因为数据是开放的,每个人都可以来挖掘。数据已经成了资产,成为一个创新的前沿,是一定要开放的,只有数据开放才能产生更大的价值。
中国需要法律规范数据发布
大数据对我们的未来意味着什么?意味着我们从知识时代向智能时代的迈进。最后来看一看大数据时代对我们究竟意味着什么样的挑战?特别是对于中国来说,意味着怎样的挑战?
互联网数据是如何产生的?主要是互联网和手机产生的。本来我们应该是个数据大国,但是很可惜,中国的数据很少。为什么?我认为是我们收集数据的意识比较差。即使有这种数据,数量也是比较低的,公信力也是比较差的。
还有一个很重要的方面是标签,就是你每发一条新的信息都要标签化,给这条信息来打标签。W eb3.0,这是一个什么时代?简单说,就是一个“打标签”的时代,它也叫做“羽翼网”,这时的搜索就会完全改变。“羽翼网”不仅仅是每个网站都有一个网址,每一个数据在网络上都有一个地址,你都可以找到那个数据。然后那个数据有很多标签对它进行定义,相同标签的数据可以自动联系起来。w eb2.0从另外一个角度来说,是一个“推时代”,是被动的时代。而未来时代是“拉时代”,主要权利在你,你想用什么数据在网上拉就行,而不是“推”。
中国数据质量低、公信力差,我们的传统也不重视数据,数据是一个任人打扮的“小姑娘”。我们还有另外一个问题,就是数据一致性低,这也是全世界面临的挑战。在大数据时代,数据要进行整合,这个系统和那个系统的数据要连接起来。这就牵涉到数据的定义了,我们现在面临的挑战是如何把各种不同的信息系统加总起来?现在在设计新系统时就要考虑数据定义必须和其他系统是兼容的,是可以对接起来的。
美国有《数据质量法》,公民、公司、组织对美国政府公布的数据是可以质疑的,可以提起审核、质疑,甚至最后可以打官司。中国也需要这样的法律来规范数据的发布。
在根本上,我们的文化传统或者我们这个国家,按文化传统来说是轻逻辑、轻数字的传统,在别的国家实现了数字化管理时,我们还是不能合理运用数据来进行管理。这就是“数据治国”。当然我们在用它的时候,不能说取代“依法治国”,这是两码事,不能把它极端化。因为数据代表了对客观世界的记录,数据的精神归根到底是一个尊重事实的精神,是一个理性的精神。你把角色建筑在数据之上,而不是建筑在意识形态之上,不是建筑在利益关系之上,而是建筑在事实之上。
还有一个挑战,这就是隐私权的挑战。我们认为隐私权是个人自由的一道屏障。大数据时代,如果有一种力量把所有的信息系统都加总,那你个人还有隐私吗?1974年时,美国就设立了《隐私法》,保护的主体就是数据。信息时代的个人隐私权也集中体现个人控制、编辑、管理自己数据和信息的一种权利。关于隐私权的变迁,在信息社会,隐私权的重心就体现在你的个人数据上。
数据开放和公开不一样
最后谈一谈开放数据。数据的价值在于整合,谁在这个社会中有最多的数据?政府是其中一个,你的数据需要整合,首先就要与人口、地理、天气、经济的信息这些最根本的数据进行整合,所以这部分数据是应该开放的。而开放这部分数据实际上也是有法理根据的,政府是纳税人供养的,它收集了我们的数据,但不开放给我们使用,这在法理上肯定是不合理的。
在这里,我还要强调一个概念,数据开放和数据公开是不一样的,我们可以举个例子来说明。例如你到商店中买东西,很显然,所有商品的价格是公开的,但是这不叫开放,什么叫开放?例如沃尔玛,把所有商品的价格以电子数据库的形式放到网上,这时另外一个公司可以把它的数据完全下载下来,立刻就与自己的数据对接起来。想象一下,如果所有的商店把它所有销售商品的价格开放到网上,会出现什么情况?这就是开放的效果,而不是公开的效果。
不能仅仅从数据公开的角度来理解数据开放,数据开放是能推进经济由粗放型增长向精细型发展转型的,是有利于经济转型的,是可以推动知识经济和网络经济发展的。数据开放还有什么作用?如果把数据库上的原始数据开放给公民,那么数据的公信力是否会提高?这可以让公民自己去计算。
数据开放的运动在海外绝对不仅仅是停留在政府层面,商业数据也在开放。从这个层面上来说,有一个新的词叫做“数据权”。它首先在英国产生,而不是在美国。开放数据不仅仅是一个知情权的问题,现在还是一个经济问题,是如何推动我国经济的转型升级的问题。涂子沛
(本文为嘉宾2012年11月18日演讲稿,有删节。)
第五篇:中国移动网优大数据安全管理办法
(征求意见稿)
中国移动通信集团公司网络部
二〇一六年八月
第1页中国移动网优大数据安全管理办法
第一章 总则
第一条近年来随着集中优化的不断深入,所涉及的IT系统不断增第二条 第三条 第四条 多,数据范围不断扩大,加强无线优化相关数据管理,防控因为数据外泄给企业带来的可能风险和损失变得尤为重要。总部网络部参照集团公司相关管理办法制定了本管理办法。
本管理办法适用于中国移动各省、市、自治区网优中心及相关合作单位(以下统称“各单位”)。
本管理办法所称的网优大数据安全是指对各单位使用网优平台、资管平台、话务网管、主设备厂家OMC、自动路测平台、信令监测平台、大数据应用平台、经分系统等平台中的工程参数(基站天线高度、经纬度、方向角等位置信息)、网络参数、性能指标、测试指标及文件、信令数据(S1_MME、S1_U、Uu、X2接口的信令、MR)以及通过关联分析产生的精确位置信息等数据进行安全管控。
各单位应加强网优大数据安全管理,围绕数据采集、传输、存储、使用、共享、销毁等各个环节,对可能存在数据外泄风险的环节及相关责任人员,尤其针对可能含有用户号码、位置、通话及上网记录等敏感信息的信令XDR数据,建立网优大数据安全责任体系,健全网优大数据安全管理制度,完善防护措施和技术手段;同时对公司内外部人员开展网优大数据安全意识教育,建立常态化的监督检查机制,深化落
第2页 实网优大数据安全责任,确保管理制度及安全防护手段的有效落实。
第五条 网优大数据安全管理应遵循如下原则:
应明确网优大数据安全管理职责,“谁主管,谁负责;谁运营,谁负责;谁使用,谁负责;谁接入,谁负责”。
(一)所有无线优化专业使用的各类数据,均由省网优中心统一负责,地市或其他单位应经省网优中心授权方可应用上述数据;
(二)对于无线专业自身的工程参数、网络参数、MR、性能指标、Uu口信令等数据,省网优中心应负责数据生成、存储、传输、应用、共享、销毁等全部环节的安全管理;对于源自统一DPI、性能管理、信令平台、经分等系统中的数据,网优中心应严格遵从相关单位在数据安全等方面的要求,从支撑网优生产的实际需求出发,严格控制数据提取的范围、频次以及关键字段等内容;
(三)在网优大数据的使用方面,应做到核心数据不出机房,数据清洗处理均应在网优中心内部进行,并做到核心数据“先脱敏,再使用;用多少,取多少”;
(四)对网优平台、主设备厂家OMC-R以及其他平台的操作维护必须通过4A管控,严格防控直连设备操作。
(五)在账号权限设置、弱口令检测、远程访问等方面加强安全管理,定期重设口令,不再需要的账号及时删除。
第3页 第二章 健全网优大数据内外部安全管理制度
第六条 强化内部安全管理制度建设,开展端到端安全管理,落实数据安全管控手段,从制度建设及全流程管理两方面加强内部大数据安全管理。
第七条 健全对外合作风险防控制度
(一)对于合作单位相关的安全管理,遵循“严审、严管、明责”的原则;
(二)开展对合作单位的背景调查和安全资质检查,预先规避潜在风险,确保合作单位的安全管理等级符合要求;
(三)明确运维合作单位和业务合作单位的安全管理关系,与合作单位签署安全保密协议,界定双方网优大数据管理的责任界面,对合作项目涉及的保密数据和允许访问数据的项目人员进行约定及备案,明确对第三方安全责任及处罚机制;
(四)加强第三方渠道和主设备厂商、三方开发代维人员管理,明确敏感数据收集、存储、归档、销毁机制,完善敏感数据模糊化查询机制,避免敏感数据违规留存。对第三方人员在保密协议、账号权限、远程访问等方面加强安全管理,针对第三方厂商开发的软件代码进行审计,避免软件后门植入。
第八条 建立网优大数据“分层、分权、分级”管理制度
(一)分层:从网优大数据来源方面,所有涉及网络优化分析的系统均须通过安全管控平台接入,对于涉及敏感数据的分析系统,采
第4页 用远程授权方式登录,用户必须通过管理员授权方能登录系统;
(二)分权:将相关系统涉及敏感数据的关键操作纳入“金库模式”管控,应多人共同协作完成,实现“关键操作,分权制衡”;
(三)分级:从数据本身方面,按照数据的敏感度、统计粒度对网优大数据进行划分,不同等级的数据对应不同等级的保护要求和查询权限,同一系统不同用户可以查询的数据范围不相同。地市人员不能跨地市查询数据,用户数据仅自有人员可以查询。
第九条 将安全评估工作纳入网优大数据安全管理流程,确保平台上线前先进行安全评估,将安全评估作为平台上线前的必要前置环节。
第十条 用户登录平台后的任何操作,必须有详细的日志记录,日志log文件中应完全包括“何时、何地、何账号、何操作”,并设立操作审计依据表,将不同操作的安全责任具体到人,明确不同操作具体审批方法,确保对现系统的所有操作都有前审批、后审计的相关流程。
第十一条 完善应急响应机制:从应急预案、风险检测、实时预警、风险遏制、问题根除、系统恢复、跟踪总结各环节建立落实网优大数据安全事件应急响应机制;在发生或可能发生敏感数据泄露等情况时,应立即向主管部门报告,并根据应急预案实施相应的应急措施。
第5页 第三章 建立并落实全流程安全管控方案
第十二条 应从采集到销毁各环节对网优大数据进行全流程安全管控:
(一)采集环节:在采集信令数据或工参、参数、性能、测试等数据时,应避免合作单位未经授权私自采集数据导致网优大数据被非法窃取;在数据采集过程中,应确保数据采集和处理均在我中心内,确保核心数据不出机房;
(二)传输环节:针对跨安全域传输等存在潜在安全风险的环境,应对敏感信息的传输进行加密保护,并根据数据敏感级别采用相应的加密手段;
(三)存储环节:针对存在潜在安全风险的存储环境,应对网优大数据中的敏感信息加密存储、并保障数据完整性,做好数据容灾备份;
(四)使用环节:在网优大数据的查询、分析、挖掘等使用环节,应严格进行权限访问控制;对统一DPI等系统中可能涉及用户信息的数据,应本着“用多少,取多少”的原则,除特殊分析需求外,一般仅应提取表征网络KPI等用户级的感知指标,对涉及用户身份、位置等敏感信息提取的操作采用“金库模式”管控,并定期开展事后审核;对用户敏感信息进行对外查询、展现、统计、导出等操作时,必须经过模糊化处理;
(五)共享环节:针对网优大数据共享,应实施内部审批及操作审计,通过保密协议等方式明确数据共享双方应承担的安全责任,应具备的数据保护手段、限制数据使用范围和场景等;对于工作中可接
第6页 触敏感数据的员工和第三方人员,应签订个人安全保密承诺书,明确安全责任;
(六)销毁环节:涉及用户敏感信息的网优系统下线或敏感信息的授权使用到期时,应采用可靠技术手段删除敏感信息,确保信息不可还原。
第十三条 对各类平台应逐个环节核查是否存在网优大数据安全风险。例如信令数据中的用户号码、用户位置、通话记录、上网记录、APP数据、网站用户名和口令、金融机构账号和密码等用户敏感信息的保护。
第十四条 需严格管控各类平台涉及的用户敏感信息种类,避免解析和保存不必要的用户敏感信息,对于必须采集的用户敏感信息,采用加密、模糊化处理、限制访问和批量导出权限等手段加以保护。
第7页
第四章 加强安全防护手段建设
第十五条 充分利用防火墙技术,根据网优大数据安全管理需要在平台中加入硬件防火墙,制定防火墙策略,以彻底隔绝非法来源的接入。
第十六条 对于来自外部网络的访问,必须通过4A管控才能访问各类平台,应避免提供公网IP在web页面以输入账号及口令的方式登陆。同时,应采用手机侧安全认证技术对手机APP访问平台进行认证,并严格管控手机APP对敏感信息的访问。
第十七条 定期对网优数据平台等相关系统进行网络安全扫描和恶意代码检测,使用专业漏洞扫描软件(如Qualys、Rapid7等)对整个系统所有设备接口、端口和存储设备进行扫描,对各操作系统、系统服务以及防火墙等组件的安全漏洞进行检测,扫描恶意代码,保证整个系统的安全性。
第十八条 定期对系统关键数据进行备份,组织对系统操作日志进行常态化审计。
第十九条 定期开展网优数据安全新知识培训,提升员工安全意识和防范能力,完善人员相关管理措施,避免因人为因素造成的系统安全漏洞;将在平台实际运行中的安全管理技术标准化和模块化(如编订统一的系统安全加固方法),不断强化网优大数据的安全防护手段。
第8页
第9页