第一篇：在普开数据培训大数据课程之后的感受
在普开数据培训大数据课程之后的感受
来北京有一段时间了，感受真的挺多的，我是在普开数据公司学的大数据，经过这段时间的学习，我不仅学习到了java的核心技术，更是看到了计算机行业的发展状况，看到了社会的发展速度和大城市的生活工作节奏，这是在学校不可能看到的也是不可能体会到的，现在很是后悔在学校没有把握好时间学习，下面说说我的感想吧。
首先，这里有非常浓厚的学习氛围。这里能够感受到社会上工作的压力，来这里学习的同学不全是大学刚毕业或者是还没有毕业的大学生，有很多是在工作几年之后又回来学习的，可能他们也感觉社会在快速发展，自己也应该多学点有用的知识，以便更好地立足社会。俗话说“活到老学到老”，这话一点不假，跟他们交流，我学到了很多。从他们身上我能感觉到压力，能感觉到自己的不足，让我感觉自己学习不再只是为了一场考试，而是今后工作和生活的实力与能力。大家深知社会竞争激烈，都在拼命地学习。但是这并不影响我们之间相互讨论和学习，因为我们的对手不只是眼前的这些同学，而是更多的你所不认识的人，这也让我看到了团队合作的重要性。所以说学习其实是很快乐的，虽然很累很累，但是大家都知道其意义所在。
我们每天的学习时间很长。早晨七点多起床，路远的同学要坐车去上课，从八点半到中午连续不断地上课，中午休息一个多小时，下午上课到五点，然后上自习到七点，才去吃饭，大多数人晚饭后会回来一直学习到晚上九点多，这就是我们的一天，天天如此。所以我感觉我们是飞速前进的，我们在坚持中前进!
我们的学习是职业性的培训。老师告诉我们，我们的学习不再是teaching，而是货真价实的training。是的，我们在不断地训练，练习将来工作中真正能用的技术。都说现在找工作难，那是那些没有真正技术的人给自己的借口和自我安慰。我们在这里学的很多很多，从技术上来说，我们学习java核心技术、linux操作系统、java web、java script等等;我们会使用集成框架等做出很多商业软件，在学到这么多有用的知识之后，谁还会没有信心找到工作呢!当你在自己的简历上写上你拥有如此多的技术，曾经做过项目，已经有了相当多的工作经验，有哪个公司会不录用这样的人才!但是有一个前提：在培训过程中，必须要坚持，因为不是一般的累，时刻告诉自己：加油!
由于时刻在学习中，所以对于学习有着说不完的话。下面再谈一些生活上的感受吧。大家都知道，在北京住房是很大的问题，但是我却从没想过会有这么困难。刚来的那会儿非常不适应，在大学宿舍五百块钱能住一年，但是在这里五百块只能在地下室住一个月，面对这么大的压力，谁会不努力学习呢!我们曾经在电视上看见过早晨上班一族挤公交车和地铁的场面，但是真的经历过了才能知道，这是多么的痛苦!也能体会到压力。但是就是在竞争最激烈的地方才会焕发人的潜能，只要肯努力，就一定会有收获的!
这是我来北京参加培训的一点点感受。对于选择到北京普开数据来学习，我认为这是一个很正确的选择，不是说出来培训就会找到好的工作，而是只要抱着一种上进的学习的心态，一直努力，找工作就像顺藤摸瓜一样，你的学习道路就是瓜藤，而学习的小尽头也就是满意的工作了。其实一份满意的工作不只是为了拿薪水，而是实现自己的价值，自己用自己的知识在自己喜欢的岗位上做自己喜欢的工作，这难道不是一件很好的事情吗?
IT行业是当今社会的热门行业，说它热门是因为它的发展潜力是无穷的，所以我们能进入到这个行业是一种幸运。可是我们在大学里面甚至连半只脚都没有迈进IT的门槛，随着知识的增多，随着对专业技术由点到线，由线到面的了解，我对这个行业就有了很深入的认识。这也是给大家的一个建议，永远不要想着知道全面的概况之后才去学每个点，而要从最小的点开始拓展开去，这样才能取得进步，所以在学校基础知识的学习也非常重要!
最后送大家一句话：相信自己没有选错行业，相信自己有立足的能力，为自己制定明确的目标，然后努力地去学习、体会、感悟、进步!
第二篇：普开数据大数据课程培训学习心得：重点分享、交流经验
普开数据大数据课程培训学习心得：重点分享、交流经验
大家好！很高兴给大家分享一些大数据知识，同时感谢普开数据能提供这么一个好的机会。谢谢！你们的好评是对我的鼓励，请大家多多支持我，我会拿出自己的最大的精力来与大家分享我所学的。
J2EE本身是一个标准，一个为企业分布式应用的开发提供的标准平台。J2EE也是一个框架，包括JDBC、JNDI、RMI、JMS、EJB、JTA等技术。java EE 的体系结构：
1、表示层（HTML、JavaScript、Ajax）
2、中间层（JSP、Servlet、JSTL、JavaBean）（Struts）
3、数据层（JDBC）（Hibernate）
三层体系结构的优点
1、耦合性低
2、扩展性好
3、复用性好
4、便于分工
j2ee常用的设计模式：
Java中的23种设计模式：
Factory（工厂模式），Builder（建造模式），Factory Method（工厂方法模式），Prototype（原始模型模式），Singleton（单例模式），Facade（门面模式），Adapter（适配器模式），Bridge（桥梁模式），Composite（合成模式），Decorator（装饰模式），Flyweight（享元模式），Proxy（代理模式），Command（命令模式），Interpreter（解释器模式），Visitor（访问者模式），Iterator（迭代子模式），Mediator（调停者模式），Memento（备忘录模式），Observer（观察者模式），State（状态模式），Strategy（策略模式），Template Method（模板方法模式），Chain Of Responsibility（责任链模式）
工厂模式：工厂模式是一种经常被使用到的模式，根据工厂模式实现的类可以根据提供的数据生成一组类中某一个类的实例，通常这一组类有一个公共的抽象父类并且实现了相同的方法，但是这些方法针对不同的数据进行了不同的操作。首先需要定义一个基类，该类的子类通过不同的方法实现了基类中的方法。然后需要定义一个工厂类，工厂类可以根据条件生成不同的子类实例。当得到子类的实例后，开发人员可以调用基类中的方法而不必考虑到底返回的是哪一个子类的实例。
HTTP协议的提交方式：
1、GET——用URL传递数据
2、POST——用流的方式传递数据
Servlet是一个java程序，是在服务器端运行的以处理客户端请求并做出响应的程序。Servlet类一定要继承HttpServlet，Servlet必须和Servlet容器配合运行，Servlet要嵌入容器才能运行。
Web应用程序的结构：
tomcat—webapps—appName：
http：//ip：port/appName/index.jsp
1、页面和图片（可以自己组织结构，可以从客户端直接访问，jsp、html、js、jpg.....)
2、WEB-INF 目录（必须有的其中的东西不能从客户端直接访问）
a、web.xml（必须有 Web程序的总体配置，是一个核心）
b、classes文件夹（必须的 Servlet和JavaBean编译成Class后存放于该文件夹）
c、lib文件夹（存放该程序用的类库jar包）
Web.xml中要对Servlet进行一些配置
JSP在运行时需要翻译成一个Servlet程序，然后再编译成Class文件，然后才可以运行。
Servlet的生命周期由Servlet容器来管理
Servlet的声明周期：
1、加载和实例化（构造方法）: 在Web容器中查找用户请求的Servlet，如果没有找到，则实例化，如果找到，则加载。
2、初始化（init）:在实例化后调用的方法，可以初始化一些资源。
3、服务（service）: 接受请求并做出响应。根据请求的方式不同，调用doXXX方法。
4、销毁（destory）: 主要用来销毁初始化时创建的资源，在destory方法中我们标识哪些资源可以回收，并不能马上回收。
如何获得请求参数？
1.request。getParameter(“name”);2.如果一个请求参数有多个值，需要返回一个数组！
String []size=request.getParameter（“name”）；
For(int i=0;i out.print(size[0]);} 除了参数，还可以获得其他 1与请求相关的cookie Cookie [] cookies=request.getCookies(); 2与会话相关的session Session session=request.getSession(); 3请求的HTTP方法 String methed=request.getMethed(); 初始化参数： 在web.xml中设置servlet初始化参数 driverClass org.gjt.mm.mysql.Driver 在servlet 代码中获得初始化参数的值： getServletConfig(),getInitParameter(“param-name”); 上下文初始化参数 name John 在servlet 代码中获得上下文初始化参数的值： getServletContext().getInitParameter(“name”); ServletContext 用于在Web应用范围内存取共享数据的方法。注：web应用范围具有以下两层含义： （1） 表示有web应用的生命周期构成的时间段.（2） 表示在web应用的生命周期内所有web组件的集合。 * setAttribute(String name,java.lang.Object object)：把一个java对象和一个属性名绑定，并存放到ServletContext中，参数name指定属性名，参数Object表示共享数据。* getAttribute(String name)：根据参数给定的属性名，返回一个Object类型的对象。* getAttributeNames()：返回一个Enumeration对象，该对象包含了所有存放在ServletContext中的属性名。 * removeAttribute(String name)：根据参数指定的属性名，从servletContext对象中删除匹配的属性。 访问当前Web应用的资源 * getContextpath（）:返回当前web应用的URL入口。* getInitParameter(String name)：返回web应用方位内的匹配的初始化参数值。在web.xml中 * getRequestDispatcher(String path)：返回一个用于向其他web组件转发请求的RequestDispatcher对象。 web.xml文件 web.xml文件是用来初始化配置信息：比如Welcome页面、servlet、servlet-mapping、filter、listener、启动加载级别等 1、指定欢迎页面，例如： PS：指定了2个欢迎页面，显示时按顺序从第一个找起，如果第一个存在，就显示第一个，后面的不起作用。如果第一个不存在，就找第二个，以此类推。 2、命名与定制URL。我们可以为Servlet和JSP文件命名并定制URL,其中定制URL是依赖命名的，命名必须在定制URL前。下面拿serlet来举例： (1)、为Servlet命名： (2)、为Servlet定制URL、 3、定制初始化参数：可以定制servlet、JSP、Context的初始化参数，然后可以再servlet、JSP、Context中获取这些参数值。 下面用servlet来举例： userName Daniel E-mail 125485762@qq.com 经过上面的配置，在servlet中能够调用getServletConfig().getInitParameter(“param1”)获得参数名对应的值。 4、指定错误处理页面，可以通过“异常类型”或“错误码”来指定错误处理页面。 ----------------------------- 5、设置过滤器：比如设置一个编码过滤器，过滤所有资源 6、设置监听器： 7、设置会话(Session)过期时间，其中时间以分钟为单位，假如设置60分钟超时： 8．设置上下文初始化参数(对于整个web应用都适用) foo bar 在servlet中获取上下文参数初始化 String s=getContex().getInitParameter(＂ｆｏｏ＂);3.重定向和请求分派的比较 <1>请求分派只能将请求转发给同一个web应用中的其他组件，而重定向不仅可以定向到当前应用程序中的其他资源，也可重定向到其他站点的资源上 <2>重定向的访问过程结束后，浏览器的地址栏显示的URL会发生改变，变成重定向的目标URL，而请求分派的浏览器地址栏保持初始的URL <3>请求分派的发起者和被调者之间共享相同的request实例和response实例，属于同一个“请求/响应”而重定向的发起者和被调用者使用各自的request实例和response实例，各自属于独立的“请求/响应”过程。 请求转发 RequestDispatcher dis=request.getRequestDispatcher(“Servlet2”); dis.forward(request, response);重定向 response.sendRedirect(“Servlet2”);//重定向到指定路径的资源 get 和post 比较 1.get是从服务器上获取数据，post是向服务器传送数据。 2.get是把参数数据队列加到提交表单的ACTION属性所指的URL中，值和表单内各个字段一一对应，在URL中可以看到。post是通过HTTP post机制，将表单内各个字段与其内容放置在HTML HEADER内一起传送到ACTION属性所指的URL地址。用户看不到这个过程。 3.对于get方式，服务器端用Request.QueryString获取变量的值，对于post方式，服务器端用Request.Form获取提交的数据。 4.get传送的数据量较小，不能大于2KB。post传送的数据量较大，一般被默认为不受限制。但理论上，IIS4中最大量为80KB，IIS5中为100KB。 5.get安全性非常低，post安全性较高。但是执行效率却比Post方法好。 Tomcat服务器 运行Java Web程序必须有相应Web容器支持，所有的动态程序代码都在Web容器中执行，Tomcat是一个web容器； 静态请求的所有代码操作都是固定的，动态请求操作的所有代码都是拼凑的； Tomcat是有Apache软件基金会的Jakarta项目中的一个核心项目，有Apache、sun和其他一些公司及个人共同开发而成； 使用Tomcat必须有JDK的支持 Tomcat中主要文件夹：bin/conf/lib/logs/webapps/work 任何服务器都是依靠端口号进行监听的服务器配置 （1）修改端口号——conf/server.xml（2）配置虚拟目录——磁盘下建立文件夹、建立WEB-INF文件、复制web.xml文件，服务器端配置 普开数据培训项目开发实习总结 参加专业的it培训学校，实习两周以来，对于我这种酷爱计算机的人是多么好的体验机会。作为数学类专业的学生，如果一味的学习理论，不能去实践理论，那是多么悲哀呀。当得知有这样的机会时，很多同学都积极参加了。 就这样，大家带着新鲜好奇、实践理论的心情离开学校来到了普开数据实习了。 实习的他同学就敲过几百遍，才有现在的完美首页。听了经理的介绍，忽然觉得自己在学校敲的代码次数太少了，在接下来的日子了，我会每天都对前一天的项目代码多敲几遍。 一个行业你要喜欢它，也会喜欢它的文化，我很喜欢普开数据，在这里，环境优良，为我们每人准备了一台电脑，天气热，为我们安了空调，怕我们上火，哈哈，老师在上课期间怕影响我们上课静静的为我们倒水，严厉之中透漏着温柔，呵斥之中透漏着关怀。 在这里，我不是一个人而是家庭中的一员，和同学一起上下课，下了课一起打打闹闹的去吃饭，在业余时间还和老师聊聊天，或许这对于别人来说，这是人生中当学生时代最平常不过的事了，可对于我真的很珍贵，我很开心，我现在发现我也不是一个真的很喜欢独处的人，不能彻底的改变，但事实却在改变。 实习时间慢慢的在减少，而程序却相反——越来越难，越来越繁。因为一个小环节与大家拉开了距离，在一个庞大的项目中是不允许任何一处掉链子的。看到同学们早已“轻车熟路”操作自如了，而我却不知所措，立刻就有了压力。一天下来感受最深的就是那种巨大的差距。学校所学与实际应用中的脱节。 在普开数据为期两周的实习时间已悄然离去，刚来时的那种新鲜好奇早飞到了九霄云外，更多的是离开时的那种不舍和对自己及所学的反思。 通过实际项目的开发我有以下几点收获： 1.多向老师、同学虚心请教，也别说自己学的不怎么样，不然会大大减少自己的自信，从而与大家的差距越来越大。 2.编程以前一定要对整个项目有仔细的了解，最好能写好需求分析，这样在实际操作时就会更加调理，而且不会遗漏东西。 3.做任何项目都离不开团队合作。所以我们一定要注意团队合作意识，多和小组内的人交流。 4.在编程中一定要规范，绝对不可以随性。 总之，这次的实习使我受益匪浅，让我对大数据技术有了新的认识，使自己的专业知识在实际应用中得到了锻炼，让自己对编程在实际应用有了更加深刻的了解，拓宽了我的视野，也让我对自己的专业更加充满信心!因此要非常感谢学院的领导，老师们的陪伴以及安排的这次实习，不仅使我们得到了锻炼，更让我们看到了计算机专业领域的宽阔和美好的前景，激励我们在努力地学习专业知识地同时，更加注重理论和实践的结合，提高自己的专业素质和本领。 在普开数据实习的日子 在普开数据为期两周的实习时间已悄然离去，刚来时的那种新鲜好奇早飞到了九霄云外，更多的是离开时的那种不舍和对自己及所学的反思。 在编程中一定要规范，绝对不可以随性 当我在普开数据的这半个月培训我感觉获益匪浅。虽然与课本知识不同，至少我看清了实际做项目与书本知识之间的差距，不至于在就业后手足无措。这次实习对我以后的学习甚至就业带来了巨大的帮助。 感谢学校，感谢普开数据的马延辉老师，感谢普开数据的老师们。 摘要 流形学习方法作为一类新兴的非线性维数约简方法，主要目标是获取高维观测数据的低维紧致表示，探索事物的内在规律和本征结构，已经成为数据挖掘、模式识别和机器学习等领域的研究热点。流形学习方法的非线性本质、几何直观性和计算可行性，使得它在许多标准的 toy 数据集和实际数据集上都取得了令人满意的结果，然而它们本身还存在着一些普遍性的问题，比如泛化学习问题、监督学习问题和大规模流形学习问题等。因此，本文从流形学习方法存在的问题出发，在算法设计和应用（图像数据与蛋白质相互作用数据）等方面展开了一系列研究工作。首先对流形学习的典型方法做了详细对比分析，然后针对流形的泛化学习和监督学习、表征流形的局部几何结构、构造全局的正则化线性回归模型、大规模数据的流形学习等几个方面进行了重点研究，提出了三种有效的流形学习算法，并和相关研究成果进行了理论与实验上的比较，从而验证了我们所提算法的有效性。 关键词：流形学习，维数约简，正交局部样条判别投影，局部多尺度回归嵌入 I 目录 目录.................................................................................................................................................II 第1章 研究背景.......................................................................................................................1 1.1 流形学习的研究背景...................................................................................................1 1.2 流形学习的研究现状...................................................................................................2 1.3 流形学习的应用...........................................................................................................4 第2章 流形学习方法综述.......................................................................................................5 2.1 流形学习方法介绍.......................................................................................................6 第3章 流形学习方法存在的问题...........................................................................................9 3.1 本征维数估计...............................................................................................................9 3.2近邻数选择.................................................................................................................10 3.3 噪声流形学习.............................................................................................................10 3.4 监督流形学习.............................................................................................................11 第4章 总结.............................................................................................................................11 II 第1章 研究背景 1.1 流形学习的研究背景 随着信息时代的到来，使得数据集更新更快、数据维度更高以及非结构化性等问题更突出。在科研研究的过程中不可避免地遇到大量的高维数据，这就需要一种技术能够使在保持数据信息足够完整的意义下从海量数据集中提取出有效而又合理的约简数据，满足人的存储需求和感知需要。流形学习这一非监督学习方法应运而生，引起越来越多机器学习和认知科学工作者的重视。而在海量的高维数据中，往往只有少量的有用信息，如果想快速高效的搜集到人们想要的、有用的那些少量信息且快速的处理信息，这就需要一些关键技术的支持，即是必须采用相应的降维技术。而流形学习正是在数据降维方面有着重要的贡献。然而，降维的过程与《矩阵分析》中的内容有着密切的关系。 基于流形的降维方法能充分利用数据中所隐藏的低维有价值信息，进一步提高检索性能。Seung从神经心理学的角度提出“感知以流形的形式存在，视觉记忆也可能是以稳态的流形存储”，为流形提供了与人类认识相关的理由。流形学习的方法主要有主成分分析（PCA）、多维尺度化（MDS）、基于局部切空间排列法（LTSA）和基于等度规映射（ISOMAP）、局部线性嵌入算法（LLE）、拉普拉斯特征映射（LE）等。另外，流形学习方法在人脸识别、图像处理、模式识别、计算机视觉、认知科学、人工智能、人机交互等众多学科中有着广泛的应用。 线性维数约简方法是通过在高维输入空间与低维子空间之间建立线性映射关系，把高维数据样本集投影到低维线性子空间。线性维数约简技术通常假设数据集采样于一个全局线性的高维观测空间。如果所要处理的数据集分布确实呈现出全局线性的结构，或者在一定程度上可以近似为全局线性结构，则这些方法能够有效地挖掘出数据集内在的线性结构，获得数据紧致的低维表示。在线性维数约简方法中，使用最广泛的算法有主分量分析（Principal Component Analysis, PCA）(Jolliffe, 2002;Turk and Pentland, 1991)和线性判别分析（Linear Discriminant Analysis, LDA）(Duda et al., 2001)。 主分量分析（PCA）主要是根据高维数据在低维空间重构误差最小的原则，来寻找一组最优的单位正交向量基（即主分量），并通过保留数据分布方差较大的若干主分量来达到降维的目的。然而，众所周知，由于 PCA 算法没有利用数据样本的类别信息，所以它是一种非监督的线性维数约简方法。与 PCA 算法不同，LDA 算法考虑到样本的类别信息，它是一种有监督的方法。基于各类样本服从高斯分布且不同类的协方差矩阵相同的假设，LDA 算法在 Fisher 准则下选择最优的投影向量，以使得数据样本的类间散度最大而类内散度最小。由于 LDA 算法利用了样本的类别信息，而样本的类别信息通常有助于改善识别率，因此 LDA 算法更适用于分类问题。 1.2 流形学习的研究现状 流形学习假定输入数据是嵌入在高维观测空间的低维流形上，流形学习方法的目的是找出高维数据中所隐藏的低维流形结构。经过十多年的研究与探索，人们提出了大量的流形学习理论与算法。经典的流形学习方法有等距特征映射算法（ISOMAP）(Tenenbaum et al., 2000)、局部线性嵌入算法（LLE）(Roweis and Saul, 2000;Saul and Roweis, 2003)、Laplacian 特征映射算法（Laplacian Eigenmaps，LE）(Belkin and Niyogi, 2002;Belkin and Niyogi, 2003)、Hessian特征映射算法（Hessian-based Locally Linear Embedding，HLLE）(Donoho and Grimes, 2003)、最大差异展开算法（Maximum Variance Unfolding，MVU）(Weinberger et al., 2005;Weinberger and Saul, 2004;Weinberger and Saul, 2006;Weinberger et al., 2004)、局部切空间排列算法（Local Tangent Space Alignment, LTSA）(Zhang and Zha, 2004)、黎曼流形学习算法（Riemannian Manifold Learning, RML）(Lin and Zha, 2007;Lin et al., 2006)和局部样条嵌入算法（Local Spline Embedding，LSE）(Xiang et al., 2006;Xiang et al., 2008)等。 Tenenbaum 提出的 ISOMAP 算法是多维尺度分析（Multidimensional Scaling, MDS）(Cox and Cox, 1994)在流形框架下的非线性推广，其核心思想是用测地距离代替欧氏距离来表征流形上数据点的内在几何关系。对于样本 点和它的近邻点之间的测地距离用它们之间的欧氏距离来代替；对于样本点和近邻点之外的点之间的测地距离用它们之间的最短路径来代替。Bernstein 等人证明了只要样本是随机抽取的，在样本集足够大且选择适当近邻参数k 时，近邻图上两点的最短路径可以逼近它们的测地距离(Bernstein et al., 2000)。当应用于内蕴平坦的凸流形时，ISOMAP 算法能够忠实地捕获数据内在的低维流形结构(De Silva and Tenenbaum, 2003)。 ISOMAP 算法的主要缺点在于：① 对样本点的噪声比较敏感；② 对于具有较大曲率或稀疏采样的数据集，不能发现其内在的本征结构；③ 需要计算全体数据集的测地距离矩阵，因此算法的时间复杂度较高。围绕 ISOMAP算法，已经出现了许多相关的理论分析与研究工作。 Balasubramanian 等人对ISOMAP 算法的拓扑稳定性进行了深入探讨(Balasubramanian and Schwartz, 2002)。对于数据分布所在的低维流形具有较大的内在曲率情况，de Silva 和Tenenbaum 提出了保角等距特征映射算法（conformal ISOMAP）(De Silva and Tenenbaum, 2003)。为了减小 ISOMAP 算法的计算复杂度，de Silva 和 Tenenbaum提出了带标记的等距特征映射算法（Landmark ISOMAP）(De Silva and Tenenbaum, 2003)。 针对 ISOMAP 算法对于数据集噪声敏感的问题，Choi 等人通过观察图中的网络流提出了一种消除临界孤立点的方法以加强 ISOMAP 算法的拓扑稳定性(Choi and Choi, 2007)。在构建近邻图方面，Yang 提出通过构造k 连通图方式来确保近邻图的连通性，以提高测地距离的估计精度(Yang, 2005)。 2009 年，Xiang 等人提出了局部样条嵌入算法（LSE）(Xiang et al., 2006;Xiang et al., 2008)。Xiang 认为，对于嵌入在高维输入空间的低维流形，非线性维数约简的任务实际上是寻找一组非线性的复合映射，即由局部坐标映射（Local Coordinatization Mapping）与全局排列映射（Global Alignment Mapping）复合而成的兼容映射（Compatible Mapping）。在兼容映射的概念框架下，LSE 算法首先通过主分量分析计算每个样本点局部邻域在切空间上的投影获得该邻域所有样本的局部坐标，从而保持流形的局部几何结构信息；然后采用Sobolev 空间的一组样条函数把每个样本点的局部坐标映射成 全局唯一的低维坐标。它们均是利用每个样本的局部切空间来捕获流形的局部几何，样本点在切空间的投影来表示样本点的局部坐标。然而它们的主要区别在于全局排列，LTSA 算法是利用仿射变换来进行全局排列，而 LSE 算法是利用样条函数来获得全局唯一的坐标。因此相对于 LTSA 而言，LSE 算法能够实现更小的重构误差。LSE 算法的主要缺点在于：一是无法保持全局尺度信息；二是不能学习具有较大曲率的低维流形结构。除此，如何选择满足要求的样条函数也是一个值得考虑的问题。 不同流形学习算法的区别在于所尝试保持流形的局部邻域结构信息以及利用这些信息构造全局嵌入的方法不同，与以往的维数约简方法相比，流形学习能够有效地探索非线性流形分布数据的内在规律与性质。但是在实际应用中流形学习方法仍然存在一些缺点，比如本征维数估计问题、样本外点学习问题、监督流形学习问题和噪声流形学习问题等。为了解决这些问题，相关的算法也不断涌现出来。Freedman 等提出了一种基于简化单纯复形的流形重构方法来自动估计流形的本征维数(Freedman, 2002)。 为了解决样本外点学习问题，研究人员分别在流形学习的线性化、核化和张量化等方面作了有益的探索(Yan et al., 2007)。Geng 等将样本的类别信息融入到 ISOMAP 算法，提出了一种用于可视化和分类的有监督的等距特征映射算法（S-ISOMAP）(Geng et al., 2005)。Zhang 等提出了一种基于局部线性平滑的流形学习消噪模型(Zhang and Zha, 2003)。这些方法的提出在一定程度上缓解了目前流形学习方法中存在的一些问题，但是还需要进一步充实和完善。 1.3 流形学习的应用 目前，流形学习方法的应用可归纳为以下几个方面： 1)数据的可视化。流形学习方法在高维数据的可视化方面有了广泛的应用。人不能直接感知高维数据的内部结构，但对三维以下数据的内在结构却有很强的感知能力。由于流形学习方法可以发现高维观测数据中蕴含的内在规律和本征结构，而且这种规律在本质上不依赖于我们实际观测到的数据维数。因此我们可以通过流形学习方法 对高维输入数据进行维数约简，使高维数据的内部关系和结构在低于三维的空间中展示出来，从而使人们能够直观地认识和了解高维的非线性数据的内在规律，达到可视化的目的。 2)信息检索。随着多媒体和网络技术的迅猛发展，图像和文本信息的应用日益广泛，对规模逐渐庞大的图像和文本数据库如何进行有效的管理已成为亟待解决的问题。灵活、高效、准确的信息检索策略是解决这一问题的关键技术之一。这些图像和文本信息呈现出高维、大规模、非线性结构，利用流形学习方法来处理这些信息，在大大降低时间和空间计算复杂度的同时，能够有效地保留这些信息在原始高维空间的相似性。 3)图像处理。流形学习给图像处理领域提供了一个强有力的工具。众所周知，图像处理与图像中物体的轮廓以及骨架等密切相关。如果我们把图像中物体的轮廓以及骨架等看成是嵌入在二维平面中的一维流形或者由一组一维流形构成，那么显然流形学习方法凭借其强大的流形逼近能力可以应用于图像处理领域。 第2章 流形学习方法综述 流形学习方法作为一种新兴的非线性维数约简方法，主要目标是获取高维观测数据的低维紧致表示，探索事物的内在规律和本征结构，已经成为数据挖掘、模式识别和机器学习等领域的研究热点。本章首先探讨了流形学习的基础性问题，即高维数据分析的流形建模问题；然后依据保持流形几何特性的不同，把现有的流形学习方法划分为全局特性保持方法和局部特性保持方法，并介绍了每一类方法中有代表性的流形学习算法的基本原理，对各种流形学习算法进行性能比较和可视化分析，最后就流形学习方法普遍存在的本征维数估计、近邻数选择、噪声流形学习、样本外点学习和监督流形学习问题等进行了分析和讨论。2.1 流形学习方法介绍 流形学习的定义：流形是局部具有欧氏空间性质的空间。假设数据是均匀采样于一个高维欧氏空间中的低维流形，流形学习就是从高维采样数据中恢复低维流形结构，即找到高维空间中的低维流形，并求出相应的嵌入映射，以实现维数约简或者数据可视化。它是从观测到的现象中去寻找事物的本质，找到产生数据的内在规律。 流形学习用数学语言描述是：令Yyi且: Y是一个光滑的嵌套，其中D >> d。那么流形学习的目标是基于上的一个给定被观测数据集合xi去恢复Y与，也就是在Y 中随机产生隐藏的数据yi，然后通过 映射到观测空间，使得xifyi。 从流形学习的定义中可以看出，这是一个把数据从高维映射到低维的过程，用到了线性变换，当然少不了矩阵的分解及其基本运算。2.1.1 多维尺度分析（Multidimensional Scaling, MDS） 多维尺度分析（Multidimensional Scaling, MDS）是一种经典的线性降维方法，其主要思想是：根据数据点间的欧氏距离，构造关系矩阵，为了尽可能地保持每对观测数据点间的欧氏距离，只需对此关系矩阵进行特征分解，从而获得每个数据在低维空间中的低维坐标。 DDDxx设给定的高维观测数据点集为YU，i，观测数据点对i，Tyj间的欧氏距离为ijxiyj，传统MDS 的算法步骤如下： a)首先根据求出的两点之间的欧氏距离 ij构造n阶平方欧式距离矩阵Aij2 nn。b)将矩阵A进行双中心化计算，即计算 B1HAH2（其中H 为中心化eeTHIn，将矩阵H左乘和右乘时称为双中心化）矩阵。 c)计算低维坐标Y。即将B奇异值分解，设B的最大的d个特征值diag1,2,...,dYUT。 u1,u2,...,ud则d维低维坐标为，对应特征向量，U虽然作为线性方法，MDS在流形学习中不能有效发现内在低维结构。但是从这一基本的算法中我们可以清楚的看出矩阵分析在流形学习研究中的应用。在这个MDS算法中，运用到了矩阵中的线性空间变换、矩阵特征值和特征向量的计算、矩阵的中心化计算、矩阵的奇异值的分解等相关知识点。想象一下，如果没有这些知识点做基础，这些算法如何进行。2.1.2 等距特征映射（ISOMAP） （1）基本思想:Tenenbaum等人提出的等距特征映射算法（ISOMAP）是建立在多维尺度分析（MDS）基础上的一种非线性维数约简方法。ISOMAP算法利用所有样本点对之间的测地距离矩阵来代替MDS算法中的欧氏距离矩阵，以保持嵌入在高维观测空间中内在低维流形的全局几何特性。算法的关键是计算每个样本点与所有其它样本点之间的测地距离。对于近邻点，利用输入空间的欧氏距离直接得到其测地距离；对于非近邻点，利用近邻图上两点之间的最短路径近似测地距离。然后对于构造的全局测地距离矩阵，利用MDS算法在高维输入空间与低维嵌入空间之间建立等距映射，从而发现嵌入在高维空间的内在低维表示(Tenenbaum et al., 2000)。 （2）算法流程 <1>构造近邻图G <2>计算最短路径 <3>计算 d 维嵌入(3)算法分析 ISOMAP算法是一种保持全局几何特性的方法，它的低维嵌入结果能够反映出高维观测样本所在流形上的测地距离。如果高维观测样本所在的低维流形与欧氏空间的一个子集是整体等距的，且与样本所在流形等距的欧氏空间的子集是一个凸集，那么ISOMAP算法能够取得比较理想的嵌入结果。但是当流形曲率较大或者流形上有“孔洞”，即与流形等距的欧氏空间的子集非凸时，流形上的测地距离估计会产生较大的误差，导致嵌入结果产生变形。 从算法的时间复杂度来看，ISOMAP算法有两个计算瓶颈(De Silva and Tenenbaum, 2003)。第一个是计算n×n 的最短路径距离矩阵DG。当使用Floyd算法时，计算复杂度为O(n3)；若采用Dijkstra算法，可将计算复杂度降低到O(kn2log n)（k 为近邻数大小）(Cormen, 2001)。第二个计算瓶颈源于应用MDS时的特征分解。由于距离矩阵是稠密的，所以特征分解的计算复杂度为O(n3)。从中我们可以看出，随着样本个数n 的增大，ISOMAP算法计算效率低下的问题会变得十分突出。2.1.3局部线性嵌入（LLE） 1、基本思想 与ISOMAP和MVU算法不同，局部线性嵌入算法（LLE）是一种局部特性保持方法。LLE算法的核心是保持降维前后近邻之间的局部线性结构不变。算法的主要思想是假定每个数据点与它的近邻点位于流形的一个线性或近似线性的局部邻域，在该邻域中的数据点可以由其近邻点来线性表示，重建低维流形时，相应的内在低维空间中的数据点保持相同的局部近邻关系，即低维流形空间的每个数据点用其近邻点线性表示的权重与它们在高维观测空间中的线性表示权重相同，而各个局部邻域之间的相互重叠部分则描述了由局部线性到全局非线性的排列信息(Roweis and Saul, 2000)。这样就可以把高维输入数据映射到全局唯一的低维坐标系统。 2、算法流程 LLE算法的基本步骤分为三步：（1）选择邻域（2）计算重构权值矩阵W（3）求低维嵌入Y 3、算法分析 通过前面算法描述我们不难发现，LLE算法可以学习任意维具有局部线性结构的低维流形。它以重构权值矩阵作为高维观测空间与低维嵌入空间之间联系的桥梁，使得数据点与其近邻点在平移、旋转和缩放等变化下保持近邻关系不变。而且LLE算法具有解析的全局最优解，无需迭代。在算法的计算复杂度上，选择邻域的计算复杂度为O(Dn2)，计算重构权值矩阵的计算复杂度为O((D+k)k2n)，求解低维嵌入Y 的计算复杂度为O(dn2)。因此与ISOMAP和MVU算法相比，LLE算法的计算复杂度要小得多。 但LLE算法也存在一些缺点：① 由于LLE算法只是保持局部近邻的重构权值关系，并不是保持距离关系，因此，LLE算法通常不能很好的恢复出具有等距性质的流形。② LLE算法希望样本集均匀稠密采样于低维流形，因此，对于受噪声污染、样本密度稀疏或相互关联较弱的数据集，在从高维观测空间到低维嵌入空间的映射过程中，可能会将相互关联较弱的远点映射到局部近邻点的位置，从而破坏了低维嵌入结果。 第3章 流形学习方法存在的问题 流形学习相对于传统的线性维数约简方法来说，它能够更好地发现高维复杂非线性数据内在的几何结构与规律。但其各种算法本身还存在着一些普遍性的问题，比如本征维数估计问题、近邻数选择问题、噪声流形学习问题、泛化学习问题和监督学习问题等。本小节将对这些问题进行简要的分析和讨论。 3.1 本征维数估计 本征维数估计是流形学习的一个基本问题(赵连伟 et al., 2005)。本征维数一般被定义为描述数据集中所有数据所需要的自由参数（或独立坐标）的最小数目。它反映了隐藏在高维观测数据中潜在低维流形的拓扑属性。在非 线性维数约简过程中，本征维数估计的准确与否对低维空间的嵌入结果有着重要的影响。如果本征维数估计过大，将会保留数据的冗余信息，使嵌入结果中含有噪声；相反如果本征维数估计过小，将会丢失数据的有用信息，导致高维空间中不同的点在低维空间可能会交叠。因此，设计稳定可靠的本征维数估计方法将有助于流形学习算法的应用和性能的改善。 目前现有的本征维数估计方法大致分为两大类：特征映射法和几何学习法(Camastra, 2003)。特征映射法包括全局 PCA 方法(Bennett, 1969)、局部 PCA 方法(Bruske and Sommer, 1998;Fukunaga and Olsen, 1971)和多维尺度分析方法(Cox and Cox, 2000)，它主要利用了数据分布的本征特征是数据的局部特征的基本思想，对局部数据进行特征分解，选取对应特征值最大的特征向量作为本征特征。显然，这类方法所估计的本征维数大小在很大程度上取决于数据的局部邻域划分和阈值的选择，因此特征映射方法不能提供本征维数的可靠估计。几何学习法主要基于最近邻距离（Nearest Neighbor Distances）或分形维（Fractal Dimension）(Camastra, 2003)来探索数据集所蕴含的几何信息，这类方法通常需要充足的样本数，因此，对于样本数少、观测空间维数较高的情况，经常会出现本征维数欠估计的情况。 3.2近邻数选择 流形学习探测低维流形结构成功与否在很大程度上取决于近邻数的选择(Zeng, 2008)，然而在构造近邻图时如何选择一个合适的近邻数是一个公开的问题。如果近邻数选择过大，将会产生“短路边”现象（“short-circuit” edges），从而严重破坏原始流形数据的拓扑连通性。 3.3 噪声流形学习 当观测数据均匀稠密采样于一个理想的低维光滑流形时，流形学习方法可以成功地挖掘出其内在的低维结构和本质规律。但是在实际应用中，我们经常发现高维采样数据由于受各种因素的影响，一般总是存在着噪声和污染，这将势必影响流形学习算法的低维嵌入结果。3.4 监督流形学习 现有的流形学习方法多数用于无监督学习情况，如解决降维与数据可视化等问题。当已知数据的类别信息，如何利用这些信息有效地改进原始流形学习算法的分类识别能力是监督流形学习所要解决的问题。从数据分类的角度来看，人们希望高维观测数据经过维数约简后在低维空间中类内差异小而类间差异大，从而有利于样本的分类识别。原始的流形学习算法都是无监督学习过程，一些引进监督信息的改进算法纷纷被提出来(Li et al., 2009;Zhao et al., 2006)。这些方法的基本思想是利用样本的类别信息指导构建有监督的近邻图，然后利用流形学习方法进行低维嵌入。尽管这些方法能够获得较好的分类结果，但是这种通过类别属性构建的近邻图往往会被分割成多个互不相连的子图，而不是一个完整的近邻图，这就给原始流形学习算法的最终应用带来了很大的不便。 第4章 总结 流形学习是一个具有基础性、前瞻性的研究方向，其研究成果和技术已经立即应用于模式识别、计算机视觉、图像处理等相关领域。如高维数据的可视化、可听化；基于内容检索的模型；视频中三维对象的跟踪和检测；从静态二维图像中进行三维对象的姿态估计和识别；二维和三维对象的形状重构；从运动中构建结构、从阴影中成形等。此外流形学习还应用于自然语言处理、基因表达分析等生物信息处理领域，特别是在基因表达分析中，用于检测和区分不同的疾病和疾病类型。 尽管流形学习的算法和应用在过去的几年中已经取得了丰硕的成果，但是由于其数学理论基础较为深厚复杂，以及多个学科之间交叉融合，所以仍有许多亟需研究和解决的问题，尤其在下述几个方面： 1.目前已有很多流形学习算法，但很多算法只是建立在实验的基础之上，并没有充分理论基础支持，所以我们一方面要进一步探索能够有效学习到流形局部几何和拓扑结构的算法，提高流形投影算法的性能，另外更重要的是要不断完善理论基础。 2.各支几何都是研究空间在变换群下的不变性，微分几何亦是如此。而很多情况下我们正需要这种不变性，所以研究局部样本密度、噪声水平、流形的正则性、局部曲率、挠率结构的交互作用对流形学习的研究有积极促进作用。 3.统计学习理论得到充分发展并逐渐成熟，流形学习理论在其基础上发展自然可以把统计学中有用的技术应用于流形学习中，如流形上的取样和Monte Carlo估计、假设检验，以及流形上关于不变测度的概率分布密度问题，都值得进一步研究。 4.目前大部分学习算法都是基于局部的，而基于局部算法一个很大缺陷就在于受噪声影响较大，所以要研究减小局部方法对于噪声和离群值的影响，提高学习算法鲁棒性及泛化能力。 5.谱方法对噪声十分敏感。希望大家自己做做实验体会一下，流形学习中谱方法的脆弱。 6.采样问题对结果的影响。 7.一个最尴尬的事情莫过于，如果用来做识别，流形学习线性化的方法比原来非线性的方法效果要好得多，如果用原始方法做识别，那个效果叫一个差。也正因为此，使很多人对流形学习产生了怀疑。 8.把偏微分几何方法引入到流形学习中来是一个很有希望的方向。这样的工作在最近一年已经有出现的迹象。 参考文献 [1] R.Basri and D.W.Jacobs.Lambertian reflectance and linear subspaces.IEEE Transactions on Pattern Analysis and Machine Intelligence, 25(2):218–233, 2003.[2] R.Vidal.Subspace clustering.IEEE Signal Processing Magazine, 28(2):52–68, 2011.[3] J.Shi and J.Malik, “Normalized cuts and image segmentation,” IEEE Transactions Pattern Analysis Machine Intelligence, 22(8):888–905, 2000.[4] G.Liu, Z.Lin, S.Yan, J.Sun, Y.Yu, and Y.Ma.Robust recovery of subspace structures by low-rank representation.IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(1):171–184, 2013.[5] E.Elhamifar and R.Vidal.Sparse subspace clustering: Algorithm, theory, and applications.IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(11):2765–2781, 2013.[6] Y.Wang, Y.Jiang, Y.Wu, and Z.Zhou.Spectral clustering on multiple manifolds.IEEE Transactions on Neural Networks, 22(7):1149–1161, 2011.[7] B.Cheng, G.Liu, J.Wang, Z.Huang, and S.Yan, Multi-task low rank affinity pursuit for image segmentation, ICCV, 2011.[8] C.Lang, G.Liu, J.Yu, and S.Yan, Saliency detection by multitask sparsity pursuit, IEEE Transactions on Image Processing, 21(3): 1327–1338, 2012.第三篇：普开数据大数据培训项目开发实习总结
第四篇：在普开数据大数据培训班学习的日子
第五篇：大数据课程报告
点击咨询 