北邮 大数据技术课程重点总结[五篇范文]

时间:2019-05-12 14:58:44下载本文作者:会员上传
简介:写写帮文库小编为你整理了多篇相关的《北邮 大数据技术课程重点总结》,但愿对你工作学习有帮助,当然你在写写帮文库还可以找到更多《北邮 大数据技术课程重点总结》。

第一篇:北邮 大数据技术课程重点总结

大数据技术

1.什么是数据挖掘,什么是机器学习: 什么是机器学习

关注的问题:计算机程序如何随着经验积累自动提高性能; 研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能; 通过输入和输出,来训练一个模型。

2.大数据分析系统层次结构:应用层、算法层、系统软件层、基础设施层 3.传统的机器学习流程

预处理-》特征提取-》特征选择-》再到推理-》预测或者识别。

手工地选取特征是一件非常费力、启发式(需要专业知识)的方法,如果数据被很好的表达成了特征,通常线性模型就能达到满意的精度。

4.大数据分析的主要思想方法

4.1三个思维上的转变

关注全集(不是随机样本而是全体数据):面临大规模数据时,依赖于采样分析;统计学习的目的——用尽可能少的数据来证实尽可能重大的发现;大数据是指不用随机分析这样的捷径,而是采用大部分或全体数据。关注概率(不是精确性而是概率):大数据的简单算法比小数据的复杂算法更有效 关注关系(不是因果关系而是相关关系):建立在相关关系分析法基础上的预测是大数据的核心,相关关系的核心是量化两个数据值之间的数理关系,关联物是预测的关键。

4.2数据创新的思维方式

可量化是数据的核心特征(将所有可能与不可能的信息数据化);挖掘数据潜在的价值是数据创新的核心;三类最有价值的信息:位置信息、信令信息以及网管和日志。数据混搭为创造新应用提供了重要支持。

数据坟墓:提供数据服务,其他人都比我聪明!

数据废气:是用户在线交互的副产品,包括了浏览的页面,停留了多久,鼠标光标停留的位置、输入的信息。

4.3大数据分析的要素

大数据“价值链”构成:数据、技术与需求(思维);数据的价值在于正确的解读。5.数据化与数字化的区别

数据化:将现象转变为可制表分析的量化形式的过程;

数字化:将模拟数据转换成使用0、1表示的二进制码的过程

6.基于协同过滤的推荐机制

基于协同过滤的推荐(这种机制是现今应用最为广泛的推荐机制)——基于模型的推荐(SVM、聚类、潜在语义分析、贝叶斯网络、线性回归、逻辑回归)余弦距离(又称余弦相似度):表示是否有相同的倾向 欧几里得距离(又称欧几里得相似度):表示绝对的距离 这种推荐方法的优缺点:

它不需要对物品或者用户进行严格的建模,而且不要求物品的描述是机器可理解的;推荐是开放的,可以共用他人的经验,很好的支持用户发现潜在的兴趣偏好。数据稀疏性问题,大量的用户只是评价了一小部分的项目,而大多数的项目是没有进行评分;冷启动问题,新物品和新用户依赖于用户历史偏好数据的多少和准确性,一些特殊品味的用户不能给予很好的推荐。

7.机器学习:构建复杂系统的可能方法/途径

机器学习使用场景的核心三要素:存在潜在模式、不容易列出规则并编程实现、有历史的数据

8.机器学习的基础算法之PLA算法和Pocket算法(贪心PLA)

感知器——线性二维分类器,都属于二分类算法

二者的区别:迭代过程有所不同,结束条件有所不同; 证明了线性可分的情况下是PLA和Pocket可以收敛。

9.机器为什么能学习

学习过程被分解为两个问题:

能否确保Eout(g)与 Ein(g)足够相似? 能否使 Ein(g)足够小?

规模较大的N,有限的dVC,较低的Ein条件下,学习是可能的。

切入点:利用具体特征的,基于有监督方式的,批量学习的分析,进行二分类预测。

10.VC维:

11.噪声的种类:

12.误差函数(损失函数)

13.给出数据计算误差

14.线性回归算法:简单并且有效的方法,典型公式

线性回归的误差函数:使得各点到目标线/平面的平均距离最小!

15.线性回归重点算法部分:

16.线性分类与线性回归的区别:

17.过拟合:

原因:模型复杂太高,噪声,数据量规模有限。解决方案:使用简单的模型,数据清洗(整形),正则化,验证。

18.正则化

19.分布式文件系统: 一种通过网络实现文件在多台主机上进行分布式存储的文件系统;分布式文件系统一般采用C/S模式,客户端以特定的通信协议通过网络与服务器建立连接,提出文件访问请求;客户端和服务器可以通过设置访问权限来限制请求方对底层数据存储块的访问。

20.计算机集群结构:

分布式文件系统把文件分布存储到多个计算机节点上,成千上万的计算机节点构成计算机集群。

与之前使用多个处理器和专用高级硬件的并行化处理装置不同的是,目前的分布式文件系统所采用的计算机集群都是由普通硬件构成的,因此大大降低了硬件上的开销。

21.分布式文件系统的结构:

分布式文件系统在物理结构上是由计算机集群中的多个节点构成,这些节点分为两类,一类叫“主节点”(MasterNode)或者也被称为“名称结点”(NameNode),另一类叫“从节点”(Slave Node)或者也被称为“数据节点。

22.HDFS 主要特性:兼容廉价的硬件设备、支持大数据存储、流数据读写、简单的文件模型、强大的跨平台兼容性;

局限性:不适合低延迟数据处理、无法高校存储大量小文件、不支持多用户写入及任意修改文件

块:

hdfs的名称节点存储元数据、元数据保存在内存中、保存文件,block,datanode之间的映射关系;hdfs的数据节点存储文件内容、文件内容保存在磁盘、维护了block id到datanode本地文件的映射关系。

23.分布式数据库概述:

四类典型的作用于大数据存储和管理的分布式数据库:并行数据库、NoSQL数据管理系统、NewSQL数据管理系统、云数据管理系统。并行数据库:

NoSQL数据管理系统:

NewSQL数据管理系统:

云数据管理系统:

Nosql简介:数据模型灵活、简洁;水平可扩展性强;系统吞吐量高; 关系数据库无法满足大数据表现:无法满足海量数据的管理需求、无法满足数据高并发的需求、无法满足高可拓展性和高可用性的需求。

Nosql与关系数据库的比较:

NoSQL的四大类型:键值数据库、列族数据库、文档数据库、图形数据库

NoSQL的理论基础(CAP与ACID、BASE)CAP:

一个分布式系统不可能同时满足一致性、可用性和分区容忍性这三个需求。

ACID(关系数据库的事务具有的四个特性)

BASE

NoSQL到NewSQL:

大数据应用:

百度大数据引擎的构成:开放云、数据工厂、百度大脑 开放云:

数据工厂:

百度大脑:

阿里大数据应用:去IOE

大数据在电信行业的应用:

24.分布式并行编程框架MapReduce 25.MapReduce的体系结构:Client、JobTracker、TaskTracker、Task

MapReduce的工作流程:

Split(分片):

Map端的Shuffle过程详解:

Reduce端的shuffle详解:

MapReduce小结:

26.Spark特点:

Hadoop的局限性:

Spark生态系统:

RDD:

RDD的优势:

RDD之间依赖关系的两种类型:

Stage划分:

Sprak小结:

流数据:

流计算处理流程:数据实时采集(保证实时性、低延迟、可靠稳定)、数据实时计算、实时查询服务(实时查询服务可以不断更新结果,并将用户所需的结果实时推送给用户)。

流处理系统与传统数据处理系统的区别:

开源流计算框架——Storm(免费、开源的分布式实时计算系统):

Storm的工作流程:

流计算小结:

图计算系统——Pregel简介:

BSP模型:

图计算小结:

Pregel计算模型:

Pregel执行过程:

Pregel容错机制:

HBase:

BigTable:特点:

HBase:

HBase与传统关系数据库的对比:

HBase数据模型:

HBased 中的数据坐标:

HBase功能组件:

Region的定位:

HBased 系统架构:

Region服务器工作原理:

第二篇:信息安全课程总结(北邮)

1.It has been shown that complex networks including the internet are resilient to indepent random falilures but fragile to intentional atacks.2.什么是信息安全管理:信息的保密性、完整性和有效性,业务的永续性。有效的信息共享机制 3.信息资产:硬件,软件,网络,通讯,资料,人员,服务

4.信息安全:是保护资产的一种概念、技术及管理方法。是信息资产免受有意或无意的泄露、破坏、遗失、假造以及未经授权的获取、使用和修改。

5.安全属性,通俗的说,进不来,拿不走,改不了,看不懂,跑不了

6.从目标保护角度看信息安全:涉及机密性、完整性、可用性(信息安全金三角)。7.机密性:confidentiality 完整性integrity 可用性availability 真实性Authentication 不可抵赖性non-repudiation 8.ITU-T的安全框架X-80-端到端通信的安全架构,三个平面,三个层次,8个维度 9.三个平面:p1最终用户平面,p2控制平面,p3管理平面 10.三个层次:L1应用安全,L2服务安全,L3基础设置安全

11.8个维度访问控制,认证,不可否认,数据保密性,通信安全,数据完整性,可用性,隐私。12.安全模型

1)风险评估常用模型

2)纵深防御模型3)(基于时间的安全体系)模型P>D+R P:protection防护手段所能支持的视觉D:detection检测手段发现入侵所需要的时间R:事件响应机制采取有效措施所需的时间

13.安全---及时的检测和处理指导思想:快速检测、有限影响、快速溯源、快速恢复相应的安全机制。14.其他模型,PDRR—保护,检测,响应,恢复P2DR 策略P,保护P,检测D,响应R 15.APT(Advanced Persistent Threat)高级,持续的攻击

16.攻击的分类:active attack,主动攻击 Passive attack被动攻击 17.攻击的一般过程:预攻击,攻击,后攻击

18.预攻击,目的,收集新,进行进一步攻击决策。内容:获得域名及IP分布,获得拓扑及OS等,获得端口和服务获得应用系统情况跟踪新漏洞发布

19.攻击,目的:进行攻击。内容:获得权限,进一步扩展权限,进行实质性操作

20.后攻击, 目的:消除痕迹,长期维持一定的权限内容:植入后门木马,删除日志,修补明显的漏洞,进一步渗透扩展。

21.IP网络面临的安全威胁

1)恶意攻击:网络扫描,Ddos,会话劫持,欺骗和网络钓鱼 2)误用和滥用(内部和外部)配置错误、缺省配置,内部窃取,内部越权,操作行为抵赖 3)恶意代码:病毒和蠕虫,木马逻辑炸弹,时间炸弹。

22.漏洞预防:安全意识,安全审记 23.漏洞检测:渗透测试,风险评估 24.漏洞修复:补丁(patch)管理 25.源代码审核(白盒),逆向工程(灰盒),FUZZing(黑盒)

26.密码学在信息网络安全中的作用:机密性,完整性,鉴别性,抗抵赖性。27.密码学(cryptology):密码编码学(cryptography)和密码分析学(cryptanalytics)28.密码编码学就是研究对数据进行变换的原理、手段和方法的技术和科学。

29.密码分析学是为了取得秘密的信息,而对密系统及其流动的数据进行分析,是对密码原理、手段和方法进行分析、攻击的技术和科学。

30.明文plain text,clear text:需姚秘密传送的消息 31.密文:cipher text:明文经过密码变换后的消息 32.加密:Encryption:由明文到密文的变换

33.解密:Decryption:从密文恢复出明文的过程。

34.破译:Cryptanalysis:非法接受者视图从密文分析出明文的过程

35.加密算法Encryption algorithm:对明文进行加密时采用的一组规则 36.解密算法:Decryption Algorithm:对密文进行解密时采用的一组规则 37.密钥Key:加密和解密时使用的一组秘密信息

38.密码系统:一个密码系统可以用以下数学符号描述:S=(P,C,K,E,D)P=明文空间C=密文空间K=密钥空间E加密算法D=解密算法

39.当给定秘钥k属于K时,加解密算法分别记作Ek、Dk,密码系统表示为:Sk={P,C,k,Ek,Dk} C=Ek(P)P=Dk(C)=Dk(Ek(P))40.安全性体现在:1)破译的成本超过加密信息的价值2)破译的时间超过该信息有用的生命周期

41.无条件安全:若密文中不含明文的任何信息,则认为该密码体制是安全的,否则就认为是不安全的。无论提供的密文有多少,由一个加密方案产生的密文中包含的信息不足以唯一地决定对应的明文

42.对于一个加密方案,如果任意概率多项式时间(PPT)的敌手在上述游戏中的优势是可忽略的,则称该加密方案是IND-CCA,安全,建成CCA安全。对应选择明文攻击游戏,成为IND—CPA安全,简称CPA安全。43.CPA安全是公钥加密机制的最基本要求,CCA安全是公钥加密机制更强的安全性要求

44.密钥的选择,1)Degree of security 2)speed :加密与解密运算速度 3)key length 关系到key的存储空间,算法的安全性,key space 密钥空间 4)public/private:通常公开的算法,经过了更多的测试 5)专利的出口限制问题

45.密码算法分类:1)受限制的(restricted)算法:算法的保密性基于保持算法的秘密。2)基于密钥(key-based)的算法:算法的保密性基于对密钥的保密

46.古典密码学被传统密码学所借鉴,加解密都很简单,易被攻破,属于对称密钥算法;包括置换密码、代换密码。

47.古典密码:1)置换密码,用加密置换去对消息进行加密 2)代换密码:明文中的字幕用相应的密文字幕进行替换,单表代换密码,多表代换密码。

48.编码的原则:加密算法应建立在算法的公开不影响明文和密钥的安全的基础上。这条原则成为判定密码强度的衡量标准,实际上也是古典密码和现代密码的分界线。2)其基本特点:加密和解密采用同一个缪尔3)基本技术,替换/置换和移位

49.密码学的第一次飞跃:1949年Shannon发表了《保密通信的信息理论》论文。50.密码学的第二次飞跃:《密码编码学新方向》提出公开密钥的思想

51.DES,数据加密标准,EES,密钥托管加密标准DSS数字签名标准,AES高级数据加密标准

52.基于密钥的算法,按照密钥的特点分类

1)对称密钥算法(symmetric cipher):又称传统密码算法(conventional cipher),就是加密密钥和解密密钥相同,或实质上等同,即从一个易于退出另一个。又称秘密密钥算法或单密钥算法2)非对称密钥算法:(asymmetric cipher):加密密钥和解密密钥不同,从一个很难推出另外一个。又称公开密钥算法(public-key cipher)。公开密钥算法用一个密钥进行加密,而用另一个进行解密,其中的加密密钥可以公开,又称为公开密钥(publickey),简称公钥。解密密钥必须保密,又称为四人密钥(private key)私钥,简称私钥3)混合密钥体制

53.分组密码(block cipher):将明文分成固定长度的组,用同一密钥和算法对每一块加密,输出也是固定长度的密文。

54.流密码(stream cipher):又称序列密码。序列密码每次加密一位的明文。序列密码是手工和机械密码时代的主流。

55.密码模式:以某个分组密码算法为基础,对任意长度的明文加密的方法 56.电码本ECB(Electronic Code Book)

57.密码分组链接CBC(Cipher Block Chaining)58.密码反馈CFB(Cipher FeedBack)59.输出反馈OFB(Output FeedBack)60.计数器模式(counter mode)61.分组链接BC(Block Chaining)

62.扩散密码分组链接PCBC(Propagating Cipher Block Chaining)

63.ECB1实现简单, 2不同明文分组的加密可并行处理硬件实现3密文中的误码不会影响其它分组的解密4无法恢复同步错误5相同明文分组对应相同密文分组,因而不能隐蔽明文分组的统计规律和结构规律5不能抵抗替换攻击.(特别当明文为结构数据时),需增加完整性检查字段

ECB应用:1单分组明文的加密2各明文块间无冗余信息:如随机数 65 密码分组链接CBC加密算法的输入是当前明文组与前一密文组的异或。

密码反馈(CFB-Cipher Feedback)模式,CBC模式,整个数据分组需要接收完后才能进行加密。若待加密消息需按字符、字节或比特处理时,可采用CFB模式。并称待加密消息按j 比特处理的CFB模式为j 比特CFB模式。适用范围:适用于每次处理j比特明文块的特定需求的加密情形,能灵活适应数据各格式的需要.67 优点:(1)适用于每次处理j比特明文块的特定需求的加密情形;(2)具有有限步的错误传播,可用于完整性认证;(3)可实现自同步功能:该工作模式本质上是将分组密码当作序列密码使用的一种方式,DES分组加密并不直接对明文加密,它产生的乱数j可作为流加密的key!68 缺点:加密效率低。

输出反馈(OFB-Output Feedback)模式

OFB模式在结构上类似于CFB模式,但反馈的内容是DES输出的j位乱数而不是密文!70 优点:(1)这是将分组密码当作序列密码使用的一种方式,序列密码与明文和密文无关!(2)不具有错误传播特性!71 适用范围:(1)明文的冗余度特别大,信道不好但不易丢信号,明文有误码也不影响效果的情形。如图象加密,语音加密等。(2)OFB安全性分析表明,j应与分组大小相同。72 缺点:(1)不能实现报文的完整性认证。(2)乱数序列的周期可能有短周期现象

总评:1)ECB模式简单、高速,但最弱,易受重发和替换攻击。商业软件中仍应用,可用于无结构小数据。2)低丢包率,低误码率,对明文的格式没有特殊要求的环境可选用CBC模式。需要完整性认证功能时也可选用该模式。3)高丢包率,或低误码率,对明文格式有特殊要求的环境(如字符处理),可选用CFB模式。4)低丢包率,但高误码率,或明文冗余多,可选用OFB模式。(但加密前先将明文压缩是一种安全的方法)

对称加密,1)对称加密算法中加密和解密使用相同的密钥。2)对称加密算法工作原理可以用下列公式表示:加密(明文,密钥)=密文解密(密文,密钥)=明文

对称密钥算法的优缺点,优点,加解密速度快。缺点:1)网络规模扩大后,密钥管理很困难2)无法解决消息确认问题3)缺乏自动检测密钥泄露的能力

DES(Data Encryption Standard)是第一个得到广泛应用的密码算法;DES是一个分组加密算法,它以64位为分组对数据加密。同时DES也是一个对称算法,即加密和解密用的是同一个算法。它的密钥长度是56位 77 分组密码设计准则

1)混淆(confusion):用于掩盖明文和密文间的关系。在加密变换过程中使明文、密钥以及密文之间的关系尽可能地复杂化,以防密码破译者采用统计分析法,通过研究密文以获取冗余度和统计模式。2)扩散(diffusion):通过将明文冗余度分散到密文中使之分散开来。密码分析者寻求这些冗余度将会更难。(扩散函数,通过换位,亦称置换)3)迭代结构:选择某个较为简单的密码变换,在密钥控制下以迭代方式多次利用它进行加密变换,就可以实现预期的扩散和混乱效果。(轮函数)

密钥编排算法ki是64bit密钥k产生的子密钥,Ki是48bit。密钥k长度:56比特,每7比特后为一个奇偶校验位(第8位),共64比特

DES的破译分析:56比特密钥太短,已抵挡不住穷尽密钥搜索攻击

3DES 是DES算法扩展其密钥长度的一种方法,可使加密密钥长度扩展到128位(112位有效)或192位(168位有效)。其基本原理是将128位的密钥分为64位的两组,对明文多次进行普通的DES加解密操作,从而增强加密强度。

AES(Advanced Encryption Standard)高级加密标准

公钥密码学的出现使大规模的安全通信得以实现–解决了密钥分发问题;

非对称密码技术又称公钥密码技术,或双钥密码技术,即加密和解密数据使用不同的密钥。

RSA是一种分组密码,其理论基础是一种特殊的可逆模指数运算,其安全性基于分解大整数的困难性 85 RSA算法的使用加密,签名,密钥交互

1.加解密2.数字签名与身份认证3.加密和数字签名同时使用4.密钥交换 86 非对称密钥算法的优缺点优点:1)可以适用网络的开放性要求,密钥管理相对简单;2)可以实现数字签名,认证鉴权和密钥交换等功能。缺点,算法一般比较复杂,加解密速度慢

私有密钥法和公开密钥法比较

1)加密、解密的处理效率2)密钥的分发与管理

3)安全性4)数字签名和认证

88.在上述流程中利用接收方公开密钥对加密信息原文的密钥P进行加密后再定点传送,这就好比用一个安全的“信封”把密钥P封装起来,所以称做数字信封。因为数字信封是用消息接收方的公钥加密的,只能用接收方的私钥解密打开,别人无法得到信封中的密钥P,好像挂号信,必须有私人签章才能获得一样。采用公开密钥加密法的数字信封,实质上是一个能分发、传播称密钥的安全通道。89.ABE(Attribute-Based Encryption)基于属性的密码系统

90.消息认证MAC(Message Authentication Code)消息摘要Message Digest消息摘要算法采用单向散列(hash)函数从明文产生摘要密文。摘要密文又称为数字指纹(Digital Fingerprint)、数据认证码DAC(Data authentication code)、篡改检验码MDC(Manipulation detection code)消息的散列值由只有通信双方知道的秘密密钥K来控制,此时散列值称作消息认证码MAC(Message Authentication Code)91.消息认证使收方能验证消息发送者及所发消息内容是否被窜改过。当收发者之间没有利害冲突时,这对于防止第三者的破坏来说是足够了。但当收者和发者之间有利害冲突时,就无法解决他们之间的纠纷。在收发双方不能完全信任的情况下,引入数字签名来解决上述问题 92.传统签名的基本特点1)不可重用,与被签的文件在物理上不可分割2)不可抵赖,签名者不能否认自己的签名3)签名不能被伪造4)容易被验证

数字签名是传统签名的数字化1)能与所签文件“绑定”2)签名者不能否认自己的签名 3)容易被自动验证4)签名不能被伪造

93.普通数字签名算法1)RSA 2)ElGamal /DSS/DSA 3)ECDSA Elliptic Curve Digital Signature Algorithm盲签名算法群签名算法

94.数字签名标准DSS(Digital Signature Standard)DSS和DSA是有所不同的:前者是一个标准,后者是标准中使用的算法

95.DSA与RSA 反对DSA的意见主要包括:1)DSA不能用于加密或密钥分配2)DSA是由NSA研制的,并且算法中可能存在陷门3)DSA比RSA要慢

二者产生签名的速度相同,但验证签名时DSA要慢10至40倍,其产生密钥的速度比RSA快。4)RSA是事实上的标准5)DSA的选择过程不公开,并且提供的分析时间不充分6)DSA可能侵犯其他专利:DSA侵犯了三个专利:Diffle-Hellman、Merkle-Hellman、Schnorr,前两个1997年已到期,Schnorr专利到2008年。7)密钥长度太小 96.其他签名方案:盲签名群签名环签名Ring signature门限签名

97.数字水印(Digital Watermark)是指永久镶嵌在其它数据(主要指宿主数据)中具有可鉴别性的数字信号或数字模式。数字水印的主要特征:1)不可感知性2)鲁棒性3)可证明性4)自恢复性5)安全保密性

98.密钥管理技术是信息安全的核心技术之一。包括密钥的产生,生成,分发,验证,存储,备份,保护,吊销,更新。

99.密钥的组织结构——多层密钥系统基本思想:用密钥保护密钥一个系统中常有多个密钥

100.密钥分发(分配,交换)密钥分发是密钥管理中的一个关键因素,目前已有很多密钥分配协议,但其安全性是一个很重要的问。按分发的内容1)秘密密钥的分发2)公开密钥的分发

101.密钥分发中的威胁1:消息重放应对:在认证交换中使用序列号,使每一个消息报文有唯一编号。仅当收到的消息序数顺序合法时才接受

101.抵抗消息重放的方法1)时间戳2)挑战/应答方式

103.密钥分发中的威胁2:中间人攻击对策:使用数字签名的密钥交换联锁协议是阻止中间人攻击的好办法 104 典型的自动密钥分配途径有两类:集中式分配方案和分布式(无中心的)分配方案。1)集中式分配是指利用网络中的“密钥管理中心”来集中管理系统中的密钥,“密钥管理中心”接受系统中用户的请求,为用户提供安全分配密钥的服务。

105)分布式分配方案取决于它们自己的协商,不受任何其他方面的限制。105 密钥管理体制主要有三种:1)适用于封闭网的技术,以传统的密钥管理中心为代表的KMI机制(Key Management Infrastructure,密钥管理基础设施);2)适用于开放网的PKI机制(Public Key Infrastructure,公开密钥基础设施);3)适用于规模化专用网的SPK 106 Public Key infrastructure,公钥基础设施。数字证书(Digital Certificate)提供一种在Internet上验证身份的方式,是用来标志和证明网络通信双方身份的数字信息文件。使公钥系统得以提供认证、数据完整性、机密性和不可否认等安全服务

107数字证书的内容,最简单的证书包含一个公开密钥、名称以及证书授权中心的数字签名 107数字证书格式。1)证书的版本号2)数字证书的序列号3)证书拥有者的姓名 4)证书拥有者的公开密钥5)公开密钥的有效期6)签名算法7)颁发数字证书的验证 108 证书机构Certification Authority(CA)证书机构就是可以签发数字证书的信任机构 109 公钥密码标准PKCSpkcs7包括6种数据内容:数据(data),签名数据(sign),数字信封数据(enveloped),签名数字信封数据(signed_and_enveloped),摘要数据(digest),加密数据(encrypted)

CMP(Certificate Management Protocol)证书管理协议CMC(Certificate Management Messages)证书管理信息

证书吊销1)CA在证书过期之前使证书失效2)CA需要两种方法来吊销证书并通知吊销的终端实体– CRL(Certificate Revocation List)– OCSP,CRL,Certificate Revocation List,证书吊销列表

112Online Certificate StatusProtocol,在线证书状态协议 1)请求-响应模式2)客户发送OCSP请求(证书有效吗?)3)服务器发送OCSP响应(证书有效/无效/不确定)112交叉证明指CA之间互相证明以建立一种横向信任关系,这是一种对等信任模型

混合(Hybrid)模型是证书层次结构同交叉证明的结合。交叉证明可以在两个层次结构的任何两个CA间进行,信任仅存在于这两个CA及其下面的子CA之间

114.PMI授权管理基础设施 1)授权服务管理2)访问控制机制

PMI系统主要分为授权管理中心(又称AA中心)和资源管理中心(又称RM中心)两部分。116 PMI以资源管理为核心,对资源的访问控制权统一交由授权机构统一处理,即由资源的所有者来进行访问控制。同公钥基础设施PKI相比,两者主要区别在于:

1)PKI证明用户是谁,而PMI证明这个用户有什么权限,能干什么。2)PMI(授权管理基础设施)需要PKI(公钥基础设施)为其提供身 份认证。

PMI与PKI在结构上是非常相似的。信任的基础都是有关权威机构,由他们决定建立身份认证系统和属性特权机构。1)在PKI中,由有关部门建立并管理根CA,下设各级CA、RA和其它机构; 2)在PMI中,由有关部门建立授权源SOA,下设分布式的AA和其它机构。

1、误用检测模型(Misuse Detection):收集非正常操作的行为特征,建立相关的特征库,当监测的用户或系统行为与库中的记录相匹配时,系统就认为这种行为是入侵。

2、有时也被称为特征分析(Signature Analysis)或基于知识的检测(Knowledge-based Detection).异常检测模型(Anomaly Detection):首先总结正常操作应该具有的特征(Normal Usage Profile)),当用户活动与正常行为有重大偏离时即被认为是入侵(度量及门限)

3、入侵检测系统,通常来说包括三个主要功能部件(1)信息收集(2)信息分析(3)结果处理

4、信息收集的来源:系统或网络的日志文件、系统目录和文件的异常变化、程序执行中的异常行为、网络流量

5、数据预处理模块:从各种数据源采集上来的数据,需要经过预处理才能够加以分析。

6、分析模块:分析模块是入侵检测系统的核心模块,它完成对事件的分析和处理。分析模块可以采用现有的各种方法对事件进行分析,在对事件进行分析后,确定该事件是否是攻击,如果是就产生报警,如果不能够确定,也要给出一个怀疑值。分析模块根据分析的结果,决定自己怀疑的数据是否要送给关联模块进行数据融合。

7、关联模块:关联模块进行数据融合的主要目的就是综合不同分析模块送报上来的已给出怀疑值的事件,判断是否存在分布式攻击。

8、管理模块:管理模块接到报警等信息后,决定是否采取响应,采取何种响应。

9、入侵检测技术可分为两类:误用检测(Misuse Detection):首先定义违背安全策略的事件的特征,检测主要判别这类特征是否在所收集到的数据中出现。异常检测(Anomaly Detection):建立系统“正常”情况的模型,后将系统运行时的数值与所定义的“正常”情况比较,得出是否有被攻击的迹象。

10、入侵检测的常用方法专家系统、统计分析、利用人工智能自动规则发现:神经网络,模糊系统,遗传算法,免疫系统,数据挖掘,深度学习

11、模式匹配的方法用于误用检测。它建立一个攻击特征库,然后检查发过来的数据是否包含这些攻击特征,判断它是不是攻击。算法简单,准确率相对异常检测高。缺点只能检测已知攻击,对于无经验知识的入侵与攻击行为无能为力模式库需要不断更新,且模式更复杂(实时性,误报率)对于高速大规模网络,由于要处理分析大量的数据包,这种方法的速度成问题。

12、基于统计分析的检测技术根据系统中特征变量(如:事件的数量、间隔时间、资源消耗、流量等)的历史数据建立统计模型historical statistical profile)对正常数据的各个特征进行统计,根据统计结果对每一个特征设定一个正常范围的门限。

这些特征和相应的门限组成检测的统计模型动态更新:模式向量随时间衰减,并将新的用户行为所产生的审计数据嵌入到知识库中,计算出新的模式向量存储在知识库中。运用该模型对特征变量未来的取值进行预测和检验偏离,从而判断是否发生入侵。(异常检测)

13、统计检测

1、操作模型:假设异常可通过测量结果与一些固定指标相比较得到,固定指标根据经验值或一段时间内的统计平均得到,例:短时间内的多次失败的登录可能是口令尝试攻击;

2、多元模型,操作模型的扩展,同时分析多个参数实现检测;

3、方差模型,计算参数的方差,设定其置信区间,当测量值超过置信区间的范围时表明有可能是异常;

4、马尔柯夫Markov过程模型,将每种类型的事件定义为系统状态,用状态转移矩阵来表示状态的变化,当一个事件发生时,或状态矩阵该转移的概率较小则可能是异常事件;

5、时间序列分析,将事件计数与资源耗用根据时间排成序列,如果一个新事件在该时间发生的概率较低,则该事件可能是入侵。优点:

•不需要很多先验知识,有较为成熟的统计方法可以应用

•动态性好,用户行为改变时,相对应的度量能产生一致性的变化,保证行为模式的更新 问题:

•难以提供实时检测和自动响应功能:大多数统计分析系统是以批处理的方式对审计记录进行分析的,因此检测系统总是滞后于审计记录的产生

•对入侵发生的顺序不敏感:许多预示着入侵行为的系统异常都依赖于事件的发生顺序,但是统计分析的特性导致了它不能反映事件在时间顺序上的前后相关性,因此事件发 生的顺序通常不作为分析引擎所考察的系统属性;•阈值难以确定:门限值如选择得不当,就会导致系统出现大量的错误报警。专家系统

入侵的特征抽取与表达,是入侵检测专家系统的关键。基于规则的入侵检测技术:在系统实现中,将有关入侵的知识转化为if-then结构,条件部分为入侵特征,then部分 是系统防范措施。

基于状态转移图的入侵检测技术:状态转移图用来描述复杂和动态入侵过程的时序模式特征,可以表示入侵事件发生的时序关系和相关性,使入侵的行为、状态、上下文环境背景和发生的过程与步骤得到直观的描述。

基于专家系统的检测技术的特点: •误报少准确性高

•只能发现已知攻击,难以准确识别同一种攻击的变种,对未知的攻击不具备检测的能力。同时规则库的建立及维护代价高,且容易出现冗余、矛盾、蕴含等问题。

运用专家系统防范有特征入侵行为的有效性完全取决于专家系统知识库的完备性,知识库的完备性又取决于审计记录的完备性与实时性。基于生物系统模拟的检测技术

基于神经网络:由神经元通过突触连接。如BP网络是一种多层前馈神经网络,包括输入层、隐层和输出层。当学习样本提供给网络后,在输出层得到对输入的响应,按照减少目标输出与实际输出误差的方向,从输出层经过各隐层逐层修正各连接权值,以达到神经网络 的实际输出与期望输出的最大拟和,从而实现分类。特点:

•需要学习训练,系统有可能趋向于形成某种不稳定的网络结构,不能从 训练数据中学习到特定的知识

•不使用固定的系统属性集来定义用户行为,具备了非参量化统 计分析的优点

•通常无法对判断为异常的事件提供任何解释或说明信息,不利于对入侵 进行分析并采取相应对策

人工免疫的检测技术:生物免疫系统具有健壮性、记忆能力、容错能力、动态稳定性以 及异常检测等良好特性”这些特性与一个合格的网络入侵检测系统有很高的相似性

遗传算法:基于选择、交叉和变异等基因操作。以适应度函数fittest function为启发式搜索函数,通常以分类正确率为度量,确定能表达某一类攻击的各参数特征。基于数据挖掘

数据挖掘(data mining)也称为知识发现技术,其目的是要从海量数据中提取出我们所感兴趣的数据信息(知识):统计学的数学理论+机器学习的计算机实践

•预测:根据数据其他属性的值来预测特定属性的值

•分类的任务是对数据集进行学习,从而构造拥有预测功能的分类函数或分类模型(分类器),把未知样本标注为某个预先定义的类别。

•离群点分析(outlier mining):发现离群点并对其进行处理的过程。离群点是与数据集中大部分数据的观测值明显不同的数据。

•描述:发现概括数据中潜在的联系模式 •聚类分析特别适合用来讨论样本间的相互关联,在事先对数据集的分布没有任何了解的情况下,按照数据之间的相似性度量标准将数据集自动划分为多个簇。

•关联分析用于寻找数据集中不同项之间的潜在的联系。例如,通过关联规则挖掘发现数据间的关系,或通过序列分析发现有序事物间的先后关系。

入侵检测系统中的数据挖掘算法,目前主要包括3种:: •数据分类(data classification):连接(会话)记录的误用检测 •关联分析(association analysis):用户行为模式的异常检测 •序列挖掘(sequence mining):用户行为模式的异常检测

MADAMID(Mining Audit Data for Automated Model for Intrusion Detection)•误用检测,离线检测,利用规则分类算法RIPPER对审计数据进行归纳学习来得到描述类的模型  ADAM(Audit Data Analysis and Mining)项目•异常检测,关联规则与分类 告警融合

网络入侵检测系统分析的数据源是网络数据包,在一些情况下很容易突然产生大量相似的警报,称之为警报洪流。例如攻击者可以通过发送大量经过精心设计的数据包使得入侵检测系统出现警报洪流,或是所检测的网络中某些服务器提供的一些固有服务产生的数据可能被误检测为入侵数据从而出现警报洪流。

在出现警报洪流时,入侵检测系统检测到的真正入侵行为所产生的警报就会被淹没,很难被管理员发现。因此有必要实现告警融合。

研究:关联分析方法对IDS产生的告警进行关联 告警聚集

由于警报洪流中的警报一般是相似的,相似的报警在一个较短时间内多次出现是没有必要的,因此可以通过将多条相似的警报合并成为一条警报从而避免出现警报洪流或降低警报洪流的规模。这就叫做告警聚类,将特征相似的警报合并在一起,聚类(cluster)算法所依据的规则是警报的相似规则。

通过事先定义好的攻击过程进行事件关联:通过机器学习或人类专家来得到各种攻击过程,将这些攻击过程作为模板输入到系统中去,然后系统就可以将新的报警同这些攻击过程模板相比较,进行实时关联。

通过事件的前因和后果进行事件关联:任何一个攻击都具有前因和后果。所谓前因就是攻击要实施所必须具有的前提条件,后果就是攻击成功实施后所造成的结果。在一个有多个攻击动作组成的入侵过程中,一个攻击的后果就是下一个攻击前因。基于这一思想,首先定义每一个单独攻击的前因、后果,然后就可以将具有因果关系的攻击关联在一起,重现整个攻击过程。

大题:

一.攻击的分类:1)active attack,主动攻击包括:网络扫描、拒绝服务攻击、缓冲区溢出、欺骗和网络钓鱼(Phishing)、信息篡改、会话劫持、隐密通道(covert channel)等攻击方法2)Passive attack被动攻击包括:嗅探、流量分析、信息收集等攻击方法

1)从攻击的目的来看,可以有拒绝服务攻击(Dos)、获取系统权限的攻击、获取敏感信息的攻击; 2)从攻击的切入点来看,有缓冲区溢出攻击、系统设置漏洞的攻击等;

3)从攻击的纵向实施过程来看,有获取初级权限攻击、提升最高权限的攻击、后门攻击、跳板攻击等; 4)从攻击的目标来看,包括对各种应用系统的攻击(系统攻防)、对网络设备的攻击(网络攻防)二常见的网络攻击:

TCP SYN拒绝服务攻击一般情况下,一个TCP连接的建立需要经过三次握手的过程,即:

1、建立发起者向目标计算机发送一个TCP SYN报文;

2、目标计算机收到这个SYN报文后,在内存中创建TCP连接控制块(TCB),然后向发起者回送一个TCP ACK报文,等待发起者的回应;

3、发起者收到TCP ACK报文后,再回应一个ACK报文,这样TCP连接就建立起来了。利用这个过程,一些恶意的攻击者可以进行所谓的TCP SYN拒绝服务攻击:

1、攻击者向目标计算机发送一个TCP SYN报文;

2、目标计算机收到这个报文后,建立TCP连接控制结构(TCB),并回应一个ACK,等待发起者的回应;

3、而发起者则不向目标计算机回应ACK报文,这样导致目标计算机一致处于等待状态。可以看出,目标计算机如果接收到大量的TCP SYN报文,而没有收到发起者的第三次ACK回应,会一直等待,处于这样尴尬状态的半连接如果很多,则会把目标计算机的资源(TCB控制结构,TCB,一般情况下是有限的)耗尽,而不能响应正常的TCP连接请求 三: 身份认证技术是在计算机网络中确认操作者身份的过程而产生的有效解决方法。计算机网络世界中一切信息包括用户的身份信息都是用一组特定的数据来表示的,计算机只能识别用户的数字身份,所有对用户的授权也是针对用户数字身份的授权。如何保证以数字身份进行操作的操作者就是这个数字身份合法拥有者,也就是说保证操作者的物理身份与数字身份相对应,身份认证技术就是为了解决这个问题,作为防护网络资产的第一道关口,身份认证有着举足轻重的作用

在真实世界,对用户的身份认证基本方法可以分为这三种:

(1)根据你所知道的信息来证明你的身份(what you know,你知道什么);(2)根据你所拥有的东西来证明你的身份(what you have,你有什么);

(3)直接根据独一无二的身体特征来证明你的身份(who you are,你是谁),比如指纹、面貌等

四、A用户公钥P(A),S(A),B用户有公钥P(B),私钥S(B).A与B之间需对大量电子公文进行交互,为保证机密性,完整性,并完成身份认证,请简述A向B发送公文T的工作步骤,并指出这一过程中的消息摘要,消息认证码,数字签名,数字信封分别是什么?

1、A用自己的私钥加密信息,从而对文件签名

2、A将签名的文件发送给接受者B

3、B利用A的公钥解密文件,从而严重签名 消息摘要:是一个唯一对应一个消息或文本的固定长度的值,它由一个单向Hash加密函数对消息进行作用而产生。消息认证码是基于密钥和消息摘要所获得的一个值,可用于数据源认证和完整性校验。数字签名:是使用公钥加密领域极速实现,用于鉴别数字信息的方法,它是一种物理签名 数字信封:是将对称密钥通过非对称加密的结果分发对称密钥的方法。IP网络面临的安全威胁(我自己加的)

1、恶意攻击网络扫描、DdoS、窃取机密数据(窃听,中间人),流量分析、欺骗和网络钓鱼(Phishing)、会话劫持、消息窜改,插入,删除,重发、物理破坏

2误用和滥用(内部和外部)配置错误、缺省配置、内部窃取:客户资料、充值卡等、内部越权、操作行为抵赖 •垃圾流量、邮件、电话和短信

3恶意代码:病毒和蠕虫,木马、逻辑炸弹,时间炸弹

第三篇:北邮2014《现代通信技术》实验报告二

2014《现代通信技术》实验报告二

信息与通信工程学院

现代通信技术实验报告

级:

名:

号: 学

号: / 18

2014《现代通信技术》实验报告二

期:2014年4月16日/30日

目录

实验一 微波通信实验..................................................................................................3

一、实验原理........................................................................................................3

二、实验过程........................................................................................................3

三、实验心得体会................................................................................................3 实验二 组网及VLAN的应用....................................................................................4

一、实验目的........................................................................................................4

二、实验内容........................................................................................................4

三、实验原理........................................................................................................5

1、VLAN简介..............................................................................................5

2、交换机的端口..........................................................................................6

3、广播风暴..................................................................................................7

四、实验过程........................................................................................................7

五、结果与体会..................................................................................................12 附录..............................................................................................................................14

/ 18

2014《现代通信技术》实验报告二

实验一 微波通信实验

一、实验原理

微波是指频率为300MHz到300GHz的电磁波。微波具有直线传播的特性,为了克服地球的凸起必须采用中继接力的方式。实际中一般距离50km就有一个中继站。一条数字微波通信线路由两端的终端站,若干中继站和电波的传播空间构成。典型的数字微波端站由微波天线,射频收发模块,基带收发部分,传输接口等部分组成。

微波发信机多采用中频调制的方式。中频信号是已经经过调制的信号,上变频器将中频信号搬移到指定的微波波道,然后经过微波功放,经过天线发射出去。

微波收信机多采用超外差式接收结构。通过本振与接收的微波信号进行混频,得到固定中频信号,然后对中频进行放大和滤波。

二、实验过程

本实验数字微波通信系统为:34Mbit/s QPSK系统 ,中频频率是70MHz,射频频率是6GHz。在实验中信号不是直接发送出去,而且通过实体线路连接到接收方,通过信道衰减器模拟微波的远距离传输。

我们观察了眼图,将示波器连接到中频接收机的眼图观测点,通过控制信道衰减器来控制接收噪声的大小。我们观察到,一开始,信噪比大,眼图轮廓很清晰,眼睛睁得很开。微波站两边电话通话听的清楚。不过随着我们控制信道,使其衰减加剧,我们可以观察到示波器里眼图的眼睛轮廓慢慢不清晰了,眼睛越来越小。在眼睛还没完全闭上之前,我们还是能听到电话的声音,但是此时已经有一些杂音了。最后在眼图完全闭上后,我们就只能听到电话里的噪声了,不管对方声音多大也不能在这边的电话里面听到了。从混乱的眼图,我们可以知道信噪比急剧恶化,判决出错,无法还原出信号。

实验室的频谱仪虽然老,但是它能观察到的频谱范围很宽,能观察到6GHz的频谱。我们在频谱仪上观察了射频的频谱。

三、实验心得体会

第三次实验课结束后,我没有及时记录,到写报告的时候已经过去三周了,所以有些实验现象忘了。下次要吸取这个教训,实验结束后要及时记录下来。

在实验课的开头,老师带我们回忆了通信原理的框图,信源编码,信道编码,调制,解调,信道解码,信源解码,线路码,交织等等,帮助我们从整体框架上

/ 18

2014《现代通信技术》实验报告二

理解通信原理。老师指着微波站,介绍说这个微波站就是典型的通信原理框图。实验室的微波站是比较老式的,比较大,所以我们能看到微波站的各个部分和通信原理的框图对应的很好。通过对微波站各个部分的介绍,我们对通信原理的框图有了感性的认识。老师还帮我们回顾了采样,量化,编码等。通信里面的定理并不多,比如香农定理,奈奎斯特采样定理等。奈奎斯特采样定理架起了模拟信号与数学信号之间的桥梁,将信源进行数字化,发挥了重大的作用。

之前我在学习通信原理第四章模拟调制的时候,我不太明白为什么要先调制到中频,而不直接调制到指定的射频频段。经过这次实验我知道了中频频率为70MHz。把射频信号变到较低的中频信号的好处是,便于解调器的实现,便于更好得滤波,不同频率的接收机可以共用一套电路,只须改变本振和射频调谐回路的谐振频率即可。通过这次微波通信的实验,我们对通信系统用了比较完整的了解,让我们在通信原理里面学的理论知识在现实中有了对应,理解了通原里的框图在现实中是如何实现的。

这学期的课程里我也选了《移动通信》这门课,所以对微波、中继等知识的了解还是有一定的铺垫。虽然微波现在用得不那么多了,但是它却是不可或缺的备用路径。像无法架设光纤或者假设成本过高的地方如海底、山区、高原,微波通信非常必要。而像灾害易发区,比如万一地震了,光纤断了,那么牢固的微波中继站既不易损害,又容易修复,是尽快恢复灾区通信的必要手段。老师说汶川地震的时候从灾区传出来的第一条消息就是由那里的无线电爱好者发出来的。这次实验中,老师有问到怎样避免连续的比特错误,我脱口而出我知道的交织技术。原来我们之前学习的知识就是这样一步步为我们的通信服务的。

实验二 组网及VLAN的应用

一、实验目的

1.熟悉组成LAN的主要设备,了解掌握LAN的基本特点以及LAN中的常用技术;

2.认识了解LAN、VLAN以及子网的建立和联网、网络配置和协议; 3.进一步了解VLAN的隔离广播功能; 4.了解VLAN的互访功能。

二、实验内容

(1)通过Console口访问以太网交换机、路由器

/ 18

2014《现代通信技术》实验报告二

(2)通过微机Telnet到以太网交换机、路由器(3)(4)(5)(6)初步了解一些简单命令

用ping命令测试Vlan网络连通性,加深对Vlan的基本原理和特点的认识 通过多台交换机串联扩大网络实现组播功能 观察广播风暴现象

(7)简单介绍路由器的相关知识

三、实验原理

1、VLAN简介

VLAN,是英文Virtual Local Area Network的缩写,中文名为“虚拟局域网”,VLAN是一种将局域网(LAN)设备从逻辑上划分(注意,不是从物理上划分)成一个个网段(或者说是更小的局域网LAN),从而实现虚拟工作组(单元)的数据交换技术。

VLAN这一新兴技术主要应用于交换机和路由器中,但目前主流应用还是在交换机之中。不过不是所有交换机都具有此功能,只有三层以上交换机才具有此功能,这一点可以查看相应交换机的说明书即可得知。VLAN的好处主要有三个:

/ 18

2014《现代通信技术》实验报告二

(1)端口的分隔。即便在同一个交换机上,处于不同VLAN的端口也是不能通信的。这样一个物理的交换机可以当作多个逻辑的交换机使用。

(2)网络的安全。不同VLAN不能直接通信,杜绝了广播信息的不安全性。

(3)灵活的管理。更改用户所属的网络不必换端口和连线,只更改软件配置就可以了。VLAN(虚拟局域网)主要有以下几种划分方式,分别为:(1)基于端口划分的VLAN;(2)基于MAC地址划分VLAN;(3)基于网络层划分VLAN;(4)根据IP组播划分VLAN;(5)按策略划分的VLAN;

(6)按用户定义、非用户授权划分的VLAN。

基于端口的VLAN的方式是最常应用的一种VLAN划分方法,应用也最为广泛、最有效,目前绝大多数VLAN协议的交换机都提供这种VLAN配置方法。老师课上讲到的就是基于端口划分的VLAN。

2、交换机的端口

交换机端口链路类型介绍

交换机以太网端口共有三种链路类型:Access、Trunk和Hybrid。(1)Access类型的端口只能属于1个VLAN,一般用于连接计算机的端口;

(2)Trunk类型的端口可以属于多个VLAN,可以接收和发送多个VLAN的报文,一般用于交换机之间连接的端口;

(3)Hybrid类型的端口可以属于多个VLAN,可以接收和发送多个VLAN的报文,可以用于交 换机之间连接,也可以用于连接用户的计算机。

其中,Hybrid端口和Trunk端口的相同之处在于两种链路类型的端口都可以允许多个VLAN的报文发送时打标签;不同之处在于Hybrid端口可以允许多个VLAN的报文发送时不打标签,而Trunk端口只允许缺省VLAN的报文发送时不打标签。

三种类型的端口可以共存在一台以太网交换机上,但Trunk端口和Hybrid端口之间不能直接切换,只能先设为Access端口,再设置为其他类型端口。例如:Trunk端口不能直接被设置为Hybrid端口,只能先设为Access端口,再设置为Hybrid端口。各类型端口使用注意事项:

配置Trunk端口或Hybrid端口,并利用Trunk端口或Hybrid端口发送多个VLAN报文时一定要注意:本端端口和对端端口的缺省VLAN ID(端口的PVID)要保持一致。

当在交换机上使用isolate-user-vlan来进行二层端口隔离时,参与此配置的端口的链路类型会自动变成Hybrid类型。

Hybrid端口的应用比较灵活,主要为满足一些特殊应用需求。此类需求多为在无法下发访问控制规则的交换机上,利用Hybrid端口收发报文时的处理机制,来完成对同一网段的PC机之间的二层访问控制。

/ 18

2014《现代通信技术》实验报告二

3、广播风暴

所谓广播风暴,简单的讲,当广播数据充斥网络无法处理,并占用大量网络带宽,导致正常业务不能运行,甚至彻底瘫痪,这就发生了“广播风暴”。一个数据帧或包被传输到本地网段(由广播域定义)上的每个节点就是广播;由于网络拓扑的设计和连接问题,或其他原因导致广播在网段内大量复制,传播数据帧,导致网络性能下降,甚至网络瘫痪,这就是广播风暴。

四、实验过程

1.通过Console口访问以太网交换机 示意图:

2.打开超级终端,新建连接时进行设置 / 18

2014《现代通信技术》实验报告二

3.打开交换机,选择更改界面语言

4.键入?查看可用命令 / 18

2014《现代通信技术》实验报告二

5.尝试键入一些简单命令

6.VLAN的基本配置 示意图

首先建立两个VLAN:VLAN2和VLAN3

/ 18

2014《现代通信技术》实验报告二

分别进入E0/

1、E0/

2、E0/3以太网端口视图进行配置

使用display interface命令查看,可以看到E0/

1、E0/2的默认VLAN变为VLAN2,E0/3的默认VLAN变为VLAN3

/ 18

2014《现代通信技术》实验报告二

下面可以通过在计算机上使用ping命令检测设置是否正确

在设置VLAN前,从Host3:192.168.0.3能够ping通Host1:192.168.0.1,而设置VLAN后则ping不同

设置VLAN后,从Host2:192.168.0.2上能够ping通Host1:192.168.0.1,而不能够ping通Host3:192.168.0.3

/ 18

2014《现代通信技术》实验报告二

五、结果与体会

这次实验,我们组四个女生都没有参加过计网的课设,所以我们中间遇到了很多问题,然后跑去别的组请教做过课设的同学,磕磕绊绊地最终完成了。一开始我们连好线路,打开超级终端,设置好各种参数后,我们按照讲义一步一步地执行,但是我们第一步便出了点小问题:我们想先ping一下我们的连线有没有连好,IP设置是否如我们所料,于是用超级终端ping。但是始终显示的结果是连接不上。后来我猜测,有可能不是用超级终端ping,而是在命令提示符上ping。一试果然成功。后来,我们继续按照教程做。但是我们遇到了一个问题:怎么把尖括号变成方括号?我们都记得老师上课有讲过,但是因为接受的内容一下子太多了,我们没记住那么多,于是我只好跑去问临组做过计网课设的同学。之后进行得后面的步骤。后来我们翻了一下教程的前一页,是有介绍的,只怪我们太粗心没有发现。一开始我们没考虑那么多(当然在做之前也不知道),随便插的端口,14,16,20端口。后来,在执行display命令的时候,我们就哭了。因为它从1号端口一个个显示,要一直摁回车到20端口!吃一堑长一智,我们再做不会再随便插大数字端口了。而我们真正的问题是在广播风暴上。我们发现我们一连好线路就会产生广播风暴。我们一开始以为这不正确,后来问了做过计网课设的同学后,他告诉我们这是正常的。组织广播风暴的方法老师也讲过,一种是硬件上的,即切断线路。

/ 18

2014《现代通信技术》实验报告二

这在实际操作中是不太可能的;另一种就是软件上的,我们需要输入一个命令,从软件上阻止广播风暴。遗憾的是我并不了解软件上的阻止广播风暴机理是怎样的,只知道输入命令便可以阻止了。以下是我们做VLAN部分的ping结果:

/ 18

2014《现代通信技术》实验报告二

通过实验我初步了解了VLAN,交换机端口类型,广播风暴等内容。我准备读研的时候就读网络方向的,这次的实验真的给我一个切身的体会,让我对计算机网络产生了极大的兴趣。理论与实践的结合,让我印象更加深刻。但是遗憾的一点是我们操作不够熟练,没有完成老师布置的选作任务。如果还有机会的话我肯定会把后面的实验也一起做了。

至此现代通信技术实验课也结束了。我真的感觉这门课开设的实验很有用,不仅扫盲,而且真正让我们认识到了我们学的是什么,我们为什么学这方面的知识,通信到底是什么。作为一名未来的通信人,我终于对我们的专业有了一个新的认知与定位,获益匪浅。

附录

VLAN部分的操作: [H3C]vlan 2 [H3C-vlan2]quit [H3C]vlan 3 [H3C-vlan3]quit [H3C]int [H3C]interface e [H3C]interface Ethernet 1/0/14 [H3C-Ethernet1/0/14]port link-type access [H3C-Ethernet1/0/14]port access vlan 2 [H3C-Ethernet1/0/14]quit [H3C]interface e [H3C]interface Ethernet 1/0/16 [H3C-Ethernet1/0/16]port link [H3C-Ethernet1/0/16]port link-type access [H3C-Ethernet1/0/16]port [H3C-Ethernet1/0/16]port a [H3C-Ethernet1/0/16]port access vlan 2

/ 18

2014《现代通信技术》实验报告二

[H3C-Ethernet1/0/16]quit [H3C]inter [H3C]interface e [H3C]interface Ethernet 1/0/20 [H3C-Ethernet1/0/20]port link [H3C-Ethernet1/0/20]port link-type access [H3C-Ethernet1/0/20]port a [H3C-Ethernet1/0/20]port access vlan 3 [H3C-Ethernet1/0/20]quit

Ethernet1/0/14是 UP 发送的IP帧的帧格式是 PKTFMT_ETHNT_2 硬件地址是000f-e25f-688c 导线类型是 双绞线 端口环回没有设置

端口硬件类型是 100_BASE_TX 100Mbps-速度 模式, 全双工 模式

链路速度类型是自协商, 链路双工类型是自协商, 流量控制: 不使能

最大帧长 1536 最多允许广播报文占用接口流量的百分比: 100% 缺省VLAN ID: 2 网线类型为: normal 端口模式: access Tagged

VLAN ID : 无

Untagged VLAN ID : 2 最后 300 秒钟的输入: 0包/秒 0字节/秒

最后 300 秒钟的输出: 0包/秒 6字节/秒

输入(合计):

219 报文, 28361 字节

/ 18

2014《现代通信技术》实验报告二

广播包, 24 多播包, 0 暂停包

输入(正常):

219 报文, 28361 字节

广播包, 24 多播包, 0 暂停包

输入 :

0 输入错误, 0 超短包, 0 超长包, 输入碰撞错误, 0 输入描述符错误,奇偶错误

输出(合计):

389 报文, 56227 字节

253 广播包, 76 多播包, 0 暂停包

输出(正常):

389 报文,暂停包

输出 :

0 输出错误, 缓冲失败

0 丢失, 0 延时, 0 冲突, 0 被滞后冲突

-包被滞后发送,不完整, 0 校验和错误

0 帧错误, 丢失,字节

227 广播包, 77 多播包,下溢错误,丢失载波

Ethernet1/0/20是 UP 发送的IP帧的帧格式是 PKTFMT_ETHNT_2 硬件地址是000f-e25f-688c 导线类型是 双绞线 端口环回没有设置

端口硬件类型是 100_BASE_TX 100Mbps-速度 模式, 全双工 模式

链路速度类型是自协商, 链路双工类型是自协商, 流量控制: 不使能

最大帧长 1536 最多允许广播报文占用接口流量的百分比: 100%

/ 18

2014《现代通信技术》实验报告二

缺省VLAN ID: 3 网线类型为: normal 端口模式: access Tagged

VLAN ID : 无

Untagged VLAN ID : 3 最后 300 秒钟的输入: 0包/秒 2字节/秒

最后 300 秒钟的输出: 0包/秒 2字节/秒

输入(合计):

187 报文, 25382 字节

广播包, 22 多播包, 0 暂停包

输入(正常):

187 报文, 25382 字节

广播包, 22 多播包, 0 暂停包

输入 :

0 输入错误, 0 超短包, 0 超长包, 输入碰撞错误, 0 输入描述符错误,奇偶错误

输出(合计):

315 报文, 44026 字节

218 广播包, 75 多播包, 0 暂停包

输出(正常):

315 报文,暂停包

输出 :

0 输出错误, 缓冲失败

0 丢失, 0 延时, 0 冲突, 0 被滞后冲突

-包被滞后发送,-丢失载波

/ 18

第四篇:北邮数据库期中知识点总结

Chapter 1.Introduction to Database 数据库很重要

数据库的前身是文件系统: 概念 自己管自己 –> 数据孤立 冗余 数据依赖性差(一个改了与它相关的全部重写)文件格式不相容

查询固定 应用程序翻新 数据库的定义

数据库表现了实体(staff)属性(staffno)逻辑关系(外键)DBMS 定义

提供了DDL DML 语句 视图机制 环境五要素 硬件(电脑)

软件(APPDBMS自身)数据

过程(登陆)

人(DA DBA,DB designer,app developer,user)

历史

第一代 SYSTEM R 第二代 关系DBMS 第三代 面向对象的 对象关系的

优缺点

Chapter 2.Database Environment 最常用的DBMS就是ANSI-SPARC结构

目标 结构

外部 用户 【视图】 概念 团体 【表】 内部 文件 【索引】

层与层之间的关系

外部/概念映射 概念/内部映射

Chapter 4.Relational Algebra 根据2.3 data model 我们知道 数据模型分为:

面向对象的 基于关系的:

Relation data model

Network data model Physical data model 物理的

而数据模型的三个组成部分为: ·结构[由一组创建数据库的规则组成](SEE IN CHAPTER 3)

数据模型之关系模型的结构是用表表示的,表的组成,也就是表的结构,如行,列等在第三章讲过。

·操作

这一章主要讲关系模型的操作,该操作是通过关系代数来完成的。

·完整性

SEE IN 3.3 关系模型的完整性:

NULL 没有值得时候用NULL表示 而不是0或空格 Entity integrity 主键不能为空

Reference 如果一个键是外键 不能凭空在这里加东西 Enterprise 自定义约束

关系的操作是闭包的,关系的运算结果还是关系。五大基本关系运算:

·选择selection 相当于WHERE ·投影projection =SELECT ·笛卡儿积cartesian product ·并 union ·集合差 set difference Join连接 intersection 交 division 除 都能用五大基本操作表示 其中 选择和投影是一元操作

·选择:σpredicate(R)= select* from R where predicate=‘’ i.e.σsalary > 10000(Staff)·投影:Πcol1,..., coln(R)= select col1,..., coln from R ΠstaffNo, fName, lName, salary(Staff)= select staffno, fname,lname

From staff ·并 Πcity(Branch)∪ Πcity(PropertyForRent)·减 ·交 ·笛卡尔 ·连接

Theta join(θ-join)R FS = σF(R Χ S)R与S 在F 条件下连接 自然连接 有公共的连接起来

左外连

有公共的+左边的 右外连

有公共+右边 全外连 有公共+全部

半连接 参与θ

连接的左边的属性

·除

第五篇:北邮计算机大三上课程学习心得

大三上课程学习心得

英语篇:

关于六级:

四级可以不背单词,但是六级不看单词一定会死的很惨。单词书我觉得新东方的那本不错,风靡全国。

六级真题还是真的值得买的,因为六级一次能过的人不少,但是仅考一次的人很少。真题也不宜做的太早,考前一个月开始就足够了。

关于选课:

大三上有4门英语可选。科技文阅读、情景、写作和口语。

科技文阅读就是一个200人大教室,老师在讲台上放PPT。据说内容很麻烦,我听他们期末背单词那叫一个痛苦。

情景英语是在教一的语音室上课,30人小教室,上课内容都是结合教材的内容讨论事情。

口语和写作不是很清楚情况,希望别人来介绍一下。

得分的话,以前之所以情景得分最高,是因为情景班集中了四级分数高分段的同学。所以实力决定一切。从我们07级开始就是大家任意选四门课了。

情景英语篇:

小班教学的好处就是老师和同学比较熟悉。上课都是老师出一个题目,同学们分组讨论。建议口语不好的同学慎选,从小开始就是学哑巴英语的同学勿选!

期末很简单,和平时一样,讨论几个话题,但是机器会录好音,老师会回去听。10分钟结束。

这门课很训练听力和口语。

其余几门期待其他同学现身说法。

毛邓三篇:

可以肯定的是,上一年出过的大题,今年铁定不会出现在大题里。想得高分一个字:背。06级学长编写的《毛邓三葵花宝典》风靡全校,实乃居家旅行必备资料啊。

另外,不要迷恋重点,重点只是一个传说。我们07级考的论述题是论分配制度和论外交。外交在06级学长编写的“葵花宝典”中涉及很少。

操作系统篇:

关于老师:

上课的几位老师,我认为最好的还是孟祥武老师,十分风趣,课堂很活跃。不过不要光听他讲笑话了,要学习老师的思路。叶文老师的语速较快,每节课信息量很大,我自己也很难跟上老师的脚步,建议要多复习。

关于教材及内容:

操作系统,选用的是英文教材。PPT也是英文,期末出题也是英文,不过大题都可以用中文答题。书名既然叫《操作系统概念》,本书最多的还是讲授了一下操作系统中的各种概念。不过在这些零零碎碎的概念中间,还夹杂了几个非常重要的算法或者应用:

银行家算法、信号量、实存的EAT、虚存的EAT、页置换算法(FCFS,LRU等等)、进程调度算法及效率(吞吐量、平均等待时间、平均周转时间)。

以上罗列的都是很重点的东西,每年大题都会从这里出。

关于平时:

由于选用的教材没有中文版,平时大家就得辛苦的看很厚很厚的英文书。英文书的表达很地道,但是我更愿意在重点的概念旁边加一下中文的注解,哪怕是这段文字的直译,这样非常有利于复习。

作业一定要自己做,虽然流传着答案,但我更希望答案是用来做完后订正的,而不是把自己当做抄写员,把现成的答案抄给给老师看。

老师应该都会布置实验。孟祥武老师布置的都是与各种算法相关的实验,而叶文老师则是布置的是针对Linux操作系统进行观察、自己动手的实验。一句话,要想学到东西,实验自己动手。

关于考试特点:

得大题者得天下,以上我说的重点都掌握了,你就稳拿60%以上的分数。对于书中各个概念的考察,就集中在填空、选择、简答题中间。对于书中概念的复习,可以参照叶文老师给的大纲,见附件:

计算机网络篇:

关于老师:

我们07级无缘聆听王晓茹老师的教诲啊,08级的孩子们估计能遇见王晓茹老师吧。在我听过课的两位老师中,我觉得蒋砚军老师讲的真不错。

关于教材:

强烈推荐计算机网络(第四版 潘爱民译),一本黑皮的书。英文原版可以不买。

教材中心和学林书店都是主要卖英文版教材,我可以告诉大家,我英文版教材翻了20页就再也没有碰过了。这门课PPT是用英文写的,老师用中文教,期末出题都是中文的。操作系统之所以推荐看英文教材,一方面是没有对应版本的中文翻译教材,另一方面是期末出题是英文。

毕竟看计网英文版教材很费脑子,大三最好还是省点力气吧。何况,复习的时候,计网中文版教材都是抢手货。

关于平时:

计网东西很多,你要想平时一点都不付出就想得高分,不啻于痴人说梦。像我上面提到的,读中文教材效率很高。这门课概念之多,我认为仅次于汇编与接口。最好每章都有总结,复习的时候也就不会手忙脚乱了。

计网我们07级只有两个实验,一个是数据链路层的滑动窗口协议,另一个是用Wireshark等协议分析软件抓包。

第一个实验以小组来做,其实一个人足矣。书上的伪码基本和C语言差不多,不过细微之处还得自己研究一下。

第二个实验更简单,强烈推荐独自完成。Wireshark抓包实验,有助于对网络层和传输层协议进行更加深刻的理解。

作业当然也有参考答案,还是一句话,最好自己独立完成。

关于考试:

我对于这门考试有些怨念,操作系统是得大题者得天下,而计网考试的大题仅占占卷面分数的40%以下。也就是说,你要把各种概念都复习到才有可能得高分。

即使大题不重要,我也说说重点吧:

路由算法(链路状态算法、距离矢量算法)、网桥逆向学习法和flooding算法、漏桶与令牌桶算法、TCP发送窗口算法、IP与TCP头、IP数据报切分、滑动窗口协议的效率、路由器路由表选择。

另外,我们07级讲到了应用层,而以往各届的试卷都没涉及到应用层,所以没有复习到应用层的人,对于这次的试卷怨念更深了。

论坛上流传的那份计网重点还是有相当大的参考价值,不过不完全匹配。

总之,复习的时候要对照PPT,把各种基本的概念都了解清楚,对于我提到的重点完全掌握,我觉得这门课取得高分不难。

通信原理篇:

北邮不愧是信息界的黄埔军校,每个专业都会学这门课。不过咱们比信通院学的要简单不少。

教材选择的还不错,非常贴近咱们学的深度。

关于考试:

期中考试是开卷,大家尽情发挥主观能动性吧。

期末的卷子流传极少,我们今年看到居然是01级学长做过的卷子。不过参考价值还很大。通原这门课也是大题万变不离其宗。期末主要考数字部分。

期末重点:

卷积码,循环码和生成矩阵、监督矩阵,各种数字调制的波形,部分响应系统等等。

我这里有罗红老师给的期末范围:

关于平时:

作业要比期末难,如果作业自己能完全做对,书上该掌握的都掌握了,期末一定没问题。

编译原理篇:

这门课很抽象,跟硬件、操作系统都有一定联系。跟大二下学的形式语言与自动机的内容紧密联系。内容繁琐,过程很有套路但是很复杂。期末是雷打不动的六道大题。

关于平时:

编译这门课的重头戏在语法分析上,我们讲了近一个月的语法分析。而且语法分析作业也很多,那章的作业平均10页作业纸。由于课程很抽象,建议大家还是自己弄明白再做作业吧。

我们07级布置了两个实验,三个程序,分别是语法分析器两个、词法分析器。强烈建议语法分析器自己编写,通过编写这两个程序,会对语法分析那一章有更加深刻的印象。

关于考试:

期中我们考了4道大题,其中最后一道就是语法分析。这是我们考过的卷子和答案:

期末考试是6道大题。我们今年语法分析这一章考了45分。后面的内容考察了访问链与控制栈、程序块划分、语法制导定义、参数传递机制、类型表达式。卷子请到精华区找找。

汇编语言与接口技术篇:

关于教材:

老师推荐的那本实在不怎么样,建议再买两本,05级用过的两本——《IBM-32位机汇编语言》和《接口技术》(本书强烈推荐)。

老师是按自己课件内容讲的,和书的内容不完全一致,接口部分建议是新书旧书联合起来看。

关于平时:

课件只是指引作用,详细内容还得看书,尤其新旧两本书联合起来看。

作业布置很少,非常不利于督促大家学习。建议买一本微机原理与接口技术的练习册做一做。

接口实验有5个,最好准备好了再去实验室。

另外,汇编的程序也要好好编。

关于考试:

如果计算机学院要评N大名捕,我第一个提名这门课。内容多,书不好,作业少,听不会,看不懂。

由于本人考的比较差,自认没有实力点评此课,期待大牛不吝赐教。

这门课勉强算全校统考,不过咱们院比其他院难一些,卷子有70%一样。

下载北邮 大数据技术课程重点总结[五篇范文]word格式文档
下载北邮 大数据技术课程重点总结[五篇范文].doc
将本文档下载到自己电脑,方便修改和收藏,请勿使用迅雷等下载。
点此处下载文档

文档为doc格式


声明:本文内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:645879355@qq.com 进行举报,并提供相关证据,工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。

相关范文推荐

    北邮多媒体技术与应用期末考点

    北邮《多媒体技术与应用》 期末考试知识点复习什么是多媒体技术?简述其主要特点。 多媒体技术就是计算机交互式综合处理多种媒体信息──文本、图形、图象和声音,使多种信息......

    北邮下一代Internet技术与协议实验

    实验一实验报告 实验名称 使用网络测试工具测试网络状态 实验目的 1、学习常用网络测试工具的基本功能和使用方法 2、总结并设计使用网络测试工具测试网络状态的方法 实验完......

    北邮软交换技术与NGN第一次作业

    一、单项选择题(共5道小题,共100.0分)  下面的H.248消息中,MGl为该呼叫分配的关联域标识号是( )。 MGl→MGC: MEGACO/1 [10.54.250.43]:2944 P=369363687{C=386{ A=A0,A=A10000012......

    北邮近代史复习资料

    简述题 为什么说没有共产党就没有新中国 第一,中国共产党作为工人阶级的政党,不仅代表着中国工人阶级的利益,而且代表着整个中华民族和全中国人民的利益。 第二,中国共产党是马......

    北邮信息门户[精选合集]

    北邮信息门户北邮信息门户为庆祝新中国成立 71 周年,激发我校学生爱国热情,10 月 1 日上午,我校组织全体大一新生开展了“使命在肩,奋斗有我”庆祝新中国成立 71 周年升旗仪式。......

    北邮应用文写作

    北邮应用文写作 一、多项选择题(共20道小题,共100.0分)经济预测报告具有等特点。 预见性 科学性总结性指导性 知识点: 第六章经济类应用文写作学生答案: [A;B;D;] 标准答案:......

    北邮嵌入式实验报告

    北京邮电大学 嵌入式系统开发实验报告 学院:班级: 姓名: 学号:序号:目录 一、 实验目的 .........................................................................................

    北邮录取通知书

    北京邮电大学2013级本科新生入学须知新同学,欢迎你! 祝贺你被我校录取,为方便你顺利入学,现将有关事项说明如下:一、报到: 1、新生请按录取通知书所填写的日期来校报到,不要提前......