第一篇:信息安全课程总结(北邮)
1.It has been shown that complex networks including the internet are resilient to indepent random falilures but fragile to intentional atacks.2.什么是信息安全管理:信息的保密性、完整性和有效性,业务的永续性。有效的信息共享机制 3.信息资产:硬件,软件,网络,通讯,资料,人员,服务
4.信息安全:是保护资产的一种概念、技术及管理方法。是信息资产免受有意或无意的泄露、破坏、遗失、假造以及未经授权的获取、使用和修改。
5.安全属性,通俗的说,进不来,拿不走,改不了,看不懂,跑不了
6.从目标保护角度看信息安全:涉及机密性、完整性、可用性(信息安全金三角)。7.机密性:confidentiality 完整性integrity 可用性availability 真实性Authentication 不可抵赖性non-repudiation 8.ITU-T的安全框架X-80-端到端通信的安全架构,三个平面,三个层次,8个维度 9.三个平面:p1最终用户平面,p2控制平面,p3管理平面 10.三个层次:L1应用安全,L2服务安全,L3基础设置安全
11.8个维度访问控制,认证,不可否认,数据保密性,通信安全,数据完整性,可用性,隐私。12.安全模型
1)风险评估常用模型
2)纵深防御模型3)(基于时间的安全体系)模型P>D+R P:protection防护手段所能支持的视觉D:detection检测手段发现入侵所需要的时间R:事件响应机制采取有效措施所需的时间
13.安全---及时的检测和处理指导思想:快速检测、有限影响、快速溯源、快速恢复相应的安全机制。14.其他模型,PDRR—保护,检测,响应,恢复P2DR 策略P,保护P,检测D,响应R 15.APT(Advanced Persistent Threat)高级,持续的攻击
16.攻击的分类:active attack,主动攻击 Passive attack被动攻击 17.攻击的一般过程:预攻击,攻击,后攻击
18.预攻击,目的,收集新,进行进一步攻击决策。内容:获得域名及IP分布,获得拓扑及OS等,获得端口和服务获得应用系统情况跟踪新漏洞发布
19.攻击,目的:进行攻击。内容:获得权限,进一步扩展权限,进行实质性操作
20.后攻击, 目的:消除痕迹,长期维持一定的权限内容:植入后门木马,删除日志,修补明显的漏洞,进一步渗透扩展。
21.IP网络面临的安全威胁
1)恶意攻击:网络扫描,Ddos,会话劫持,欺骗和网络钓鱼 2)误用和滥用(内部和外部)配置错误、缺省配置,内部窃取,内部越权,操作行为抵赖 3)恶意代码:病毒和蠕虫,木马逻辑炸弹,时间炸弹。
22.漏洞预防:安全意识,安全审记 23.漏洞检测:渗透测试,风险评估 24.漏洞修复:补丁(patch)管理 25.源代码审核(白盒),逆向工程(灰盒),FUZZing(黑盒)
26.密码学在信息网络安全中的作用:机密性,完整性,鉴别性,抗抵赖性。27.密码学(cryptology):密码编码学(cryptography)和密码分析学(cryptanalytics)28.密码编码学就是研究对数据进行变换的原理、手段和方法的技术和科学。
29.密码分析学是为了取得秘密的信息,而对密系统及其流动的数据进行分析,是对密码原理、手段和方法进行分析、攻击的技术和科学。
30.明文plain text,clear text:需姚秘密传送的消息 31.密文:cipher text:明文经过密码变换后的消息 32.加密:Encryption:由明文到密文的变换
33.解密:Decryption:从密文恢复出明文的过程。
34.破译:Cryptanalysis:非法接受者视图从密文分析出明文的过程
35.加密算法Encryption algorithm:对明文进行加密时采用的一组规则 36.解密算法:Decryption Algorithm:对密文进行解密时采用的一组规则 37.密钥Key:加密和解密时使用的一组秘密信息
38.密码系统:一个密码系统可以用以下数学符号描述:S=(P,C,K,E,D)P=明文空间C=密文空间K=密钥空间E加密算法D=解密算法
39.当给定秘钥k属于K时,加解密算法分别记作Ek、Dk,密码系统表示为:Sk={P,C,k,Ek,Dk} C=Ek(P)P=Dk(C)=Dk(Ek(P))40.安全性体现在:1)破译的成本超过加密信息的价值2)破译的时间超过该信息有用的生命周期
41.无条件安全:若密文中不含明文的任何信息,则认为该密码体制是安全的,否则就认为是不安全的。无论提供的密文有多少,由一个加密方案产生的密文中包含的信息不足以唯一地决定对应的明文
42.对于一个加密方案,如果任意概率多项式时间(PPT)的敌手在上述游戏中的优势是可忽略的,则称该加密方案是IND-CCA,安全,建成CCA安全。对应选择明文攻击游戏,成为IND—CPA安全,简称CPA安全。43.CPA安全是公钥加密机制的最基本要求,CCA安全是公钥加密机制更强的安全性要求
44.密钥的选择,1)Degree of security 2)speed :加密与解密运算速度 3)key length 关系到key的存储空间,算法的安全性,key space 密钥空间 4)public/private:通常公开的算法,经过了更多的测试 5)专利的出口限制问题
45.密码算法分类:1)受限制的(restricted)算法:算法的保密性基于保持算法的秘密。2)基于密钥(key-based)的算法:算法的保密性基于对密钥的保密
46.古典密码学被传统密码学所借鉴,加解密都很简单,易被攻破,属于对称密钥算法;包括置换密码、代换密码。
47.古典密码:1)置换密码,用加密置换去对消息进行加密 2)代换密码:明文中的字幕用相应的密文字幕进行替换,单表代换密码,多表代换密码。
48.编码的原则:加密算法应建立在算法的公开不影响明文和密钥的安全的基础上。这条原则成为判定密码强度的衡量标准,实际上也是古典密码和现代密码的分界线。2)其基本特点:加密和解密采用同一个缪尔3)基本技术,替换/置换和移位
49.密码学的第一次飞跃:1949年Shannon发表了《保密通信的信息理论》论文。50.密码学的第二次飞跃:《密码编码学新方向》提出公开密钥的思想
51.DES,数据加密标准,EES,密钥托管加密标准DSS数字签名标准,AES高级数据加密标准
52.基于密钥的算法,按照密钥的特点分类
1)对称密钥算法(symmetric cipher):又称传统密码算法(conventional cipher),就是加密密钥和解密密钥相同,或实质上等同,即从一个易于退出另一个。又称秘密密钥算法或单密钥算法2)非对称密钥算法:(asymmetric cipher):加密密钥和解密密钥不同,从一个很难推出另外一个。又称公开密钥算法(public-key cipher)。公开密钥算法用一个密钥进行加密,而用另一个进行解密,其中的加密密钥可以公开,又称为公开密钥(publickey),简称公钥。解密密钥必须保密,又称为四人密钥(private key)私钥,简称私钥3)混合密钥体制
53.分组密码(block cipher):将明文分成固定长度的组,用同一密钥和算法对每一块加密,输出也是固定长度的密文。
54.流密码(stream cipher):又称序列密码。序列密码每次加密一位的明文。序列密码是手工和机械密码时代的主流。
55.密码模式:以某个分组密码算法为基础,对任意长度的明文加密的方法 56.电码本ECB(Electronic Code Book)
57.密码分组链接CBC(Cipher Block Chaining)58.密码反馈CFB(Cipher FeedBack)59.输出反馈OFB(Output FeedBack)60.计数器模式(counter mode)61.分组链接BC(Block Chaining)
62.扩散密码分组链接PCBC(Propagating Cipher Block Chaining)
63.ECB1实现简单, 2不同明文分组的加密可并行处理硬件实现3密文中的误码不会影响其它分组的解密4无法恢复同步错误5相同明文分组对应相同密文分组,因而不能隐蔽明文分组的统计规律和结构规律5不能抵抗替换攻击.(特别当明文为结构数据时),需增加完整性检查字段
ECB应用:1单分组明文的加密2各明文块间无冗余信息:如随机数 65 密码分组链接CBC加密算法的输入是当前明文组与前一密文组的异或。
密码反馈(CFB-Cipher Feedback)模式,CBC模式,整个数据分组需要接收完后才能进行加密。若待加密消息需按字符、字节或比特处理时,可采用CFB模式。并称待加密消息按j 比特处理的CFB模式为j 比特CFB模式。适用范围:适用于每次处理j比特明文块的特定需求的加密情形,能灵活适应数据各格式的需要.67 优点:(1)适用于每次处理j比特明文块的特定需求的加密情形;(2)具有有限步的错误传播,可用于完整性认证;(3)可实现自同步功能:该工作模式本质上是将分组密码当作序列密码使用的一种方式,DES分组加密并不直接对明文加密,它产生的乱数j可作为流加密的key!68 缺点:加密效率低。
输出反馈(OFB-Output Feedback)模式
OFB模式在结构上类似于CFB模式,但反馈的内容是DES输出的j位乱数而不是密文!70 优点:(1)这是将分组密码当作序列密码使用的一种方式,序列密码与明文和密文无关!(2)不具有错误传播特性!71 适用范围:(1)明文的冗余度特别大,信道不好但不易丢信号,明文有误码也不影响效果的情形。如图象加密,语音加密等。(2)OFB安全性分析表明,j应与分组大小相同。72 缺点:(1)不能实现报文的完整性认证。(2)乱数序列的周期可能有短周期现象
总评:1)ECB模式简单、高速,但最弱,易受重发和替换攻击。商业软件中仍应用,可用于无结构小数据。2)低丢包率,低误码率,对明文的格式没有特殊要求的环境可选用CBC模式。需要完整性认证功能时也可选用该模式。3)高丢包率,或低误码率,对明文格式有特殊要求的环境(如字符处理),可选用CFB模式。4)低丢包率,但高误码率,或明文冗余多,可选用OFB模式。(但加密前先将明文压缩是一种安全的方法)
对称加密,1)对称加密算法中加密和解密使用相同的密钥。2)对称加密算法工作原理可以用下列公式表示:加密(明文,密钥)=密文解密(密文,密钥)=明文
对称密钥算法的优缺点,优点,加解密速度快。缺点:1)网络规模扩大后,密钥管理很困难2)无法解决消息确认问题3)缺乏自动检测密钥泄露的能力
DES(Data Encryption Standard)是第一个得到广泛应用的密码算法;DES是一个分组加密算法,它以64位为分组对数据加密。同时DES也是一个对称算法,即加密和解密用的是同一个算法。它的密钥长度是56位 77 分组密码设计准则
1)混淆(confusion):用于掩盖明文和密文间的关系。在加密变换过程中使明文、密钥以及密文之间的关系尽可能地复杂化,以防密码破译者采用统计分析法,通过研究密文以获取冗余度和统计模式。2)扩散(diffusion):通过将明文冗余度分散到密文中使之分散开来。密码分析者寻求这些冗余度将会更难。(扩散函数,通过换位,亦称置换)3)迭代结构:选择某个较为简单的密码变换,在密钥控制下以迭代方式多次利用它进行加密变换,就可以实现预期的扩散和混乱效果。(轮函数)
密钥编排算法ki是64bit密钥k产生的子密钥,Ki是48bit。密钥k长度:56比特,每7比特后为一个奇偶校验位(第8位),共64比特
DES的破译分析:56比特密钥太短,已抵挡不住穷尽密钥搜索攻击
3DES 是DES算法扩展其密钥长度的一种方法,可使加密密钥长度扩展到128位(112位有效)或192位(168位有效)。其基本原理是将128位的密钥分为64位的两组,对明文多次进行普通的DES加解密操作,从而增强加密强度。
AES(Advanced Encryption Standard)高级加密标准
公钥密码学的出现使大规模的安全通信得以实现–解决了密钥分发问题;
非对称密码技术又称公钥密码技术,或双钥密码技术,即加密和解密数据使用不同的密钥。
RSA是一种分组密码,其理论基础是一种特殊的可逆模指数运算,其安全性基于分解大整数的困难性 85 RSA算法的使用加密,签名,密钥交互
1.加解密2.数字签名与身份认证3.加密和数字签名同时使用4.密钥交换 86 非对称密钥算法的优缺点优点:1)可以适用网络的开放性要求,密钥管理相对简单;2)可以实现数字签名,认证鉴权和密钥交换等功能。缺点,算法一般比较复杂,加解密速度慢
私有密钥法和公开密钥法比较
1)加密、解密的处理效率2)密钥的分发与管理
3)安全性4)数字签名和认证
88.在上述流程中利用接收方公开密钥对加密信息原文的密钥P进行加密后再定点传送,这就好比用一个安全的“信封”把密钥P封装起来,所以称做数字信封。因为数字信封是用消息接收方的公钥加密的,只能用接收方的私钥解密打开,别人无法得到信封中的密钥P,好像挂号信,必须有私人签章才能获得一样。采用公开密钥加密法的数字信封,实质上是一个能分发、传播称密钥的安全通道。89.ABE(Attribute-Based Encryption)基于属性的密码系统
90.消息认证MAC(Message Authentication Code)消息摘要Message Digest消息摘要算法采用单向散列(hash)函数从明文产生摘要密文。摘要密文又称为数字指纹(Digital Fingerprint)、数据认证码DAC(Data authentication code)、篡改检验码MDC(Manipulation detection code)消息的散列值由只有通信双方知道的秘密密钥K来控制,此时散列值称作消息认证码MAC(Message Authentication Code)91.消息认证使收方能验证消息发送者及所发消息内容是否被窜改过。当收发者之间没有利害冲突时,这对于防止第三者的破坏来说是足够了。但当收者和发者之间有利害冲突时,就无法解决他们之间的纠纷。在收发双方不能完全信任的情况下,引入数字签名来解决上述问题 92.传统签名的基本特点1)不可重用,与被签的文件在物理上不可分割2)不可抵赖,签名者不能否认自己的签名3)签名不能被伪造4)容易被验证
数字签名是传统签名的数字化1)能与所签文件“绑定”2)签名者不能否认自己的签名 3)容易被自动验证4)签名不能被伪造
93.普通数字签名算法1)RSA 2)ElGamal /DSS/DSA 3)ECDSA Elliptic Curve Digital Signature Algorithm盲签名算法群签名算法
94.数字签名标准DSS(Digital Signature Standard)DSS和DSA是有所不同的:前者是一个标准,后者是标准中使用的算法
95.DSA与RSA 反对DSA的意见主要包括:1)DSA不能用于加密或密钥分配2)DSA是由NSA研制的,并且算法中可能存在陷门3)DSA比RSA要慢
二者产生签名的速度相同,但验证签名时DSA要慢10至40倍,其产生密钥的速度比RSA快。4)RSA是事实上的标准5)DSA的选择过程不公开,并且提供的分析时间不充分6)DSA可能侵犯其他专利:DSA侵犯了三个专利:Diffle-Hellman、Merkle-Hellman、Schnorr,前两个1997年已到期,Schnorr专利到2008年。7)密钥长度太小 96.其他签名方案:盲签名群签名环签名Ring signature门限签名
97.数字水印(Digital Watermark)是指永久镶嵌在其它数据(主要指宿主数据)中具有可鉴别性的数字信号或数字模式。数字水印的主要特征:1)不可感知性2)鲁棒性3)可证明性4)自恢复性5)安全保密性
98.密钥管理技术是信息安全的核心技术之一。包括密钥的产生,生成,分发,验证,存储,备份,保护,吊销,更新。
99.密钥的组织结构——多层密钥系统基本思想:用密钥保护密钥一个系统中常有多个密钥
100.密钥分发(分配,交换)密钥分发是密钥管理中的一个关键因素,目前已有很多密钥分配协议,但其安全性是一个很重要的问。按分发的内容1)秘密密钥的分发2)公开密钥的分发
101.密钥分发中的威胁1:消息重放应对:在认证交换中使用序列号,使每一个消息报文有唯一编号。仅当收到的消息序数顺序合法时才接受
101.抵抗消息重放的方法1)时间戳2)挑战/应答方式
103.密钥分发中的威胁2:中间人攻击对策:使用数字签名的密钥交换联锁协议是阻止中间人攻击的好办法 104 典型的自动密钥分配途径有两类:集中式分配方案和分布式(无中心的)分配方案。1)集中式分配是指利用网络中的“密钥管理中心”来集中管理系统中的密钥,“密钥管理中心”接受系统中用户的请求,为用户提供安全分配密钥的服务。
105)分布式分配方案取决于它们自己的协商,不受任何其他方面的限制。105 密钥管理体制主要有三种:1)适用于封闭网的技术,以传统的密钥管理中心为代表的KMI机制(Key Management Infrastructure,密钥管理基础设施);2)适用于开放网的PKI机制(Public Key Infrastructure,公开密钥基础设施);3)适用于规模化专用网的SPK 106 Public Key infrastructure,公钥基础设施。数字证书(Digital Certificate)提供一种在Internet上验证身份的方式,是用来标志和证明网络通信双方身份的数字信息文件。使公钥系统得以提供认证、数据完整性、机密性和不可否认等安全服务
107数字证书的内容,最简单的证书包含一个公开密钥、名称以及证书授权中心的数字签名 107数字证书格式。1)证书的版本号2)数字证书的序列号3)证书拥有者的姓名 4)证书拥有者的公开密钥5)公开密钥的有效期6)签名算法7)颁发数字证书的验证 108 证书机构Certification Authority(CA)证书机构就是可以签发数字证书的信任机构 109 公钥密码标准PKCSpkcs7包括6种数据内容:数据(data),签名数据(sign),数字信封数据(enveloped),签名数字信封数据(signed_and_enveloped),摘要数据(digest),加密数据(encrypted)
CMP(Certificate Management Protocol)证书管理协议CMC(Certificate Management Messages)证书管理信息
证书吊销1)CA在证书过期之前使证书失效2)CA需要两种方法来吊销证书并通知吊销的终端实体– CRL(Certificate Revocation List)– OCSP,CRL,Certificate Revocation List,证书吊销列表
112Online Certificate StatusProtocol,在线证书状态协议 1)请求-响应模式2)客户发送OCSP请求(证书有效吗?)3)服务器发送OCSP响应(证书有效/无效/不确定)112交叉证明指CA之间互相证明以建立一种横向信任关系,这是一种对等信任模型
混合(Hybrid)模型是证书层次结构同交叉证明的结合。交叉证明可以在两个层次结构的任何两个CA间进行,信任仅存在于这两个CA及其下面的子CA之间
114.PMI授权管理基础设施 1)授权服务管理2)访问控制机制
PMI系统主要分为授权管理中心(又称AA中心)和资源管理中心(又称RM中心)两部分。116 PMI以资源管理为核心,对资源的访问控制权统一交由授权机构统一处理,即由资源的所有者来进行访问控制。同公钥基础设施PKI相比,两者主要区别在于:
1)PKI证明用户是谁,而PMI证明这个用户有什么权限,能干什么。2)PMI(授权管理基础设施)需要PKI(公钥基础设施)为其提供身 份认证。
PMI与PKI在结构上是非常相似的。信任的基础都是有关权威机构,由他们决定建立身份认证系统和属性特权机构。1)在PKI中,由有关部门建立并管理根CA,下设各级CA、RA和其它机构; 2)在PMI中,由有关部门建立授权源SOA,下设分布式的AA和其它机构。
1、误用检测模型(Misuse Detection):收集非正常操作的行为特征,建立相关的特征库,当监测的用户或系统行为与库中的记录相匹配时,系统就认为这种行为是入侵。
2、有时也被称为特征分析(Signature Analysis)或基于知识的检测(Knowledge-based Detection).异常检测模型(Anomaly Detection):首先总结正常操作应该具有的特征(Normal Usage Profile)),当用户活动与正常行为有重大偏离时即被认为是入侵(度量及门限)
3、入侵检测系统,通常来说包括三个主要功能部件(1)信息收集(2)信息分析(3)结果处理
4、信息收集的来源:系统或网络的日志文件、系统目录和文件的异常变化、程序执行中的异常行为、网络流量
5、数据预处理模块:从各种数据源采集上来的数据,需要经过预处理才能够加以分析。
6、分析模块:分析模块是入侵检测系统的核心模块,它完成对事件的分析和处理。分析模块可以采用现有的各种方法对事件进行分析,在对事件进行分析后,确定该事件是否是攻击,如果是就产生报警,如果不能够确定,也要给出一个怀疑值。分析模块根据分析的结果,决定自己怀疑的数据是否要送给关联模块进行数据融合。
7、关联模块:关联模块进行数据融合的主要目的就是综合不同分析模块送报上来的已给出怀疑值的事件,判断是否存在分布式攻击。
8、管理模块:管理模块接到报警等信息后,决定是否采取响应,采取何种响应。
9、入侵检测技术可分为两类:误用检测(Misuse Detection):首先定义违背安全策略的事件的特征,检测主要判别这类特征是否在所收集到的数据中出现。异常检测(Anomaly Detection):建立系统“正常”情况的模型,后将系统运行时的数值与所定义的“正常”情况比较,得出是否有被攻击的迹象。
10、入侵检测的常用方法专家系统、统计分析、利用人工智能自动规则发现:神经网络,模糊系统,遗传算法,免疫系统,数据挖掘,深度学习
11、模式匹配的方法用于误用检测。它建立一个攻击特征库,然后检查发过来的数据是否包含这些攻击特征,判断它是不是攻击。算法简单,准确率相对异常检测高。缺点只能检测已知攻击,对于无经验知识的入侵与攻击行为无能为力模式库需要不断更新,且模式更复杂(实时性,误报率)对于高速大规模网络,由于要处理分析大量的数据包,这种方法的速度成问题。
12、基于统计分析的检测技术根据系统中特征变量(如:事件的数量、间隔时间、资源消耗、流量等)的历史数据建立统计模型historical statistical profile)对正常数据的各个特征进行统计,根据统计结果对每一个特征设定一个正常范围的门限。
这些特征和相应的门限组成检测的统计模型动态更新:模式向量随时间衰减,并将新的用户行为所产生的审计数据嵌入到知识库中,计算出新的模式向量存储在知识库中。运用该模型对特征变量未来的取值进行预测和检验偏离,从而判断是否发生入侵。(异常检测)
13、统计检测
1、操作模型:假设异常可通过测量结果与一些固定指标相比较得到,固定指标根据经验值或一段时间内的统计平均得到,例:短时间内的多次失败的登录可能是口令尝试攻击;
2、多元模型,操作模型的扩展,同时分析多个参数实现检测;
3、方差模型,计算参数的方差,设定其置信区间,当测量值超过置信区间的范围时表明有可能是异常;
4、马尔柯夫Markov过程模型,将每种类型的事件定义为系统状态,用状态转移矩阵来表示状态的变化,当一个事件发生时,或状态矩阵该转移的概率较小则可能是异常事件;
5、时间序列分析,将事件计数与资源耗用根据时间排成序列,如果一个新事件在该时间发生的概率较低,则该事件可能是入侵。优点:
•不需要很多先验知识,有较为成熟的统计方法可以应用
•动态性好,用户行为改变时,相对应的度量能产生一致性的变化,保证行为模式的更新 问题:
•难以提供实时检测和自动响应功能:大多数统计分析系统是以批处理的方式对审计记录进行分析的,因此检测系统总是滞后于审计记录的产生
•对入侵发生的顺序不敏感:许多预示着入侵行为的系统异常都依赖于事件的发生顺序,但是统计分析的特性导致了它不能反映事件在时间顺序上的前后相关性,因此事件发 生的顺序通常不作为分析引擎所考察的系统属性;•阈值难以确定:门限值如选择得不当,就会导致系统出现大量的错误报警。专家系统
入侵的特征抽取与表达,是入侵检测专家系统的关键。基于规则的入侵检测技术:在系统实现中,将有关入侵的知识转化为if-then结构,条件部分为入侵特征,then部分 是系统防范措施。
基于状态转移图的入侵检测技术:状态转移图用来描述复杂和动态入侵过程的时序模式特征,可以表示入侵事件发生的时序关系和相关性,使入侵的行为、状态、上下文环境背景和发生的过程与步骤得到直观的描述。
基于专家系统的检测技术的特点: •误报少准确性高
•只能发现已知攻击,难以准确识别同一种攻击的变种,对未知的攻击不具备检测的能力。同时规则库的建立及维护代价高,且容易出现冗余、矛盾、蕴含等问题。
运用专家系统防范有特征入侵行为的有效性完全取决于专家系统知识库的完备性,知识库的完备性又取决于审计记录的完备性与实时性。基于生物系统模拟的检测技术
基于神经网络:由神经元通过突触连接。如BP网络是一种多层前馈神经网络,包括输入层、隐层和输出层。当学习样本提供给网络后,在输出层得到对输入的响应,按照减少目标输出与实际输出误差的方向,从输出层经过各隐层逐层修正各连接权值,以达到神经网络 的实际输出与期望输出的最大拟和,从而实现分类。特点:
•需要学习训练,系统有可能趋向于形成某种不稳定的网络结构,不能从 训练数据中学习到特定的知识
•不使用固定的系统属性集来定义用户行为,具备了非参量化统 计分析的优点
•通常无法对判断为异常的事件提供任何解释或说明信息,不利于对入侵 进行分析并采取相应对策
人工免疫的检测技术:生物免疫系统具有健壮性、记忆能力、容错能力、动态稳定性以 及异常检测等良好特性”这些特性与一个合格的网络入侵检测系统有很高的相似性
遗传算法:基于选择、交叉和变异等基因操作。以适应度函数fittest function为启发式搜索函数,通常以分类正确率为度量,确定能表达某一类攻击的各参数特征。基于数据挖掘
数据挖掘(data mining)也称为知识发现技术,其目的是要从海量数据中提取出我们所感兴趣的数据信息(知识):统计学的数学理论+机器学习的计算机实践
•预测:根据数据其他属性的值来预测特定属性的值
•分类的任务是对数据集进行学习,从而构造拥有预测功能的分类函数或分类模型(分类器),把未知样本标注为某个预先定义的类别。
•离群点分析(outlier mining):发现离群点并对其进行处理的过程。离群点是与数据集中大部分数据的观测值明显不同的数据。
•描述:发现概括数据中潜在的联系模式 •聚类分析特别适合用来讨论样本间的相互关联,在事先对数据集的分布没有任何了解的情况下,按照数据之间的相似性度量标准将数据集自动划分为多个簇。
•关联分析用于寻找数据集中不同项之间的潜在的联系。例如,通过关联规则挖掘发现数据间的关系,或通过序列分析发现有序事物间的先后关系。
入侵检测系统中的数据挖掘算法,目前主要包括3种:: •数据分类(data classification):连接(会话)记录的误用检测 •关联分析(association analysis):用户行为模式的异常检测 •序列挖掘(sequence mining):用户行为模式的异常检测
MADAMID(Mining Audit Data for Automated Model for Intrusion Detection)•误用检测,离线检测,利用规则分类算法RIPPER对审计数据进行归纳学习来得到描述类的模型 ADAM(Audit Data Analysis and Mining)项目•异常检测,关联规则与分类 告警融合
网络入侵检测系统分析的数据源是网络数据包,在一些情况下很容易突然产生大量相似的警报,称之为警报洪流。例如攻击者可以通过发送大量经过精心设计的数据包使得入侵检测系统出现警报洪流,或是所检测的网络中某些服务器提供的一些固有服务产生的数据可能被误检测为入侵数据从而出现警报洪流。
在出现警报洪流时,入侵检测系统检测到的真正入侵行为所产生的警报就会被淹没,很难被管理员发现。因此有必要实现告警融合。
研究:关联分析方法对IDS产生的告警进行关联 告警聚集
由于警报洪流中的警报一般是相似的,相似的报警在一个较短时间内多次出现是没有必要的,因此可以通过将多条相似的警报合并成为一条警报从而避免出现警报洪流或降低警报洪流的规模。这就叫做告警聚类,将特征相似的警报合并在一起,聚类(cluster)算法所依据的规则是警报的相似规则。
通过事先定义好的攻击过程进行事件关联:通过机器学习或人类专家来得到各种攻击过程,将这些攻击过程作为模板输入到系统中去,然后系统就可以将新的报警同这些攻击过程模板相比较,进行实时关联。
通过事件的前因和后果进行事件关联:任何一个攻击都具有前因和后果。所谓前因就是攻击要实施所必须具有的前提条件,后果就是攻击成功实施后所造成的结果。在一个有多个攻击动作组成的入侵过程中,一个攻击的后果就是下一个攻击前因。基于这一思想,首先定义每一个单独攻击的前因、后果,然后就可以将具有因果关系的攻击关联在一起,重现整个攻击过程。
大题:
一.攻击的分类:1)active attack,主动攻击包括:网络扫描、拒绝服务攻击、缓冲区溢出、欺骗和网络钓鱼(Phishing)、信息篡改、会话劫持、隐密通道(covert channel)等攻击方法2)Passive attack被动攻击包括:嗅探、流量分析、信息收集等攻击方法
1)从攻击的目的来看,可以有拒绝服务攻击(Dos)、获取系统权限的攻击、获取敏感信息的攻击; 2)从攻击的切入点来看,有缓冲区溢出攻击、系统设置漏洞的攻击等;
3)从攻击的纵向实施过程来看,有获取初级权限攻击、提升最高权限的攻击、后门攻击、跳板攻击等; 4)从攻击的目标来看,包括对各种应用系统的攻击(系统攻防)、对网络设备的攻击(网络攻防)二常见的网络攻击:
TCP SYN拒绝服务攻击一般情况下,一个TCP连接的建立需要经过三次握手的过程,即:
1、建立发起者向目标计算机发送一个TCP SYN报文;
2、目标计算机收到这个SYN报文后,在内存中创建TCP连接控制块(TCB),然后向发起者回送一个TCP ACK报文,等待发起者的回应;
3、发起者收到TCP ACK报文后,再回应一个ACK报文,这样TCP连接就建立起来了。利用这个过程,一些恶意的攻击者可以进行所谓的TCP SYN拒绝服务攻击:
1、攻击者向目标计算机发送一个TCP SYN报文;
2、目标计算机收到这个报文后,建立TCP连接控制结构(TCB),并回应一个ACK,等待发起者的回应;
3、而发起者则不向目标计算机回应ACK报文,这样导致目标计算机一致处于等待状态。可以看出,目标计算机如果接收到大量的TCP SYN报文,而没有收到发起者的第三次ACK回应,会一直等待,处于这样尴尬状态的半连接如果很多,则会把目标计算机的资源(TCB控制结构,TCB,一般情况下是有限的)耗尽,而不能响应正常的TCP连接请求 三: 身份认证技术是在计算机网络中确认操作者身份的过程而产生的有效解决方法。计算机网络世界中一切信息包括用户的身份信息都是用一组特定的数据来表示的,计算机只能识别用户的数字身份,所有对用户的授权也是针对用户数字身份的授权。如何保证以数字身份进行操作的操作者就是这个数字身份合法拥有者,也就是说保证操作者的物理身份与数字身份相对应,身份认证技术就是为了解决这个问题,作为防护网络资产的第一道关口,身份认证有着举足轻重的作用
在真实世界,对用户的身份认证基本方法可以分为这三种:
(1)根据你所知道的信息来证明你的身份(what you know,你知道什么);(2)根据你所拥有的东西来证明你的身份(what you have,你有什么);
(3)直接根据独一无二的身体特征来证明你的身份(who you are,你是谁),比如指纹、面貌等
四、A用户公钥P(A),S(A),B用户有公钥P(B),私钥S(B).A与B之间需对大量电子公文进行交互,为保证机密性,完整性,并完成身份认证,请简述A向B发送公文T的工作步骤,并指出这一过程中的消息摘要,消息认证码,数字签名,数字信封分别是什么?
1、A用自己的私钥加密信息,从而对文件签名
2、A将签名的文件发送给接受者B
3、B利用A的公钥解密文件,从而严重签名 消息摘要:是一个唯一对应一个消息或文本的固定长度的值,它由一个单向Hash加密函数对消息进行作用而产生。消息认证码是基于密钥和消息摘要所获得的一个值,可用于数据源认证和完整性校验。数字签名:是使用公钥加密领域极速实现,用于鉴别数字信息的方法,它是一种物理签名 数字信封:是将对称密钥通过非对称加密的结果分发对称密钥的方法。IP网络面临的安全威胁(我自己加的)
1、恶意攻击网络扫描、DdoS、窃取机密数据(窃听,中间人),流量分析、欺骗和网络钓鱼(Phishing)、会话劫持、消息窜改,插入,删除,重发、物理破坏
2误用和滥用(内部和外部)配置错误、缺省配置、内部窃取:客户资料、充值卡等、内部越权、操作行为抵赖 •垃圾流量、邮件、电话和短信
3恶意代码:病毒和蠕虫,木马、逻辑炸弹,时间炸弹
第二篇:北邮信息门户
北邮信息门户
北邮信息门户
为庆祝新中国成立 71 周年,激发我校学生爱国热情,10 月 1 日上午,我校组织全体大一新生开展了“使命在肩,奋斗有我”庆祝新中国成立 71 周年升旗仪式。校党委副书记李杰,学工部、校团委及各学院学生工作负责人参加了仪式。
英姿飒爽的国旗护卫队队员们护卫着鲜艳的五星红旗走向国旗台,伴随着庄严的中华人民共和国国歌,五星红旗冉冉升起。在场师生向国旗行注目礼,表达对伟大祖国无限的热爱和崇高的敬意!
两名学生代表做国旗下演讲。退伍士兵代表、现代邮政学院(自动化学院)学生秦志斌表达了一名退伍士兵赤诚的爱国之情和“若有战,召必回”的坚定决心;电子工程学院 2019 级学生李润泽展示出青年学生的拳拳报国之心和殷殷赤子之情。
李杰指出,在新中国成立七十一周年这个特殊的日子,我们举行隆重的升国旗仪式,为伟大祖国庆生、向新中国致敬,同时也是缅怀为新中国诞生、建设发展英勇献身的革命先烈,希望同学们在心中许下为中华民族伟大复兴而奋斗的庄重誓言。李杰强调,在今年的新冠疫情防控中,在以习近平同志为核心的党中央坚强领导下,全国人民万众一心,取得了抗击疫情的重大阶段性胜利,再一次证明了中国特色社会主义制度的优越性,希望同学们树立远大理想、志存高远,秉承“将小我融入大我、青春告白祖国”的家国情怀,勇担时代使命,刻苦学习,把自己培养成学习成绩优秀、综合素质高、全面发展的社会主义建设者和接班人,为新时代中国特色社会主义建设贡献力量。
最后,全体师生合唱校歌《传邮万里》,表达对母校的热爱之情和勇担北邮人“传邮万里,国脉所系”使命的决心。
第三篇:北邮 大数据技术课程重点总结
大数据技术
1.什么是数据挖掘,什么是机器学习: 什么是机器学习
关注的问题:计算机程序如何随着经验积累自动提高性能; 研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能; 通过输入和输出,来训练一个模型。
2.大数据分析系统层次结构:应用层、算法层、系统软件层、基础设施层 3.传统的机器学习流程
预处理-》特征提取-》特征选择-》再到推理-》预测或者识别。
手工地选取特征是一件非常费力、启发式(需要专业知识)的方法,如果数据被很好的表达成了特征,通常线性模型就能达到满意的精度。
4.大数据分析的主要思想方法
4.1三个思维上的转变
关注全集(不是随机样本而是全体数据):面临大规模数据时,依赖于采样分析;统计学习的目的——用尽可能少的数据来证实尽可能重大的发现;大数据是指不用随机分析这样的捷径,而是采用大部分或全体数据。关注概率(不是精确性而是概率):大数据的简单算法比小数据的复杂算法更有效 关注关系(不是因果关系而是相关关系):建立在相关关系分析法基础上的预测是大数据的核心,相关关系的核心是量化两个数据值之间的数理关系,关联物是预测的关键。
4.2数据创新的思维方式
可量化是数据的核心特征(将所有可能与不可能的信息数据化);挖掘数据潜在的价值是数据创新的核心;三类最有价值的信息:位置信息、信令信息以及网管和日志。数据混搭为创造新应用提供了重要支持。
数据坟墓:提供数据服务,其他人都比我聪明!
数据废气:是用户在线交互的副产品,包括了浏览的页面,停留了多久,鼠标光标停留的位置、输入的信息。
4.3大数据分析的要素
大数据“价值链”构成:数据、技术与需求(思维);数据的价值在于正确的解读。5.数据化与数字化的区别
数据化:将现象转变为可制表分析的量化形式的过程;
数字化:将模拟数据转换成使用0、1表示的二进制码的过程
6.基于协同过滤的推荐机制
基于协同过滤的推荐(这种机制是现今应用最为广泛的推荐机制)——基于模型的推荐(SVM、聚类、潜在语义分析、贝叶斯网络、线性回归、逻辑回归)余弦距离(又称余弦相似度):表示是否有相同的倾向 欧几里得距离(又称欧几里得相似度):表示绝对的距离 这种推荐方法的优缺点:
它不需要对物品或者用户进行严格的建模,而且不要求物品的描述是机器可理解的;推荐是开放的,可以共用他人的经验,很好的支持用户发现潜在的兴趣偏好。数据稀疏性问题,大量的用户只是评价了一小部分的项目,而大多数的项目是没有进行评分;冷启动问题,新物品和新用户依赖于用户历史偏好数据的多少和准确性,一些特殊品味的用户不能给予很好的推荐。
7.机器学习:构建复杂系统的可能方法/途径
机器学习使用场景的核心三要素:存在潜在模式、不容易列出规则并编程实现、有历史的数据
8.机器学习的基础算法之PLA算法和Pocket算法(贪心PLA)
感知器——线性二维分类器,都属于二分类算法
二者的区别:迭代过程有所不同,结束条件有所不同; 证明了线性可分的情况下是PLA和Pocket可以收敛。
9.机器为什么能学习
学习过程被分解为两个问题:
能否确保Eout(g)与 Ein(g)足够相似? 能否使 Ein(g)足够小?
规模较大的N,有限的dVC,较低的Ein条件下,学习是可能的。
切入点:利用具体特征的,基于有监督方式的,批量学习的分析,进行二分类预测。
10.VC维:
11.噪声的种类:
12.误差函数(损失函数)
13.给出数据计算误差
14.线性回归算法:简单并且有效的方法,典型公式
线性回归的误差函数:使得各点到目标线/平面的平均距离最小!
15.线性回归重点算法部分:
16.线性分类与线性回归的区别:
17.过拟合:
原因:模型复杂太高,噪声,数据量规模有限。解决方案:使用简单的模型,数据清洗(整形),正则化,验证。
18.正则化
19.分布式文件系统: 一种通过网络实现文件在多台主机上进行分布式存储的文件系统;分布式文件系统一般采用C/S模式,客户端以特定的通信协议通过网络与服务器建立连接,提出文件访问请求;客户端和服务器可以通过设置访问权限来限制请求方对底层数据存储块的访问。
20.计算机集群结构:
分布式文件系统把文件分布存储到多个计算机节点上,成千上万的计算机节点构成计算机集群。
与之前使用多个处理器和专用高级硬件的并行化处理装置不同的是,目前的分布式文件系统所采用的计算机集群都是由普通硬件构成的,因此大大降低了硬件上的开销。
21.分布式文件系统的结构:
分布式文件系统在物理结构上是由计算机集群中的多个节点构成,这些节点分为两类,一类叫“主节点”(MasterNode)或者也被称为“名称结点”(NameNode),另一类叫“从节点”(Slave Node)或者也被称为“数据节点。
22.HDFS 主要特性:兼容廉价的硬件设备、支持大数据存储、流数据读写、简单的文件模型、强大的跨平台兼容性;
局限性:不适合低延迟数据处理、无法高校存储大量小文件、不支持多用户写入及任意修改文件
块:
hdfs的名称节点存储元数据、元数据保存在内存中、保存文件,block,datanode之间的映射关系;hdfs的数据节点存储文件内容、文件内容保存在磁盘、维护了block id到datanode本地文件的映射关系。
23.分布式数据库概述:
四类典型的作用于大数据存储和管理的分布式数据库:并行数据库、NoSQL数据管理系统、NewSQL数据管理系统、云数据管理系统。并行数据库:
NoSQL数据管理系统:
NewSQL数据管理系统:
云数据管理系统:
Nosql简介:数据模型灵活、简洁;水平可扩展性强;系统吞吐量高; 关系数据库无法满足大数据表现:无法满足海量数据的管理需求、无法满足数据高并发的需求、无法满足高可拓展性和高可用性的需求。
Nosql与关系数据库的比较:
NoSQL的四大类型:键值数据库、列族数据库、文档数据库、图形数据库
NoSQL的理论基础(CAP与ACID、BASE)CAP:
一个分布式系统不可能同时满足一致性、可用性和分区容忍性这三个需求。
ACID(关系数据库的事务具有的四个特性)
BASE
NoSQL到NewSQL:
大数据应用:
百度大数据引擎的构成:开放云、数据工厂、百度大脑 开放云:
数据工厂:
百度大脑:
阿里大数据应用:去IOE
大数据在电信行业的应用:
24.分布式并行编程框架MapReduce 25.MapReduce的体系结构:Client、JobTracker、TaskTracker、Task
MapReduce的工作流程:
Split(分片):
Map端的Shuffle过程详解:
Reduce端的shuffle详解:
MapReduce小结:
26.Spark特点:
Hadoop的局限性:
Spark生态系统:
RDD:
RDD的优势:
RDD之间依赖关系的两种类型:
Stage划分:
Sprak小结:
流数据:
流计算处理流程:数据实时采集(保证实时性、低延迟、可靠稳定)、数据实时计算、实时查询服务(实时查询服务可以不断更新结果,并将用户所需的结果实时推送给用户)。
流处理系统与传统数据处理系统的区别:
开源流计算框架——Storm(免费、开源的分布式实时计算系统):
Storm的工作流程:
流计算小结:
图计算系统——Pregel简介:
BSP模型:
图计算小结:
Pregel计算模型:
Pregel执行过程:
Pregel容错机制:
HBase:
BigTable:特点:
HBase:
HBase与传统关系数据库的对比:
HBase数据模型:
HBased 中的数据坐标:
HBase功能组件:
Region的定位:
HBased 系统架构:
Region服务器工作原理:
第四篇:北邮-信息与网络实验报告一
北京邮电大学
信息网络应用基础实验报告
实验一
静态网页的设计
学院:电子工程学院
班级:
姓名:
学号:
一、实验主题
1、设计主题:本次实验我设计的该网页主题是围绕当前热门的多人联机在线网游DOTA2进行的。并对该游戏的由来、背景及其内容做了一些简要的描述。
2、功能:在主页中可以观看该游戏的宣传视频以及该游戏的一些精美的图片,并且通过选择相应选项可以了解更多的游戏内容。
3、运行流程:
① 首先打开主页时可以选择播放视频,并且看到丰富的图片;
② 然后点击相应的选项可以进入到分别的附页中查看内容;
③ 并且在主页点击最下的图片可以回到主页顶部,在其他页面点击最下的图片也可以回到主页。
4、实现功能的html技术:
① 在主页中观看视频利用的是html多媒体中的
② 在页面中的图片是利用了html多媒体中的标签进行图片的加入;
③ 设置页面的背景图片是在
标签中加入background参数即可;④ 在页面内、本机页面间及本机文档连接互联网页面时则是利用了超链接的三种方法建立;
⑤ 在页面中显示表格则是利用了相关的表格创建的语句来建立一个表格,并且可以对表格中插入图片并且可以改变表格的背景颜色以及背景图片。
二、实验内容运行结果
① 打开主页可以看到插入的图片以及背景图片
② 点击页面中插入的视频,点击播放即可以进行播放
插入视频的html代码如下:
③ 点击主页中的超链接则可以跳转到相应的页面。如:
点击英雄介绍链接
则可以显示英雄介绍页面
当选择一个类型的英雄时可以在本页面跳转到对应类型的介绍
当选择某个英雄时则可以链接到互联网上的详细介绍页面
④ 当在副页面点击最下面的图片则可以跳转到主页面
⑤ 在页面中建立的表格并且改变表格背景颜色并且插入图片
三、实验心得与感受
本次实验真正的了解到了如何设计一个最基本的网页,也是将所学的html语言的知识进行了充分的应用,也对这些知识有了更加可视化的了解。由于是第一次进行网页的设计,我选择的是利用记事本来编辑html代码来进行设计的,由于代码都是利用各种标签手动输入的,所以对语句有了深刻的记忆,包括在以后的学习中也会很好的利用它们。我认为这样相对于利用dreamweaver来设计有很多的好处,因为这样第一次可以让我们了解页面的每一部分是怎么实现的,不过在了解过后可以选择软件来设计,因为那样更加具有可视化且方便。
在设计的过程中,也遇到了不少的困难。首先感觉就是对于一个网页的背景图片选择来说比较困难,因为在网页中不会对一个图片进行伸缩,显示的是图片本身的大小,所以只好找到与页面较符合的图片。而且在插入视频时,我利用书中的代码写入时不能在页面中无法播放视频。后来我在网上查阅相关资料,后来直接利用视频网站中的分享视频的代码加入即可在页面中显示一个可播放的视频。
通过这个实验来进行静态网页的设计还是很有意思的,既能学到知识又能了解自己喜欢的东西,而且在网页完成后再进行浏览是一件很有成就感的事情!
第五篇:北邮数据库期中知识点总结
Chapter 1.Introduction to Database 数据库很重要
数据库的前身是文件系统: 概念 自己管自己 –> 数据孤立 冗余 数据依赖性差(一个改了与它相关的全部重写)文件格式不相容
查询固定 应用程序翻新 数据库的定义
数据库表现了实体(staff)属性(staffno)逻辑关系(外键)DBMS 定义
提供了DDL DML 语句 视图机制 环境五要素 硬件(电脑)
软件(APPDBMS自身)数据
过程(登陆)
人(DA DBA,DB designer,app developer,user)
历史
第一代 SYSTEM R 第二代 关系DBMS 第三代 面向对象的 对象关系的
优缺点
Chapter 2.Database Environment 最常用的DBMS就是ANSI-SPARC结构
目标 结构
外部 用户 【视图】 概念 团体 【表】 内部 文件 【索引】
层与层之间的关系
外部/概念映射 概念/内部映射
Chapter 4.Relational Algebra 根据2.3 data model 我们知道 数据模型分为:
面向对象的 基于关系的:
Relation data model
Network data model Physical data model 物理的
而数据模型的三个组成部分为: ·结构[由一组创建数据库的规则组成](SEE IN CHAPTER 3)
数据模型之关系模型的结构是用表表示的,表的组成,也就是表的结构,如行,列等在第三章讲过。
·操作
这一章主要讲关系模型的操作,该操作是通过关系代数来完成的。
·完整性
SEE IN 3.3 关系模型的完整性:
NULL 没有值得时候用NULL表示 而不是0或空格 Entity integrity 主键不能为空
Reference 如果一个键是外键 不能凭空在这里加东西 Enterprise 自定义约束
关系的操作是闭包的,关系的运算结果还是关系。五大基本关系运算:
·选择selection 相当于WHERE ·投影projection =SELECT ·笛卡儿积cartesian product ·并 union ·集合差 set difference Join连接 intersection 交 division 除 都能用五大基本操作表示 其中 选择和投影是一元操作
·选择:σpredicate(R)= select* from R where predicate=‘’ i.e.σsalary > 10000(Staff)·投影:Πcol1,..., coln(R)= select col1,..., coln from R ΠstaffNo, fName, lName, salary(Staff)= select staffno, fname,lname
From staff ·并 Πcity(Branch)∪ Πcity(PropertyForRent)·减 ·交 ·笛卡尔 ·连接
Theta join(θ-join)R FS = σF(R Χ S)R与S 在F 条件下连接 自然连接 有公共的连接起来
左外连
有公共的+左边的 右外连
有公共+右边 全外连 有公共+全部
半连接 参与θ
连接的左边的属性
·除