第一篇:SiteView TC流量控制概要
SiteView TC流量控制
概述
今天,信息技术在中国各个行业中的应用都得到了前所未有的重视,“以信息化带动工业化”已为各级决策部门所共识,各个行业在IT方面都有很大的投入,进行了大量的系统建设和应用开发。在实际情况中,用户长时间的下载、上传文件,占用大量的带宽,影响正常的Email收发、实时视频会议等及时通信或商务活动。因此,有效地管理IT资源,合理的分配利用网络资源,已经成为一件刻不容缓须要解决的事情。为保证企业合理使用Internet资源,通过带宽监视和流量限制技术,能有效防止对Internet资源的滥用。合理分配每个IP使用流量。
SiteView TC是基于Linux操作系统的网络流量监测与管理系统,适用于各种规模的企业和政府的网络,能有效解决网络应用性能问题,保护IT投资,降低运营成本,从而提高用户的生产力。SiteView TC解决方案提供了直观的界面使网络管理人员能够随时随地了解网络带宽使用情况,而且能对网络用户进行分组上下行带宽限制。并且,一旦系统出现可疑异常状况,预警可通过声音、E-mail、滚动消息等方式及时通知相关人员或自动进行常见故障处理,从而最大限度的降低系统平台出现故障的可能,减少可能给企业带来的损失。完善的日志分析报告,更能帮助网络管理人员预防可能出现的故障,为企业网络的战略规划提供依据。
易用快捷的操作方式,SiteView TC采用Web界面,“一键一击”的引导式界面设计,全面提升用户体验。
成熟稳定的系统平台,基于Red Hat Enterprise Linux开发,内核性能优秀稳定,经过全面严格的网络性能测试,对于各种网络环境进行特别参数优化,使得系统可用性大大加强,最大程度上避免产品当机状况的发生,减轻网络管理员繁重的维护及管理工作。
先进的远程协同工作方式,方便多用户操作,当系统遇到突发状况,网络管理员可以通过系统的远程技术支持模块获取技术支持工程师实时在线支持。
完善的系统修复设计,网络管理员可以通过一键备份和一键修复模块,将系统配置自动还原到以前所定义的还原点,更可以通过系统操作记录,获知以前可能存在的误操作,对操作进行修正。
丰富的报警方式,无论系统管理人员身在何处,都能及时了解网络系统可能出现的故障。系统的各种日志报告,更能帮助网络管理人员快速追踪问题根源,找到网络误配置部分,从而杜绝日后出现同样问题。
全面的日志分析报告很好的满足了不同网络管理人员的需求,详尽的文本报告和直观易懂的带宽图表,方便网络管理人员对网络流量状况的了解。对于高层决策人员而言,更能从中提前发现隐患,给企业信息建设战略规划提供依据。功能介绍
1.工作原理 所用的数据包都会流经SiteView TC,通过流量分析引擎按照IP地址,或是协议对数据包进行分类,打上标记。然后,通过流量分析引擎,每三分钟对每个IP的上行流量,下行流量总的统计,以及细化到每个IP的几种基本协议流量统计,并以报表的形式把统计结果保存下来。在通过流通量控制引擎,检查已经受到限制的IP的流量,是否已经达到管理员所限制的最大值。如果已经达带到上限,则通过我们制定的算法对数据包发送的速率进行有效的控制、及整形。
1.1实时流量监控
通过实时获取流过SiteView TC的所有IP地址网络传输速率和流量,为网络管理员的网络建设和管理工作提供参考,并能从异常流量中,分析网络中存在的隐患。在对传输流量监视基础上,可以进一步对单个IP的上下行传输速率进行手动控制,为网络用户区分优先级,对不同优先级的用户提供不同的网络服务,同时SiteView TC还支持按协议控制流量,比如对常见的http、ftp、telnet、ssh、p2p等协议进行流量控制,保证正常的企业上网流量。
另外SiteView TC也可以通过以组的方式或者以一个网段的方式对用户的流量设置,进行统一的管理.2.系统管理
SiteView TC多功能网关不仅功能十分强大,而且通过Web界面进行操作也十分易用。2.1支持远程启停机 可以远程控制机子的关机。2.2网关状态查看 可以很方便地查看网关的硬盘空间、CPU利用率、系统授权文件情况等等。2.3支持远程启停网关各功能模块
以直观的方式提供网关各功能的状态的查看。
管理员可通过点击按钮来完成重启、停止、启动各功能模块。2.4 开机和关机设置 网关重启或关闭时,需要预先启动或关闭的服务,都可以在这里设置。2.5 修改密码
登陆用户可以随时修改登陆密码,增加系统安全性。2.6 计划任务
类似Windows操作系统的计划任务程序,可以通过定义这个模块来定时进行一些自定义任务,比如数据库统计,信息搜集等等。
2.7 支持本地DNS SiteView TC可以缓存查询过的DNS充当本地DNS域名服务器,更快地解析域名。2.8支持DHCP 在255台以下机器的企业网络中,客户机器只需设定自动获取IP地址,就可以通过DHCP服务 获得可以上网的IP地址。
2.9 网络工具
提供PING、TraceRoute、WEB执行命令窗口等日程命令工具集,避免管理员在多平台间切换,直接在Web页面查看输出结果。
2.10 实时连接查看 SiteView TC可以保存所有通过TC的内网机器连接状态,通过SiteView TC进行的数据分析,可以实时查看内网机器的当前状态,比如访问的外网IP地址以及对应的地理位置,端口,标志位等信息。
2.11网络隧道配置
在中大型企业网络中,当企业各组织机构被划分到不同的网段中时,可以通过配置网络隧道,在两台SiteViewTC系统或者一台SiteViewTC系统和一台支持GRE格式封装的路由器之间进行网络隧道对接,轻松实现各部门互访,如同在同一子网。
2.12日志文件大小监控
对系统日志磁盘使用状况进行监控,当日志文件大小超过定义的阀值时,系统会自动发送E-Mail到管理员邮箱提醒注意。
2.13一键备份与恢复
提供对系统配置文件的备份与恢复,可以一键点击备份所有配置文件,也可单独选择特定配置文件进行备份,这适用于重装或升级系统时,大大减少网络管理人员重复工作量,提升工作效率。2.14在线技术支持
这是游龙科技提供给正式版用户的特有服务,每个正式版License都会附送一年的技术支持服务,遇到重大问题无法自行解决时,网络管理人员可以通过点击连接按钮,使得SiteView TC自动连接远程服务器通知游龙科技技术人员,技术人员会进行在线实时维护修复。
第二篇:流量控制技术
2009年8月23-24日,下一代网络融合与发展中国峰会(CNCS)在北京京都信苑宾馆召开,会议由国家广播电视电影总局指导,中国广播电视协会,BIRTV组委会主办,中广互联,电信传播研究中心承办。新浪科技作为独家门户网络支持进行全程现场直播。
图为:下一代网络融合与发展中国峰会现场,AceNet公司中国区技术总监官宇演讲。
以下为实录:
官宇(AceNet公司中国区技术总监):尊敬的嘉宾各位领导、专家上午好!
昨天论坛上蒋总说IP网络有两个突破,一个是QoS,另外一个是安全问题。AceNet公司主要的方向就是解决QoS和安全上的问题。
我的演讲主要分三个部分:
第一,给大家介绍一下目前流控技术在广电宽带运营商的应用情况和解决的问题。
第二,AceNet“流控墙”和“流量安全”概念。
第三,应用层流控技术在三网融合中应用的思考。
2005年以后互联网上出现了一个重要的应用,就是P2P的应用,给网络带来了非常大的影响。影响到底在哪儿?很多人都有不同的看法。我们作为一个专家的流控的厂商,针对P2P做了很多研究。P2P对网络构成最大的威胁在哪儿?因为用户网络的行为模型发生了变化,才会导致现在的网络拥塞。我们在之前看到所有的网络都是以客户端和服务器之间的交互,用这种访问模型去构建现在所有的网络。而且我们的网络产品也是基于这种模型去设计和建造的。P2P出现之后,所有网络的模型,用户和用户之间产生了非常大交互的数据量,这样就形成一个扁平网状的模型。这种模型现在我们构建出来的基于星形连接的模式是不适合P2P新的网络访问模型,这样就给整个网络带来非常大的灾难性的影响。
P2P时代到来了,带来什么问题和变化呢?每一个用户开启的应用程序越来越多了,单个用户的并发会话数越来越多,如果你开一个新浪的新闻,同时产生的并发会话会有100多个,但是这个会话很快在一两秒就结束了。但是如果P2P的用户,会在瞬间产生非常大的并发会话,而且这个并发会话持续非常长时间。我们做了很多统计,如果一个正常的用户开启P2P的流量,它的并发会话数长时间维持在4、5千。如果这个用户中了木马病毒,在向外发攻击的时候,我们在一个高校里截到最高的数据,一个单个的PC机产生的并发会话数有19000个,非常惊人。
另外,UDP报文比例迅速增加。过去UDP只是用来DNS解析用的,现在大量UDP报文被当作语音和视频,因为它不是面向连接,它传输的延迟非常小。所以大量的UDP报文做语音和视频实时交互的流量。很多地方统计UDP报文已经超过60%。五前年UDP在网络中的报文不超过20%,现在已经超过60%。
另外,小包比例特别高。几年前我们有一个统计数据,小包的比例只有大概不到20%。这是我们在北京的海淀宽带做的统计。小于128字节的报文已经超过了40%。大于1K的报文超过了35%。实际上根据报文的比例做一个分布,它是一个哑铃形的分布,大量的报文是小包,小包是用来传语音视频,还有TCP的握手信号、协商报文。
小包增加了以后给现在很多网络设备带来很大的影响和负担,这就是网络设备一个重要的性能指标,只看吞吐是不行的,要看包交换率。
现在很多广电运营商都在尝试用各种各样的流控技术来解决网络拥塞问题。实际上我们作为一个专业的流控厂商,凡是我们面对的用户全都有网络拥塞的问题,也不光是我们面对,还有很多我们没有面对,几乎所有的网络现在都有拥塞的问题。
拥塞的控制和流控的识别是什么,最早所谓第一代P2P的控制,通过防火墙、P2P常用的端口的封闭,来解决P2P网络的影响。但是很快发现不行,因为P2P会慢慢自己去改,很快用80的端口、25110的端口,根本没法封,不可能封。如果封了,邮件和外部访问就用不了。后面就会用专业的流控设备,基于应用层的特征字的方式去识别P2P的应用。但是很快就发现又不行,发现我们有加密的BT,迅雷原来不加密,后来也加密了。还有一些其它的像Skype整个就是加密,加密的流量怎么识别?你在关键字里再也破译不到特征字,在报文里过滤不到特征字,这时就需要升级专业的流控设备,就要通过行为特征的分析,去发现加密的BT应用、加密的P2P的应用。
控制手段现在应用最多的是用在线的方式,对识别的流量做带宽的控制或者带宽的保障。在电信里边有很多应用是旁路的方式,旁路的方式只能解决TCP,给TCP的报文,发现TCP的链接是需要阻断的话,它就向两边发包,通过旁路干扰的方式阻断这个链接。另外还有一种方式,通过修改TCP报文头中的滑窗参考的方式控制客户端和服务器之间的传输速率。这两种方式都是只能控制TCP的报文,现在网络中大量UDP的报文,用这两种方式是无能为力的。
另外,对单个用户使用的带宽做精确的控制,网络资源包括我们常说的带宽,还包括我刚才提到的并发会话数。对这两个要素做一个精确的控制,对缓解网络拥塞是有非常大的作用。
归根到底,P2P时代对网络的影响最大的问题是5%的用户占用了90%的网络资源。我们如果要是把这个问题解决好了,就会大量地缓解网络拥塞问题,我们是有很多实践的。我们之前在海淀宽带有一台设备,我们通过对用户的带宽和并发会话数的控制,达到了对网络出口带宽利用率的大幅度提升。在相同的带宽的情况下,对每一个IP占用的带宽和每一个IP使用最多的并发会话数做控制之后,同样的带宽、同样的资源,我们承载的并发用户数增加了几乎一倍。这从一个侧面去帮助运营商提升网络的利用率,帮助运营商挣到钱。
我们提出两个概念,一个是流控墙,另外一个是“流量安全”。这两个概念都是AceNet首先提出来的。为什么提出来流控墙呢?我们看一下传统的流控设备和防火墙之间到底存在什么问题。这里有一个最标准的部署模式,透明的流控设备和防火墙之间。流控设备部署在
防火墙里,这样防火墙本身和流控是不能交互的,没有任何交互。有一点,防火墙挂的DMZ区的流量,这个流量怎么管理和分析就存在很大问题。从内网访问DMZ区,我们可以通过流控做分析和控制。从外网访问DMZ区就不行。有把这根线从流控设备这边绕一圈,又存在一个问题,从内网访问DMZ区过了两遍,被统计了两遍。另外防火墙和流控设备不能互动,外面的状况发生改变,一条网络被拥塞堵得满满,你这边做带宽保证一点效果都没有。这边开视频会议,那边传一个大文件,把入口堵住,再做带宽保证没有用,会议还是没法开,甚至断了都不知道。
我们在实践过程中经常遇到内网产生攻击流量,大流量上来的时候,传统的流控设备都是X86、NP,两种情况,一种被打死,另外一种是直接把攻击流量通过。在最需要流控设备分析攻击流量来源的时候,你不负责任让它通过,这时就不知道来源了。对于网管来说,发现有异常流量来的时候,要找到异常流量来源的时候,在没有流控设备的时候是非常痛苦的事情,没有半天时间是查不到的。
另外一种部署模式,这是把流控设备部署在防火墙外边,这种部署模式同样DMZ区的流量访问控制解决不了,从内网来的访问DMZ区又不经过流控设备。
防火墙做了地址转换,你在流控里看不到原始IP,只能看到转换以后的IP,这时出现安全问题你没法定位。
传统的流控又不能支持负载均衡,如果要有多链路,跨接在上面解决不了问题,一条链路10%的负载,另外一条链路99%负载的时候,这个问题就解决不了。
另外,流控设备不是安全产品,它需要保护。我们经常看到这种部署模式的时候,在外边再加一个防火墙,我们叫做汉堡包方式,把流控设备还要再保护一下。
这都是我们说的防火墙和传统的流控设备不能互动造成的问题。AceNet提出了一个流控墙的概念,我们把防火墙、流量控制和多链路出口的负载均衡集成在一个芯片里边去解决这个问题,这种部署模式就把刚才我前面两张图里列举的防火墙和流控设备不能互动造成的问题全面地做了。AceNet最强的是我们把二层到七层的流量分析和控制用芯片来完成了,这个芯片非常大,大概有3000多万门芯片,全世界采用芯片的模式去解决流控问题,只有我们和思科公司,剩下都是采用X86的方式或者NP的方式。而且我们比思科强的地方是,我们把防火墙和负载均衡能力功能全部集成在这个芯片里边,思科只解决流控问题。
我们能够解决:P2P的问题、带宽保障的问题、安全问题、做地址转换、用户认证、审计。我们做的是一个多层次的流控,流控包括带宽,包括QoS,包括并发会话数,对这三个要素做一个综合的控制。
(图)这是我们能够识别和控制的一部分流量,一部分P2P的协议和AM的协议。其实迅雷大家现在用了很多,目前在网络中看到最大的流量就是迅雷,我们在很多高校里看到迅雷的流量几乎超过60%,迅雷对现在的网络影响非常大,严格意义上讲迅雷是流氓软件,虽然给大家带来了很多下载方面速率上的体验,非常好,但是它严格意义上讲是流氓软件。为什么?首先,它带来很大的安全隐患。你用迅雷在你自己的FTTP服务器上上传和下载的时候
会很快,比你直接去用FTTP工具访问快很多。但是只要用迅雷访问过一次,它就会把你的用户名和密码都记下来,记在迅雷的服务器上。以后再有人去访问这个文件的时候,再也不用去敲用户名和密码,都用你的用户名和密码去访问,你的这些私有信息在他那儿全都记下来了,会造成非常大的安全隐患。不知道你们注意过没有,去年年初有一个新闻地香港警察的卧底名单泄露了,谁干的呢?就是FOXY。FOXY在香港和台湾比较流行的一种P2P软件,跟迅雷差不多。P2P的软件都会带来很多安全隐患。
迅雷还流氓在什么地方呢?它在不跟你打招呼的情况下不断向外传东西,除非把迅雷关掉,否则你同时下载的东西都别别人分享,这是一般人不能忍受的,至少会影响计算机的性能,CPU负载会很高。
AceNet首先提出来一个流量安全的概念。传统的流控是流量的可视和流量的可控,我们又提出来流量的可追溯。为什么提出这个概念?我们实际上在实践的过程中,通过我们的流控设备发现了很多网络安全事件,我们第一时间发现了网络安全事件,并且定位了网络安全事件,而且还能追溯网络安全事件。南京师范大学有一次内网服务器中病毒,当时给全网都造成非常大的影响,跑得非常慢,通过我们的设备直接看到了这个异常的用户,这个服务器的并发会话数超过19000,影响非常大。老师直接通过我们的设备定位到这个服务器,一看IP就知道这个服务器。把这个服务器网线一拔掉,这个网络就安全了。这种事情太多,都是通过我们的设备解决网络安全问题。我们提出流量安全的概念。
(图)最重要的是我们的日志和审计的功能,这是我们非常强的地方。我们用芯片的方式把我们需要的日志打成UDP包送给日志服务器,这边流量再大都不会影响我生成日志的性能。所以,我们能够在非常大的大带宽底下解决日志审计的问题,这也就是我们去解决公安部82号令要求的地址转换日志,需要做地址转换日志的需求。像很多我们的运营商、高校都存在这个问题。虽然有82号令规定你要做地址转换日志,但是我没有这么高性能的设备能够解决这个问题。我们通过流控设备能够帮他去解决这个问题。我们把每一个并发会话数都做了日志,然后对它的URL外部访问都做了记录,FTTP、Email,甚至MSN的聊天内容都可以做记录。
(图)这是我们的基础数据,我们做地址转换以后的IP和端口都会把它记录下来,并且我们能够基于基层协议应用的事业,我们记住这是DP,这是迅雷,多长发起时间、结束时间、持续时间,都记录下来,这是我们的基础数据。通过这些数据我们可以做分析,可以看到流量的前十名,我们可以看到IP流量的构成,可以看到这个IP是迅雷,绝大多数流量都是迅雷。
(图)我们点击这个按纽可以看到访问的IP地址的分布,比如现在是杭州,我们知道杭州市的IP,我们还知道杭州以外浙江省的IP,我们还是国内的IP,还是国外的IP。另外,点击了这个图标之后,很重要我们能够看到三个图,一个是基于时间的单个IP带宽的占用情况、变化情况,我们可以看到这个IP在峰值的时候流量超过100M。我们可以看到这个图的并发会话数是根据时间发生变化,这个图是每秒新建连接数的变化情况。我们可以看到其实一个正常的用户,不是中病毒的情况,每秒新建连接数不到30次,非常少。但是一旦有
异常流量的时候,我们截到最高的图4000多个,不断向外发攻击。通过这三张图其实就可以定义一个用户的网络行为是不是异常。
我们点击前面一个图的小图标之后,我们还可以看到这一个用户迅雷这一种流量根据时间变化的情况。我们的统计是非常细致的,细致到什么程度?按照用户的话说,已经可以当分析仪用了。
黑名单的功能,可以自动把异常流量的用户放到黑名单里,黑名单可以自动惩罚。一个是要么让他断网。另外,要么把他的带宽和并发会话数压得很低,让它对网络影响非常小。这是针对异常流量用户的控制手段。如果用我们的web认证,会弹出一个小窗口,告诉这个用户已经进入黑名单,请你跟网管联系。
最后,我们在思考应用层的流控技术在现在讨论的三网融合中应该怎么去用的问题。
我们现在在讲三网融合实际上是建高速公路的情况,我们把一个高速公路建起来了,流控做的事情是给高速公路划线,给它设置各种交通的标志,给它设红绿灯。有些车能够上什么样的道路,必须是什么速度,哪些道路是不能上的,流控就是干这些事情,解决QoS的问题。
三网融合以后我们看到3T、3Tnet,在非常大带宽,在用户到了30M、50M的情况下、是不是还有流控问题呢?是一样的,现在绝对不能非常乐观地说我在做试验网的时候带宽非常大,根本就没有遇到过流控的问题,没有遇到过拥塞的问题,拥塞以后就不会在实际应用中出现,这个概念是不会的。就像我们在56K的情况下想象不到1M、2M带宽会拥塞,但是我们真正用到1M、2M带宽,大家遇到的拥塞时时刻刻都在体会、感受。当用户升级到30M同样存在着拥塞的问题。我们一定要考虑网络融合的时候,在设计标准、设计方案的时候就要考虑到流控的问题。
应用层的流控,这个技术能够给网络融合带来什么好处呢?实际上我们可以去识别出来你的各种各样增值的应用,对这些增值的应用有特殊的控制手段,然后给你带来非常多灵活的收费方式、定价方式,有各种各样的带宽保障,给它不同的贷款,甚至他实时要求特制的带宽,我们都可以用。另外,我们还可以及时发现网络异常行为,在大带宽的情况下,异常行为的用户对网络的影响就更大了。另外,我们需要在三网融合考虑应用层流控的时候需要注意的一些问题,一个就是它部署的位置。另外,选用的平台。因为带宽非常大,X86和NP的方式肯定不行。另外,考虑全网络QoS,另外一旦你应用到了可增值的流量,一定要非常容易识别的才行。流控要和日志认证结合,流控和网络安全系统结合。
(图)流控到底能干什么?我们的流控部署在这里,这边是宽带的接入用户,我们可以把这些流控的数据都统计记录在数据库里边。同时给这些用户分配一些帐号,我们可以通过前台的服务器,让用户访问,能够看到自己的流控。就像我们现在通过网站可以查询我们的手机话单、通话记录一样,可以随时查询我们自己流量的玖单。技术可以非常详细。
另外,我们可以让用户定制自己的报表,每周发一个报表还是每一个月发一个报表,让用户自己心里非常清楚自己的流量到底是什么样子。有机是三网融合以后,各种业务都多了,可以分业务地给各种各样的报表。
一旦有异常流量涌上来,我们可以第一时间通知用户,告诉现在有异常,是不是检查一下、杀一下毒,给用户非常好的体验。
以后可能流控用得越来越多,还有更多的应用方式,也是大家集思广益。
第三篇:免费上网行为管理 流量控制管理软件(模版)
免费上网行为管理流量控制管理软件
随着越来越多的企业单位加入到上网行为管理中来,对上网行为管理软件的需求越来越多,而随着网络技术的发展,旧的网管软件已经不能满足企业的需求,企业急需新的网络管理解决方案。
员工的工作时间主要由需要上网的工作时间和不需要上网的工作时间组成。要提高员工的工作效率就不能只控制员工的上网行为,也要控制不上网的行为。而传统的上网行为管理网关无法控制不上网的行为,如:无法防范上班看视频、工作时间玩单机游戏等,以及无法防范,员工不遵守单位的安全管理制度,上网时误中病毒、木马等安全风险。
仅靠网络审计根本无法防范机密资料的外泄。如:别有用心者可通过移动存储设备拷走机密;通过非法外联绕开网络边界的行为管理系统的审计。这都说明单纯依靠上网行为管理系统是不能完全实现防止企业内部机密外泄的。
如何提高员工工作效率,实现金融危机下的减员增效;如何防范企业机密信息外泄,应对竞争对手的恶意挖角;如何确保有限带宽的高效利用,保障企业应用软件系统的顺畅运行以及公共资源的公平使用;如何提升网络的安全性,确保网络的稳定性,降低网管工作压力已经成为企业迫切需要解决的问题。
小草上网行为管理软路由是国内知名的专业局域网管理软件。可以有效封堵P2P软件、限制PPLIVE、限制PPS影音等有效管控P2P软件已经居于国内领先地位;小草上网行为管理软路由还可以有效限制员工上班炒股、禁止员工工作时间玩游戏、禁止网络购物、禁止上网团购、禁止开设网店等功能;还可以有效监视上网流量、监控上网速度、限制网络流量等,从而可以合理分配员工公网带宽占用;还可以有效禁止员工工作时间玩游戏,尤其可以完全过滤QQ游戏、过滤网页游戏、禁止开心农场游戏、禁止打开QQ农场游戏等主流的网络游戏,还可以禁止玩在线游戏、禁止单机游戏、禁止网页游戏等;同时,为了防止局域网电脑私自更改IP地址以获取更高的上网权限、导致IP地址冲突等网络管理问题,小草流控软路由合还提供了IP和MAC地址绑定功能,通过捆绑IP和MAC地址并提供更改IP地址后的警告功能,可以约束员工更改IP地址的行为;小草上网行为管理软路由还提供了防止ARP攻击、防止ARP欺骗等安全管理功能,可以有效监视局域网ARP广播风暴攻击,防止大面积危害局域网安全的黑客攻击行为。
小草上网行为管理软路由为企业带来全新的网络管理解决方法,帮助企业管理网络和流量。
第四篇:第七章 成本控制概要
第七章 成本控制 第一节 成本控制概述
一、成本控制的意义
二、成本控制的要求
三、成本控制的原则 小结 学习自测题
第二节 定额成本计算方法
一、定额成本计算方法概述
二、定额成本的计算
三、定额差异的计算
四、定额变动差异的计算
五、定额成本计算法举例 小结 学习自测题
第三节 标准成本制度
一、标准成本制度概述
二、标准成本的制定
三、标准成本差异的计算
四、标准成本计算举例 小结 学习自测题
第四节 作业成本法和倒推成本法
一、作业成本法
二、倒推成本法 小结 学习自测题
第四节 基层成本控制
一、班组成本控制
二、车间成本控制 小结 学习自测题
第五篇:第九章 偏倚及其控制概要
第九章 偏倚及其控制
一、学习要求
1.应掌握内容 偏倚的概念,以及流行病学三种主要偏倚的概念;控制混杂偏倚的分层分析方法的基本思路。
2.需熟悉的内容 研究真实性的概念,分类;选择偏倚、信息偏倚及混杂偏倚产生的原因及对结果真实性的影响。
3.需了解的内容
研究结果变异的概念及来源;分层分析的计算方法。
二、学习要点
(一)研究结果的变异性
1.变异性的概念
研究结果包括描述性和分析性数据(指标)的变动或波动,称为研究结果的变异性(variability)。
2.变异性的来源与水平
(1)变异的来源:包括生物学真实变异和测量误差,其中测量误差可再分为随机误差和系统误差。
(2)变异的水平:包括个体水平、群体水平和样本水平三个层次。个体水平的变异性是指某个体特征测量值的变化,它可以是个体真值随时间的改变,也可以是由于测量误差引起的变化。群体水平的变异性可以看成是各个体的累计变异,因为构成群体的各个体具有不同的遗传素质并受到不同的环境影响。样本(研究)水平的变异性是指通过不同样本的研究所得结果的差异性。
(二)研究的真实性
1.真实性的概念及与研究变异性的关系
(1)研究的真实性或效度(validity)是指研究收集的数据、分析结果和所得结论与客观实际的符合程度。
(2)研究的误差是研究真实性的反面,反映了研究数据的测量误差的程度,因此包括系统误差和随机误差两部分。研究中的系统误差部分称为偏倚(bias)。研究中的随机误差大小用信度(reliability)来反映,信度越高则随机误差越小,反之则随机误差越大。
2.内部真实性和外部真实性
(1)内部真实性(internal validity):是指研究结果与实际研究对象真实情况的符合程度,它回答一个研究本身是否真实或有效。
(2)外部真实性(external validity):是指研究结果与推论对象真实情况的符合程度,它回答一个研究能否推广应用到研究对象以外的人群。
(三)研究的偏倚
1.偏倚(bias)的概念
研究误差中的系统误差部分称为偏倚。2.偏倚的分类
(1)选择偏倚(selection bias):是在研究对象的选取过程中,由于选取方式不当,导致入选对象与未入选对象之间存在系统误差,由此而造成的偏倚成为选择偏倚。选择性偏倚的来源及控制方法见表9-1。
表9-1 不同类型研究选择性偏倚的来源及控制方法
研究类型 描述性研究
选择性偏倚的表现 样本对总体的代表性不强,结果外推局限
分析性研究 进入或不进入研究对象的人群特征与研究暴露因素或处理因素存在关联,增大或减少研究因素与结局效应的关联
控制措施
随机抽样;特定人群研究结果
外推应谨慎 注意样本的代表性;
增加应答 减少失访 严格遵循对象选取原则
(2)信息偏倚(information bias):信息偏倚又称测量偏倚或观察偏倚,是来自于测量或资料收集方法的问题,使获取的资料存在系统误差,又称为错分偏倚(misclassification bias)。错分偏倚的分类、表现及控制方法见表9-2。
表9-2 错分偏倚的分类、表现及控制方法
错分偏倚分类 无差异性错分偏倚
偏倚的表现
控制措施
暴露或疾病的错误分类在研制定判断暴露或疾病的公究分组间分布均衡
使研究效应的估计值偏低
认(或“金”)标准
差异性错分偏倚 暴露或疾病的错误分类在研盲法调查
究分组间分布不同,效应的估控制回顾调查期限,使用计值被高估或低估。包括回忆生物学标志物测量暴露或偏倚和调查者偏倚
结局效应
(3)混杂偏倚(confounding bias):是指暴露因素与疾病发生的相关程度受其他因素的歪曲或干扰。混杂偏倚的判断原则为:比较混杂因素控制前后的暴露因素效应估计值,如果存在有意义的差异,则认为产生了混杂偏倚。在因果关联分析中混杂偏倚可能引起两种假关联即继发关联和歪曲直接因果关联。
1)继发关联(secondary association):即怀疑的病因(暴露)E与疾病D并不存在因果关系,而是由于两者(E,D)有共同的原因C,E,D同C存在关联,从而继发产生E与D的关联。
2)歪曲直接因果关联:暴露因素可通过直接关联和间接关联两种途径影响结局,如果分析时将间接关联的效应综合在直接关联中,则就会歪曲暴露因素与结局的直接关联,即出现混杂偏倚。混杂偏倚在研究各阶段的控制措施见表9-3。
表9-3 混杂偏倚在研究各阶段的控制措施
研究阶段 设计阶段
控制措施 随机化 配比 限制
分析阶段
标准化率分析 分层分析 多变量分析
(4)混杂偏倚的分层分析步骤
1)对可能的混杂因素进行分层,计算各层的ORi或RRi
2)判定层间ORi或RRi是否相等或相近;若相等或相近,则可判断层间同质,否则不同质。
3)层间同质的资料,可以用M-H法将各层的ORi或RRi综合起来,即得到控制混杂后的调整RR或OR。(层间不同质的资料则可能存在交互作用,应对交互作用进行估计。)
4)层间同质的资料,将调整RR或OR与分层前的粗RR或粗OR(cRR或cOR)进行比较,一般而言,如果差值有0.5以上的改变(RR或OR>1时)或者有0.1以上的改变(RR或OR<1时),就可以下“存在混杂偏倚”的结论。
三、典型试题分析
(一)单项选择题
1.有关混杂因素和混杂偏倚的说法正确的是
A.有混杂因素存在一定会产生混杂偏倚
B.混杂因素主要指年龄、性别、职业这些人口学特征因素
控制原理
人为使得混杂因素在研究分组中分布一致,则该因素对结局的效应为“零”
控制混杂因素的效应,估计研究变量的真实效应量 C.混杂偏倚引起的继发关联是典型的混杂偏倚类型,而引起的间接关联则不是混杂偏倚
D.在分析阶段控制混杂的方法多采用多元分析,不仅能分析暴露因素的效应也能估计混杂因素的效应
E.暴露因素和混杂因素的概念是绝对的,有些因素只能是暴露因素,而另一些因素一定是混杂因素 答案:D [评析] 本题考点:混杂偏倚产生的原因及效应。
混杂偏倚是混杂因素在比较组间分布不均时产生的。在设计阶段认识到混杂因素,通过限制、匹配、随机化等方法加以控制则可以避免混杂偏倚,故[A]不正确。混杂因素不是特定的某些因素,也不是绝对的概念。而是可能与研究结局相关的因素,只是在研究中不再关注这类因素的效应。因此[B、E]不正确。若暴露因素与结局存在直接关联和间接关联的因果联结方式,则混杂因素引起的间接关联会歪曲直接关联的效应,因此[C]不正确。多元分析的原理即是控制了其他因素的变化后,其中一个因素变化一个单位引起结局变量变化的大小。因此,在多元分析模型中,纳入模型的自变量(暴露因素或混杂因素)的效应均能估计出来,[D]正确。
(二)多项选择题
1.关于真实性与变异性的关系说法正确的是
A.真实性的反面是变异性,因此,真实性高的研究是无变异的 B.内部真实性高的研究应能反映的是样本来源人群的生物学变异 C.外部真实性高的研究应该能反映推论人群的生物学变异 D.真实性高的研究系统变异和随机变异均应较小
E.信度反映的是随机变异的大小,同时也反映研究的真实性的一部分 答案:BCDE [评析] 本题考点:研究的真实性和变异性的关系。
研究的真实性是指研究收集的数据、分析结果和所得结论与客观实际的符合程度。[A]真实性的反面是研究误差,包括系统误差和随机误差两部分,而变异性除了系统误差和随机误差外,还包括研究对象的生物学变异,这部分变异是真实的,且应为研究所揭示。故A不正确。[B]内部真实性是指研究结果与实际研究对象真实情况的符合程度。[C]外部真实性是指研究结果与推论对象真实情况的符合程度。它回答一个研究能否推广应用到研究对象以外的人群。[D]正确,理由同前。[E]正确,研究的可靠性或信度,是反映研究结果中随机误差大小的程度,随机误差小则研究信度高。
四、习题
(一)单项选择题 [A1型题] 1.个体水平的变异不可能来源于以下哪个方面
A.个体真值随时间改变 B.仪器标度或精密度差 C.抽样方式误差 D.环境因素改变 E.测量者记录误差
2.以下关于研究真实性的描述正确的是
A.研究的真实性反映了结果随机误差的大小 B.内部真实性高的研究结果结论外推具有普遍性 C.外部真实性回答了一个研究本身是否真实或有效 D.真实性的反面是研究误差, 主要是系统误差
E.真实性好的研究能反映研究对象及目标人群的真实变异 3.The corporate reason between exposure and disease is A.Accidental association B.Secondary association C.Indirect causation association D.Direct causation association E.Statistical correlation 4.某研究者对女性被动吸烟与乳腺癌的关系进行研究。随机选取现患乳腺癌患者300人(年龄40~65岁),同时在健康体检人群中选取同一年龄段并且职业相同的女性400名进行调查。采用这种方法选择样本人群的目的及方法是
A.控制年龄和职业的混杂偏倚,限制 B.控制年龄和职业的选择偏倚,限制 C.控制年龄和职业的混杂偏倚,匹配 D.控制年龄和职业的选择偏倚,匹配 E.方便调查,限制纳入标准
5.未采用盲法收集资料的临床药物疗效实验研究,最容易产生的偏倚是
A.选择偏倚
B.无差异错分偏倚
C.有差异错分偏倚 D.混杂偏倚
E.以上都是
(二)多项选择题
1.以下关于信息偏倚的描述不正确的是
A.无差异错分偏倚因其错误分类与研究分组无关, 故不需要控制
B.差异错分偏倚因其错误分类与研究分组有关, 故需要控制
C.差异性信息偏倚通常来源于回忆偏倚和调查者偏倚
D.无差异偏倚通常是分类标准误差造成的
E.盲法收集信息是控制信息偏倚的有效且实用的方法
2.关于混杂因素的描述正确的是
A.混杂因素是观察结局效应的危险或保护因素 B.混杂因素存在时一定干扰研究的真实性
C.混杂因素的效应可以通过配比、随机化、限制等方法消除 D.混杂因素是判断是否存在混杂偏倚的唯一标准 E.混杂因素可以通过增大样本量控制
(三)名词解释 1.validity
2.internal validity
3.external validity
4.bias
5.selection bias
6.information bias
7.confounding bias
(四)简答题
1.Take an example to describe the connection and significance of internal validity and external validity.2.举例说明无差异错分偏倚和差异性错分偏倚的原因及控制方法有何不同。3.Please describe how to control confounding bias.(五)论述题 1.Please describe false association of confounding bias in causal association study, take an example.五、参考答案
(一)单项选择题
1.C 2.E 3.B 4.A 5.C
(二)多项选择题 1.AE 2.AC
(三)名词解释
1.效度(validity):是指研究收集的数据、分析结果和所得结论与客观实际的符合程度。
2.内部真实性(internal validity):是指研究结果与实际研究对象真实情况的符合程度。
3.外部真实性(external validity):是指研究结果与推论对象真实情况的符合程度,外部真实性又称为普遍性(generalizability)。
4.偏倚:研究误差中的系统误差部分称为偏倚(bias)。
5.选择偏倚(selection bias):是在研究对象的选取过程中,由于选取方式不当,导致入选对象与未入选对象之间存在系统差异,由此造成的偏倚称为选择偏倚。
6.信息偏倚(information bias):又称测量偏倚或观察偏倚,是来自于测量或资料收集方法的问题,使得获取的资料存在系统误差。
7.混杂偏倚(confounding bias):当我们研究某个因素与某种疾病的关联时,由于某个既与疾病有制约关系,又与所研究的暴露因素有联系的外来因素的影响,掩盖或夸大了所研究的暴露因素与疾病的联系。这种现象或影响叫混杂或混杂偏倚,该外来因素叫混杂因素。
(四)简答题
1.内部真实性和外部真实性是考察研究结论真实度的两个方面,其中,内部真实性反映的是研究结论对研究对象的符合程度,要达到内部真实性好则需要研究对象的特征尽可能相同,干扰因素尽可能少,如选择同一年龄段、同一种职业或同一地区居住的居民等;而外部真实性反映的是研究结论对样本所代表的总体情况的符合程度,要达到外部真实性好则要求样本对总体的代表性好。二者是对立统一的,对象选择限制条件越多的研究,同质性高,内部真实性越好,但外推的人群局限,则外部真实性较差。
2.无差异错分偏倚主要是由于判断暴露或结局的依据发生了偏差,而导致分析时观察结果与真实结果不符,但这种偏差在研究分组间无差异,即两组发生误判的概率是一样的。如对观察肥胖组与正常体重组血糖异常率的差异时,若血糖异常的标准低于或高于公认的金标准,发生误判的概率是10%,则在肥胖组和体重正常组均有10%的对象会发生误判。有差异错分偏倚主要来源于被调查者和调查者。如实验研究中容易发生的霍桑效应,以及实验研究的调查者对研究对象有差异性地收集信息均会导致信息偏倚,并且这种信息误判率在分组间分布不均。鉴于两种信息偏倚的产生原因不同,采取的控制方法也不同,在制定划分结局或暴露的标准时采用公认的金标准,以控制无差异的错分偏倚;采用盲法调查,加强调查中的质量控制则可以控制差异性错分偏倚。
3.混杂偏倚的控制可分为两个阶段,在研究设计阶段,可采取随机化、配比和限制的方法进行控制,使混杂因素在研究分组中分布一致,从而不会干扰暴露因素对结局的影响。此时,混杂因素在研究中与结局的关联被人为控制为“无关联”,值得注意的是这种无关联的现象并非混杂因素的真实效应。在分析阶段,可通过标准化率、分层分析以及多变量(多元)分析方法控制混杂因素。其中标准化率计算和分层分析均是以混杂因素在不同研究组间的构成不同,赋以不同的权重,再计算暴露因素调整的关联度(如调整OR或RR),一般不估计混杂因素的作用大小。而多变量分析是通过统计分析模型,将混杂因素和暴露因素对结局的独立效应均估计出来。
(五)论述题
1.因果研究中由混杂偏倚引起的假关联包括继发关联和直接因果关联被歪曲。①继发关联是一种纯粹由混杂偏倚产生的关联,即怀疑的病因(暴露)E与疾病D并不存在因果关系,而是由于两者(E,D)有共同的原因C,E,D同C存在关联,从而继发产生E与D的关联。②直接因果关联的歪曲
如果怀疑的病因(暴露)E与疾病D既存在直接关联,又存在间接关联或与其他危险(保护)因素F存在相关,E与D的总关联等于E-D直接关联 同 E-F-D间接关联之和。如果直接关联与间接关联混在一起,而将其作为直接关联的估计,就会出现混杂偏倚。
(四川大学华西医学院
李佳圆 栾荣生)