发布时间:2022-04-19 07:22:12
序言:写作是分享个人见解和探索未知领域的桥梁,我们为您精选了8篇的网络流量监测样本,期待这些样本能够为您提供丰富的参考和启发,请尽情阅读。
本文就网络流量监测的作用和移动互联网的研究现状进行分析,探讨CDMA移动互联网的特征,以便更好的对网络流量进行监测。
【关键词】
网络流量;监测;移动互联网
0 引言
随着互联网规模的不断扩大,其应用领域越来越广泛,因此,急需要对网络流量进行实时、在线的监控和管理。对网络流量特征进行研究,有利于有效的管理、规划、发展网络。其中网络流量监测是网络测量技术之一,通过对网络流量进行监测和分析研究,能够较好的掌握网络流量的特征,了解网络的状况,并能够根据详细的流量信息,对故障进行定位和修复,能够获取网络所承载的业务的大小,及时了解用户应用强度、频度等行为模型。
1 网络流量监测的作用
其一,有利于网络规划。在移动网络中出现拥堵的现象时,传统的做法通常为网络扩容。如果借助网络流量监测技术,能够及时的掌握当前的移动网络的流量趋势,有效的解决网络中出现的问题,并运用科学合理的方式进行规划。
其二,提高网络资源的利用率。由于移动网络的流量比较复杂多变,目前还有大多数网络特征未被外界认知,通过网络流量监测技术,能够及时的了解当前网络流量的情况和移动网络业务的特征。
其三,便于移动网络安全维护。随着网络的普及,越来越多的恶意程序通过网络传播,严重影响到用户的隐私和财产安全。充分运用网络流量监测技术,能够对网络流量进行分析,制定出不同移动平台的移动网络安全策略。
2 移动互联网的现状
近年来,随着社交网络、微博、微信等新型网络应用的发展,使得互联网行业的发展充满生机和活力。移动通信技术和互联网技术的紧密结合形成了一种新的网络,即移动互联网。移动互联网指的是通过使用手机网络、平板电脑等移动终端,基于移动网络联网获取图像、语音、文字等用户需求的随时可接入的网络。根据通讯世界网讯全球技术研究和咨询公司的最新研究报告表明,我国手机用户在2013年突破10亿,预测在2014年,我国手机市场将销售4.436亿部手机,使用手机将超过10.76亿部。网民人数达到6.15亿,移动互联网用户数已达到8.38亿。我国的移动互联网用户人数将会呈现持续增长的趋势,同时,伴随着平板电脑、智能手机的发展,国内移动互联网络用户群将会逐渐扩大。另外,在移动互联网迅猛发展的同时,也会带来一定的风险和挑战。首先随着移动互联网内容不断的丰富,产生了各种宽带负荷较大的业务,例如基于P2P业务。传统的互联网监控方式不一定适用于移动互联网,缺乏有针对性的移动互联网监控平台。目前移动互联网的监控制度还不够完善,限制了网络服务质量的提高,对未来网络的发展具有严重的影响作用。其次,移动网络运营商虽然为各种内容提供商业支持,推广了各种业务,但多种业务的流量特征研究不够完善,运行质量没有进行深入的研究,大多互联网基础指标在移动互联网的场景下分布比较异常。
3 CDMA移动互联网特征研究
3.1网络流量原始流量采集
本文使用的网络数据是由本研究团队自行研发的检测设备TMS进行采集的。原始网络流量均采用我国某大城市的骨干网节点。在采集CDMA实验数据时,部署了4个采集探针在同一个城市的链路上,位于分组数据服务节点和城市核心节点之间并行的链路上。详情如图1所示。
另外,网络流量分类技术主要包括深度包检测和深度流检测技术。分类时,首先使用深度包检测技术,通常能够达到较高的分类效果。针对不同的网络应用,比较适合使用深度流检测技术。本文的算法中就引入了深度流检测的技术。
3.2网络流量建模
由于采集的网络宽带较大,运算和存贮资源比较有限,需要选取一个适合的时间段,采集数据子集后为后续分析充当样本。网络流量建模的原理指的是充分利用统计获取的网络流量特征,对其进行数学推导后得出的符合统计规律的模型来模拟实际网络流量趋势。网络流量建模通常采用ARIMA模型[3]。其指的是分差整合移动平均自回归模型,通常用于进行平稳序列和分差后平稳序列的建模分析。ARIMA模型分析的一般步骤为:(1)根据序列的自相关函数分布图和偏相关函数分布图,分析序列的平稳性。(2)对非平稳性序列进行平稳化处理;根据时间序列的识别规定,对ARIMA模型的相关参数进行识别,建立相应模型。建立分析后,需要对参数进行评估,并对参数进行检验,其中参数检验通常会采用AIC准则。AIC的计算公式为:
其中T为可使用的观测值,RSS指的是参差平方根和,n为待估参数个数。比较不同参数时,需要采用AIC值更小的模型。
3.3网络流量基本特征
其一,网络协议。在互联网中使用的TCP/IP协议族为传输层明确了两个主要的协议,分别为TCP协议和UDP协议。TCP协议需要在两个TCP之间建立一个虚连接,在运输层中使用流量控制和差错控制机制,即为面向连接的、可靠的传输协议。UDP协议为无连接、不可靠传输协议。本文对两种网络协议进行研究,如表1所示。
其二,网络流长(字节)分布。网络中的流量实际时由IP流来承担的,IP流的长度在一定程度上反映了网络负载的情况。图2为CDMA网络中的流长分布情况。
其三,网络流持续时间分布。IP流持续的时间为IP流第一个报文达到的时间和最后一个报文达到的时间差值。对IP流持续的时间分布进行研究,可以从宏观的角度反映出IP流在网络中分布的时间,根据其他网络特征,可以综合对网络流的各种行为特点进行研究。根据统计可知,CDMA网络中平均UDP流持续的时间为62.15秒,在TCP流中持续的时间为17.85秒。
4 总结
随着移动互联网络的飞速发展,多种移动互联网络的应用成为人们生活中不可或缺的一部分。由于移动互联网场景复杂,使得流量的多种特征还没被发现。网络流量监测技术和移动互联网特征的研究,能够对移动网络流量进行保存,可以有效的规划网络,充分利用网络资源,维护移动互联网的安全。
【参考文献】
[1]王华奎.移动通信原理与技术[M].清华大学出版社,2010.
>> 基于支持向量机的网络流量分类方法 一种基于多维支持向量机的P2P网络流量识别模型 基于支持向量机的地铁客流量预测 支持向量机的半监督网络流量分类方法 基于组合优化理论的无线网络流量建模与预测 基于支持向量机的Freegate软件流量检测研究 基于小波神经网络的网络流量预测 基于径向基神经网络的网络流量预测 基于小波神经网络的网络流量预测研究 基于改进Elman神经网络的网络流量预测 基于改进小波神经网络的网络流量预测研究 基于BP神经网络的非线性网络流量预测 一种基于神经网络的网络流量组合预测模型 基于支持向量机的股指期货合约价格预测 基于支持向量机的债券时间序列预测 基于支持向量机回归的中国CPI预测研究 基于免疫支持向量机预测模型的研究 基于支持向量机的短期负荷预测 基于支持向量机的短期电力负荷预测 基于长相关网络流量预测分析 常见问题解答 当前所在位置:l上获得),按5分钟的时间尺度对该流量序列做聚集操作,获得了用于建模的流量序列,记为TSb,长度为250。
核函数选择径向基函数,动态调整法选取参数后,流量预测结果如图1所示,预测RMSE为2.5136,RRMSE为0.021。各项误差指标对比如表1所列,在参数优化后, RMSE和RRMSE都少了,表明参数优化后的效果优于优化前。
5 结论
网络流量工程对于大规模网络的规划设计、网络资源管理以及实现网络入侵检测等方面都具有积极的意义,而流量建模与预测是网络流量工程的重要组成部分。传统的流量时间序列模型只适合于分析平稳过程及特殊的非平稳过程,难以刻画大规模网络的复杂流量行为。文中采用支持向量机回归方法进行网络流量预测,首先对观测序列进行归一化预处理,根据训练样本动态调整参数后,再进行预测。从实际预测结果来看,该方法具有较好的预测效果。
参考文献:
[1] Kantz H.非线性时间序列分析[M].北京:清华大学出版社,2000.
[2] Chen Bor-Sen ,Peng Sen-Chueh,Wang Ku-Chen. Traffic Modeling,Prediction,and Congestion Control for High-Speed Networks:A Fuzzy AR Approach[J].IEEE Transaction on Fuzzy Systems,2000 ,8(5)
[3] Vapnik V N. Statistical Learning Theory [M].New York Wiley,1998.
[4] 刘胜,李妍妍.自适应GA-SVM 参数选择算法研究[J]. 哈尔滨工程大学学报,2007,28(4).
[5] 魏海坤.神经网络结构设计的理论与方法[M].北京:国防工业出版社,2005.
【论文摘要】:网络流量性能测量是网络管理和系统管理的一个重要组成部分,为网络的运行和维护提供了重要信息,问时也是网络流量具体建模、分析的必要前提和手段。网络流量的测量方法分为主动测量和被动测量。两种测量方法各有优缺点,分别用于不同的场合。针对网络流量的测量展开系统性的研究将对Internet行为学方面的研究取得理论突破具有重要意。
网络流量性能测量与分析涉及许多关键技术,如单向测量中的时钟同步问题,主动测量与被动测量的抽样算法研究,多种测量工具之间的协同工作,网络测量体系结构的搭建,性能指标的量化,性能指标的模型化分析,对网络未来状态进行趋势预测,对海量测量数据进行数据挖掘或者利用已有的模型(petri网、自相似性、排队论)研究其自相似特征,测量与分析结果的可视化,以及由测量所引起的安全性问题等等。
1.在IP网络中采用网络性能监测技术,可以实现
1.1 合理规划和优化网络性能
为更好的管理和改善网络的运行,网络管理者需要知道其网络的流量情况和尽量多的流量信息。通过对网络流量的监测、数据采集和分析,给出详细的链路和节点流量分析报告,获得流量分布和流向分布、报文特性和协议分布特性,为网络规划、路由策略、资源和容量升级提供依据。
1.2 基于流量的计费
现在lSP对网络用户提供服务绝大多数还是采用固定租费的形式,这对一般用户和ISP来说,都不是一个好的选择。采用这一形式的很大原因就是网络提供者不能够统计全部用户的准确流量情况。这就需要有方便的手段对用户的流量进行检测。通过对用户上网时长、上网流量、网络业务以及目的网站数据分析,摆脱目前单一的包月制,实现基于时间段、带宽、应用、服务质量等更加灵活的交费标准。
1.3 网络应用状况监测与分析
了解网络的应用状况,对研究者和网络提供者都很重要。通过网络应用监测,可以了解网络上各种协议的使用情况(如www,pop3,ftp,rtp等协议),以及网络应用的使用情况,研究者可以据此研究新的协议与应用,网络提供者也可以据此更好的规划网络。
1.4 实时监测网络状况
针对网络流量变化的突发性特性,通过实时监测网络状况,能实时获得网络的当前运行状况,减轻维护人员的工作负担。能在网络出现故障或拥塞时发出自动告警,在网络即将出现瓶颈前给出分析和预测。现在随着Internet网络不断扩大,网络中也经常会出现黑客攻击、病毒泛滥的情况。而这些网络突发事件从设备和网管的角度看却很难发现,经常让网络管理员感到棘手。因此,针对网络中突发性的异常流量分析将有助于网络管理员发现和解决问题。
1.5 网络用户行为监测与分析
这对于网络提供者来说非常重要,通过监测访问网络的用户的行为,可以了解到:
1)某一段时间有多少用户在访问我的网络。
2)访问我的网络最多的用户是哪些。
3)这些用户停留了多长时间。
4)他们来自什么地方。
5)他们到过我的网络的哪些部分。
通过这些信息,网络提供者可以更好的为用户提供服务,从而也获得更大的收益。
2.网络流量测量有5个要素:
测量时间、测量对象、测量目的、测量位置和测量方法。网络流量的测量实体,即性能指标主要包括以下几项。 2.1 连接性
连接性也称可用性、连通性或可达性,严格说应该是网络的基本能力或属性,不能称为性能,但ITU-T建议可以用一些方法进行定量的测量。
2.2 延迟
对于单向延迟测量要求时钟严格同步,这在实际的测量中很难做到,许多测量方案都采用往返延迟,以避开时钟同步问题。
2.3 丢包率
为了评估网络的丢包率,一般采用直接发送测量包来进行测量。目前评估网络丢包率的模型主要有贝努利模型、马尔可夫模型和隐马尔可夫模型等等。
2.4 带宽
带宽一股分为瓶颈带宽和可用带宽。瓶颈带宽是指当一条路径(通路)中没有其他背景流量时,网络能够提供的最大的吞吐量。
2.5 流量参数
ITU-T提出两种流量参数作为参考:一种是以一段时间间隔内在测量点上观测到的所有传输成功的IP包数量除以时间间隔,即包吞吐量;另一种是基于字节吞吐量:用传输成功的IP包中总字节数除以时间间隔。
3.测量方法
Internet流量数据有三种形式:被动数据(指定链路数据)、主动数据(端至端数据)和BGP路由数据,由此涉及两种测量方法:被动测量方法和主动测量方法然而,近几年来,主动测量技术被网络用户或网络研究人员用来分析指定网络路径的流量行为。
3.1 主动测量
主动测量的方法是指主动发送数据包去探测被测量的对象。以被测对象的响应作为性能评分的结果来分析。测量者一般采用模拟现实的流量(如Web Server的请求、FTP下载、DNS反应时间等)来测量一个应用的性能或者网络的性能。由于测量点一般都靠近终究端,所以这种方法能够代表从监测者的角度反映的性能。
3.2 被动测量
被动测量是在网络中的一点收集流量信息,如使用路由器或交换机收渠数据或者一个独立的设备被动地监测网络链路的流量。被动测量可以完全取消附加流量和Heisenberg效应,这些优点使人们更愿意使用被动测量技术。有些测度使用被动测量获得相当困难:如决定分缩手缩脚一所经过的路由。但被动测量的优点使得决定测量之前应该首先考虑被动测量。被动测量技术遇到的另一个重要问题是目前提出的要求确保隐私和安全问题。
3.3 网络流量抽样测量技术
选择部分报文,当采样时间间隔较大时,细微的网络行为变化就无法精确探测到。反之,抽样间隔过小时,又会占用过多的带宽及需要更大的存储能力。采样方法随采样策略的不同而不同,如系统采样或随机采样;也随触发采样事件的不同而不同。如由报文到达时间触发(基于时间采样),由报文在流中所处的位置触发(基于数目采样)或由报文的内容触发(基于内容采样)。为了在减少采样样本和获取更精确的流量数据之间达到平衡。
4.结语
【关键词】网络监控 流量测量 采集技术 技术构架 局域管理
伴随着计算机技术的飞速发展,以网络连接为主导的科技力量逐渐增强,并形成了多点传输、兼容运行的管理机制,视频、下载、多播等技术手段日益丰富。然而在网络应用不断扩大,线路错综、流量范围不断复杂的今天,网络连接不流畅、流量堵塞、链接速度缓慢、网络病毒传播等现象凸显出来,影响到我们的正常使用。因此,加强网络流量监控,合理规划流量布置,调整网络运用时差,有效控制网络病毒传播,研发新型网络流量监控系统势在必行。
1 分析计算机网络流量监控技术现状
传统的网络流量监控技术,是建立在某一区域内,点对点的直线传输和管理的,它的监控原理是:通过控制数据端口和输出端口的IP流量,来检测系统内的流量,分析网络资源。基于人们对现代网络技术的发展需求,开发设计新型网络流量监控系统,可高效、快捷的进行局域网络管理,调节网络流量资源,达到快速上网和减少病毒传播的目的,同时可借鉴传统流量监控技术,合理设计局域网络监控系统。这类设计应用的特点是:通讯流量大、种类繁多、无固定服务端口、特征变化迅速和可控制管理等。其监控系统应具有的技术功能:TCP/IP协议,建设网络的基础单元;数据采集和流量测量技术,网络监控管理的必备条件等。
2 计算机网络流量监控的设计与实现
2.1 计算机网络流量监控系统设计的技术构架
为满足人们日益增长的网络需求,实现快速、高效的网络链接,合理调节资源配置,有效防范病毒传播,进行可控的网络管理,对局域网络流量监控进行设计(如图1)。由图可知,局域网络流量监控系统是由系统管理、流量采集、实时性能监控、站点流量管理、P2P流量及分析统计模块组成,它们相互促进,协调管理,共同完成网络流量监控。
2.2 网络流量的测量与采集主要模块技术
在网络流量监控系统中,最为重要的功能模块:网络流量测量与采集技术,这也是基于Net-Flow网络流量监控设计的核心组成部件。网络流量测量在其形式上分为主动测量和被动测量两种方式。所谓的主动测量方式,是指通过向网络流量监控系统中,放入可探测流量的软件或数据包,通过数据反馈或数据入库跟踪等,得到有效测量流量的一种方式。例如,网络中综合对宽带信号进行定位和流程测量,具体措施就是通过植入探测流量器,来实现宽带网络的流量配置,它的链接方式就是通过主动测量方式进行的。被动测量,就是根据各个有效站点反馈的数据和记录,进行数据分析和统计,从而通过计算等方式得到的间接的流量获得方式。例如,P2P网络流量系统中经常通过交换机、路由器或其它监测设备,通过之路数据采集,从而得到网络流量。被动测量凭借不单独依附特殊设备运行、可避免系统的不兼容等特点,略优于主动测量方式。
网络流量采集技术,是按照系统所反馈的信息内容进行划分、重组的。一般分为四个类型:第一种实现了直接从一个端口到另一个端口的直线连接,即传统意义上的IP流量,其中包含了大量的数据信息;第二种用户链接网络所产生的流量信息,它的采集意义重大,可控制网络主要病毒的获取;第三种各个节点的网络流量,其信息量包括字节、数量、容积等,主要采用MRTG技术进行采集;第四种则是企业专用的业务层流量采集,主要应用Sniffer技术采集整理。
2.3 新型计算机网络流量监控的实现
基于Net-Flow网络流量监控系统,主要解决了传统P2P网络流量的端口、IP和通信限制,实现了点到面的综合流量监控,有效防范了外网的技术漏洞和安全隐患,是目前网络系统中应用较为广泛的流量监测技术。无论通过路由器还是交换机连接进入网络,最终都是通过流量采集模块和严格的监控管理,进行数据划分和测量,其中间环节加大了对信息流量的监控力度,有效的减少了网络病毒传播,促进了局域网的良性循环。
首先可通过系统结构运行原理,具体分析数据流量的来龙去脉,高效的掌握网络链接情况,并实时通过数据采集,快捷的确定数据包内容,包括源IP地址、端口信息、终点地址、协议类型等服务,来实现具体业务类型及传送方向等。其次,通过Net-Flow网络流量监控系统,可实施监控网络资源,如宽带高峰、低谷时间段,流量占用量,具体下载速度等,通过流量采集和网络测量模块,调节网络流量运行趋势,使之更高效、更快捷的提供数据反馈信息,强有力的控制网络病毒,为合理的使用网络资源提供有力的保证。
3 结束语
综上所述,基于Net-Flow网络流量监控系统设计,实现了局域网的流量链接管理,有效防范了外部网络的恶意攻击,对局域网络连接带来了新的突破和发展。同时网络运营商为全面扩宽网络业务,充分发挥网络流量监控方面的资源优势,必须整合网络科学技术,依靠先进的计算机理论,设计更为专业、高效的网络流量可控系统,综合提高网络运行速度和安全管理能力。
参考文献
[1]王继梅,金连普.基于JDBC的网络管理系统流量统计研究[J].计算机工程与设计,2009(8).
[2]梁鸿,刘芳.基于TCP/IP的网络流量监控系统模型的研究[J].计算机系统应用,2007(6).
[3]柯栋梁,万燕.基于SNMP协议的流量监控系统的设计与实现[J].微计算机信息广西教育,2009(4).
作者简介
赵韬(1982-),男,湖北省郧县人。大学本科学历。现为湖北省郧阳师范高等专科学校讲师。研究方向为计算机网络。
结合校园网络实际面临到的问题,我们应借助网络应用层监测技术,使用相关流控设备,做好流量管控,既可让教育公众双网运作顺畅、有限带宽资源得到有效应用,又可提高网络性能。
关键词:DPI;智能流量管理系统;管理策略
Campus Network Application Layer Traffic Monitoring and Flow Control Equipment to Study
TAO Wei-tian
(Network Management Center of Traditional Chinese Medicine in Gansu, Lanzhou 730000, China)
Abstract: With exports of campus network bandwidth increases and new applications development, the traditional port and IP-based traffic management difficult to meet the requirements, and has brought various problems. With quantitative analysis based on network planning and optimization is particularly important and urgent.
With the actual faces to the campus network, we should draw the network application-level monitoring technology, use-related flow control equipment, good flow control, only to allow the smooth operation of the dual network to educate the public, limited bandwidth, the effective application of resources, but also improve the network performance.
Key words: DPI; intelligent traffic management system; management strategy
随着大学校园上网规模的增加,BT、P2P、视频下载等应用风行,尽管已经多次升级线路带宽,却发现上网还是卡,带宽还是不够用。各式病毒攻击也伴随而来,更是恼人的问题。使得校园网流量管理变得异常困难,大量带宽被非核心业务占用,而传统的基于端口和IP的流量管理难以满足要求;面对众多的用户及复杂多元的网络应用,给校园网络管理带来很大的威胁,网络管理人员经常遭遇下列问题:网络占用率较高不能查明原因、带宽不足需优化而缺乏统计数据、网络突然中断不能查明原因等、希望获得详细的网络管理报表用来网络优化或升级需要而没有现成资料。
针对上述校园网络实际面临到的问题,我认为追根究底是要做好流量管控,使用应用层流量分析管理技术和产品,即可实现这方面的管理效果,这就需要做到:1) 了解网络应用流量监测技术;2) 合理的使用流量管理产品。下面,分别就这两方面做以阐述:
1 网络应用流量监测原理及办法
我们知道,传统的流量和带宽管理是基于OSI L2~L4层,通过IP包头的五元组(源地址、目的地址、源端口、目的端口以及协议类型)信息进行分析,通常我们称此为“普通报文检测”。“普通报文检测”仅分析IP包的4层以下的内容,通过端口号来识别应用类型。而当前网络上的一些应用会采用隐藏或假冒端口号的方式躲避检测和监管,造成仿冒合法报文的数据流侵蚀着网络(例如P2P下载软件大多采用动态协商端口机制),此时采用L2~L4层的传统检测方法就无能为力了。
为了识别诸如基于开放端口、随机端口甚至采用加密方式等进行传输的应用类型,网络流量应用识别基本技术DPI、DFI技术应运而生。也有文献称之为业务识别技术。
1.1网络流量应用识别基本技术
1.1.1 DPI
DPI全称为“Deep Packet Inspection”,称为“深度包检测”。DPI技术在分析包头的基础上,增加了对应用层的分析,是一种基于应用层的流量检测和控制技术。当IP数据包、TCP或UDP数据流经过基于DPI技术的流量管理系统时,该系统通过深入读取IP包载荷的内容,来对OSI 7层协议中的应用层信息进行重组,从而得到整个应用程序的内容,然后按照系统定义的管理策略对流量进行整形操作。
DPI技术通常采用如下的数据包分析方法:
传输层端口分析。许多应用使用默认的传输层端口号,例如HTTP协议使用80端口。
特征字匹配分析。一些应用在应用层协议头,或者应用层负荷中的特定位置中包含特征字段,通过特征字段的识别实现数据包检查、监控和分析。
通信交互过程分析。对多个会话的事务交互过程进行监控分析,包括包长度、发送的包数目等,实现对网络业务的检查、监控和分析。
DPI技术是达到应用层流控目标的基本方法,通过DPI技术,把流细分为对应具体的应用流,在分离流量的基础上,定义带宽通道,从而使网络中的流量根据应用各行其道,优化宽带服务,提高网络运行效率和服务品质,保障关键应用,获得更好的用户体验。
DPI实现应用粒度控制的流程是:识别分析控制报告,其中识别准确度是关键,是评估流控产品的重要指标。
1.1.2 DFI
DFI(Deep/Dynamic Flow Inspection,深度/动态流检测)与DPI进行应用层的载荷匹配不同,采用的是一种基于流量行为的应用识别技术,即不同的应用类型体现在会话连接或数据流上的状态各有不同。DFI更关注于网络流量特征的通用性,因此,DFI技术并不对网络流量进行深度的报文检测,而仅通过对网络流量的状态、网络层和传输层信息、业务流持续时间、平均流速率、字节长度分布等参数的统计分析,来获取业务类型、业务状态。
2 网络流量管理产品
2.1 智能管理
早期的网络流量管理方式是在路由器、防火墙或局域网交换机上使用简单的带宽管理或QOS来实现(至今一些单位的简易流控需求仍沿用这种方式),但这种控制方式需要人为干涉,操作复杂,无法做到智能管理,所以不能满足网络管理中复杂策略的精细程度和灵活程度需要。
智能流量管理系统是一款专业的L7应用层流量管理产品,适用于大中型企业、校园网、城域网等流量大、应用复杂的网络化境;通过监控网络流量,分析流量行为,设置流控策略,分时段、按用户、按应用实现流量控制和带宽保障,全面提升带宽利用价值。智能流量管理系统融合了DPI和DFI两种技术,具有四个显著特征。
1) 精确而广泛的应用识别能力:对应用的识别是进行流量控制的基础。智能流量管理系统应用识别库能覆盖各种主流应用,特别是结合国内网络应用的实际情况,提供对迅雷、QQ等本土应用的识别。另外,智能流量管理系统能够对诸如QQ这种具有即时消息、文件传输、音频视频、游戏等多种子协议的网络应用,提供精细化的子应用识别。
2) 优异的产品性能及安全性保障:智能流量管理系统对用户网络中的所有流量进行处理,能够承受巨大的流量压力,特别是在配置复杂策略情况下,不会造成设备性能的下降。另外,设备是以串接方式接入用户网络,具有良好的安全性,在设备出现运行断电或异常情况时,能够保障用户业务的畅通。
3) 强大的控制能力:智能流量管理系统能够根据用户的实际需求,提供强大而完善的控制手段。通过不同时间段、不同用户、不同网络应用、不同控制动作等条件,实现不同情景下的策略配置。我们知道任何网络流量的使用都和人的因素密不可分,智能流量管理系统能够对用户进行灵活的分类管理,从而使控制策略更加符合实际需要。
4) 清晰而全面的信息查询:智能流量管理系统不仅能实现对网络流量的控制,而且能帮助网络管理者对异常问题进行定位,以及通过网络应用现状的分析实现对网络的优化。智能流量管理系统通过柱状图、饼状图、走势图等图表,以及从不同的分析角度,可向用户提供清晰而全面的实时信息查询、历史日志查询、以及自动生成报表等功能。
2.2 国内外产品介绍
国外厂商,以Cisco SCE、Allot、Packteer、Sendvine、 ACENET、Maxnet。产品特性能好,解决方案和产品成熟,均有用户管理系统(可能为动态IP环境中使用,将用户帐号和流量策略结合来控制流量),除ACENET外,其主流产品功能相对单一,但非常专业。
国内厂商中,比较优秀的有畅讯信通的QQSG、南京信风、宽广、华为SIG、金御等,国内产品适合国情,国内应用的识别率相对国外产品高,存在问题是产品性能宣传强,但实际使用,尤其是在策略较多情况下性能差,个别产品有POS接口(适合部分国内运营商),价格较国外厂商有较大优势,功能较多,但在流量管理领域,属于发展期,不够成熟。
2.3 设备的选择
2.3.1 硬件技术
流量管理设备硬件技术主要有三种:Intel X86架构、ASIC技术和NP技术,由于X86架构处理速度相对较慢,单个芯片的可扩展性较差,所以大部分厂家的低端产品采用X86架构,高端产品采用ASIC或NP技术,以适用于不同的网络环境需求。
2.3.2 工作模式
1) 路由模式:通过网关模式串接在用户网络链路中,所有流量都通过网关处理,对内网用户上网行为和数据包实施控制、拦截、流量管理等功能。若将设备作为Internet 出口网关,设备的防火墙功能保障组织网络安全,NAT功能内网用户上网,实现基本的路由功能等。
2) 网桥模式:同样串接在用户网络链路中,如同连接在出口网关和内网交换机之间的“智能网线”,对流经流控设备的所有数据流进行控制、拦截、流量管理等操作。网桥模式主要适用于不希望更改网络结构、路由配置、IP 配置的用户。
3) 旁路模式:即在出换机中配置镜像端口,将流控设备的广域网口同镜像端口相连,实现对内网数据包的监听。
采用旁路模式部署的流控设备,将与交换机的镜像端口相连,部署实施简单,完全不影响原有的网络结构,降低了网络单点故障的发生概率。
2.3.3 性能要求
1) 应用协议的识别与分类(种类和准确性),流控策略的普适性及长效性;
有些通过应用层特征码来控制P2P的流控策略,如果不能及时更新特征码或特征码变得不可知,就可能导致流控失败,一个近期的例子:BT通讯协议加密及迅雷通讯协议发生变化导致专门的P2P流控设备失效。好的流控设备不依赖于应用的特征码,因此可以经得起时间及应用软件协议变化的考验。
2) 流控策略的全面性
普通设备的只对P2P应用做控制,好的设备对所有流量的带宽、会话数、总流量和应用做控制。由于流量的多样性,单靠一两种策略是不能管理好的,必须实行全面的流控策略才能达到流量管理的目的。
3) 看监控对象及流控策略的精细度
好的设备既可以监控出口网关处的流量又可以监控来源网络的流量分布;
普通设备的控制精度只能达到IP一级或网关一级,好的设备可以对每一源IP的不同应用分别做带宽及会话数的控制,而且只有这样才能保障关键应用及其它应用的服务质量以及相同等级用户上网体验的一致性。
4) 看流量数据存储及处理方式
好的设备可以将流量数据输出到专门的流量分析工作站,将流量存储、分析、统计、查询功能和流量捕捉功能分开,保证了流量分析设备的运行效率和流量数据存储的可持续性。
5) 应尽可能使用性能可靠、管理方便、特别是在有故障时能够自动旁路的设备,避免故障点的出现。
2.4 设备优缺点
流控设备不是万能的,还要了解其缺点。
首先,因为它的工作原理和防病毒一样属于事后起作用,所以其优点是精准,其缺点是:1) 总有部分(10~30%)流量不可识别,例如IP碎片、加密流量等;2) 性能会持续下降,当特征码越来越多时,性能就会越来越低,这种趋势发展到一定程度就会使流控设备成为网络中新的性能瓶颈;3) 由于要频繁更新特征码,因此一、设备后期维护难度大,总体拥有成本高;二、对厂家的依赖程度高,厂家停产、倒闭等不可抗力因素使得购买其产品成为一种赌博行为。其次,要区别对待基于应用层的带宽分析技术和控制技术,确定有未知流量的存在对于7层带宽分析技术来说是一种间接的成果,但是对于基于其上的带宽控制技术来说就是现实的噩梦,因为它要先识别再做控制,所以这部分流量永远无法得到有效的控制,当某种未知流量短期内突然增大时,流控措施就会马上失效,例如,08年新版迅雷的快速普及就导致了不少流控设备失效,特别是一些国外的设备。
3 总结
综上所述,只有做到网络应用流量监测技术和网络流量管理设备的深入了解,才能针对校园网所面临的问题,选择好适合自己需要的网络流量管理设备,做到“心中有数、有的放矢”。
参考文献:
[1] 聂瑞华.基于DPI技术的校园网络带宽管理[J].计算机技术与发展,2009(4).
[2] 马科.业务识别与管理系统和网络流量的管理[J].现代电信科技,2008(4).
关键词 网络监测 Cacti 系统研究
中图分类号TP393 文献标识码:A
1 课题背景
近年来,随着计算机网络技术的飞速发展,信息网络越来越多地融入到人们的工作、学习和生活中,网络管理也变得越来越重要。作为网络管理人员使用传统的网络管理,由于缺少有效的网络监测手段,工作程序较为被动。为解决这一问题,我们应开发一套实时、动态监测并详细记录全网设备运行状况、链路状况、流量状况等信息,以直观的、图形化方式实时反映网络运行的监测系统。此系统应及时发现问题,对潜在隐患实时向管理员进行报警,使网络管理由人工转为智能、由被动转为主动,帮助网络管理员提高网络管理和运行的服务质量。
2 网络监测概述
网络监测软件可以提供给管理员当前的网络状态、网络负载和网络设备的工作状态等信息。这些监测软件大多来自于软件开发公司、个人和非盈利机构。价格从免费的开源软件到收取高额费用的商业软件不等,一个高效的网络监测软件也包括网络故障的报警机制,一旦监测到网络故障,监测软件会利用多种途径来通知网络管理员。另外,高效的监测软件应该有独立运行机制,不需要在每个被监测设备上都安装客户端。
3 Cacti 概述
Cacti 是一个基于 PHP,SNMP,MySQL 和 RRDTool 开发的开源网络流量监测图形分析软件,它可以实现对当前网络状态的图形化显示、故障诊断、指定每个用户查看所对应的树状结构。Cacti 的开放式系统框架 PIA 提供了监测系统的所有基础部件和函数组,自身不但具有丰富的插件,第三方的插件如Weathtermap 都可以十分方便地嵌入到Cacti 平台中,使用者可以根据自身需求定制和安装相应的插件。Cacti 通过使用NET-SNMP 程序中的 snmpget 和 snmpgetnext 命令来进行数据的获取,通过使用 RRDTool来进行数据存取、更新、绘制图形,所采集的数据可以重复利用,并且可以定义任意时间段制图。
Cacti 通过 snmpget 命令采集数据,利用RRDTool 来制图,MySQL 数据库中存放了RRDTool 绘图时所需要的所有信息,Cacti 的操作界面简洁直观,用户不需要掌握RRDTool 的复杂数据和命令的情况下就可以轻易绘制出所需要的图形。
4 Nagios 概述
随着计算机网络规模的不断发展,网络内的计算机主机和网络设备也不断增加,因此发生网络故障的概率也不断增加,这时就需要一款良好的监测和管理措施,当网络设备发生故障时可以在第一时间通知给网络管理者,做到故障的及时发现和排除。Nagios是一款免费开源的网络监测软件,其能够有效监测 Windows 和 Linux 主机的状态,可以根据当前的网络拓扑结构将所有的网络设备如交换机、路由器和打印机等纳入到其监测范围之内。当系统或服务的状态发生异常时会及时通过邮件或短信的形式通知给网络管理员,在所有状态都恢复后会再一次发出通知,为故障的排除赢时间,也因此提高了网络的管理效率。
5 Cacti 与 Nagios 整合
Nagios 的监测服务器的运行状态和报警功能十分强大,但对像流量等这种持续数据的呈现能力较弱;而 Cacti 比较侧重于对直观数据的监控并成生图形,用来监测网络流量、CPU 和内存利用率等最为合适。比较两个软件,Cacti 侧重于监测持续的数据信息如网络设备的流量负载并成生图形,但在故障分析和报机制方面有待完善,而 Nagios 侧重于监测网络服务和报警,而在绘制图形方面逊色于 Cacti,通过两者的结合可以更有效的管理网络。Cacti 和 Nagios 的整合是通过NDOUtils 插件来中转数据的,NDOUtils 负责将Nagios 所采集的数据存放在 MySQL 数据库中,而 Cacti 的 NPC 插件负责从 MySQL 数据库中读取此数据,并显示 Nagios 的监控信息。
6系统体系结构设计
本系统是采用 B/S 模式,系统由要由 Cacti 模块、Nagios 模块、整合模块组成;其中 Cacti 模块负责网络设备如交换机/路由器的运行状态和流量监测、网络气象图、网络设备的温度检测等;Nagios 负责对服务、协议的运行状态进行检测和异常报警等;整合模块是通过安装 NPC 和 ndoutils 插件将Nagios 的数据导入 Cacti 数据库中,并由Cacti 以图形的方式显示给用户。
参考文献
[1] 马安龙,赵劲松.基于 MRTG、RRDTOOL 的校园网络流量监测系统[J].连云港职业技术学院学报,2007.
[关键词]僵尸网络 P2P 检测
一、绪论
1.课题背景和目的
僵尸网络(botnet)是攻击者出于恶意目的传播的僵尸程序(bot)来控制大量主机,并通过一对多的命令与控制信道所组成的网络。随着网络系统应用及复杂性的增加,僵尸网络成为网络系统安全的重要威胁。Symantec公司2006年监测数据表明,中国大陆被Botnet控制的主机数占全世界总数的比例从上半年的20%增长到下半年的26%,已超过美国,成为最大的僵尸网络受害国,但国内对Botnet的关注和研究工作还不够全面。作为一种日趋严重的因特网安全威胁,Botnet己成为计算机安全领域研究者所的关注热点。Botnet成为计算机网络对抗研究的首要课题,预示着计算机网络威胁新的发展趋势。
2.国内研究现状
尽管僵尸网络在很早之前就已经出现了,但直到近几年,随着僵尸网络的危害越来越大,对僵尸网络检测技术的研究才被各方面所关注。国际上的一些蜜网组织,如法国蜜网项目组织Richard Clarke等,最早对僵尸网络进行了研究,他们利用蜜网分析技术对僵尸网络的活动进行了深入的跟踪和分析。
早期由于IRC僵尸网络占据着主导地位,所以对僵尸网络的大多数研究都是在基于IRC僵尸网络上的。而IRC僵尸网络的检测基本上无一例外都致力于研究其C&C(Command & Control)信道。2003年Puri在“Bobs $ Botnet:An Overview”一文中主要针对当时的IRC僵尸网络进行了比较全面系统的概述。
近年来随着计算机网络的高速发展,出现了许多新型的僵尸网络,如基于IM、HTTP等不同协议的僵尸网络,并出现了采用树型结构、随机网络拓扑结构以及具有部分P2P特征的僵尸网络。从传统的基于IRC网络的僵尸网络,逐步演变成基于P2P网络的僵尸网络,大大增加了其生存性和隐蔽性,同时也使得检测此类僵尸网络变得更加困难。P2P僵尸网络是利用P2P技术来传播或控制僵尸程序的网络。因为P2P僵尸网络最近几年才出现,所以对于P2P僵尸网络的研究就相对来说比较少。Helsinki科技大学的Antti Nummipuro提出了基于主机的P2P僵尸网络检测方法,但是该方法与其他恶意代码检测技术类似,并没有新颖或创新之处。阿姆斯特丹大学的Reinier Schoof和Ralph Koning等人提出P2P僵尸网络的检测主要方法是对P2P对等端上的检测。
从2005年开始,国内才逐步对僵尸网络进行研究。北京大学计算机科学技术研究所在2005年1月开始实施用蜜网跟踪僵尸网络的项目。CNCERT恶意代码研究项目组在2005年7月开始对僵尸网络进行研究。
二、基于P2P僵尸网络的原理与分析
1.基于P2P僵尸网络的结构
僵尸控制者(Botmaster)、僵尸主机(Bot)、命令与控制(Command and Control,C&C)网络共同组成了僵尸网络(Botnet)。僵尸控制者是控制整个僵尸网络的攻击者;命令与控制网络一般有一个或多个命令与控制(C&C)服务器,僵尸控制者通过控制这些服务器来管理和控制僵尸主机;僵尸主机是攻击者通过C&C服务器控制的主机;僵尸主机从命令与控制网络获得命令,对网络上的主机进行攻击和欺骗活动。基于P2P僵尸网络的结构如图1所示。
2.基于P2P僵尸网络的传播与控制
随着P2P应用的日渐普及,僵尸控制者将僵尸程序伪装成正常的文件或隐藏于正常的文件中,通过用户下载安装这些文件来实现Bot感染、传播。P2P技术主要被用来控制僵尸主机传播僵尸程序。
P2P网络中所有节点是对等的,每一个节点既是客户端又是服务器,因此,基于P2P的Botnet控制与IRC Botnet有很大的不同。在后者中,攻击者利用IRC服务器作为C&C务器控制僵尸计算机,我们可以通过在IRC服务器上监测Botnet的行为特征检测到并进一步将其清除;而在前者中,攻击者只需加入P2P网络向其他对等节点发出控制命令即可。因此,基于P2P控制的Botnet通信系统很难被彻底毁坏,即使有一些Bot被查杀掉,也不会影响到Botnet的生存,故其具有不存在单点失效的特点。
三、僵尸网络的检测
早期对Botnet检测的研究主要集中在如何检测和跟踪到单个的僵尸主机,但是随着Botnet采用协议和结构的复杂性,特别是P2P协议广泛应用之后,大大增加了Botnet的隐藏性和破坏性,需要综合研究Botnet的传播、行为、拓扑结构……,对Botnet的检测技术也在逐步的完善。下面对基于主机特征的检测和基于网络流量的检测为例,叙述Botnet的检测方法。
1.基于主机特征的检测
基于主机特征的检测主要是指在一个负责监控的主机内部部署传感器用来监控和记录相关的系统事件,用来对监测僵尸程序的可疑活动行为。当存在僵尸网络时攻击时,监控主机就会产生一些典型的异常行为,主要表现为添加注册表自启动项、窃取敏感信息、篡改重要文件、远程访问等,这种检测方法类似于恶意代码的检测方法。目前基于主机特征的僵尸网络监测技术主要采用是“蜜罐”技术和虚拟机技术。
2.基于网络流量检测的
基于流量检测方法就是通过分析P2P僵尸网络通信行为表现出来的特征及变化规律并利用这些流特征来判断网络流量中是否存在P2P僵尸网络流量,为检测P2P僵尸网络提供参考依据。
(1)基于连接成功率的检查方法
在P2P僵尸网络中,每个Peer从开始就试图和一些感染的主机建立连接,但由于P2P网络的不稳定性、连接的目的IP的不定性,Peer链接的成功率并不高。对于这种网络行为,我们可以用TCP连接成功率来描述。据试验研究表明:绝大部分P2P协议,都使用TCP传输协议来实施第一步建立联系的行为。基于TCP连接成功率的P2P僵尸网络节点识别算法的形式化描述如下:
RC = b / a
其中,RC 为TCP连接成功率,a为节点发送的SYN数据包中不同目的IP地址数;b为收到的SYN/ACK数据包中不同源IP地址数。
通过试验表明:低于正常P2P节点的RC值[0.2,0.4],就是僵尸网络。
(2)基于流量变化率检测方法
在网络流量中,正常P2P网络与僵尸P2P网络的最大区别在于:后者有大量数据传输。如果一个Peer在相对较长的时间内出现大量数据传输,也就是网络流量异常的现象,则可判断该Peer是疑似僵尸网络节点。
参考文献:
[1]国家计算机网络应急技术处理协调中心.CNCERT/CC2006年网络安全工作报告[DB/OL].省略.cn/UserFiles/ File/2006CNCERTCCAnnual Report_Chinese.pdf,2007,2,15.
[2]Enterprise firewall[EB/OL]. /.2009,10,02.
[3] A.Nummipuro.Delecting P2P-Controlled Bots on the Host.In Seminar on Network Security,2007,10.
[4]R.Schoof.R.Koning.Detectingpeer-to-peer Botnets.staff.science.uva.nl/delaat/sne-2006-2007
[5]张琛 王亮 熊文柱:P2P僵尸网络的检测技术.[J]计算机应用.2010
根据Android的特性及安全现状,可从功能性需求和非功能性需求对安全软件进行分析。就软件功能需求来看,主要包括查看网络流量信息,其需求时序为:用户点击进入检测界面获取系统应用信息调用数据库查询流量信息并返回处理数据并将其展现在界面上反馈给用户;检测和处理恶意软件,其需求时序为:点击进入检测界面将检测结果传送给处理模块存入数据库并返回给用户;控制软件权限细粒度,其需求时序为:在用户进入管理界面前初始化配置用户进入管理界面后获取配置信息对数据信息进行处理并显示给用户重新配置权限并将信息存储到数据库将更新后的数据显示给用户界面;短信和来电过滤设置,其需求时序为:根据短信或来电数据初始化数据库过滤短信和来电号码将拦截下来的信息存入日志数据库并将过滤结果反馈给用户。就软件非功能需求来看,主要包括性能需求、数据库需求和外部接口需求等内容,在此不作过多列述。
2安全软件设计及实现
2.1恶意软件检测模块设计及功能实现
恶意软件检测和处理功能需要网络流量信息监测、异常识别、响应处理以及关键信息存储等模块的相互配合来实现。其一,网络流量信息监测模块的设计,为提高流量信息捕获效率,将该模块放置于Linux内核中,采用LKM开发模式,开发流程如下:模块初始化(钩子函数注册和初始化)关闭模块(钩子函数注销及模块卸载)编译内核模块;其二,异常识别模块的设计,根据Android移动终端的特点以及恶意软件对该系统流量信息的影响情况,采用SVM分类算法,通过构造特征向量,提取进程ID、数据包发送/接收时间、上/下行流量、源/目的IP地址等特征来反映系统网络流量的特征,再通过Netlink方式从监测模块中获取待识别数据,改进交叉编译后移植给Android平台;其三是响应处理模块设计,根据安全策略对被检测软件进行相应处理,主要包括对访问通信录、恶意软件联网、发送和读取短信等权限进行控制,将可疑信息上传云储存服务器供监测系统分析使用。
2.2深度短信和来电拦截模块设计及功能实现
深度短信和来电拦截功能需要短信和来电过滤与关键信息存储模块的相互配合来实现。其一,短信和来电过滤模块的设计,该模块在Android的Framework层进行开发,通过修改系统源码来添加短信和来电拦截功能,短信和来电过滤模块的函数调用流程如下:初始化时序通知函数调用时序监听注册函数时序过滤处理函数调用时序;其二,关键信息存储模块的设计,按照设计的数据库表来创建数据库,主要包括模型数据表、训练数据表、关键信息表、权限管理表、操作日志表、过滤表、信任名单表、模块设置表和安全策略表,对外提供数据库表的操作接口,接口定义在DBsql。
3结论