基于Web的Internet/Intranet的网络流量监测与分析系统
基于Web的Internet / Intranet的网络流量监测与分析系统
.W.-K. Hong*, S.-S. Kwon, J.-Y. Kim
Department of Computer Science Engineering, Pohang University of Science and Technology, San 31 Hyoja, Pohang 790 784, South Korea
摘要
作为企业的计算机应用环境变得更加网络化的方向的重要组成部分,网络流量监测及分析加剧。大多数现有流量监控和分析工具,专注于测量的网络流量的负荷。此外,他们通常有复杂的用户界面。随着互联网和局域网流量增加由于使用World-WideWeb和其他方面的应用,决定哪些主机和网络应用程序在重要的管理和有效的使用网络资源的问题上变得至关。本文提出的设计与实现方法,基于互联网的网络流量监测与分析系统被称为WebTrafMon。网络技术可以让用户是免费从复杂的用户界面,同时允许可以从任何地点监测和分析结果,使用得到更广泛的WebbrowsersWebTrafMon监测及分析能力提供不仅对流量负荷也为网络类型、来源和目的地。WebTrafMon由两部分组成:探测器和分析器。探测器提取网络数据包信息,观察器为使用者提供网络信息分析。WebTrafMon的有效性验证应用到企业网络环境。问1999年卷。版权所有。
关键词:网络流量监测和分析、流量管理、网络类型和资源分析、网络管理、企业网络管理系统
1。介绍
今天,越来越多的企业越来越依赖计算机网络。在网络环境下成长,受到广泛的计算机硬件和软件以及快速增长的互联网和世界网(WWW或网页)的影响。更多的系统被连接到网络,迅速增加的网络流量。这种增长的影响很多与网络相关的用户应用的性能。这些条件产生了各种问题并解决网络流量监测和分析。网络流量监测提供收集的数据和分析这些数据。原始状态的数据进行了探索和分析网络数据包,提供延伸数据的原始数据。有效利用网络资源的有限性,网络管理员需要从他们的网络获得准确、可靠的信息,如:有多少流量转让;什么样的流量是转移；哪个系统产生多大的流量；哪个系统或应用程序瘫痪了；和流量的高峰时多少、什么时候达到高峰。如果网络管理员不能为这类问题提供可靠的回答,有价值的网络资源将会被浪费。
大量的自动化工具已经发展为帮助网络管理员监控和分析网络流量。Multi-Router Traf?c Grapher (MRTG) [1],Argus [2], Ether?nd [3], NFSwatch [4] and TCPdump [5]这些工具的例子。MRTG提供每小时,每天,每周,每月,每年的统计数字网络流量负荷，使用简单网络管理协议(SNMP)[6]通过使用网络的图形用户接口。但是没有MRTG有关协议或提供详细的网络流量系统。虽然MRTG是一个很好的网络工具，以易于使用的网络流量管理人员需要更复杂的、用户友好的工具来进行详细信息的分析。
本文提出的设计和实现了一个以网络流量监测与分析系统被称为WebTrafMon。该系统显示网络流量进行了详细的阐述,允许用户看到统计在每个通讯层,如来源地址和目的地址,大量的数据报传输,以及其他资料。WebTrafMon雇用介面,这样用户可以广泛的访问网络信息,易于使用网页浏览器。网络接口系统和位置的独立和最常见的方式展示WebTrafMon能做的。用户只需要连接到英特网,有一个浏览器。没有特别的训练。在客户端没有额外需要安装或配置程序。任何人都可以访问数据和分析,我们可以通过共同认证限制接入网络用户。
WebTrafMon的精华在于使用信息网络数据包从标题在介质物理层(MAC),到上层应用。没有额外的网络信息交换和需要获得的信息。这个信息是在真正的时间内提取,所以用户可以看到网络的活动,第一个使用WebT rafMon系统或协议将成为成为主导。
WebTrafMon不同于类似的工具,因为它可以通过任何网页介面展示网络数据报信息的来源和目的地主机, 从网络层到应用层，根据每个协议层，它能显示出流量状况。通常情况下,当网络流量来源于特定的主机。网络环境下的企业网络管理人员必须能够确定的主机是一种快速的带宽高峰。一旦发现拥塞,可与系统管理员联系,纠正这类问题。
传统的网络流量分析工具都无法显示每个主机流量信息,然而现在是信息数据时代。举例来说,唯一的未经授权的视频点播(VOD)或音频点播(AOD)服务器可以导致整个子网达到最高峰。一些消耗大量带宽的多媒体服务被提供在互联网上。因此每一层的协议的信息是至关重要的,因此主机的流量数据变得越来越关键。
WebTrafMon可分为两部分:探测器和分析器。探测器提取数据,从网络数据包并组成的日志文件。分析的结果是基于这些日志文件。以用户分析的结果通过浏览器对用户进行观众互动。下面是详细描述及内部结构的系统。第二节检视其它网络流量监测方案。第三节检视了流量监控和要求分析系统。第四节检验这个系统的使用来分析企业网络。最后,第五节检验未来的研究方向。
2。相关的工作
在网络环境下网络监测和分析已经成为重要的课题,鼓励全球的进行研究和发展。许多组织已经开发出自动化网络监测与分析系统,其中一些详述如下。
2.1.Multi-Router Traf?c Grapher (MRTG) [1]
这个MRTG[1]是一种在网络链路层流量监控工具。MRTG产生超文本标记语言(HTML)，
其中包含GIF图像提供了一个在线、直观的交通网络。实施MRTG Perl和C语言的使用,它可以在各种UNIX平台和窗口运行，是成功应用于许多MRTG平台的工具。MRTG不仅仅局限于监测网络流量。它还可以用来监控任何SNMP[6]的变量。MRTG甚至可以提供数据来分析结果的外部程序。人们利用MRTG监控系统等信息,请登录会话,模型能力和更多。MRTG甚至可容纳两个或多个数据源成一个单一的图形。图1显示屏幕镜头的网络负载监测MRTG。
图1.网络流量数据的一个网段MRTG使用。
尽管所有这些迷人的功能、但是无法提供显示MRTG的主机信息或应用程序可能造成网络拥塞。SNMP MIB变量不适合这样使用,但是对于网络来说,只能显示网络流量。MRTG不提供信息流量类型或协议统计。
2.2. Ether?nd
这个SunOS操作系统支持Etherfind[3],它是一种软体包监控。该软件打开网络网卡在混合模式下,把每个数据报信息写到一个文件中。信息包括协议类型,大小和发送和接收的地址。这个工具从每个包提取信息。数据是作为一个基于文本的用户界面, 只允许用户可以访问这个工具的根源。
2.4. TCPdump
Van Jacobson写的TCPdump[5] 经过开发研究和改善了传输控制协议(TCP)和网络网关的性能。TCPdump打印头的包在一个网络接口上。分析网络状况和用户可以手动操作使用这个标题信息。尽管有许多选项,TCPdump捕获原始数据,并不提供任何分析能力的捕获数据。
3.要求
以下是最重要的需求,应该满足于企业网络监测与分析系统。
3.1.平台独立性
低分组捕获程序是一个独立的平台。因为每个平台提供了一个不同的低级网络设备,应该有一种抽象的基础之上网络层。如果代码写一个特定的平台,移植到不同平台将是非常困难的,用户的平台将不能使用它。UNIX操作系统。在BSD网络代码是常见的专有的操作系统。因此, 分组捕获程序可以基于共同的代码。这个程序代码移植PC Windows平台将需要额外的工作,因为在低水平网络设备Unix平台和Windows平台已经几乎没有共同之处。
3.2. 强大的用户界面
用户界面的因素应该很容易理解和操作。因为这个原因,是一种基于网站界面可能是最好的解决办法。网络用户界面是易于使用和无处不在的,因为网络不依赖于特定的操作系统。总而言之，网络浏览器,可供许多操作系统。
网络用户界面更有特定的强项。使用网络系统中,一个人只需要访问网络和使用的浏览器。随时随地,任何人都可以接入系统使用一种普遍的浏览器。
3.3. 保证分组捕获
在高速网络,以每秒传送的封包简直是天文数字。分析这些数据需要极大的处理时间。因此,效率数据包捕获代码是至关重要的。
在高速网络, 这个系统可能无法处理所有的包。如果处理的速度或者系统本身的速度不足以捕获所有的数据包,分析结果是不可靠的。事实上,确保所有数据包捕获的是妥善极富挑战性的。
3.4. 所有可能的协议的分类信息
许多通讯协议正在用在一个典型的企业网络。例如,许多应用协议的存在,例如HTTP、FTP,Telnet工作,SNMP、MP3、RealAudio,RealVideo等等。所有的包是用一些特定的协议,交付和协议可以划分为某一层。最理想的情况是,监视工具应该在每一层能够分类和显示所有可能的协议。
3.5. 流动性
分组捕获的工具都应该很容易安装和使用任何网路区段。如果有人想监视某一特定的网段,他应该能够安装监控系统在笔记本或者桌面和连接的部分。
3.6.安全
安全是至关重要的。保证内部数据是必要的,以防止非法的存取和潜在损伤的数据。有时,小偷或黑客裂系统,忽视安全措施。必须限制访问那些使用者得到授权。因此,网络的安全机制(例如使用者名称及密码检查)可以用来提供这样的访问监测与分析系统。
3.7. 浏览实时和历史数据
这个系统应该能够展示联机实时状态数据和积累的历史地位的数据。从历史数据,用户可以对长期趋势,从交通数据进行实时、短时交通的趋势。这可以帮助用户检测问题更加容易和迅速。
4.WebTrafMon设计
基于需求讨论在上一节中,我们设计了一个网上企业网络监测与分析系统。WebTrafMon建筑的设计为例,说明在图3。
图3。建筑设计的网络流量监测与分析系统。
整个系统包括两个部分: 探测器和分析器。探测器提取数据,从网络中数据包各层和保存到一个预使日志文件；然后处理日志文件的组成部分的分析。用户和输出分析数据库中存储的数据仓库,网络服务器发送到用户的浏览器通过查看控制。
4.1探测器
探测器用来检索数据捕获从每包和存储数据,在一个日志文件进行进一步的处理。记录所有的网络数据包,它在杂乱的模式。这是由于以太网本身的性质：包广播。捕获所有的包是最重要的和基本的操作的探索。因此它应该使用操作系统的一个独立的代码。详细地介绍了探测器的结构为每个数据通信层。但首先,这里是这个角色的探头各组成部分。数据包从网络捕获，这个数据过滤提取信息的每个包。写数据过滤提取的日志文件。
4.2. 媒体访问控制层
MAC层包应该捕获全速前进。然而,它实际上是不可能的,因为所有数据包捕获牢固,这不是一个硬件解决方案,但一个软件程序的数据包捕获应简洁、高效。在这一层,抽象的一些具体的硬件驱动(例如：以太网卡)是很重要的。如果这个数据包捕获代码使用特定的网络设备驱动程序,该代码移植到另一个网络装置可能需要额外的工作。探测器从这层的大小到它的头提取网络每个数据包相关信息。
4.3. 网络层,
这层与IP地址ARP协议RARP等有关。如果一个包是基于ip的,是进一步处理的基础上,分析了信息来源和目的地主机，如果不,没有必要去分析它,因为它不包含的信息来源或目的地主机。分析器必须被告知, 数据包包不是基于ip的,所以它知道目的地等信息。至于决定哪些主机发送数据包,信息这一层是使用。一个标准的IP包有两个IP地址：源地址和目的地址；该系统采用了这有价值的资料分析了每个主机网络流量。
4.4. 传输层
这一层是对等传输层。最普遍的传输层的协定是TCP和UDP协议。TCP提供可靠数据递送服务端对端错误检测和校正。UDP提供无连接、最大努力交付数据报文的服务。
4.5.分析器
这个WebTrafMon分析器由三部分组成：数据的读取,网络分析仪和观点的控制器。读者从日志文件阅读资料封包信息,探测器已经产生。此分析仪分析信息,把控制器请求。最后,这个分析控制器和用户提供信息用户的要求分析器分析日志文件生成的探头和显示所有可能的信息。这信息包括在网络上被使用的协议, 但是它主要关注的网络带宽的使用：每个网络层协议、每个传输层的协定、每一个应用层协定、网络之间的源地址和目的地址、从每个源主机的路由，到每个目标主机的路由。为了方便,效率高, 网络用户界面被使用,虽然任何接口可使用。一个网络接口问题,同时清除移植单个脚本提供统一的结果,不论其操作系统,无论用户的所在地。分析器看日志文件生成的探头和用户的互动来确定哪些用户想要去的地方。用户通过网络浏览器，根据用户的交互作用,分析的过程在分组数据的日志文件里显示结果。
在设计中,所有的观众都被认为是安全问题。这要求用户能够获取使用WebTrafMon认证。密码是最普遍的方法检查的认证。如果密码检查太频繁,用户可以把它看成是一个令人讨厌的东西。因此,在最初的登录密码就足够了。
5.执行
本节介绍了WebTrafMon执行细节。
5.1. 探讨实施
数据包捕获组件使用的libpcap [8]，为用户级网络数据包的系统独立开发界面捕捉在劳伦斯伯克利实验室的网络研究组实施。一般的libpcap API使得移植到，与多厂商系统的支持容易。本的libpcap接口支持的过滤作用，对BSD的包滤波器（BPF）[建筑基础8]。虽然大多数的数据包捕获接口需要在内核过滤，libpcap的使用只为香港工商专业联会接口过滤内核。系统缺乏BPFs使用所有被读取到用户空间的数据包。 BPF的过滤器则是在评估的libpcap库。香港工商专业联会是在4.4BSD的标准，BSD/386，NetBSD的，和FreeBSD。 12月OSF / 1使用的数据包过滤器接口，但已扩展至接受BPF的过滤器（其中的libpcap利用）。要分析数据包信息，日志格式的定义是依照对TCP / IP协议层和每个数据包大小。每一行的意义和列如下。每一行代表一个捕获数据包，与第一场的大小显示在每个数据包字节。此信息是取自MAC层。至于以太网数据包，这个信息会出现在以太网头。第二个字段是数据包的源主机，如果它是一个基于IP的数据包。如果它不基于IP的，它可能是基于ARP协议[14]，RARP [14]，或其他协议在这一层。例如，行3和4的样品从这类案件。此信息是从网络提取层。第三个字段是数据包的目的主机，如果它是基于IP的。源和目标主机信息。此信息是非常重要的，以便从中汲取主机网络源地址。
5.2.查看器执行
该文件由观众分析了探头生成的日志。 Perl脚本来分析日志文件，和CGI显示在用户的浏览器的最终输出。对于每一列，检索的Perl脚本在每个网络层信息，并显示其图形。所有脚本收集源主机信息，目标主机或协议的相关信息，数据包大小的信息。显示这些数据是相当简单。所有这一切需要的是另外的HTML代码。WebTrafMon可以显示出一个给定的日志文件：源主机，目标主机下面的交通信息;源到目的地的配对，网络层协议，传输层的协议，应用层通讯协定观众提取一个或多个，因为这确实需要从两个方面日志文件，它根据排序的总流量。
6. 经历
WebTrafMon上使用需求的基础。只要他们有安全接入，网络已经达到顶峰，或有一些问题，可以连接到我们的网页，互动与此工具。分析可以做到实时或交通的历史。图。 5显示WebTrafMon主窗口。左边的窗口显示WebTrafMon什么样的信息可以显示给用户。 “数据接收”显示目标主机的信息。 “发送数据”显示源主机的信息。 “数据交换”显示根据源和目的地的交通信息。 “议定书信息”栏目显示协议信息分类根据每个网络层。 “实时监控”，是用来监测实时网络状态，online.Using Web浏览器，用户可以选择一个监测的时间间隔或检讨现行的网络流量的历史。在这段时间内，WebTrafMon收集网络段的网络数据包，并产生了当前的网络状态基于网络的输出结果。图。 3。是实时监控进程的主要控制面板。用户可以从这个用户界面检查通过下列按钮：“发送数据”显示的主机发送数据包的最点击网络统计信息。 “数据接收”显示的主机收到的大部分数据包。WebTrafMon可以被配置为自动运行，并定期。此功能允许一个长期趋势，并提供更多的进入企业网络的洞察力。
图。 3。实时网络监控使用WebTrafMon
7。结论和未来研究
WebTrafMon已经发展成为一个基于Web的网络流量监控和分析系统。 WebTrafMon采用了便携式网络探测和数据包分析系统，并提供易于使用的，无处不在的Web用户界面。它提供实时的和历史上的目的地的流量监控功能，来源和源对目标主机，以及对网络层的网络管理，传输层和应用层协议。WebTrafMon可以方便地提供诸如“哪个应用程序消耗了网络资源的大部分问题的答案？”，“这是前5名的主机，消耗了大部分的网络资源？”和“正在生成的主机对网络流量？ “。这种能力提供了进入网络的使用更全面的了解。
参考资料
[1] T. Oetiker, D. Rand, MRTG: Multi Router Traf?c Grapher, http://eestaff.ethz.ch/~oetiker/webtools/mrtg/mrtg.html.
[2] C. Bullard, argus-1.7.beta.1b, ftp://ftp.sei.cmu.edu/pub/argus/.
[3] C. Hunt, TCP/IP Network Administration, O’Reilly & Associates,1992.
[4] W.S., Kirchhof, Multi-protocol session analysis, http://nersp.nerdc.u?.edu/~bill/Thesis/Thesis.html.
[5] Lawrence Berkeley National Laboratory, tcpdump 3.4a6, ftp://
ftp.ee.lbl.gov.
[6] D. Perkins, E. McGinnis, Understanding SNMP MIBs, Prentice-Hall,Englewood Cliffs, NJ, 1997.
[7] A.S. Tanenbaum, Computer Networks, 2, Prentice-Hall, Englewood Cliffs, NJ, 1996.
[8] W.R. Stevens, Unix Network Programming, 1, Prentice-Hall, Engle wood Cliffs, NJ, 1998.
[9] E. Vyncke, Etherload homepage, http://www.ping.be/ethload/.
[10] T. Berners-Lee, R. Cailliau, J. Groff, B. Pollermann, World-Wide Web: the information universe, Electronic Networking 1 (2) (1992).
[11] T. Berners-Lee, R. Fielding, H. Frystyk, HyperText Transfer Protocol-HTTP/1.0, RFC 1945, IETF HTTP WG, May 1996.
[12] NCSA, The common gateway interface, http://hoohoo.ncsa.uiuc.edu/cgi/.
[13] G.R. Wright, W.R. Stevens, TCP/IP Illustrated, 2, Addison-Wesley,Reading, MA, 1994.
[14] W.R. Stevens, TCP/IP Illustrated, 1, Addison-Wesley, Reading, MA,1994.
[15] J. Raynolds, J. Postel, Assigned numbers, RFC 1700, Network WG,October 1994.
[16] W3C, HTTP/1.1 Performance overview, http://www.w3.org/pub/WWW/Protocols/HTTP/Performance/.
[17] D. Curry, J. Mogul, nfswatch-4.3, http://ftp.lip6.fr/pub2/networking/nfs/.
[18] Apache development group, Apache web server 1.31, http://www.apache.org.
[19] Transarc Inc., AFS, http://www.transarc.com.
[20] Zco Inc., The MP3 resources on the Internet, http://www.mp3.com.
基于Web的Internet/Intranet的网络流量监测与分析系统.doc
