ntop - display top network users

ntop - display top network users

연구소 작성자 이삼일

2006-12-08, V1.1

ntop -d -c -q -w 3000 -r 30ntop-3.1.1

인젠 연구소인젠 연구소 : : 완전변신 완전변신 20062006 2

Revision Control

2006-12-08, V1.1 연구소 이삼일– Original Issue.– Revision Control Page( 본 페이지 ) 추가– 마스터 변경 ( 연구소 표준 마스터 )– ntop 개요 > “ 유닉스에서 환경설정” 페이지 추가– 용어집 추가

According to [Stallings], network monitoring is the most fundamental aspect of automated network management.


목차 ntop 개요 메뉴 구성 메뉴별 화면

According to [Stallings], network monitoring is the most fundamental aspect of automated network management.

ntop 개요Ntop.ico


ntop 개요 Simple, free, portable network management tool 주요 기능

– 측정 - Traffic measurement– 감시 - Traffic monitoring– 최적화 및 계획 - Network optimization & planning– 보안 위반 탐지 - Detection of network security violations

인터페이스– Web mode: Integrated Web interface– Interactive mode: Simple console command - intop

www.ntop.org


ntop 기능 리스트 Protocol 에 따라 network traffic 정렬 다양한 기준에 따라 network traffic 표시 traffic statistics 표시 RRD format 으로 disk 에 지속적인 traffic 통계 저장 컴퓨터 사용자들의 신분을 파악 ( 예 email 주소 ) 관찰통한 호스트 OS 추측 (i.e. 프로브에서 패킷 전송 없이 ) 다양한 프로토콜들 중에서도 IP traffic 분포 표시 발신자와 수신자에 따라 IP traffic 분석 및 정렬 IP Traffic 서브넷 매트릭스 표시 (who's talking to who?) Protocol 유형에 따른 IP protocol 사용량 표시 라우터 / 스위치 등등에서 생성된 NetFlow/sFlow 수집기로 작동 RMON 과 유사한 network traffic 통계 생성


[1] 트래픽 측정 - Traffic measurement

네트워크 사용을 추적하여 서브넷 전체에 대해 또는 로컬 서브넷에 있는 개별 호스트들에 대해 일련의 통계를 생성

모든 패킷을 수집하여 sender/receiver 짝으로 연관시킨다 . 특정 호스트에 대한 모든 트래픽 활동을 추적 개별 호스트 정보 - Information for each host found

– Data sent/received, Used Bandwidth, IP multicast, TCP 세션 History, UDP 트래픽 , TCP/UDP 사용 서비스 , 트래픽 분포 , IP 트래픽 분포

글로벌 트래픽 통계 - Global traffic statistics– 트래픽 분포 , 패킷 분포 , Used Bandwidth, 프로토콜 사용과

분포 , 로컬 서브넷 트래픽 매트릭스 , 네트워크 플로우


[2] 트래픽 감시 - Traffic monitoring

네트워크 트래픽이 명시된 정책 위반 또는 정의된 임계 값 초과 상황 구별

네트워크 설정 문제 탐지– 중복 IP 주소 사용– "promiscuous mode"( 난잡모드 ) 로컬 호스트 확인– 프로토콜 트래픽 데이터 분석을 통한 잘못 설정된 어플리케이션– 서비스 오용 탐지– 프로토콜 오용– 서브넷 라우터 확인– 과도한 네트워크 대역 사용률


[3] 네트워크 최적화 및 계획 비생산적인 사용의 잠재적인 원천 탐지

– 특히 불필요한 프로토콜과 비최적화 라우팅 문제 트래픽 특징 및 분포를 통해 간접적으로

보다 현명한 사용을 위한 정책들을 재검토할 수 있도록 한다 .


[4] 네트워크 보안 위반 탐지 계속적인 공격 추적 및 잠재적인 보안 취약점 점검 지원

– IP spoofing– Network cards in promiscuous mode– Denial of service attacks– Trojan horses (for well known ports) – Portscan attacks

관리자를 위한 알람 생성 (via e-mail, SNMP traps, SMS) 트래픽 정보를 database 에도 저장 가능


설치 관련 사항 제공 포맷 - www.ntop.org

– 소스코드 ( 하나의 소스에서 거의 모든 플랫폼 지원 )– 어플리케이션 바이너리 또는 패키지

• 유닉스 , 리눅스 , BSD - 풀 버전 제공• 윈도우용 경우 데모 버전으로 최대 1,000 패킷으로 제한 됨

옵션 플러그인– ICMP, WAP, NetFlow, sFlow, RRD, SNMP, LastSeen

PLATFORMS UNIX, Linux, Win32, Mac OS X

MEDIA Ethernet, Token Ring, PPP, FDDI, Raw IP, Loopback

PROTOCOLS IP, IPX, NetBIOS, OSI, AppleTalk, DecNet, DLC

IP PROTOCOLS사용자 설정 가능 (NFS, HTTP, X11, DNS,FTP, SMTP, POP, IMAP, SNMP, Telnet, etc.)


유닉스에서 컴파일 소스 다운로드 받기 - CVS 이용

• mkdir /home/src /home/src/ntop• cd /home/src/ntop • export CVSROOT=:pserver:[email protected]:/export/home/ntop

• cvs login 'ntop' as password• cvs checkout ntop

컴파일 순서• cd ntop 압축해제 폴더• ./configure • make • make install


유닉스에서 환경설정 /usr/local/var/ntop owner 설정

; ntop 은 nobody 로 실행 되기 때문에 ntop 이 사용하는 DB파일 pid 파일등이 저장 되는 디렉토리의 owner 를 변경한다

# /usr/local/bin/ntopMon Dec 4 14:31:24 2006 ntop will be started as user nobody**WARNING** INIT: Unable to create pid file (/usr/local/var/ntop/ntop.pid)Mon Dec 4 14:23:31 2006 **ERROR** RRD: Disabled - unable to create b

ase directory (err 13, /usr/local/var/ntop/rrd)

# chown -R nobody:nobody /usr/local/var/ntop# ps -ef | grep ntopnobody 896 1 0 Dec04 ? 00:08:31 ntop -d -c -q -w 3000 -r 30 -P

/usr/local/var/ntop -M -i eth0


유닉스에서 환경설정 Admin password 설정

# ntop --set-admin-password=xyz12345Tue Dec 5 22:59:06 2006 NOTE: Interface merge enabled by defaul

tTue Dec 5 22:59:06 2006 Initializing gdbm databasesTue Dec 5 22:59:06 2006 Admin user password has been set


실행 및 관리자 접속 데몬 실행

– ntop -d -c -q -w 3000 -r 30 -P /var/log/ntop -M -i eth0,eth2• d demon mode• c Sticky hosts• q create suspicious packets• w web server port• r refresh interval - sec

관리자 웹 UI 접속 - http://hostname:portnumber/– 디폴트 HTTP 포트 : 3000 – 예제 http://f1:3000/– 기타 설정은 웹에서 수행

Interactive mode


ntop Architecture

Report Engine

Packet Analyzer

Packet Sniffer

실제 트래픽

NetFlow/sFlow listeners

Flows Flows


ntop host hashtable entries

Protocol Traffic Counters

IP Traffic Counters

TCP/UDP Connections Stats

Active TCP connections List

Peers ListHost

hash

tab

le e

ntr

ies


ntop 성능관련 사항 libpcap 기반 성능 Packet loss 적음 - 커널과 ntop 자체에서 버퍼 됨 잠재적으로 오랜 시간 실행하는 액션은 비동기 모드로 구현

– 예 ) IP address resolution

여러 개의 쓰레드를 이용 해시 테이블을 광범위하게 이용 성능향상을 위해 Unix 및 리눅스에서는 PF_RING 사용

– 커널 모드에서 메모리 사용 (???)

– RRD (Round Robin Database) 와는 다른 것임


기타 특징– Unix and Win32 다중 프로세스 다중 쓰레드 지원– 가상 및 다중 네트워크 카드 지원– 원격 접속을 위해 Perl/PHP/Python lightweight API 지원– 수집 소스로 NetFlow & sFlow 지원 - 동시에 다중 프로브– 장기간의 트래픽 분석을 위해 RRD database 에 통계 저장– 인터넷 도메인 , AS (Autonomous Systems), VLAN 통계– 수동적 (Passive) 원격 호스트 지문 사용 (ettercap) – 네트워크 OS 및 사용자에 따라 자산 발견 및 분류– 잘 알려진 P2P (Peer to Peer) 프로토콜에 대한 디코더– HTTP 사용자당 인증 / 암호 적용 및 HTTPS via OpenSSL– Graphical Charts via gdchart– WAP support


ntop 관련 포함 ( 또는 외장 ) 툴

nmap

내장 HTTP

Perl, PHP, Python

OpenSSLHTTPS

sFlow 수집기

netFlow 수집기

ettercapOS 추정

gdchartgd, libpng

WAP지원

libpcap 기반

lsofList open files

NIC 제조자목록

라우팅 AS목록

/etc/services목록

gdbm데이터베이스

RRD 지원

AS-list.txt.gz

etter.finger.os.gz

oui.txt.gz

도메인 . 국가목록

p2c.opt.table.gz

특별한 MAC목록

specialMAC.txt.gz


ntop 플러그인

Xmldump

Netflow

rrd

sFlow

icmpWatch

PDA

LastSeen

SNMPagent

DB 및 저장소 - gdbm, RRD


1. ntop 시간 시리즈와 관련 없는 정보 /usr/local/var/ntop

– gdbm 포맷 캐시 데이터 파일• LsWatch.db• addressQueue.db• dnsCache.db, prefsCache.db• fingerprint.db, macPrefix.db• ntop_pw.db

– tcpdump 포맷 패킷 덤프 파일• ntop-suspicious….pcap


eth0eth0 192.168.1.106

192.168.1.106

hosts 6767

192192 11

205205

domains krkr

2. RRD 데이터 저장 구조

netflownetflow

matrix 192.168.1.1

192.168.1.1

0000 0B0B 6A6A 8A8A D1D1

168168 199199


ntop rrd 파일 리스트 ( 인터페이스 )

/usr/local/var/ntop/rrd/interfaces/eth0– 프로토콜별 트래픽 (L2)

• ipBytes, arpRarpBytes, stpBytes, otherBytes

– IP 별 트래픽 (L3)• tcpBytes, udpBytes, icmpBytes

– IP 서비스별 트래픽 (L4)• IP_DHCP-BOOTPBytes, IP_DNSBytes, IP_HTTPBytes, IP_SSHBytes, IP_KazaaByt

es, IP_MailBytes, IP_eDonkeyBytes IP_MessengerBytes,IP_NBios-IPBytes, IP_SNMPBytes,

– 패킷 크기 패킷량• upTo1518Pkts, upTo1024Pkts, …, upTo128Pkts, upTo64Pkts

– 패킷 캐스트• ethernetPkts, broadcastPkts, multicastPkts

– 기타• IGMP, ethernetBytes, activeHostSendersNum, knownHostsNum

(.rrd 확장자 생략 )


ntop rrd 파일 리스트 (domains)

도메인 이름에 따라 서브 폴더가 생성됨 - 단일 레벨– 도메인 단위당 트래픽 통계

/usr/local/var/ntop/rrd/interfaces/eth0/domains/• bytesRcvd, bytesSent• tcpRcvd, tcpSent• udpRcvd, udpSent


ntop rrd 파일 리스트 (hosts) 내 / 외부 호스트 구분에 따라 통계 파일들 위치가 다름

– 로컬 호스트 경우는 MAC 주소에 따라– 외부 호스트 경우 IP 주소에 따라

/usr/local/var/ntop/rrd/interfaces/eth0/hosts/– 00/0B/6A/75/1F/2E/

• bytesRcvd, bytesRcvdLoc, ipBytesRcvd, pktRcvd, tcpRcvdLoc, totContactedRcvdPeers

– 131/114/21/22/• IP_HTTPRcvdBytes, IP_HTTPSentBytes, • bytesRcvd, bytesSent, pktRcvd, pktSent• ipBytesRcvd, ipBytesSent• bytesSentLoc, bytesRcvdLoc• tcpRcvdLoc, tcpSentLoc• totContactedSentPeers, totContactedRcvdPeers


ntop rrd 파일 리스트 (matrix)

IP 주소에 따라 서브 폴더가 생성됨 - 단일 레벨– 그 하위에 상위 주소와 통신이 있었던 IP 주소 폴더들이 생성되고

여기에 통계 정보 생성 /usr/local/var/ntop/rrd/interfaces/eth0/matrix/

– 192.168.1.106/• 192.168.1.101/

bytes, pkts

• 192.168.1.11/ bytes, pkts

NetFlow and ntop versions

ntop nProbenBox


ntop 과 관련한 기타 SW

ntop 패킷 콜랙터요약 통계

NetFlow, sFlow 수집기관리자 화면

nProbe패킷 콜랙터요약 통계

nBox임베디트 시스템

내장웹서버 nProbe

NetFlow 수집 위해UDP 2055 포트 사용

HTTP 3000 포트 사용

NetFlow 수집 위해UDP 2055 포트 사용

HTTP 3000 포트 사용

Collector (Receiver)

Probe (Sender)


nProbe 란 ?

NetFlow 통계 정보 생성 제공자 Gateway 에서 오는 NetFlow 흐름 분석 Gateway 의 Embedded, low-speed, NetFlow 프로브 대체 패킷 로스 없이 ( 또는 아주 적게 ) 최대 속도에서 Gbit 네트워크

분석 ntop 또는 상용 제품에 NetFlow 전달

– e.g. Cisco NetFlow Collector 또는 HP-OV


nProbe 개요 범위 하드웨어 이용 저렴한 NetFlow probe 제공 지원 OS: Unix, MacOS X, Windows, embedded 환경 효율적인 플로우 처리를 위해 NetFlow v9/nFlow 지원 IPv4 와 IPv6 지원 제한된 메모리 공간 사용과 and 적절한 CPU 사용 .

– 네트워크 크기와 상관없이 2 MB 미만 사용 제한된 리소스 환경 및 임베디드 시스템을 위해 디자인 됨

– nProbe binary < 100 Kb 나중 분석을 위해 플로우를 디스크에 저장할 수 있고

기존 모니터링 어플리케이션에 통합 가능 고성능 프로브

– 상용 또는 라우터 / 스위치 내장 프로브들은 고속 네트워크에 대응 못하는 경우가 많음


nProbe Flow 필드– BYTES, PKTS, FLOWS, PROT, TOS, TCP_FLAGS, L4_SRC_PORT,

IP_SRC_ADDR – SRC_MASK, INPUT_SNMP, L4_DST_PORT, IP_DST_ADDR, DST_MASK – OUTPUT_SNMP, IP_NEXT_HOP, SRC_AS, DST_AS, BGP_NEXT_HOP – MUL_DPKTS, MUL_DOCTETS, LAST_SWITCHED, FIRST_SWITCHED – IPV6_SRC_ADDR, IPV6_DST_ADDR, IPV6_SRC_MASK,

IPV6_DST_MASK – FLOW_LABEL, ICMP_TYPE, IGMP_TYPE, SAMPLING_INTERVAL – SAMPLING_ALGO, FLOW_ACTIVE_TIMEOUT,

FLOW_INACTIVE_TIMEOUT – ENGINE_TYPE, ENGINE_ID, TOTAL_BYTES_EXP – TOTAL_PKTS_EXP, TOTAL_FLOWS_EXP, IP_PROTOCOL_VERSION – DIRECTION, IPV6_NEXT_HOP, BPG_IPV6_NEXT_HOP,

IPV6_OPTION_HEADERS– MPLS_LABEL_1, MPLS_LABEL_2, MPLS_LABEL_3, MPLS_LABEL_4,

MPLS_LABEL_5 – MPLS_LABEL_6, MPLS_LABEL_7, MPLS_LABEL_8, MPLS_LABEL_9,

MPLS_LABEL_10 – FRAGMENTED, FINGERPRINT, VLAN_TAG – NW_LATENCY_SEC, NW_LATENCY_NSEC, APPL_LATENCY_SEC,

APPL_LATENCY_NSEC – PAYLOAD

nprobe -T "%LAST_SWITCHED %FIRST SWITCHED %BYTES %PKTS %INPUT_SNMP %OUTPUT_SNMP %IP_SRC_ADDR %IP_DST_ADDR %PROT %TOS %L4_SRC_PORT %L4_DST_PORT"


nBox86 - 임베디드 ntop & nProbe

내용물 – x86 PC - 최소 128 MB RAM, Pentium or better CPU

– nBox86 firmware image - 데비안 기반– IDE Flash disk 또는 128 MB Compact Flash with IDE

Adapter.

구매 옵션1. Software only

You purchase a PC and upload the nBox86 firmware yourself

2. Compact flash nBox86 uploaded

3. Complete box다양한 박스 선택 가능


NetFlow Infrastructure


NetFlow 에서의 Flow 란 ?

동일 (src ip & port, dst ip & port, protocol #) 패킷들의 집합– 몇몇 protocols - ICMP 경우 포트에 대한 개념이 없음

모든 플로우는 수명이 있다 .

nprobe -n <host:port> [-i <interface>]

Flow = Session = Socket

클라이언트 연결 개념

프로그래밍에서 주로 사용 개념통신 장비에서 주로 사용 개념

메뉴 구성


메뉴 구성 About

– What is ntop

– Show Configuration

– Credits

– Man pageHelp

Summary– Traffic

– Hosts

– Network Load

– ASN Info

– VLAN Info

– Network Flows

All Protocols– Traffic

– Throughput

– Activity

IP– Summary

– Traffic Directions

– Local

Media– Fiber Channel

– SCSI Sessions

Admin Utils


IP

Summary– Traffic

– Multicast

– Internet Domain

– Host Clusters

– Distribution

Traffic Directions– Local to Local

– Local to Remote

– Remote to Local

– Remote to Remote

Local– Routers

– Ports Used

– Active TCP sessions

– Host Fingerprint

– Host Characterization

– Network Traffic Map

– Local Matrix


Admin

Plugins– icmpWatch, PDA Plugin, LastSee

n– NetFlow, sFlow, snmpPlugin, xml

dump, rrdPlugin Switch NIC Shutdown

Configure– Startup Options

– Preferences

– Packet Filter

– Reset Stats

– Web Users

– Protect URLs


Media

Fibre Channel– Traffic– Throughput– Activity– Hosts– Traffic Per Port– Sessions– VSANs– VSAN Summary

SCSI Sessions– Bytes

– Times

– Status

– Task Management

메뉴별 화면


Summary -> Traffic

Global Traffic Statistics

Traffic Report for 'eth0' [Switch]

Global Protocol Dist. (L2)

Global TCP/UDP Protocol Dist. (L4)

Network InterfacesSampling Since

Active End Nodes

PacketsTraffic

Remote Host DistanceNetwork Load

Historical Data (RRD data)

IP(R)ARP

STP…

HTTPDNS…

Others


Summary -> Traffic

IP Protocol Distribution

All Protocol Distribution

Host Distance


Summary -> Traffic

Packet Cast

Packet TTL

IP & None IP

Packet Size


Summary -> Traffic: Historical data (RRD)

Cast

Size

L2 Protocols

L3 Protocols

L4 Protocols


Summary -> Traffic: Historical data (RRD)

Last hour

Last 6 Hours

Last 12 Hours

Day

Week

Month

Year


Summary -> Hosts

Field details– Host (Name)– Domain (Country Flag based on IP addresses)– IP address– Other name(s)– Bandwidth (% of the total bytes on a interface)– Nw Board Vendor (NIC manufacturer)– Hops Distance– Host Contacts– Age/Inactivity– AS ???

Traffic Unit: [ Bytes ] [ Packets ]

Hover the mouse to see the actual value. The total will NOT be 100% as local traffic will be counted TWICE (sent and received)


Summary -> Hosts


Summary -> Hosts: Host Info

Info about a host Host Traffic Stats Packet Statistics Protocol Distribution Last Contacted Peers IP Service Stats: Server Role TCP/UDP - Traffic on Other Ports TCP/UDP Recently Used Ports Active TCP Sessions


Summary -> Hosts: Host Info: Info about

IP Address, Fist/Last Seen, Domain, MAC Address, NW Board Vendor, Host Location, IP TTL, Total Data sent, Broadcast Pkts Sent, Data Sent Stats (Local, Remote), IP vs. Non-IP Sent, Total Data Rcvd, Data Rcvd Stats (Local, Remote), Sent vs. Rcvd Pkts, Sent vs. Rcvd Data, Host Type


Summary -> Hosts: Host Traffic Stats


Summary -> Hosts: Various


Summary -> Network Load

Network Load StatisticsNetwork Load Statistics

Network Load Statistics MatrixNetwork Load Statistics Matrix


Summary -> ASN Info

Autonomous Systems Traffic Statistics


Summary -> VLAN Info

VLAN Traffic Statistics


Summary -> Network Flows


All protocols -> Traffic


All protocols -> Network Throughput


All protocols -> Network Activities

24 Hours


IP -> Summary -> Traffic


IP -> Summary -> Multicast


IP -> Summary -> Internet Domains


IP -> Summary -> Host Clusters


IP -> Summary -> Distribution


IP -> Traffic Directions


IP -> Local

Routers Ports Used Active TCP sessions Host Fingerprint Host Characterization Network Traffic Map Local Matrix


IP -> Local -> Routers, Ports


IP -> Local -> Active TCP Sessions, OS

Visit Ettercap's home page at SourceForge for OS fingerprints


IP -> Local -> Local Hosts Characterization


IP -> Local -> Network Traffic Map


IP -> Local -> Local Traffic Matrix


Admin -> Plugins

Xmldump Netflow rrdPlugin sFlow

icmpWatch PDAPlugin LastSeen

View Configure Desc. Ver. Author Active[click to toggle]

　 xmldump 　 1 B.Strauss No

icmpWatch 　　 2.4 L.Deri Yes

　 NetFlow 　 3.99 L.Deri No

　 rrdPlugin 　 2.6 L.Deri Yes

PDAPlugin 　　 2.2 W. Brock No

　 snmpPlugin 　 0.1 F.Fusco, G.Giardina No

　 sFlow 　 2.99 L.Deri Yes

LastSeen 　　 2.3 A.Marangoni Yes


Admin -> Plugins - Last Seen


Admin -> Plugins - NetFlow, sFlow


Admin -> Plugins - sFlow


Admin -> Plugins - NetFlow


Admin -> Plugins - RRD


Admin -> Switch NIC


Admin -> Configure


Utils -> ntop Data Dump


Utils -> ntop Log


참고 문헌 및 사이트 www.ntop.org Proxying ntop through Apache, Toby Johnson, 2002 Ntop, Persistent data and rrd,


용어집 PF_RING

– PF_RING is a new type of network socket that dramaticallyimproves

– the packet capture speed, and that's characterized by the following properties:

1.Available for Linux kernels 2.4.X and 2.6.X 2.Device driver independent (best results can be achieved using

network cards that support NAPI such as the Intel cards) 3.Kernel-based packet capture and sampling. 4.Libpcap support (see below) for seamless integration with existing pca

p-based applications.5.New Ability to work in transparent mode (i.e. the packets are also forw

arded to upperlinks so existing applications will work as usual).– If you want to know about PF_RING internals you have two options.

Either read the paper Improving Passive Packet Capture:Beyond Device Polling or have a look at the source code.


용어집 AS (Autonomous Systems)

In the Internet, an autonomous system (AS) is a collection of IP networks under control of a single entity, typically an Internet service provider or a very large organization with independent connections to multiple networks, that adhere to a single and clearly defined routing policy.A unique AS number (or ASN) is allocated to each AS for use in BGP(Border Gateway Protocol) routing. With BGP, AS numbers are important because the ASN uniquely identifies each network on the internet.AS numbers are currently 16-bit integers, which allow for a maximum of 65536 assignments.

VLANA virtual LAN, commonly known as a vLAN or as a VLAN, is a method of creating independent logical networks within a physical network. Several VLANs can co-exist within such a network.Graphical Charts via gdchart


용어집 gdbm

Dbm was the first of a family of simple database engines, and was produced by AT&T in 1979. The name is a three letter acronym for Database manager. It used stores data by use of a single key (a primary key) in fixed-size buckets and uses hashing techniques to enable fast retrieval of the data by key.Gdbm: Standing for 'Gnu Database Manager' this open source version was written by Philip A.


용어집 NetFlow

NetFlow is an open but proprietary network protocol developed by Cisco Systems to run on Cisco IOS-enabled equipment for collecting IP traffic information.

ntop - display top network users

Documents