campus network analysis

1고려대학교 응용통계학과 DataMining Lab

학내 망 자원 효율화 방안 연구

2014. 11. 7. ( 금 )

고려대학교 응용통계학과 DataMining Lab

빅데이터 트래픽 분석을 통한

2고려대학교 응용통계학과 DataMining Lab 2고려대학교 응용통계학과 DataMining Lab

Contents 빅데이터 트래픽 분석을 통한학내 망 자원 효율화 방안 연구

I. 학내 망 트래픽의 시공간적 사용 행태

II. 유 / 무선 네트워크 트래픽 발생량 분석

III. 토렌트 트래픽 분석

IV. 클러스터링을 이용한 토렌트 사용자 분류

V. Network 트래픽 데이터를 활용한 수업 참여도 / 집중도

분석


IV. 클러스터링을 이용한 토렌트 사용자 분류빅데이터 트래픽 분석을 통한


1. 분석 목적▶ 교내에서 발생하는 토렌트 네트워크 데이터를 추출하여 요일별 , 시간별 사용량을 이용하

여 클러스터를 생성한다 . 클러스터간의 특징을 파악하여 특별한 주의가 필요한 클러스터와

sip 를 파악하여 학내망 네트워크 효율화 방안 제시 .

Use clustering to classify sip by Torrent usage

2. 분석 개요(1) 분석 기간 : 2013 년 1,2 학기 토렌트로 분류된 플로우 데이터

(2) 각 sip 별 토렌트 플로우 수 , 다운받는 양 (i_octet), 업로드 양 (o_octet) 추출

(3) 요일별 ( 주 7 일 ), 시간별 ( 일 24 시간 ) 으로 데이터를 분류하여 추출

(4) 각 sip 별 24 x 7 x 3, 504 개의 변수 생성




3. 분석 절차

HDFS 에서 토렌트 네트워크 사용 데이터 추출

클러스터링을 위하여 R 에서 데이터 변형

Log 변형을 통하여 데이터를

정규화

Total within sum of

squares (WSS) 와 Calinski-Harabasz

index (CH) 을 이용하여 클러스터 개수

추정

Principal Component

Analysis (PCA) 를 이용하여 시각적으로 클러스터 개수 확인

Bootstrap 을 이용하여 kmeans 클러스터를 10,000 번 생성하여

클러스터의 유효성 확인

Heatmap 을 이용하여

각클러스트의 특징을 시각적으로 표시




3. 분석 절차 (Total Within Sum of Squares, WSS)

▶ WSS 는 클러스터의 중심점 (centroid) 과 클러스터를 이루는 데이터포인트간의 거리를 합한

숫자로 , 클러스터의 개수를 정하는데 유용하다 . 클러스터의 개수가 늘어나면서 WSS 가 줄어

들기 때문에 WSS 가 급격히 줄어들 때를 찾아야 한다 .




3. 분석 절차 (Calinski-Harabasz Index, CH)

B 는 클러스터간의 거리를 나타내는 메트릭스 , W 는 클러스터안의 데이터포인트간의 거리를 나타내느 메트릭스 , n 은 총 데이터포인트 개수 , K 는 클러스터의 개수 , zk

는 클러스터의 중심점

Caliński, Tadeusz, and Jerzy Harabasz. "A dendrite method for cluster analysis." Communications in Statistics-theory and Methods 3.1 (1974): 1-27.

▶ CH 는 클러스터간의 분산과 전체데이터포인의 분산의 비율이다 . 분자에 해당하는 부분이 클러스터의 중심점과 전체데이터의 중심점과의 분산을 계산하고 분모에 해당하는 부분이 각 데이터포인트와 클러스터중심점과의 분산을 계산한다 .




3. 분석 절차 (Principal Component Analysis, PCA)

▶ 자료가 4 차원 이상일 경우 시각적으로 데이터가 어떻게 생겼는지 알아보기가 힘들다 .

PCA 는 고차원의 자료에서 전체자료를 나타낼 수 있는 주요인 벡터 (Principal Component)를

구하여 고차원의 자료를 2 차원 공간으로 끌어내리는 기능을 한다 .

Wold, Svante, Kim Esbensen, and Paul Geladi. "Principal component analysis." Chemometrics and intelligent laboratory systems 2.1 (1987): 37-52.




4. 토렌트 트래픽 현황 ( 한 개의 sip)




4. 토렌트 트래픽 현황 ( 사용자별 )교직원 , SIP FREQ = 679




4. 토렌트 트래픽 현황 ( 사용자별 )연구원 , SIP FREQ = 1897




4. 토렌트 트래픽 현황 ( 건물별 )K건물 , SIP FREQ = 110




4. 토렌트 트래픽 현황 ( 건물별 )K 건물 , SIP FREQ = 110




4. 토렌트 트래픽 현황 ( 건물별 )B 건물 , SIP FREQ = 606




4. 토렌트 트래픽 현황 ( 건물별 )C 건물 , SIP FREQ = 446




4. 토렌트 트래픽 현황 ( 학과별 )A학과 , SIP FREQ = 243




4. 토렌트 트래픽 현황 ( 학과별 )M 학과 , SIP FREQ = 252




4. 토렌트 트래픽 현황 ( 학과별 )F 학과 , SIP FREQ = 416




4. 토렌트 트래픽 현황 ( 학과별 )G 학과 , SIP FREQ = 120




5. 클러스터 개수 파악 ( 전체 SIP)




6. 분석 결과 ( 전체 SIP)

Cluster bootmean Freq 학생 연구원 교직원 Unknown

1 0.84231602 76 11 39 22 4

2 0.956772385 86 15 66 5 0

3 0.80758649 91 8 69 7 7

4 0.773137309 273 72 110 23 68

5 0.651975271 101 25 55 6 15

6 0.985097071 3314 878 578 246 1612

7 0.6923838 170 40 58 60 12

Total 4111 1010 970 369 1722

▶ Bootstrap 을 이용하여 클러스터를 10,000 번 형성한다 . Bootmean 은 해당되는 클러스터가

몇번 형성이 되는지 비율로 나타난것이다 . 숫자가 1 에 가까울수록 클러스터의 유효성이 인정

된다 . 클러스터 5 와 7 은 유효성이 떨어진다 .





Cluster Freq B학과 D학과 I학과 J학과 M학과 G학과 A학과 H학과 C학과 K학과 F학과 E학과 L학과 N학과

1 76 7 3 5 6 1 3 5 5 0 3 7 2 2 27

2 86 4 8 2 0 0 3 1 9 2 5 26 2 6 18

3 91 6 2 5 4 0 1 5 12 4 5 6 9 7 25

4 273 22 14 2 12 0 4 10 10 1 7 20 10 4 157

5 101 6 4 1 4 0 4 3 10 1 4 12 4 1 47

6 3314 179 98 25 15 6 60 131 112 36 52 148 48 15 2389

7 170 19 5 1 1 2 2 22 10 1 4 8 7 1 87

4111 243 134 41 42 9 77 177 168 45 80 227 82 36 2750





Cluster Freq K건물 C건물 H건물 I건물 G건물 A건물 B건물 F건물 E건물 D건물 J건물 L건물

1 76 2 5 7 0 5 25 12 4 3 6 3 4

2 86 1 1 4 0 1 31 32 2 13 0 1 0

3 91 4 1 6 0 5 40 15 1 9 2 1 7

4 273 11 9 22 0 10 57 27 10 46 7 6 68

5 101 3 4 6 0 3 23 22 5 4 3 13 15

6 3314 27 263 179 0 131 388 227 58 260 112 57 1612

7 170 1 21 19 0 22 30 12 8 17 24 4 12

Total 4111 49 304 243 0 177 594 347 88 352 154 85 1718




6. 분석 결과 ( 전체 SIP, Cluster 1: 교직원 스타일 )




6. 분석 결과 ( 전체 SIP, Cluster 2: Heavy User 스타일 )




6. 분석 결과 ( 전체 SIP, Cluster 3: Heavy 교직원 스타일 )




6. 분석 결과 ( 전체 SIP, Cluster 4: Weekend 스타일 )




6. 분석 결과 ( 전체 SIP, Cluster 5: 수요일 집중 스타일 )




6. 분석 결과 ( 전체 SIP, Cluster 6: Minimalist 스타일 )




6. 분석 결과 ( 전체 SIP, Cluster 7: 십자가 스타일 )




5. 클러스터 개수 파악 ( 학생 SIP)




6. 분석 결과 ( 학생 SIP)

▶ 클러스터 1 을 제외하면 모든 클러스터가 유효해 보인다 .

Cluster bootmean Freq

1 0.639008 15

2 0.890659 90

3 0.76339 16

4 0.998333 15

5 0.990378 874




6. 분석 결과 ( 학생 SIP, Cluster 1, 일요일 교직원 스타일 )




6. 분석 결과 ( 학생 SIP, Cluster 2, 화요일 밤샘 스타일 )




6. 분석 결과 ( 학생 SIP, Cluster 3, Weekend 스타일 )




6. 분석 결과 ( 학생 SIP, Cluster 4, Heavy User 스타일 )




6. 분석 결과 ( 학생 SIP, Cluster 5: Minimalist 스타일 )




5. 클러스터 개수 파악 ( 연구원 SIP)




6. 분석 결과 ( 연구원 SIP)

▶ 모든 클러스터들이 유효하게 나타났다


1 0.953435 95

2 0.977008 69

3 0.99128 631

4 0.952295 175




6. 분석 결과 ( 연구원 SIP, Cluster 1: 교직원 스타일 )




6. 분석 결과 ( 연구원 SIP, Cluster 2: Heavy User 스타일 )




6. 분석 결과 ( 연구원 SIP, Cluster 3: Minimalist 스타일 )




6. 분석 결과 ( 연구원 SIP, Cluster 4: 수요일 토요일 아침 스타일 )




5. 클러스터 개수 파악 ( 교직원 SIP)




6. 분석 결과 ( 교직원 SIP)

▶ 모든 클러스터들이 유효하게 나타났다


1 0.922136 73

2 0.913887 24

3 0.984908 263

4 0.914262 9




6. 분석 결과 ( 교직원 SIP, Cluster 1: Weekend 스타일 )




6. 분석 결과 ( 교직원 SIP, Cluster 2: 교직원 스타일 )




6. 분석 결과 ( 교직원 SIP, Cluster 3: Minimalist 스타일 )




6. 분석 결과 ( 교직원 SIP, Cluster 4: Heavy User 스타일 )


빅데이터 트래픽 분석을 통한학내 망 자원 효율화 방안 연구

6. 분석 결과

1. 전체 sip 를 이용한 7 개의 클러스터는 5 개가 유효하다고 나왔다 . 시각적으로 봤을때 5 개가

확실한 특징이 있었으며 유효하지 않았다고 본 클러스터 5 와 7 일은 흔하지 않은 시간대에 토렌트

플로우가 발생하는것을 볼수가 있다 .

2. 사용자들을 구분하여 만든 13 개의 클러스터에서는 12 개가 유효하다고 나왔다 . 모든

클러스터들이 시간대별로 특징이 나타난다 .

3. 토렌트플로우가 존재하는 4111 개의 sip 를 분석한 결과 , 대다수가 토렌트를 거의 사용하지

않는것으로 나와있고 , 소수의 sip 가 Heavy User 로 나타나 대부분의 토렌트 플로우를

차지하는것을 볼수가 있다 .

4. Sip 별 언제 토렌트를 사용하는지가 시각적으로 표현이 된다 .

IV. 클러스터링을 이용한 토렌트 사용자 분류

campus network analysis

Documents