웹의 분화현상

20610739 김현애

20610749 박혜진

검색엔진의 로봇

수백만개의 웹페이지를 검색하여 일일이 인덱스 함

속도와 효율성 고려

정하웅 박사, 알버트 라즐로 바라바시

웹 전체의 지도를 작성

300,000건의 웹페이지 검색

척도 없는 네트워크의 성격 규명

1

2

3

이 연구가 발견한 특징

웹이 몇몇 대륙과 커뮤니티로 나뉘어져 있으며 그 때문에 온라인 세

계에서 우리 행동이 제한되고 결정된다

여전히 전인미답의 개척지가 존재한다 즉 로봇이 웹의 모든 대륙

들을 빠짐없이 방문하거나 검색한 적은 결코 없다

월드와이드웹의 구조가 웹 서핑에서 민주주의에 이르는 모든 것에

영향을 미치고 있다

1웹상의 정보 접근에 대한 생각의 변화

몇 년전 웹에 대한 생각

‘알타비스타’로 검색할 수 없는 것은 아예 존재하지 않는 것이다’

‘핫봇은 웹 전체를 검색하고 인덱스 할 수 있는 최초의 검색로봇이다’

1998년 4월, 주요 검색엔진의 대변인

‘보다 많은 사이트를 검색하기보다는 양질의 사이트를 중점적으로 인덱스하는 것이

더 바람직하다’

‘많은 웹페이지들을 인덱스 할 가치조차 없다’

이 변화를 촉발시킨 장본인

스티브 로렌스, 리 자일즈

- 뉴저지 주 프린스턴 소재 NEC 연구소에 근무

- 1998년 4월 3일자로 《사이언스》를 통해 연구 논문 발표

인콰이러스(Inquirus) : 메타검색엔진 → 웹의 규모를 추정하는데 도움

각각의 검색엔진이 모두 웹 전체를 방문하여 인덱스를 만든다면 검색결과

또한 동일할 것으로 예상. But 검색엔진들이 보여준 결과에는 큰 차이

실험내용

알타비스타에 의해 ‘crystal’ 이란 단어를 포함한 도큐먼트 1000개 검색

이 가운데 343개가 핫봇의 검색결과와 중복

여기에서 중복부분을 알타비스타의 전체 검색 결과로 나누어 구해진

수치가 핫봇의 검색 범위를 의미

1997년 12월 핫봇에서 인덱스하고 있는 것으로 발표된 웹페이지의 숫자가

1억 1천만 건 이라 NEC 연구팀은 월드와이드웹 전체의 도큐먼트 총계가

110,000,000/0.343, 즉 3억 2천만 건 에 달한다고 주장

1998년 이전까지는

웹의 크기에 대해 검색엔진이 이야기해주는 것을 곧이곧대로 믿음

로렌스와 자일즈의 연구를 계기로 웹은 과학적 탐구의 대상이 됨

즉, 체계적이고 재현 가능한 방법론에 의해 연구될 수 있음

But, 어떤 면에서 그들의 연구는 웹 전체를 맵핑하기에는 검색엔진의

능력이 턱없이 모자란다는 점을 보여줌

2검색엔진들 사이의 경쟁

NEC 연구에 따르면

1997년도에 핫봇이 가장 광범위하게 도큐먼트를 수집하는 것으로 나타남

이 회사의 마케팅 이사였던 데이비스 프리처드(David Pritchard)

‘우리는 최대 규모의 인덱스를 보유하고 있습니다.

우리로서는 연구 보고서 내용에 그리 놀랄 것이 없군요’

But, 웹 전체로 보아 핫봇의 검색범위는 단지 34%

= 전체 웹페이지의 66%는 검색되지 않았다

그 다음으로 인기있는 검색엔진이었던 알타비스타가 28%,

라이코스를 비롯한 몇몇 검색엔진들은 고작 2%에 그침

1년후인 1999년 2월 로렌스와 자일즈가 같은 실험을 반복

웹의 규모는 당시의 2배 이상인 대략 8억건으로 팽창한 것으로 추정

검색엔진은 웹의 성장폭을 따라잡지 못했으며

실제로 검색범위가 전년에 비해 더욱 축소

두 번째 조사에서 1위를 차지한 것은 노던 라이트

이 검색엔진이 커버한 웹페이지는

단지 16%, 핫봇은 11%, 알타비스타는 15%, 구글은 7.8%로 줄어듬

조사 대상 검색엔진을 모두 합쳐도 웹 전체의 약 40%정도만 커버

관련내용을 담고 있는 웹페이지 10건 중 6건은 검색엔진으로

찾을 수 없다는 것을 의미

NEC 연구는 결국 검색엔진 사이에 격심한 경쟁을 불러일으킴

검색범위의 크기 가 승패를 가름하는 중요한 기준이 됨

현재 순위

검색엔진들은 지속적으로 발전하고 있지만

웹이 더 빠른 속도로 성장하고 있다

3 방향성 네트워크의 대륙들

이러한 방향성은 네트워크의 위상구조 때문에 생긴 결과

월드와이드웹에 관해 이 점을 최초로 언급한 사람은 알타비스타의 안드레이

브로더(Andrei Broder)와 IBM, 컴팩(Compaq)등에서 일하고 있던 그의 동료들

그들은 2억개의 노드를 대상으로 연구 수행

연구 내용

방향성의 결과로 가장 중요한 것은 웹이 단일의 균질적인 네트워크가 아니다

웹은 서로 다른 네 개의 주요 영역(대륙)으로 나눌 수 있고, 각각의 영역에서는

각기 다른 교통 규칙들에 따라 항해할 수 있다

웹의 항해성은 네 개의 대륙들에 의해 제한됨

어떤 곳에서 출발하는가에 따라 얼마나 멀리까지 서핑할 수 있는지 결정

4 웹 기반 커뮤니티

카스 서스틴 연구

60개 정치관련 사이트 무작위 추출 조사 결과

상반된 견해 사이트 링크 제공 15%

우호적 견해 사이트 링크 제공 60%

웹에서 일어나고 있는 사회적,정치적 고립화 현상이면->자기보강의 기제

이것은 온라인 세계를 분절화 시킴으로써 웹의 위상구조를 변화시킴

웹의 분화현상

대륙->소규모로 다시 분화된 부락과 도시로 존재하는것

Ex) 같은 생각과 취미를 가진 사람들의 웹사이트 중심

커뮤니티 형성

커뮤니티? 역사적으로 인간사회의 근간을 이루는 구성요소

커뮤니티의 최소단위 : 친구집단 (그라노베터 제시)

삶의 디지털화->특정단체 소속일이 공개적으로 이루어짐

웹페이지 링크 순간 = 나의 지적 관심과의 연관성

링크를 따라가는 과정에서 커뮤니티의 윤곽이 드러남

웹 기반 커뮤니티 ?적절한 정의를 내리기 어려움

WHY?

모든사람이 동일한 기준을 가지는 것이 아님

다양한 커뮤니티들을 구분하는 명확한 경계가 없음

Ex) 동일한 웹사이트가 동시에 서로 다른 그룹에 속하는 경우

따라서 웹 상에서 커뮤니티를 식별하기 어려움

풀기 복잡한 문제(NP complete problem)

이론적->커뮤니티 식별 가능

But, 실제 구현할 수 있는 효과적 알고리즘 존재하지 않음

문제해결-컨텐츠와 위상구조 결합

Ex) 라다 아다믹의 커뮤니티 조사사례

각각의 대륙에 중복되는 촌락과 도시가 존재

이들 커뮤니티 가운데 하나 또는 여러 개에 중복 가입 가능

5 웹의 위상구조, 코드와 아키텍처

코드웹 배후에서 작동되는 소프트 웨어

로렌스 레식(사이버스페이스의 코드와 법률 연구)

아키텍처웹의 이면에서 작동되고 있는 모든 소프트 웨어 총칭

사이버스페이스에서

행동에 영향을 미칠 수 있는 유일한 방법->프로그램 규제

->정부 당국 , 기업

저자, 사이버스페이스의 이해

코드와 아키텍쳐의 구분 필요성 제시

코드,소프트웨어 = 사이버 스페이스를 구성하는 작은 구성 단위

아키텍쳐 : 코드를 쌓아 올린 구조물을 의미

아키텍처 = 코드 + 코드 이용하는 인간의 집합적 행동이 함께 작용

‘자신에게 연결되는 들어오는 링크 수’ ->적으면, 검색가능성도 적음

허브-> 시간이 갈 수록 집중도가 높아짐

검색엔진이 특정문서를 인덱스 할 가능성->들어오는 링크의 숫자에 좌우

아키텍쳐-> 특정 웹 페이지가 서핑을 통해 발견될 수 있는 가능성,

소비자에 대한 접근성 등 모든것을 통제함

웹의 위상구조, 웹의 아키텍처는

우리들의 행동과 웹페이지 가능성에 영향미침

6 아카이브의 웹 컬렉션

고등학교 시절 친구 사진 -> 현재 ???

당신의 웹사이트에서 삭제해버린 까맣게 잊어버린

모든 문서들

브루스터 케일

인터넷 아카이브 설립목적 : 웹의 컨텐츠가 과거 속으로 사라지는 것을 막고자 함

아카이브의 웹 컬렉션

역사학자,사회과학자 및 웹 위상 구조 연구자들에게 소중한 가치 지님

혼돈스럽게만 보이는 노드와 링크들의 진화과정을 재구성 할 때

웹이 어떻게 해서 현재와 같은 구조로 발전 했는 지를 규명할 때 큰 도움

알렉사에 의해 제공됨

아카이브의 현재 컬렌션이 엄청난 규모,

But 웹 전체로 보면 지극히 미미한 정도임

알렉사는 허브에 초점을 맞추고 있는 것

7 월드와이드웹의 법칙

월드와이드웹의 세계 = 비 균질적인 거대구조

다른 법칙에 의해 지배되고 있는 네개의 대륙

공통관심사로 결합된 웹 페이지들의 집단, 커뮤니티

온라인세계는 상상보다 훨씬 더 크고,

훨씬 더 빠른 속도로 성장하고 있다.