ir-2 knowledge in text - firdaus solihin...1 firdaus solihin (unijoyo) 2008 knowledge in text (ir-2)...

1

Firdaus Solihin (unijoyo) 2008

KNOWLEDGE IN TEXT

(IR-2)

FIRDAUS SOLIHIN

UNIVERSITAS TRUNOJOYO


Teknologi for Knowledge

Management

� Document Collection (Mengumpulkan

Document/Informasi)

� Document Retrieval (Mengakses

Document/Informasi)

� Text Mining (analisa berdasarkan ligusitic)

� Ontologies (pemodelan untuk

merepresentasikan object dalam type,

properties, dan relasinya)

2


DOCUMENT

COLLECTION


DOCUMENT COLLECTION

3


DOCUMEN COLLECTION (1)

� Domain (dependent or independent)

� Ketergantungan dgn dokumen lain

� Structured or Non Structured Texts

� Memiliki struktur khusus or tidak, ex HTML

� Formated or Non Formated Documents

� Memiliki format khusus or tidak, ex Doc vs Txt

� Textual or Multimedia Documents

� Berupa text atau multimedia


DOCUMEN COLLECTION (2)

� Monolingual or Multilingual Documents

� Berupa satu bahasa or banyak bahasa

� Centralized or Non Centralized Document Management

� Lokasi dokumen satu tempat or banyak tempat

� Controlled or Free Additional of Doc

� Pengaksesannya butuh login or tidak

� Stable or Non Stable Collections

� Ketersediaannya tetap or tidak tetap.

4


Permasalahan dlm Documents

Collection

� Inconsistent Document

� Incomplete descriptions

� Duplicates or Worse

� Different terminologies/ languange/

perspective/ abriviation


DOCUMENT

RETRIEVAL

5


DOCUMENT RETRIEVAL


DOCUMENT RETRIEVAL

� QUERY INTERPRETATION (MenggunakanQuery)

� DOCUMENTS INDEXING (MenggunakanIndex)

� RANGKING OF RETRIEVED DOCUMENTS(mengurutkan sesuai rangkingn tertentu)

� LINGUISTIC AND STATISTICAL

Contoh : Search Engine

6


Search Engine


www.alltheweb.com

� AllTheWeb from Fast Search & Transfer (2002)

� Index: 2,1 GB documents

� Languages supported: 52

� Linguistics used: Lemmatization, language identification, phrasing, anti-phrasing, text categorization, clustering, offensive content reduction, finite-state automata

� 30 mill. queries per hari

7


Document Retrieval’s

problems

� VOLUME DATA

� Sangat besar dan berkembang dinamis

� Tersebar dibanyak tempat dan beda platform

� MULTITUDE OF LANGUAGES

� Multilingual web

� 40-50 languages used on the web

� Many text encoding standart


# Website

8


# % Multilingual web


Document Retrieval’s

problems

� DOCUMENT QUALITY

� Missplelings (Salah eja)

� Spam and offensive content (isi sampah)

� Little text (isi tidak menggmbarkan

� All topics

� USER BEHAVIOUR

� Misspellings (Salah eja)

� Query length and query session (panjang dan seberapa

sering)

� Document yang dilihat umumnya yang diatas

9


TEXT MINING


TEXT MINING

� LINGUISTIC ANALYSIS

� Merubah bentuk Document or menambahkaninformation (memilah dalam S,O,P,Pre dls)

� Tagging (potongan kata yg memiliki arti), lemmatization (mengindentifikasi satu kata dariberbagai perubahan bentuk)

� KNOWLEDGE DISCOVERING IN TEXT

� Menemukan Bentuk

� Memisahkan Dan Menemukan Kesalahan

� Statistical and linguistic aproach

10


Lemmatization

� walk, walked, walks, walking � walk

� run, runs, ran, running � run

� go, goes, going, went, gone � go


Knowledge Discovering

Technique

� Concept extraction

� Ontology construction

� TOC construction

� Clustering

� Text categorization

� Subtechniques:

� information extraction, text analysis

11


ONTOLOGIES

HUBUNGAN ANTAR BAGIAN DALAM

SUATU OBJECT YANG DIGAMBARKAN

� Conceptual modelling

� Document Analysis & Text Mining

� Standarization Work


Membagun Ontologi model

12


Contoh Ontology


THE END