nlp, information retrieval and text mining · 2 หัวข้อการบรรยาย...

149
การประมวลผลภาษาธรรมชาติ เทคนิคการสืบค้นสารสนเทศและทำเหมืองข้อความ NLP, Information Retrieval and Text Mining ดร. ชูชาติ หฤไชยะศักดิChoochart Haruechaiyasak, Ph.D. หน่วยปฎิบัติการวิจัยวิทยาการมนุษยภาษา Human Language Technology (HLT) ศูนย์เทคโนโลยีอิเล็กทรอนิกส์และคอมพิวเตอร์แห่งชาติ (เนคเทค) National Electronics and Computer Technology Center (NECTEC)

Upload: tranmien

Post on 11-Apr-2018

243 views

Category:

Documents


9 download

TRANSCRIPT

Page 1: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

การประมวลผลภาษาธรรมชาตเทคนคการสบคนสารสนเทศและทำเหมองขอความ

NLP, Information Retrieval and Text Mining

ดร. ชชาต หฤไชยะศกดChoochart Haruechaiyasak, Ph.D.

หนวยปฎบตการวจยวทยาการมนษยภาษาHuman Language Technology (HLT)

ศนยเทคโนโลยอเลกทรอนกสและคอมพวเตอรแหงชาต (เนคเทค)National Electronics and Computer Technology Center (NECTEC)

Page 2: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

2

หวขอการบรรยาย การประมวลผลภาษาธรรมชาต (Natural Language Processing - NLP)

การประมวลผลภาษาไทย (Thai NLP)

การทำเหมองขอความ (Text Mining)

ระบบวเคราะหเหมองขอความสมนไพรไทย (Thai Herb Miner)

การจดหมวดหมเอกสาร (Text Categorization)

การทำเหมองขอความแสดงความคดเหนและการวเคราะหอารมณ

และความรสก (Opinion Mining and Sentiment Analysis)

ระบบสบคนงานอเวนต (Event Search Engine)

Page 3: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

3

การประมวลผลภาษาธรรมชาต

Natural Language Processing

Page 4: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

4

ภาษาธรรมชาตคออะไร

Source: http://cnn.com

Source: http://dilbert.com

Source: http://www.buzzle.com/

Page 5: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

5

ภาษาธรรมชาตคออะไร

Source: http://truthopia.wordpress.com

Source: http://internetshakespeare.uvic.ca

Source: http://www.blackberrydownload.net

Page 6: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

6

ภาษาธรรมชาตคออะไร

Source: http://box424.com Source: http://www.adviceinteractivegroup.com

Page 7: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

7

ภาษาธรรมชาตคออะไร

Source: http://amazon.co.uk

Source: http://lilsugar.com

Source: http://choicecentral.blogspot.com

Page 8: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

8

Natural Language Processing (NLP)● A field of computer science (AI) and linguistics (Computation

Linguistics) concerned with the interactions between computers and human (natural) languages.

● A very attractive method of human-computer interaction (HCI).● The history of NLP starts in the 1950s. ● In 1950, Alan Turing published his famous article "Computing

Machinery and Intelligence" which proposed the Turing test as a criterion of intelligence.

● Modern NLP algorithms are grounded in machine learning, especially statistical machine learning.

Source: http://en.wikipedia.org/wiki/Natural_language_processing

Page 9: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

9

NLP Tasks Lexical and Morphological Analysis (การวเคราะหระดบพยางคและคำ) POS Tagging (การระบหนาทของคำในประโยค) Word Sense Disambiguation (การระบความหมายของคำตามการใชงาน) Named Entities Recognition (NER) (การระบคำทเปนนพจนระบนาม) NP & VP Chunking and Shallow Parsing (การสกดนามวลและกรยาวล) Syntactic Analysis and Deep Parsing (การวเคราะหไวยากรณระดบประโยค) Sentiment Analysis (การวเคราะหความคดเหนและอารมณของขอความ) Reference Resolution (การวเคราะหสรรพนามอางอง) Discourse Analysis (การวเคราะหระดบบทความและบทสนทนา)

Page 10: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

10

NLP Applications Text summarization (การสรปใจความสำคญ) Machine translation (MT) (การแปลภาษา) Information retrieval (IR) (การคนคนสารสนเทศ) Question answering (QA) (การถามตอบ) Automatic speech recognition (ASR) (การจดจำเสยงพดอตโนมต) Text-to-speech (TTS) (การแปลงขอความใหเปนเสยงพด) Optical character recognition (OCR) (การจดจำตวอกขระ) Text mining (การทำเหมองขอความ) ...

Page 11: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

11

การประมวลผลภาษาไทย

Thai Natural Language Processing

Page 12: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

12

การตดคำสำหรบขอความภาษาไทย (Thai Word Segmentation)

การตดคำเปนพนฐานทสำคญอยางยงในการวเคราะหและประมวลผลภาษา รวมทงการพฒนาระบบทเกยวของตางๆ เชน

- การกำหนดหนาทของคำ (Part-Of-Speech Tagging)- การแปลภาษาโดยเครอง (Machine Translation) - การจดจำและสงเคราะหเสยงพด (Speech Recognition/Synthesis) - การคนคนสารสนเทศและเสรชเอนจน (Information Retrieval & Search Engine)- การกรองสารสนเทศ (Information Filtering) - การทำเหมองขอความ (Text Mining)- การสรางฐานความรและโครงสรางความรเชงความหมาย (Knowledge Base and Ontology)

Page 13: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

13

• ในการประมวลผลภาษาธรรมชาต ภาษาไทยถกจดอยในประเภทของภาษาทไมตดคำ (Unsegmented language)● ไมมการใชตวอกขระใดๆในการบงบอกขอบเขตของคำอยางชดเจน● ตองอาศยเทคนคการตดคำในการบอกขอบเขตของคำ ซงมขอ

จำกดคอ● ขนอยกบภาษานนๆ: พจนานกรมและกฎไวยากรณของภาษา● ยงไมมเทคนคทใหความถกตองได 100% ซงเกดจาก 2 ปญหา

หลกคอ คำไมรจก และ คำกำกวม

คณลกษณะของภาษาไทย

Page 14: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

14

ปญหาทอาจจะเกดขนไดในระหวางการตดคำ คอ

(1) ความกำกวม (Ambiguity)

(1.1) Context-dependent: มากวา, ปกวา, ตากลม

(1.2) Context-independent: มากลน, การสอบ

(2) คำไมรจก (Unknown words)

(2.1) Explicit: โลตส, ไมโครซอฟท, ฮอนดา, เชสเตอร

(2.2) Hidden: สมชาย, การบนไทย, แมสาย

(2.3) Mixed: สนาม, นาซา, ดแทค

ปญหาและอปสรรคในการตดคำ

Page 15: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

15

ตวอยางการตดคำ

ลน|รบ|ตวหนง|ฟร|ทก|เดอน|และ|ทกครงท|ชม|ภาพยนตร| |ได|สทธ|ลน|

รบ|บอป|คอ|รน| |คปอง|เลน|โบ|วลง| |สวนลด|บรการ|คาราโอเกะ|และ|

บรการ|อพ|เกรด|ทนง|เปน|ชน|เฟรสค|ลา|ส|

unknown | known | ambiguous | English/Digits | special

Page 16: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

16

ตวอยางการตดคำ

Page 17: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

17

เทคนคทใชในการตดคำ

เทคนคทประยกตใชสามารถแบงออกเปน 3 วธหลก ไดแก

(1) การใชกฎไวยากรณทางภาษา (Rule-based)

(2) การอางองคำจากพจนานกรม (Dictionary-based)

(3) การสรางโมเดลเรยนรจากฐานขอความขนาดใหญ

(Machine Learning or Corpus based)

Page 18: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

18

Comparison

Page 19: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

19

Demo: http://sansarn.com/lexto/

Page 20: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

20

Demo: http://sansarn.com/lexto/

Page 21: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

21

Demo: http://www.sansarn.com/tlex/

Page 22: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

22

การจดจำนพจนระบนามจากขอความภาษาไทย

Thai Named Entities Recognition

Page 23: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

23

การจดจำนพจนระบนามคอการคนหาและสกดคำทเปนนพจนระบนาม (Named Entities) จากขอความ

โดยทวไปนพจนระบนามสามารถแบงออกไดเปน 5 หมวดหมหลก ไดแก

- ชอบคคล เชน “อภสทธ เวชชาชวะ” “ไทเกอร วดส”

- ชอองคกร เชน “ธนาคารกรงไทย” “ศนยขอมลคนหาย”

- ชอสถานท เชน “เชยงใหม” “สยามเซนเตอร”

- วนและเวลา เชน “13:00 น.” “เทยงคน”

- ปรมาณและจำนวน เชน “10 ตว” “1 ใบ” “หนงรอยบาท” “100 ดอลลาร”

Page 24: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

24

ตวอยางการจดจำนพจนระบนาม

นท คงสข ผสอขาวกราวกฬาไทยรฐ รายงานจากกรงโตเกยว ประเทศญปน

ถงความเคลอนไหวของขนพลนกเตะทมชาตไทยชดใหญ ทมโปรแกรมจะลง

ฟาดแขงศกฟตบอลโลก 2010 รอบคดเลอก โซนเอเชย รอบ 3 กบทมชาต

ญปน ในเยนวนน (6 ก.พ.) ทสงเวยนไซตามะ เวลดคพ สเตเดยม เมองไซตา

มะ ตามเวลาทองถน 19.20 น. ซงตรงกบเวลาของประเทศไทย 17.20 น.

โดยชอง 7 สทวเพอคณ จะถายทอดสดใหแฟนๆ ชมกนทวประเทศ

Page 25: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

25

ตวอยางการจดจำนพจนระบนาม

นท คงสข ผสอขาวกราวกฬาไทยรฐ รายงานจากกรงโตเกยว ประเทศญปน

ถงความเคลอนไหวของขนพลนกเตะทมชาตไทยชดใหญ ทมโปรแกรมจะลง

ฟาดแขงศกฟตบอลโลก 2010 รอบคดเลอก โซนเอเชย รอบ 3 กบทมชาต

ญปน ในเยนวนน (6 ก.พ.) ทสงเวยนไซตามะ เวลดคพ สเตเดยม เมองไซตา

มะ ตามเวลาทองถน 19.20 น. ซงตรงกบเวลาของประเทศไทย 17.20 น.

โดยชอง 7 สทวเพอคณ จะถายทอดสดใหแฟนๆ ชมกนทวประเทศ

Page 26: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

26

ประโยชนของการสกดนพจนระบนาม

- ใชวเคราะหขอความและประโยคในระดบทสงขนได

เชน การหานามวล (Noun Phrase) และกรยาวล (Verb Phrase)

- เปนพนฐานทสำคญในการพฒนาระบบสารสนเทศอนๆ เชน

- ระบบเปรยบเทยบราคาสนคาบนอนเตอรเนต (Shop Bots)

- ระบบถามตอบ (Question & Answering System)

Page 27: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

27

ตวอยางการประยกตใชงาน● Question & Answering IR: www.ask.com

Page 28: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

28

Online Help Desk System

Page 29: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

29

การทำเหมองขอความ

Text Mining

Page 30: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

30

การทำเหมองขอมล (Data Mining)● Data mining is a process of extracting nontrivial, implicit,

previously unknown, and potentially useful information from data.– Basic idea is to build computer programs that sift through

databases automatically, seeking regularities or patterns.– Strong patterns will likely generalize to make accurate

predictions on future data.

● Data is characterized as recorded facts● Information is the set of patterns, or expectations, that underlie the

data.

Page 31: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

31

DIKW framework

Source: Gene Bellinger (2004) Systems Thinking, Knowledge Management - Emerging Perspectives.

Page 32: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

32

การทำเหมองขอมล (Data Mining)

Source: U. Fayyad, G. P.-Shapiro, and P. Smyth, “Knowledge Discovery and Data Mining: Towards a Unifying Framework”

Page 33: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 34: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 35: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

“Sifting through vast collections of unstructured or semistructured data beyond the reach of data mining tools, text mining tracks information sources, links isolated concepts in distant documents, maps relationships between activities, and helps answer questions.”

Tapping the Power of Text Mining

Communications of the ACM, Sept. 2006

Text Mining is about ...

Page 36: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 37: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

37

การสบคนตางกบการคนพบอยางไร

Page 38: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 39: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 40: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 41: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 42: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

42

การทำเหมองขอมล (Data Mining)

Page 43: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

43

การทำเหมองขอความ (Text Mining)

Page 44: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 45: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 46: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 47: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

Humans: Ability to distinguish and apply linguistic patterns to text

– Could overcome language difficulties such as slangs, spelling variations, contextual meaning.

Computers: Ability to process text in large volumes at high speed

– Could sift through a large collection of texts to find simple statistics and relationship among terms in an instant of time.

Text mining requires a combination of both

Human's linguistic capability + computer's speed and accuracy

NLP Data Mining

Humans VS. Computers

Page 48: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

NLP Lexical/Morphological Analysis

Tagging / Chunking

Named Entities Recognition (NER)

Syntactic Analysis (Shallow parsing)

Word Sense Disambiguation

Semantic Analysis

Reference Resolution

Discourse Analysis

NLP + Data Mining Tasks

Text Mining Tasks

Data Mining

Classification (supervised learning)

Clustering (unsupervised learning)

Association Rule Mining

Sequential Pattern Analysis

Regression Analysis

Dependency Modeling

Change and Deviation Detection

Page 49: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

Information extraction: – Analyze unstructured text and identify key phrases and relationships

within text.

Topic detection and tracking:– Filter and present only documents relevant to the user profile.

Summarization:– Text summarization reduces the content by retaining only its main

points and overall meaning.

Categorization:– Automatic classify documents into predefined categories

Clustering:– Group similar documents based on their similarity

Text Mining Tasks

Page 50: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

Concept Linkage– Connect related documents by identifying their shared concepts,

helping users find information they perhaps wouldn't have found through traditional search methods

Information Visualization– Represent documents or information in graphical formats for easily

browsing, viewing, or searching.

Question and answering (Q&A)– Search and extract the best answer to a given question

Text Mining Tasks (cont'd)

Page 51: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 52: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 53: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 54: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 55: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 56: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 57: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 58: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 59: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 60: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 61: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 62: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 63: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 64: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 65: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

65

● การคนหาผเชยวชาญในประเทศไทยยงมปญหาเนองจากฐานขอมลของผเชยวชาญมอยกระจดกระจายและอาจจะไมมการระบสาขาทเชยวชาญไว

● ระบบคนหาผเชยวชาญจะนำเทคนคทาง NLP, Text & Data mining และInformation Visualization มาทำชวยแกปญหาน

● หลกการคอนำเอาตวอยางบทความตพมพของผเชยวชาญมาวเคราะหทางเนอหา (Content Analysis) และการอางอง (Citation Analysis) เพอทำการระบความเชยวชาญตามโดเมน (Classification) และเพอจดกลมผเชยวชาญอยางอตโนมต (Clustering)

ระบบคนหาผเชยวชาญ (Expert Finder)

Page 66: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

66

เทคนคจนตทศน: เครอขายนกวจย

ความสมพนธ 2 รปแบบ ไดแก (1) เชงสงคม (Social) และ (2) เชงหวขอ (Topical)

The social relationship, co-authoring(A,B), can be calculated based on the co-occurrence between A and B

The topical relationship, topical(A,B), is based onthe similarity measure between keywords(A) and keywords(B)

Page 67: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

67http://www.thairesearch.in.th/exf/

Page 68: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

68

Page 69: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

6 6

Page 70: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

70

Page 71: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

71

Page 72: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 73: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 74: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 75: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 76: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 77: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 78: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

78

ระบบวเคราะหเหมองขอมลสมนไพรไทยThai Herb Miner

Page 79: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

URL: http://thairesearch.in.th/DtamHerb/

Page 80: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

Query suggestion

Page 81: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

Spelling Correction

Page 82: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 83: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 84: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 85: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 86: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 87: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 88: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 89: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

URL: http://sansarn.com/thminer/

Page 90: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

90

การจดหมวดหมเอกสารText Categorization

Page 91: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

91

Text categorization (or text classification) is the task of assigning predefined categories to free-text documents.

Text categorization

Page 92: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

92

Assign labels to each document or web-page: Labels are most often topics such as Web directory

e.g., “finance” "sports” “news>world>asia>business”

Labels may be genres

e.g., “editorials” “movie-reviews” “news”

Labels may be opinion

e.g., “like” “hate” “neutral”

Labels may be domain-specific binary

e.g., “interesting-to-me” : “not-interesting-to-me”

e.g., “spam” : “not-spam”

e.g., “contains adult language” : “doesn’t”

Text categorization Applications

Page 93: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

Implementing News Article Category Browsing

Based on Text Categorization Technique

Choochart Haruechaiyasak1 Wittawat Jitkrittum2 Chatchawal Sangkeettrakarn1 Chaianun Damrongrat1

The 2008 IEEE/WIC/ACM International Conference on Web Intelligence (WI-08) workshop on Intelligent Web Interaction (IWI 2008)

Page 94: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

94

Search engine: limitation

Page 95: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

95

Search engine: improvement

Page 96: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

96

Some problems with search engine: Queries with general terms could result in a long list of articles. Some queries might match articles from various topics.

Categorizing news articles into predefined categories provides

(1) Browsing news articles based on categories

(2) Search result grouping

Using existing text categorization techniques: Text processing Feature selection techniques Classification algorithms

News article categorization

Page 97: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

97

News article categorization

Apply word segmentation for tokenizing Thai texts

Feature selection to improve the classification model: [Yang and Pedersen 1997]- Document Frequency (DF)- Information Gain (IG)- Chi-Squared (CHI)

Classification algorithms:- C4.5 (decision tree) [Quinlan 1986]- Naive Bayes [Lewis 1998]- SVM [Joachims 1998]

Page 98: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

98

Evaluation on a corpus of 9,600 news articles collected from Thai news web site predefined into 8 categories:

Experiments and discussion

Page 99: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

99

Evaluation results:

Note: Results are based on 10-fold cross validation

Using WEKA to perform the experiments

The number of terms from the feature selection is set equal to 2,000.

Experiments and discussion

Page 100: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

100

การทำเหมองขอความแสดงความคดเหนและการวเคราะหอารมณและความรสก

Opinion Mining and Sentiment Analysis

Page 101: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

101

ขอมลทวไปและขอความแสดงความคดเหน (Facts and opinions)

ขอมลบนเวบสามารถแบงเปน 2 ประเภท ไดแก

(1) ขอมลทวไป (Facts) เชน• ขอมลเกยวกบองคกรและบรษท

• ขอมลเกยวกบสนคาและบรการ

• รายงานขาว

(2) ขอความแสดงความคดเหน (Opinions) เชน• กระทในเวบบอรดตางๆ (Web board)

• บลอก (Blogs)

• ขอความวจารณทวไป (Reviews and comments)

Page 102: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

102

การคนหาขอมลโดยใชเสรชเอนจน

● เสรชเอนจนในปจจบนสามารถสบคนขอมลทวไป (Facts) ไดด

เนองจากสามารถระบดวยคำสำคญ (Keywords) ทตรงกบหวขอได

เชน การสบคนหาขอมลทวไปของสนคาและบรการ

● แตเสรชเอนจนไมเหมาะกบการสบคนขอความแสดงความคดเหน

(Opinions) เนองจากความยากในการระบคำสำคญ

เชน การสบคนหาความคดเหนตอสนคาและบรการ

Page 103: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

103

ตวอยางการสบคนขอมลทวไป

Page 104: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

104

ตวอยางการสบคนขอมลทวไป

Page 105: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

105

Page 106: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

106

ตวอยางการสบคนขอความแสดงความคดเหน

Page 107: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

107

Page 108: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

108

ตวอยางการสบคนขอมลทวไป

Page 109: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

109

ตวอยางการสบคนขอมลแสดงความคดเหน

Page 110: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

110

ขอจำกดของเสรชเอนจนในการสบคนความคดเหน

การสบคนขอมลทวไป (Facts)

One fact = Multiple facts

การสบคนขอความแสดงความคดเหน (Opinions)

One opinion != Multiple opinions

Page 111: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

111

Opinion mining and sentiment analysis

http://en.wikipedia.org/wiki/Sentiment_analysis

Sentiment analysis or opinion mining refers to a broad (definitionally challenged) area of natural language processing, computational linguistics and text mining. Generally speaking, it aims to determine the attitude of a speaker or a writer with respect to some topic.

Page 112: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

112

Opinion Mining for Market Intelligence

● เปนรปแบบใหมสำหรบชวยในการบรหารจดการลกคาสมพนธ (CRM: Customer Relationship Management)

● โดยประเมนความพงพอใจของลกคา (Customer Satisfaction) ตอสนคาและการใหบรการของบรษทจากบลอก (Blog) กระท แสดงความคดเหน (Web Board)

● ขอความเหลานมกจะถายทอดถงอารมณและความรสกของลกคา อกดวย ในการตลาดมกจะเรยกขอมลประเภทนวาเปนขอมลเชง จตวทยา (Psychological Data)

● สามารถนำไปใชในการปรบปรงสนคาและบรการใหตรงใจลกคา

Page 113: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

113

With the Web 2.0 or social networking websites, the amount of user-generated contents has increased exponentially.

User-generated contents often contain opinions and/or sentiments.

An in-depth analysis of these opinionated texts could reveal potentially useful information, e.g.,

Preferences of people towards many different topics including news events, social issues and commercial products.

Background and motivation

Page 114: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

114

Opinion mining and sentiment analysis is a task for analyzing and summarizing what people think about a certain topic.

Opinion mining has gained a lot of interest in text mining and NLP communities.

Three granularities of opinion mining: Document level [Turney, 2002; Pang et al., 2002; Dave et al., 2003;

Beineke et al., 2004]

Sentence level [Kim and Hovy, 2004; Wiebe and Riloff, 2005; Wilson et al., 2009; Yu and Hatzivassiloglou, 2003]

Feature level [Hu and Liu, 2004; Popescu and Etzioni, 2005]

Background and motivation (cont'd)

Page 115: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

115

We focus on the feature level or feature-based opinion mining. This approach typically consists of two following steps.

(1) Identifying and extracting features of an object, topic or event from each sentence.

(2) Determining whether the opinions regarding the features are positive or negative.

Background and motivation (cont'd)

Page 116: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

116

The feature-based opinion mining could provide users with some insightful information related to opinions on a particular topic.

For example, on hotel reviews, users can view positive or negative opinions on hotel-related features such as price, service, breakfast, room, facilities and activities.

Breaking down opinions into feature level is very essential for decision making.

Different customers could have different preferences when selecting hotels to stay for vacation.

Background and motivation (cont'd)

Page 117: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

117

Opinion Mining System

Page 118: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

118

รปแบบขอความแสดงความคดเหน

Page 119: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

119

Opinion Mining: A Case Study on Hotel Reviews

● วเคราะหความคดเหนของลกคาทไดไปพกโรงแรม

Website: www.agoda.com

Page 120: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

120

Opinion Mining: A Case Study on Hotel Reviews

● วเคราะหความคดเหนของลกคาทไดไปพกโรงแรม

Page 121: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

121

Opinion Mining: A Case Study on Hotel Reviews● ระบบกำกบคลงขอความ (Corpus tagging)

Page 122: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

122

Opinion Mining: A Case Study on Hotel Reviews

● ตวอยาง pattern ในหวขอ service

Page 123: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

123

Opinion Mining: A Case Study on Hotel Reviews

Domain-dependent

lexicons

Page 124: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

124

Opinion Mining: A Case Study on Hotel Reviews

Domain-independent

lexicons

Page 125: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

125

Opinion mining system

Demo URL: http://www.sansarn.com/HotelOpinion/

Page 126: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

126

Opinion mining system

Page 127: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

127

Opinion mining system

Page 128: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

128

Opinion Mining: A Case Study on Hotel Reviews

Difficult cases for “service” feature

Page 129: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

129

Opinion Mining: A Case Study on Hotel Reviews

Difficult cases for “breakfast” feature

Page 130: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

130

Opinion mining system: Mobile Service

Page 131: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

131

Page 132: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

132

Page 133: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

133

ระบบสบคนงานอเวนต

Event Search Engine

Page 134: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 135: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language
Page 137: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

Sample

นกการเมอง- ลงพนทพบประชาชน

- ลงพนทหาเสยง

- ประชมรบฟงความคดเหนชาวบาน

- ปราศรยหาเสยง

- สมมนาการเมองไทยกบประชาชน

ดารา-นกรอง- แสดงคอนเสรต

- รวมงานเปดตวสนคา

- นดพบแฟนคลบ

- พธการงานสวนและบาน

- ถายละคร

สนคา - บรการ- เปดตวสนคาใหม

- จดโปรโมชนพเศษตอนรบเปดเทอม

- เขารวมแสดงสนคา

- ประชมผถอหน

- ลด 80% สำหรบผถอบตรเครดต...

Page 138: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

Using Google to search for events

Page 139: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

Using eventpro to search for events

Page 140: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

Vertcal search engine

● Focus on a specifc segment of online content.

● Index only Web pages that are relevant to a topic

● Creatng customized search experiences

● Benefts:- Greater precision due to limited scope- Leverage domain knowledge- Support specifc unique user tasks

Page 141: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

Intelligent search features

การแนะนำคำคนคนทใกลเคยง (Query Approximaton)

การสบคนแบบพองเสยง (Soundex Search)

Page 142: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

Intelligent search features

การสบคนโดยใชคำพองความหมาย (Synonym Search)

อมแพค

impact

เมองทองธาน

เมองทอง

ชาเลนเจอร

อมแพค อารนา

Page 143: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

Intelligent search features

การสบคนโดยใชภาษาธรรมชาต (Natural Language Search)

• พรงนทจฬา

• วนนทจฬามงานอะไร

• เสารอาทตยนมงานอะไร

Page 144: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

Intelligent search features

การจดอนดบผลลพธการสบคน (Search Result Ranking)โดย Time-based ranking

Page 145: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

Intelligent search features

Visualizaton: แสดงแบบ Timeline

Page 146: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

Intelligent search features : Visualizaton

Visualizaton: แสดงแบบ Map

www.eventpro.in.th

Page 147: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

147

ตวอยางงานประชมวชาการทเกยวของ

JCDL: ACM Conference on Digital Libraries● ICADL: International Conference of Asian Digital Libraries SIGIR: ACM International Conference on Research and

Development in IR VLDB: International Conference on Very Large Databases WWW: International World Wide Web Conference CIKM: ACM International Conference on Information and

Knowledge Management WSDM: ACM International Conference on Web Search and Data

Mining COLING: International Conference on Computational Liguistics ACL: Annual Meeting of the Association for Computational

Linguistics

Page 148: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

148

References Choochart Haruechaiyasak, Alisa Kongthon, Pornpimon Palingoon, Chatchawal Sangkeettrakarn, “Constructing

Thai Opinion Mining Resource: A Case Study on Hotel Reviews”, ALR 2010 in COLING 2010. Chanattha Thongsuk, Choochart Haruechaiyasak, Phayung Meesad, “Classifying Business Types from Twitter

Posts Using Active Learning”, IICS 2010. Wongkot Sriurai, Phayung Meesad, Choochart Haruechaiyasak, “Improving Web Page Classification by

Integrating Neighboring Pages via a Topic Model”, IICS 2010. Choochart Haruechaiyasak, et. al., “A Comparative Study on Thai Word Segmentation Approaches”, ECTI-CON

2008. Choochart Haruechaiyasak et al., “Implementing News Article Category Browsing Based on Text Categorization

Technique”, The 2008 IEEE/WIC/ACM International Conference on Web Intelligence (WI-08) workshop on Intelligent Web Interaction (IWI 2008)

Choochart Haruechaiyasak, Sarawoot Kongyoung and Chaianun Damrongrat, “LearnLexTo: A Machine-Learning Based Word Segmentation for Indexing Thai Texts”, CIKM 20008 workshop on Improving Non-English Web Search (iNews), 2008.

Rachada Kongkachandra, Choochart Haruechaiyasak, Sayan Tepdang, “Improving Thai Word Segmentation With Named Entity Recognition”, ISCIT 2010.

Choochart Haruechaiyasak and Sarawoot Kongyoung, “TLex: Thai Lexeme Analyser Based on the Conditional Random Fields", InterBEST 2009 workshop in SNLP 2009.

Page 149: NLP, Information Retrieval and Text Mining · 2 หัวข้อการบรรยาย การประมวลผลภาษาธรรมชาติ (Natural Language

149

Thank you for your attentionThank you for your attention

ดร. ชชาต หฤไชยะศกด

ทมวจยและพฒนาโครงสรางพนฐานสารสนเทศอจฉรยะหนวยปฎบตการวจยวทยาการมนษยภาษา (HLT Lab)ศนยเทคโนโลยอเลกทรอนกสและคอมพวเตอรแหงชาต (เนคเทค)112 อทยานวทยาศาสตรประเทศไทย ถ.พหลโยธน อ.คลองหลวง จ.ปทมธาน 12120

Email: [email protected]