emotiblog: a finer-grained and more precise learning of subjectivity expression models (publicado...

1

EmotiBlog: a finer-grained and more precise learning of subjectivity expression models

(Publicado en: Linguistic Annotation Workshop –ACL- 2010)

Ester Boldrini & Patricio Martínez-Barco,

Alexandra Balahur & Andrés Montoyo

2

EmotiBlog …otras del modelo

Boldrini, E., Balahur, A., Martínez-Barco, P., Montoyo, A. 2009. EmotiBlog: an Annotation Scheme for Emotion Detection and Analysis in Non-traditional Textual Genre. The 2009 World Congress in Computer Science, Computer Engineering, and Applied Computing.

Boldrini, E., Balahur, A., Martínez-Barco, P., Montoyo, A. 2009. EmotiBlog: a fine-grained annotation schema for labelling subjectivity in the new-textual genres born with the Web 2.0. SEPLN.

3

Por qué

Información subjetiva

◦ Compleja de extraer y clasificar basándose en reglas

◦ Espontánea◦ Nuevas maneras de expresión

(coloquialismos, frases hechas, colocaciones, anomalías en puntuación, etc)

◦ Grande variabilidad semántica

4

Por qué

Recuperar la info en blogs es complejo:

◦ Detección de los objetos del discurso◦ Su clasificación de polaridad◦ Determinación de los interlocutores y si la opinión

expresada es de este tópico o se refiere a algo previamente dicho

DATOS ANOTADOS

(para el entrenamiento de sistemas de ML)

5

Qué mejoro

Contribuir a la creación de corpus que son escasos en más lenguas que el inglés

◦ mejorar los que están en inglés

Creación de un modelo de anotación más detallado

Incluye la anotación de la fuente

◦ referencias anafóricas a nivel de cross-document

LAW IV - ACL 2010, July 15 6

EmotiBlogel Corpus

Corpus en 3 lenguas: italiano español inglés

Sobre 3 temas: Protocolo de Kyoto Elecciones en Zimbabwe Elecciones en EEUU

30.000 palabras para cada lengua y temaExtraído de entradas de blogs

EmotiBlogel esquema

<? xml version="1.0"?><schema xmlns="http://www.w3.org/2001/XMLSchema"><element name="noun"><complexType> <attribute name="source" type="kind" use="required"/>

<attribute name="target" type="kind" use="required"/> <attribute name="polarity"> <simpleType>

<restriction base="string"> <enumeration value="positive" /> <enumeration value="negative" /> </restriction></simpleType>

</attribute> <attribute name="degree" default="medium">

<simpleType> <restriction base="string"> <enumeration value="low" /> <enumeration value="medium" /> <enumeration value="high" /> </restriction></simpleType>

</attribute> <attribute name="phenomenon">

<

8

EmotiBlogel esquema

Obj. speech Subj. speech Adjectives Adverbs Verbs Anaphora Capital letter Punctuation Names Phenomenon Reader Interpretation Author Interpretation Emotions

9

EmotiBlogel esquema


Confidence, comment, source, target.

<objective speech target="Bush" category="phrase“> George Bush was one of the United States presidents </objective speech>

10

EmotiBlogel esquema


Confidence, comment, category, polarity, degree, source, target, emotion

<phenomenon target="Kyoto Protocol" category="phrase" degree=“high" source="w" polarity="positive" emotion=“joy“>This is a great initiative. </phenomenon>

11

EmotiBlogel esquema


Confidence, comment, category, polarity, degree, source, target, emotion

<reader_int target=“Bush" category="phrase" degree=“high" source="w" polarity=“negative" emotion=“anger“>Bush repeatedly refused to sign the Kyoto Protocol. </reader_int>

12

EmotiBlogel esquema


Confidence, comment, polarity, degree, source, target, emotion

This <author_int target="Kyoto Protocol" category="phrase" degree=“high" source="w" polarity="positive" emotion="good“>pack of wolves </author_int>

13

ExperimentosEmotiBlog: anota palabras individuales+

expresiones multipalabra + frasePolaridad+ intensidad + emoción

◦ experiments show how the annotated elements can be used as training for the opinion mining and polarity classification task and for emotion detection.

EmotiBlog anota la intensidad de los elementos anotados◦ Realizamos un breve experimento para determinar

la intensidad de las emociones expresadas: alta, media, baja

14

ExperimentosCorpus empleados

La coleccción del JRC (discurso indirecto) de periódicos (Balahur et al., 2010), eniquecido con la anotación de EmotiBlog◦ http://langtech.jrc.it//JRC_Resources.html

La colección de titulares de periódicos del SemEval 2007 tarea14 – Affective Text

ISEAR copus: a corpus of self-reported emotional response (Scherer and Walbott, 1999).

http://langtech.jrc.it/JRC_Resources.html

15

ExperimentosCreación de los modelos de entrenamiento

Extraemos las NEsParseamos los datos anotados (frases) Para cada palabra de la frase:

◦POS ◦Capitalization◦Opinionatedness /intensity◦Syntactic relatedness with other opinion word ◦Polarity/intensity and emotion of this word◦Role in 2-word, 3-word and 4-word

annotations: opinionatedness, intensity, emotion, direct dep.

16

Primer modelo– EmotiBlog I:◦Vector de características en cada frase◦Weka SVM SMO

Segundo modelo- EmotiBlog II:◦Añadiendo la colección de las palabras

de opinión/emocióm anotadas en EmotiBlog: Opinion Finder MicroWordNet General Inquirer WordNet Affect

ExperimentsCreación de los modelos de entrenamiento

17

ExperimentosEvaluación de los modelos

2 evaluaciones:◦ Polaridad and intensidad:

Emotiblog I and II modelos 2 set de test– the JRC y SemEval 2007

Task Number 14 test set

◦ Detección de emoción Emotiblog I and II modelos 3 set de test – JRC, SemEval 2007 Task

Number 14 test set, ISEAR

18

ExperimentosClasificación de polaridad e intensidad

Test Corpus

Evaluationtype

Precision Recall

JRC quotes I

Polarity 32.13 54.09Intensity 36.00 53.2

JRC quotes II

Polarity 36.4 51.00Intensity 38.7 57.81

SemEval I Polarity 38.57 51.3Intensity 37.39 50.9

SemEval II Polarity 35.8 58.68Intensity 32.3 50.4

Best SE Polarity 31.18 66.38

19

3 corpus:◦ JRC (anotado con EmotiBlog)◦ SemEval 2007 Task No.14 test set (anotado con

una pequeña colección de emociones)◦ ISEAR (anotado con una pequeña colección de

emociones)Verificar el renidiemto del sistema

usando anotación general y más detallada◦especifico para EmotiBlog

ExperimentosClasificación de la emoción

20


Test corpus

Evaluation type

Precision Recall

JRC quotes I

Emotions 24.7 15.08

JRC quotes II

Emotions 33.65 18.98

SemEval I Emotions 29.03 18.89

SemEval II Emotions 32.98 18.45

ISEAR I Emotions 22.31 15.01

ISEAR II Emotions 25.62 17.83

BEST SE Emotions 16.23 26.27

21


Mejores resultados en“anger”◦ Precisión 35% y recall of 19%.

Peores resultados para la categoría “shame” en el ISEAR◦ precisión 12 %, y recall of 15%.

Los textos sacados de News obtienen mejores resultados◦ En ISEAR la emoción es más escondida

Nuestra aproximación: robusta para distintos géneros textuales y relevante

para OM

22

EmotiBlog el acuerdo

Inter-annotator agreement usando agr (Sp)

23

EmotiBlog en QA

Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco, P. 2009. Opinion and Generic Question Answering systems: a performance analysis. To appear in Proceedings of ACL, 2009, Singapore.

Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco, P. 2009. Opinion

Question Answering: Towards a Unified Approach. To appear in proceedings of the ECAI conference.

Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco, P. 2009. A Unified

Proposal for Factoid and Opinionated Question Answering. To appear in proceedings of the COLING conference.

Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco, P. 2009. A Comparative Study of Open Domain and Opinion Question Answering Systems for Factual and Opinionated Queries. To appear in Proceedings of RANLP 2009.

Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco, P. 2009. Towards the Definition of Requirements for Mixed Fact and Opinion Question Answering Systems. In Proceedings of Topic Semantic Analysis. CIKM 2009.

24

EmotiBlog en QA

Técnicas para el buen rendimiento de QA pero con contenido subjetivo

◦ Evaluamos el rendimiento de OQA con (EAT, EPT, ES, ET)

◦ Proponemos un método para atacar los problemas (SRL, topic-sentiment retrieval, paraphrasing)

◦ Medimos el impacto de incluir recursos adicionales

◦ Las mejorías obtenidas son estadísticamente relevantes

25

EmotiBlog on OMy OM in real time

Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco 2009. P. Cross-topic Opinion Mining for Real-time Human-Computer Interaction. ICEIS 2009.

Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco 2009. Fact versus Opinion Questions Classification and Answering: Challenges and Keys . ICAI 2009

26

EmotiBlogfeature selection experiments

Evaluamos la utilidad de las características anotadas con combinaciones y usando técnicas de selección de características.

Encontramos problemas como el ruido y el pequeño tamaño del corpus, la granularidad e la anotación y el español (con menos recursos que el inglés).

27

EmotiBlogfeature selection experiments

Ester Boldrini, Javi Fernández, José M. Gómez and Patricio Martínez-Barco. Machine Learning Techniques for Automatic Opinion Detection in Non-Traditional Textual Genres. WOMSA 2010.

28

EmotiBlog en resúmenes automáticos

Método para resumir textos subjetivos basado en la intensidad de la opinión expresada.

Promedio de 79% de los resúmenes es comprensible.

29

EmotiBlog en resúmenes automáticos

Balahur, A., Lloret, E., Boldrini, E., Montoyo, A., Palomar, M., Martínez-Barco, P. 2009. Summarizing Threads in Blogs Using Opinion Polarity. In proceedings of Emerging Text Types Workshop. RANLP 2009.

30

EmotiBlogen competiciones

Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco, P. 2010. The OpAL System at NTCIR 8 MOAT. NTICR 8 MOAT.

31

EmotiBlogaplicado a business

Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco. OpAL: a System for Mining Opinion from Text for Business Applications. To appear in Business Intelligence Applications and the Web: Models, Systems and Technologies

32

Qué estamos haciendo

EmotiBlog para el análisis de emociones en eventos (con CNR, Pisa)

EmotiBlog para análisis de productos (Javi, JM)

EmotiBlog para prever los movimientos de acciones (Alex)

33

Eventos

WASSA 2010 at ECAIWASSA 2011 at ACL

Propuesta para tarea de evaluación: IBEREVAL

34

Más publicacionesBoldrini, E., Puchol-Blasco, M., Navarro, B., Martínez-

Barco, P., Vargas-Sierra, C. 2008. AQA: a multilingual Anaphora annotation scheme for Question Answering. SEPLN Nº 40.

Boldrini, E., Ferrández, S., Izquierdo, R., Tomás, D.,Vicedo, J.L. 2009. A Parallel Corpus Labelled Using open and Restricted Domain Ontologies. CICLING 2009.

Boldrini, E., Ferrández, S., Izquierdo, R., Ferrández, O., Tomás, D.,Vicedo, J.L. 2009. A proposal of Expected Answer Type and Named Entity annotation in a Question Answering context. Human System Interaction 2009.

emotiblog: a finer-grained and more precise learning of subjectivity expression models (publicado...

Documents