representaciones distribuidas de las palabras y … · representaciones distribuidas de las...
TRANSCRIPT
![Page 1: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/1.jpg)
Representaciones Distribuidas de las Palabras
y Redes Neuronales Artificiales
para el PLN
3er Encuentro de Ciudades Inteligentes
Mathias Etcheverry
2 de agosto, 2017
Grupo de PLN, InCo, Fing, UdelaR
![Page 2: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/2.jpg)
Representaciones distribuidas
para las palabras
![Page 3: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/3.jpg)
Las diferencias en los significados de las
palabras se corresponde con diferencias en las
distribuciones de los contextos en los que
ocurren. (Z. Harris, 1954)
0
![Page 4: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/4.jpg)
DSMs. Ejemplo. (1)
(Ejemplo tomado de la charla de Alessandro Lenci en la Global WordNet Conference (GWC 2014).)
1
![Page 5: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/5.jpg)
DSMs. Ejemplo. (2)
(Ejemplo tomado de la charla de Alessandro Lenci en la Global WordNet Conference (GWC 2014).)
2
![Page 6: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/6.jpg)
DSMs. Ejemplo. (3)
(Ejemplo tomado de la charla de Alessandro Lenci en la Global WordNet Conference (GWC 2014).)
3
![Page 7: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/7.jpg)
Conteo y Factorizacion de Matrices
• La matriz de coocurrencias palabra-palabra da representaciones de
dimension extremadamente grande.
• Reducir la dimension con tecnicas de factorizacion de matrices (Ej.
SVD), ademas de obtener vectores mas compactos, mejora los
resultados. (Analisis Semantico Latente) (Deerwester,
1990)(Landauer, 1997)
4
![Page 8: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/8.jpg)
Es posible construir representaciones con
Redes Neuronales Artificiales.
4
![Page 9: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/9.jpg)
(Parentesis - Nocion de Redes Neuronales)
4
![Page 10: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/10.jpg)
Neurona Artificial
x2 w2 Σ f
Funcion de
Activacion
ySalida
x1 w1
x3 w3
Parametros
b
Entradas
5
![Page 11: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/11.jpg)
Red Feed-Forward (fully Connected)
EntradaCapa
OcultaSalida
x1
x2
x3
x4
x5
y1
y2
Figure 1: Ejemplo de red neuronal feed forward.
6
![Page 12: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/12.jpg)
Entrenamiento supervisado de una red
• Funcion que mide el error de la red respecto a un conjunto de
entrenamiento D.
Ej. ∑(xi ,yi )∈D
|yi − Fw (xi )|2
• Como es diferenciable se puede minimizar con descenso por
gradiente (backpropagation).
7
![Page 13: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/13.jpg)
Red Recurrente
Entrada
Capa
Oculta
(rec.)
Salida
x1
x2
x3
x4
x5
y1
y2
8
![Page 14: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/14.jpg)
Red Recurrente (despliegue)
salida
oculta
entrada
wi wi wi wi
wh wh wh wh wh
wo wo wo wo
9
![Page 15: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/15.jpg)
(Fin del parentesis)
9
![Page 16: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/16.jpg)
NLP (almost) from scratch. (Collober, 2011)
(Imagen tomada de Natural Almost Processing (almost) from scratch. (Collober et al., 2011).) 10
![Page 17: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/17.jpg)
Representaciones Distribuidas - Analogıas (Mikolov, 2013)
• El test de analogıas se basa en que los pares de palabras
relacionadas bajo un mismo tipo de relacion tienden a tener el mismo
vector diferencia. Por ejemplo, vhombre − vmujer ≈ vrey − vreina .
• Las relaciones pueden ser:
• semanticas:
Ej. paıs-capital → canada:toronto::china:pekın
• sintacticas:
Ej. infinitivo-gerundio → reır:riendo::vivir:viviendo.
11
![Page 18: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/18.jpg)
Visualizacion de Representaciones Distribuidas
Figure 2: Reduccion a 2 dimensiones usando t-sne de representaciones de
dimension 150 construidas con GloVe (Pennington, 2014) de un dump de la
Wikipedia en espanol de 130 millones de palabras. 12
![Page 19: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/19.jpg)
Aplicaciones de PLN con ANNs
y Embeddings de Palabras
![Page 20: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/20.jpg)
Deteccion de Expresiones Temporales y
Eventos
12
![Page 21: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/21.jpg)
Expresiones Temporales
Las expresiones temporales son aquellas expresiones linguısticas que
localizan o indican la duracion de un evento en un texto.
El grupo britanico se ha visto obligado a aplazar los conciertos que
tenıa programados para el proximo martes en Razzmatazz (que se pospone
al 25 de abril) y, un dıa despues, en la Sala Multiusos de Zaragoza.
1
1Ejemplo extraıdo del corpus de TempEval3 (UzZaman, 2012)
13
![Page 22: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/22.jpg)
Expresiones Temporales - Embeddings y ANN
• Es habitual en este tipo de problemas utilizar ontologıas, patrones,
lexicos, etc., es decir, recursos que contienen conocimiento
especıfico del problema a resolver.
• Se pretende resolver el problema utilizando exclusivamente
datos supervisados (texto anotado) y no supervisados (texto).
• No se utilizan recursos adicionales ni ingenierıa de atributos.
14
![Page 23: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/23.jpg)
Expresiones Temporales y Eventos - Resultados
P R F
Eventos (sin ETemps) (ES) 81.2 79.4 80.3
Eventos (con ETemps) (ES) 84.3 79.1 81.6
CRF+Morph+SRL+WNet(Llorens, 2010) 83.4 79.5 81.4
Eventos (con ETemps) (EN) 79.3 79.6 79.5
ATT1(MaxEnt+Syn+Sem) (Jung, 2013) 81.4 80.7 81.1
ETemps (con Eventos) (EN) 99.0 71.0 82.7
Semantic Parsing (Lee, 2014) 86.1 80.4 83.1
15
![Page 24: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/24.jpg)
Traduccion Automatica
15
![Page 25: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/25.jpg)
Traduccion Automatica (1)
(Imagen tomada de https://medium.com/@ageitgey/
machine-learning-is-fun-part-5-language-translation-with-deep-learning-and-the-magic-of-sequences-2ace0acca0aa)
16
![Page 26: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/26.jpg)
Traduccion Automatica (2)
(Imagen tomada de https://medium.com/@ageitgey/
machine-learning-is-fun-part-5-language-translation-with-deep-learning-and-the-magic-of-sequences-2ace0acca0aa)
17
![Page 27: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/27.jpg)
Traduccion Automatica (3)
(Imagen tomada de ”Neural Machine Translation and Sequence-to-sequence Models: A Tutorial. Graham Neubig”)
18
![Page 28: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/28.jpg)
Descripcion Automatica de Imagenes
18
![Page 29: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/29.jpg)
Descripcion Automatica de Imagenes
(Imagenes obtenidas de slides de Andrej Karpathy. (https://cs.stanford.edu/people/karpathy/sfmltalk.pdf))
19
![Page 30: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/30.jpg)
Descripcion Automatica de Imagenes
(Imagenes obtenidas de slides de Andrej Karpathy. (https://cs.stanford.edu/people/karpathy/sfmltalk.pdf))
20
![Page 31: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/31.jpg)
Descripcion Automatica de Imagenes
(Imagenes obtenidas de slides de Andrej Karpathy. (https://cs.stanford.edu/people/karpathy/sfmltalk.pdf))
21
![Page 32: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/32.jpg)
Descripcion Automatica de Imagenes
(Imagenes obtenidas de slides de Andrej Karpathy. (https://cs.stanford.edu/people/karpathy/sfmltalk.pdf))
22
![Page 33: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/33.jpg)
Descripcion Automatica de Imagenes
(Imagenes obtenidas de slides de Andrej Karpathy. (https://cs.stanford.edu/people/karpathy/sfmltalk.pdf))
23
![Page 34: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/34.jpg)
Descripcion Automatica de Imagenes
(Imagenes obtenidas de slides de Andrej Karpathy. (https://cs.stanford.edu/people/karpathy/sfmltalk.pdf))
24
![Page 35: Representaciones Distribuidas de las Palabras y … · Representaciones Distribuidas de las Palabras ... Aplicaciones de PLN con ANNs ... //cs.stanford.edu/people/karpathy/sfmltalk.pdf))](https://reader031.vdocuments.site/reader031/viewer/2022021709/5bb5b2af09d3f250788d54f6/html5/thumbnails/35.jpg)
Gracias!
24