Índice temático dematties_.pdfÍndice temático introducción lenguaje como entorno corteza como...
TRANSCRIPT
1
Índice Temático
● Introducción○ Lenguaje Como Entorno○ Corteza Como Sistema
● Fonética en Dinámica Cortical○ Hipótesis○ Experimentos○ Resultados
● Gramática en Dinámica Cortical○ Hipótesis○ Experimentos○ Resultados
● Escalabilidad en Modelos Bio-Inspirados○ Esquema de Paralelización○ Pruebas
● Conclusiones● Trabajo Futuro
2
Introducción
3
¿Por qué la Corteza? ¿Por qué el Lenguaje?
Imagen Adaptada: CC0 1.0 Universal (CC0 1.0) Public Domain Dedication. https://svgsilh.com/image/155655.html
4
Entender mejor el Comportamiento Humano
Imagen Fuente: http://www.fogonazos.es/2008/09/de-intelectuales-y-trogloditas.html
5
6
Imagen Fuente: https://www.psicoactiva.com/blog/trastornos-lenguaje-lesiones-cerebrales-afasias-alexias-
otros/
Imagen Fuente: https://blogs.extension.iastate.edu/scienceofparenting/tag/parent-child-interaction/
Entorno y Organización de la Corteza
7
Corteza Cerebral
Imagen Fuente: https://theconversation.com/neuroscience-and-artificial-intelligence-can-help-improve-each
-other-110869 8
La Corteza Cerebral parece decir queThere is Free Lunch indeed!
Imagen Fuente: http://www.planet-science.com/categories/over-11s/natural-world/2011/06/do-animals-mak
e-us-human.aspx 9
Segmentación de Palabras desde el Flujo Acústico
Imagen Fuente: https://slideplayer.com/slide/6671473/
10
Segmentación de Palabras desde el Flujo Acústico del Habla
Imagen: MartinThoma / CC0 https://upload.wikimedia.org/wikipedia/commons/a/a6/Signal-s
peech-martin-de.png
11
12
Descubrimiento de la Estructura Interna del Lenguaje
Imagen, Licencia de uso: Creative Commons Zero - CC0 https://www.pikrepo.com/fwjxz/assorted-puzzles
13
Imagen Fuente: https://ar.pinterest.com/pin/562105597221632275/
Oraciones Gramaticales para expresar Ideas Complejas
14
15
16
Imagen Fuente: https://www.babycenter.com/609_how-much-time-do-you-really-need-to-spend-playing-with-your_20002016.bc
Principios Computacionales y Comportamiento Emergente
17
Imagen: GerryShaw / CC BY-SA (https://creativecommons.org/licenses/by-sa/3.0)https://upload.wikimedia.org/wikipedia/commons/7/70/Neuron_in_tissue_culture.jpg
¿Hasta qué nivel es necesario copiar la complejidad de la corteza?
18
Imagen: MethoxyRoxy / CC BY-SA (https://creativecommons.org/licenses/by-sa/2.5) https://upload.wikimedia.org/wikipedia/commons/f/fb/Gyrus_Dentatus_40x.jpg
Dispersión en Activación y en Conexionado.
19
20
Fonética
Rasgos Fonéticos de Alto Nivel Para Discriminación de Palabras
Imagen Adaptada: CC0 1.0 Universal (CC0 1.0) Public Domain Dedication. https://svgsilh.com/image/155655.html Imagen adaptada desde https://doi.org/10.1371/journal.pone.0217966 bajo licencia CC-BY.
21
Conexionado Inter e Intra-Columnar
Imagen adaptada desde https://doi.org/10.1371/journal.pone.0217966 bajo licencia CC-BY.
22
Neuronas Piramidales de la Capa Cortical 2/3
Imagen adaptada desde https://doi.org/10.1371/journal.pone.0217966 bajo licencia CC-BY.
Imagen Fuente: https://www.sciencedirect.com/science/article/pii/S2211124718313093#fig1
bajo licencia Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0)
23
24
AMRETSCE 0CE 1CE 2CE 3CE 4
Desempeño promedio para diferentes tamaños de la CE
1 CC
9 CCs 81 CCs225 CCs 441 CCs
Compartimentalización Dendrítica en Neuronas Piramidales
Imagen adaptada desde https://doi.org/10.1371/journal.pone.0217966 bajo licencia
CC-BY.25
Imagen adaptada desde https://doi.org/10.1371/journal.pone.0217966 bajo licencia
CC-BY.
Perfil Experimental del Trabajo
26
Imagen adaptada desde https://doi.org/10.1371/journal.pone.0217966 bajo licencia
CC-BY.
Desempeño de clasificación frente a diferentes variantes acústicas introducidas en las señales para palabras
monosilábicas, bisilábicas y trisilábicas.
27
La Capa Encoder supera en desempeño al AMRETS para todas las condiciones experimentales
28
Gramática
Adquisición de Propiedades Gramaticales de Palabras en el Contexto Oracional
Imagen Adaptada: CC0 1.0 Universal (CC0 1.0) Public Domain Dedication. https://svgsilh.com/image/155655.html Imagen adaptada desde https://doi.org/10.1371/journal.pone.0217966 bajo licencia CC-BY.
Inspirado en el Gradiente Lingüístico Hallado en el Giro Frontal Inferior Izquierdo
29
Imagen adaptada desde https://doi.org/10.1371/journal.pone.0217966 bajo licencia
CC-BY.
Perfil Experimental del Trabajo
30
Imagen adaptada desde https://doi.org/10.1371/journal.pone.0217966 bajo licencia
CC-BY.
31
La Capa Encoder Superó a word2vec para todas las
condiciones experimentales
Capa Encoder Completa
Imagen adaptada desde https://doi.org/10.1371/journal.pone.0217966 bajo licencia
CC-BY.
Capa Encoder sin Conexiones Laterales
32
Neurona PiramidalCompleta
Imagen adaptada desde https://doi.org/10.1371/journal.pone.0217966 bajo licencia
CC-BY.
Neurona Piramidal sin Conexiones Laterales
33
Imagen adaptada desde https://doi.org/10.1371/journal.pone.0217966 bajo licencia
CC-BY.
34
La Capa Encoder Completa Superó a la Capa Encoder sin Dendritas Laterales para todas las condiciones experimentales
35
36
Complementos:... the voice to renew... o
... released to radio…
Conjunción de coordinación:... as well as... o... rather than…
37
Adverbios:... that is almost completely black... o...it was released only in australia…
Adverbios Superlativos:...the third most common... o...his most serious poem…
Conjunción Subordinada:...after wandering around he discovered... o
...soon after...38
39
EscalabilidadEsquema de Paralelización
40
Paralelización de la Implementación
Hacia una Alta Escalabilidad enModelos Biológicamente-Inspirados
● MPI + OpenMP○ MPI: Memoria distribuida, distribuye las CCs
en la CE por nodo computacional.○ OpenMP: Memoria compartida, distribuye las
CCs dentro de un nodo en los diferentes hilos de ejecución.
● No SIMD (Single Instruction, Multiple Data) ○ Utilizado por las Unidades de procesamiento
Gráfico o GPUs.● Coalescencia● Dispersión y aleatoriedad del Conexionado
Imagen adaptada desde http://ebooks.iospress.nl/volumearticle/53956 bajo licencia CC
BY-NC 4.0.41
Coalescencia
42
Coalescencia
43
Escalado Fuerte (Strong Scaling Tests)
44
45
Pruebas de Escalado Fuerte (Strong Scaling Tests)
Imagen adaptada desde http://ebooks.iospress.nl/volumearticle/53956 bajo licencia CC
BY-NC 4.0.
Escalado Débil (Weak Scaling Tests)
46
Pruebas de Escalado Débil (Weak Scaling Tests)
Imagen adaptada desde http://ebooks.iospress.nl/volumearticle/53956 bajo licencia CC
BY-NC 4.0.
47
Recursos Utilizados para la Implementación
Cooley Cluster: Argonne Leadership Computing Facility. Argonne National Laboratory.
● 126 nodos, con dos procesadores Intel Xeon E5-2620 Haswell 2.4 GHz de 6 núcleos (12 núcleos por nodo) con 384 gigabytes de memoria RAM.
● Una tarjeta gráfica GPU dual NVIDIA Tesla K80 con 24 gigabytes de memoria.
Imagen: Argonne Leadership Computing Facility (ALCF), a DOE Office of Science User FacilityAuthor Jim Collins. Published 06/02/2015.
https://www.alcf.anl.gov/sites/default/files/styles/965x543/public/field/image/31174D02-Cooley800.jpg?itok=jN-WS1ml 48
Conclusiones
● Adquisición No-Supervisada de Fonética en Dinámica Cortical
● Adquisición No-Supervisada de Gramática en Dinámica Cortical
● Capacidad de Escalabilidad en Recursos de Alto Cómputo
● Hipótesis Inspiradas en la Corteza Cerebral de los Mamíferos
● Sólo Métodos de Optimización Bio-Inspirados
49
Conclusiones
50
Imagen desde https://www.kurzweilai.net/neuroscientists-find-cortical-columns-in-brain-not-uniform-challenging-large-scale-simulation-model
s
Futuro● Nuevos Esquemas de Modelaje Multimodal más Plausibles
desde la Perspectiva de la Adquisición Temprana del Lenguaje
Imagen: https://www.guiainfantil.com/bebes/primeras-palabras/ejercicios-para-la-estimulacion-del-lenguaje-en-ninos-d
e-1-a-2-anos/ 51
Futuro● Nuevas Funciones de Costo para Optimización Bio-Inspirada
Imagen: https://www.youtube.com/watch?v=Ilg3g
GewQ5U
52
Futuro● Simulación de Curiosidad con Implementaciones
Computacionales de Aprendizaje Reforzado
53
Futuro
The image can be used for personal use only.https://favpng.com/png_view/children-playing-child-toy-pre-school-education-peer-group-png/4ix1AhwG
54
55
56
57
¡Muchas Gracias!
58