Índice temático dematties_.pdfÍndice temático introducción lenguaje como entorno corteza como...

1

Índice Temático

● Introducción○ Lenguaje Como Entorno○ Corteza Como Sistema

● Fonética en Dinámica Cortical○ Hipótesis○ Experimentos○ Resultados

● Gramática en Dinámica Cortical○ Hipótesis○ Experimentos○ Resultados

● Escalabilidad en Modelos Bio-Inspirados○ Esquema de Paralelización○ Pruebas

● Conclusiones● Trabajo Futuro

2

Introducción

3

¿Por qué la Corteza? ¿Por qué el Lenguaje?

Imagen Adaptada: CC0 1.0 Universal (CC0 1.0) Public Domain Dedication. https://svgsilh.com/image/155655.html

4

Entender mejor el Comportamiento Humano

Imagen Fuente: http://www.fogonazos.es/2008/09/de-intelectuales-y-trogloditas.html

5

6

Imagen Fuente: https://www.psicoactiva.com/blog/trastornos-lenguaje-lesiones-cerebrales-afasias-alexias-

otros/

Imagen Fuente: https://blogs.extension.iastate.edu/scienceofparenting/tag/parent-child-interaction/

Entorno y Organización de la Corteza

7

Corteza Cerebral

Imagen Fuente: https://theconversation.com/neuroscience-and-artificial-intelligence-can-help-improve-each

-other-110869 8

La Corteza Cerebral parece decir queThere is Free Lunch indeed!

Imagen Fuente: http://www.planet-science.com/categories/over-11s/natural-world/2011/06/do-animals-mak

e-us-human.aspx 9

Segmentación de Palabras desde el Flujo Acústico

Imagen Fuente: https://slideplayer.com/slide/6671473/

10

Segmentación de Palabras desde el Flujo Acústico del Habla

Imagen: MartinThoma / CC0 https://upload.wikimedia.org/wikipedia/commons/a/a6/Signal-s

peech-martin-de.png

11

12

Descubrimiento de la Estructura Interna del Lenguaje

Imagen, Licencia de uso: Creative Commons Zero - CC0 https://www.pikrepo.com/fwjxz/assorted-puzzles

13

Imagen Fuente: https://ar.pinterest.com/pin/562105597221632275/

Oraciones Gramaticales para expresar Ideas Complejas

14

15

16

Imagen Fuente: https://www.babycenter.com/609_how-much-time-do-you-really-need-to-spend-playing-with-your_20002016.bc

Principios Computacionales y Comportamiento Emergente

17

Imagen: GerryShaw / CC BY-SA (https://creativecommons.org/licenses/by-sa/3.0)https://upload.wikimedia.org/wikipedia/commons/7/70/Neuron_in_tissue_culture.jpg

¿Hasta qué nivel es necesario copiar la complejidad de la corteza?

18

Imagen: MethoxyRoxy / CC BY-SA (https://creativecommons.org/licenses/by-sa/2.5) https://upload.wikimedia.org/wikipedia/commons/f/fb/Gyrus_Dentatus_40x.jpg

Dispersión en Activación y en Conexionado.

19

20

Fonética

Rasgos Fonéticos de Alto Nivel Para Discriminación de Palabras

Imagen Adaptada: CC0 1.0 Universal (CC0 1.0) Public Domain Dedication. https://svgsilh.com/image/155655.html Imagen adaptada desde https://doi.org/10.1371/journal.pone.0217966 bajo licencia CC-BY.

21

Conexionado Inter e Intra-Columnar

Imagen adaptada desde https://doi.org/10.1371/journal.pone.0217966 bajo licencia CC-BY.

22

Neuronas Piramidales de la Capa Cortical 2/3

Imagen adaptada desde https://doi.org/10.1371/journal.pone.0217966 bajo licencia CC-BY.

Imagen Fuente: https://www.sciencedirect.com/science/article/pii/S2211124718313093#fig1

bajo licencia Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0)

23

24

AMRETSCE 0CE 1CE 2CE 3CE 4

Desempeño promedio para diferentes tamaños de la CE

1 CC

9 CCs 81 CCs225 CCs 441 CCs

Compartimentalización Dendrítica en Neuronas Piramidales

Imagen adaptada desde https://doi.org/10.1371/journal.pone.0217966 bajo licencia

CC-BY.25

Imagen adaptada desde https://doi.org/10.1371/journal.pone.0217966 bajo licencia

CC-BY.

Perfil Experimental del Trabajo

26

Imagen adaptada desde https://doi.org/10.1371/journal.pone.0217966 bajo licencia

CC-BY.

Desempeño de clasificación frente a diferentes variantes acústicas introducidas en las señales para palabras

monosilábicas, bisilábicas y trisilábicas.

27

La Capa Encoder supera en desempeño al AMRETS para todas las condiciones experimentales

28

Gramática

Adquisición de Propiedades Gramaticales de Palabras en el Contexto Oracional

Imagen Adaptada: CC0 1.0 Universal (CC0 1.0) Public Domain Dedication. https://svgsilh.com/image/155655.html Imagen adaptada desde https://doi.org/10.1371/journal.pone.0217966 bajo licencia CC-BY.

Inspirado en el Gradiente Lingüístico Hallado en el Giro Frontal Inferior Izquierdo

29

Imagen adaptada desde https://doi.org/10.1371/journal.pone.0217966 bajo licencia

CC-BY.

Perfil Experimental del Trabajo

30

Imagen adaptada desde https://doi.org/10.1371/journal.pone.0217966 bajo licencia

CC-BY.

31

La Capa Encoder Superó a word2vec para todas las

condiciones experimentales

Capa Encoder Completa

Imagen adaptada desde https://doi.org/10.1371/journal.pone.0217966 bajo licencia

CC-BY.

Capa Encoder sin Conexiones Laterales

32

Neurona PiramidalCompleta

Imagen adaptada desde https://doi.org/10.1371/journal.pone.0217966 bajo licencia

CC-BY.

Neurona Piramidal sin Conexiones Laterales

33

Imagen adaptada desde https://doi.org/10.1371/journal.pone.0217966 bajo licencia

CC-BY.

34

La Capa Encoder Completa Superó a la Capa Encoder sin Dendritas Laterales para todas las condiciones experimentales

35

36

Complementos:... the voice to renew... o

... released to radio…

Conjunción de coordinación:... as well as... o... rather than…

37

Adverbios:... that is almost completely black... o...it was released only in australia…

Adverbios Superlativos:...the third most common... o...his most serious poem…

Conjunción Subordinada:...after wandering around he discovered... o

...soon after...38

39

EscalabilidadEsquema de Paralelización

40

Paralelización de la Implementación

Hacia una Alta Escalabilidad enModelos Biológicamente-Inspirados

● MPI + OpenMP○ MPI: Memoria distribuida, distribuye las CCs

en la CE por nodo computacional.○ OpenMP: Memoria compartida, distribuye las

CCs dentro de un nodo en los diferentes hilos de ejecución.

● No SIMD (Single Instruction, Multiple Data) ○ Utilizado por las Unidades de procesamiento

Gráfico o GPUs.● Coalescencia● Dispersión y aleatoriedad del Conexionado

Imagen adaptada desde http://ebooks.iospress.nl/volumearticle/53956 bajo licencia CC

BY-NC 4.0.41

Coalescencia

42

Coalescencia

43

Escalado Fuerte (Strong Scaling Tests)

44

45

Pruebas de Escalado Fuerte (Strong Scaling Tests)

Imagen adaptada desde http://ebooks.iospress.nl/volumearticle/53956 bajo licencia CC

BY-NC 4.0.

Escalado Débil (Weak Scaling Tests)

46

Pruebas de Escalado Débil (Weak Scaling Tests)

Imagen adaptada desde http://ebooks.iospress.nl/volumearticle/53956 bajo licencia CC

BY-NC 4.0.

47

Recursos Utilizados para la Implementación

Cooley Cluster: Argonne Leadership Computing Facility. Argonne National Laboratory.

● 126 nodos, con dos procesadores Intel Xeon E5-2620 Haswell 2.4 GHz de 6 núcleos (12 núcleos por nodo) con 384 gigabytes de memoria RAM.

● Una tarjeta gráfica GPU dual NVIDIA Tesla K80 con 24 gigabytes de memoria.

Imagen: Argonne Leadership Computing Facility (ALCF), a DOE Office of Science User FacilityAuthor Jim Collins. Published 06/02/2015.

https://www.alcf.anl.gov/sites/default/files/styles/965x543/public/field/image/31174D02-Cooley800.jpg?itok=jN-WS1ml 48

Conclusiones

● Adquisición No-Supervisada de Fonética en Dinámica Cortical

● Adquisición No-Supervisada de Gramática en Dinámica Cortical

● Capacidad de Escalabilidad en Recursos de Alto Cómputo

● Hipótesis Inspiradas en la Corteza Cerebral de los Mamíferos

● Sólo Métodos de Optimización Bio-Inspirados

49

Conclusiones

50

Imagen desde https://www.kurzweilai.net/neuroscientists-find-cortical-columns-in-brain-not-uniform-challenging-large-scale-simulation-model

s

Futuro● Nuevos Esquemas de Modelaje Multimodal más Plausibles

desde la Perspectiva de la Adquisición Temprana del Lenguaje

Imagen: https://www.guiainfantil.com/bebes/primeras-palabras/ejercicios-para-la-estimulacion-del-lenguaje-en-ninos-d

e-1-a-2-anos/ 51

Futuro● Nuevas Funciones de Costo para Optimización Bio-Inspirada

Imagen: https://www.youtube.com/watch?v=Ilg3g

GewQ5U

52

Futuro● Simulación de Curiosidad con Implementaciones

Computacionales de Aprendizaje Reforzado

53

Futuro

The image can be used for personal use only.https://favpng.com/png_view/children-playing-child-toy-pre-school-education-peer-group-png/4ix1AhwG

54

55

56

57

¡Muchas Gracias!

58