![Page 1: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/1.jpg)
Inteligencia Artificial Introducción a la comprensión del
lenguaje natural Primavera 2008
profesor: Luigi Ceccaroni
![Page 2: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/2.jpg)
2
Objetivos generales
• Conocer el ámbito del PLN y sus principales aplicaciones
• Comprender la problemática asociada a la comprensión del LN y los niveles de análisis sintáctico y semántico
• Conocer las bases de la programación de la análisis con gramáticas de cláusulas definidas (DCGs)
2
![Page 3: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/3.jpg)
3
Ámbitos del PLN
• El PLN consiste en construir sistemas computacionales capaces de comprender i generar lenguaje humano en todas sus formas.
• Para esto se necesita:– Saber cómo las personas generan expresiones
correctas y comprensibles – Conocer cómo las personas comprenden
expresiones de otras personas– Ser capaces de formalizar el conocimiento y los
procesos necesarios de manera que sean tratables por un sistema computacional
3
![Page 4: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/4.jpg)
4
Interdisciplinariedad
• Disciplinas asociadas al PLN:– Inteligencia artificial
• Representación del conocimiento• Razonamiento• Aprendizaje
– Lingüística computacional– Teoría de lenguajes formales
• Compiladores
4
![Page 5: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/5.jpg)
5
Comprensión y generación
• Son las dos operaciones básicas de las interfaces en LN.
• La consulta y la respuesta pueden ser en lenguaje oral: speech recognition and synthesis 5
EmisorComprensión
Generación
Consulta
Respuesta
Sistema de PLN
Actuación
![Page 6: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/6.jpg)
6
Comprensión y traducción
• En lugar de texto puede haber una intervención oral. 6
Texto LN origen
Representacióninterna texto
LN origen
Comprensión Generación
Transformación (traducción)
Texto LN destino
Representacióninterna texto LN destino
![Page 7: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/7.jpg)
7
Comprender el LN
• La comprensión exige:– Extraer el significado individual de las
palabras– Comprender las relaciones entre las palabras– Referir el significado literal al contexto de
actuación del sistema
• Todo esto se alcanza a través de un análisis de los componentes del lenguaje a diferentes niveles.
7
![Page 8: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/8.jpg)
8
Aplicaciones
• Traducción y resumen automáticos• Extracción de información a partir de textos• Interfaces y sistemas de diálogo• Sistemas de consulta telefónica• Clasificación y filtro de documentos, email• Question answering• Web semántica• Búsqueda de información en Internet
8
![Page 9: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/9.jpg)
9
Ejemplo de análisis
“Em parlarà sens dubte de la reestructuració urbana a Barcelona”
•Ejemplos de cosas que hay que detectar: – Palabras individuales: em, parlarà, sens...– El papel (categoría) de las palabras en la
frase: nombre, nombre propio, nombre compuesto, verbo, artículo...
– La relación entre categorías (papel sintáctico) para establecer el significado global: sujeto, objeto directo...
9
![Page 10: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/10.jpg)
10
Niveles de análisis
• Fonológico• Textual• Morfológico• Léxico• Sintáctico• Lógico• Semántico• Pragmático• Ilocutivo 10
![Page 11: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/11.jpg)
11
Niveles de análisis
• Fonológico– Se aplica en el procesamiento del lenguaje
oral.– Es el tratamiento de los sonidos para detectar
unidades de expresión (palabras).
11
![Page 12: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/12.jpg)
12
Niveles de análisis
• Textual– Filtrado de información no relevante: los
textos a tratar vienen a menudo acompañados de otros materiales que deben ser eliminados o extraídos (por ejemplo, si la fuente de información es una página de Internet, diferentes tipos de marcas que definen las características de visualización de la página).
12
![Page 13: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/13.jpg)
13
Niveles de análisis
• Textual– Segmentación y localización de unidades
tratables: • El texto debe ser segmentado en fragmentos que
puedan tratarse de forma hasta cierto punto independiente (párrafos, oraciones, intervenciones de diversos interlocutores...).
• Las unidades básicas de tratamiento son las palabras; localizar las palabras ortográficas es sencillo si el espacio o los signos de puntuación actúan como separadores.
13
![Page 14: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/14.jpg)
14
Niveles de análisis
• Textual– Localización de unidades tratables
• Métodos simples:– Basados en localización de marcas de
puntuación: “.”, “?”, “!”, ”…”– Problemas: siglas, iniciales
• Métodos basados en técnicas de aprendizaje automático (clasificación):
– Tienen en cuenta información contextual.
14
![Page 15: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/15.jpg)
15
Niveles de análisis
• Morfológico– La morfología estudia la estructura de las palabras y
su relación con las categorías del lenguaje. – El objetivo del análisis morfológico automático es
llevar a cabo una clasificación morfológica de las palabras.
– Por ejemplo, el análisis de la palabra gatos resulta en
gato+Noun+Masc+Pl,
que nos indica que se trata de un sustantivo plural con género masculino y que su forma normalizada (lema) es gato.
15
![Page 16: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/16.jpg)
16
Niveles de análisis
• Morfológico– Versión simple: utilización de formarios (listas
de formas con información morfológica y los lexemas correspondientes)•Morfemas = lexemas (o raíz) o gramemas
16
Lexemacant
Gramemao
es
a
em
en
![Page 17: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/17.jpg)
17
Niveles de análisis
• Morfológico– Analizadores morfológicos:
• Diccionarios de morfemas:– de raíces (lexemas), de sufijos, de prefijos, de infijos
• Morfotáctica: reglas de combinación de morfemas• Variaciones fonológicas: cambios al combinar
morfemas (ej., ploure, plovisquejar)
17
![Page 18: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/18.jpg)
18
Niveles de análisis
• Léxico– Distingue entre palabras ortográficas y
palabras gramaticales.– Obtiene información léxica de diccionarios,
ontologías...
18
![Page 19: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/19.jpg)
19
Niveles de análisis
• Léxico– Detectar unitats de significat
• Requereix ser capaç de reconèixer i fragmentar Requereix ser capaç de reconèixer i fragmentar adequadament les paraules: adequadament les paraules: ““/Parlarà/ /sens dubte/ /de/ /Parlarà/ /sens dubte/ /de/ /les/ /reestructuracions/ /urbanes/ /a/ /Sant Cugat//les/ /reestructuracions/ /urbanes/ /a/ /Sant Cugat/””
– Recollir informacions útils i aplicar coneixements per a facilitar les fases d’anàlisi posteriors
• Associar categories gramaticalsAssociar categories gramaticals• Associar informació semàntica a les unitats lèxiques (ús Associar informació semàntica a les unitats lèxiques (ús
d’ontologies, diccionaris)d’ontologies, diccionaris)• Detección i clasificación de entidades con nombre propio Detección i clasificación de entidades con nombre propio
((named entity recognition, NERnamed entity recognition, NER)) 19
![Page 20: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/20.jpg)
20
Niveles de análisis
• Léxico– Correspondència paraules ortogràfiques
/gramaticals • Necessitat de coneixement o informació per a detectar els Necessitat de coneixement o informació per a detectar els
casos següents:casos següents:
““dóna-m’ho”, “dóna-m’ho”, “dímelodímelo”” (1 p. ortogràfica, 3 p. gramaticals) (1 p. ortogràfica, 3 p. gramaticals)
““sens dubte”, “sens dubte”, “sin embargosin embargo”” (2 p. ortogràfiques, 1 p. gramatical) (2 p. ortogràfiques, 1 p. gramatical)
– Homonímia• Mateixa forma i diverses categories gramaticalsMateixa forma i diverses categories gramaticals
““roda”roda” (verb, 3a persona), (verb, 3a persona), “roda”“roda” (nom) -> connexió sintaxis (nom) -> connexió sintaxis
– Polisèmia• Mateixa forma i categoria, diversos significats (p.ex, Mateixa forma i categoria, diversos significats (p.ex, “banc”“banc”))
20
![Page 21: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/21.jpg)
21
Niveles de análisis
• Léxico– Sigles
• ““Un cop s’ha generat un PCB es pot enviar a una cua Un cop s’ha generat un PCB es pot enviar a una cua FIFO”FIFO”
• ““The cell’s DNA sample was identified by PRC, a process The cell’s DNA sample was identified by PRC, a process approved by the official UBI approved by the official UBI””
– Abreviatures• ““El Dr. Pirvo va parlar del Tract. del Lleng. Natural…”El Dr. Pirvo va parlar del Tract. del Lleng. Natural…”
– Fórmules i mesures• ““Afegir dos mg de DM-oxano i guardar dins d’un vial de Afegir dos mg de DM-oxano i guardar dins d’un vial de
PVC”PVC”• ““Si tenim en compte que Si tenim en compte que xx==yy*2 + *2 + kk, on , on kk és una és una
constant...”constant...”
– Volum d’informació 21
![Page 22: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/22.jpg)
22
Niveles de análisis
• Ambigüedad léxica – “Pinchó la rueda de delante”
• “rueda” puede ser nombre o verbo (part-of-speech tagging - POS-tagging)
– “Vio el banco”• “banco” puede ser el mueble para sentarse, la entidad
financiera o un grupo de peces (word sense disambiguation - WSD)
22
![Page 23: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/23.jpg)
Ejemplo
“Quina es la capital de França?”
• Resultado del análisis morfológico:
23
quina quin DT0FS00 quina NCFS000 és ésser VMIP3S0 la el TDFS0 ell PP3FSO00 la I capital capital AQPCS00 capital NCFS000 capitalNCMS000 de de SPS00 França frança NP00000-loc ? ? Fit
![Page 24: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/24.jpg)
Ejemplo
“Quina es la capital de França?”
• Resultado del POS-tagging:
24
quina quin DT0FS00 és ésser VMIP3S0 la el TDFS0 capital capital NCFS000 de de SPS00 França frança NP00000-loc ? ? Fit
![Page 25: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/25.jpg)
25
Niveles de análisis
• Utilització de lexicons– ““Diccionaris lèxics”Diccionaris lèxics”– Apleguen informació útil per a reconèixer i Apleguen informació útil per a reconèixer i
categoritzar paraules i la seva ubicació al textcategoritzar paraules i la seva ubicació al text
25
Lexemacant-
Informaciócantar
V / Infinitiu-o/-es/-a/-em/-eu/-en
![Page 26: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/26.jpg)
Problemàtica: representació (1)
• Decidir el tipus d’informació que ha de contenir:– Categoria sintàcticaCategoria sintàctica
• determinant, proposició, nom propi, substantiu, determinant, proposició, nom propi, substantiu, verb, etc.verb, etc.
• Problema de la granularitat (verb -> Problema de la granularitat (verb -> transitiu/intransitiu)transitiu/intransitiu)
– Propietats sintàctiques de concordançaPropietats sintàctiques de concordança• gènere (masculí/femení)gènere (masculí/femení)• nombre (singular/plural) nombre (singular/plural) • persona (primera, segona...)persona (primera, segona...)• cas (acusatiu,datiu..)cas (acusatiu,datiu..)
![Page 27: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/27.jpg)
• Altres propietats sintàctiques:– Tipus de complement del verbTipus de complement del verb– Preposicions que accepta una paraulaPreposicions que accepta una paraula
• Categoria semàntica• Informació morfològica
– DerivacióDerivació: : prefixos/infixos/sufixosprefixos/infixos/sufixos
plov + -isquej- + ar
re- + estructura + -cio + -ns
Problemàtica: representació (2)
prefix arrel sufix sufix
![Page 28: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/28.jpg)
• Informació lèxica
re- + estructura + -cio + -ns
prefix arrelsufix
sufix
repeticiónom
plural
Problemàtica: representació (3)
![Page 29: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/29.jpg)
• Informació lèxica
plov + -isquej- + ar
arrelinfix
diminutiu
Problemàtica: representació (4)
sufix
infinitiu
![Page 30: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/30.jpg)
30
Niveles de análisis• Sintáctico
– Reconoce, extrae y representa estructuras sintácticamente válidas (o inválidas):
Els gat vell menja bacallà
El gata menja bacallà
El gat menja bacallà
| | | |
Det Noun Verb Noun
SN SV
F 30
![Page 31: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/31.jpg)
31
Niveles de análisis
• Ambigüedad sintáctica– “El vendedor de diarios del barrio” (prepositional-
phrase attachment - PP-attachment)– “Vio un hombre con unos prismáticos”
31
![Page 32: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/32.jpg)
32
Niveles de análisis
• Lógico– Extrae y representa el significado literal de
una oración a través de un lenguaje formal: cálculo de predicados de primer orden (CP1), ontologías, mapas conceptuales...
– En el caso de CP1, expresiones en términos de predicados, variables, funciones, constantes, conectivas lógicas...
“El gat menja bacallà”
existen x, y (Gat(x) & Bacallà(y) & Menja(x,y))32
![Page 33: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/33.jpg)
Niveles de análisis
• Semántico– Interpretació de la forma lògica: Relació de les entitats lògiques
(constants, variables, termes, etc.) amb el món real (o la seva representació): objectes del domini
– El gat és un felí, el bacallà és un peix comestible, l’actor de menjar ha de ser un ésser viu, etc.
– Extreure significat global a partir de significats individuals i relacions
• Ambigüedad semántica– “Dio un pastel a los niños”
• Puede ser 1 a todos o 1 a cada niño
– “Las ideas verdes duermen furiosamente”
![Page 34: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/34.jpg)
Niveles de análisis
• Pragmático– Interpretación en un contexto determinado
(incorpora referencias implícitas)• “Le dio un libro”• “No les gustó”
– Relación con el resto del discurso– “L’avió va detectar el banc”– “El gat vell” (perro viejo)
![Page 35: Inteligencia Artificial Introducción a la comprensión del lenguaje natural](https://reader035.vdocuments.site/reader035/viewer/2022070410/56814664550346895db38658/html5/thumbnails/35.jpg)
Niveles de análisis
• Ilocutivo– Detecció de les intencions de qui profereix Detecció de les intencions de qui profereix
la frasela frase– ““Els plats estan bruts”Els plats estan bruts”
• Es tracta d’una frase declarativa neutra?Es tracta d’una frase declarativa neutra?• És una invitació a l’acció? És una invitació a l’acció?
(“renta’ls!”) (“renta’ls!”)• És un retret? És un retret?
(“sempre els deixes bruts i em toca rentar-los a (“sempre els deixes bruts i em toca rentar-los a mi”)mi”)
– Problemas de asignación de intenciones (nivel ilocutivo) • “Los platos están sucios” (por tanto, ¡lávalos!)