inteligencia artificial introducci n a la comprensi n del lenguaje natural n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Inteligencia Artificial Introducción a la comprensión del lenguaje natural PowerPoint Presentation
Download Presentation
Inteligencia Artificial Introducción a la comprensión del lenguaje natural

Loading in 2 Seconds...

play fullscreen
1 / 35

Inteligencia Artificial Introducción a la comprensión del lenguaje natural - PowerPoint PPT Presentation


  • 140 Views
  • Uploaded on

Inteligencia Artificial Introducción a la comprensión del lenguaje natural . Primavera 2009 profesor: Luigi Ceccaroni. Objetivos generales. Conocer el ámbito del PLN y sus principales aplicaciones

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Inteligencia Artificial Introducción a la comprensión del lenguaje natural' - nay


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
inteligencia artificial introducci n a la comprensi n del lenguaje natural
Inteligencia Artificial Introducción a la comprensión del lenguaje natural

Primavera 2009

profesor: Luigi Ceccaroni

objetivos generales
Objetivos generales
  • Conocer el ámbito del PLN y sus principales aplicaciones
  • Comprender la problemática asociada a la comprensión del LN y los niveles de análisis sintáctico y semántico
  • Conocer las bases de la programación del análisis con gramáticas de cláusulas definidas (DCGs)

2

mbitos del pln
Ámbitos del PLN
  • El PLN consiste en construir sistemas computacionales capaces de comprender i generar lenguaje humano en todas sus formas.
  • Para esto se necesita:
    • Saber cómo las personas generan expresiones correctas y comprensibles
    • Conocer cómo las personas comprenden expresiones de otras personas
    • Ser capaces de formalizar el conocimiento y los procesos necesarios de manera que sean tratables por un sistema computacional

3

interdisciplinariedad
Interdisciplinariedad
  • Disciplinas asociadas al PLN:
    • Inteligencia artificial
      • Representación del conocimiento
      • Razonamiento
      • Aprendizaje
    • Lingüística computacional
    • Teoría de lenguajes formales
      • Compiladores

4

comprensi n y generaci n

Sistema de PLN

Emisor

Comprensión

Generación

Actuación

Consulta

Respuesta

Comprensión y generación
  • Son las dos operaciones básicas de las interfaces en LN.
  • La consulta y la respuesta pueden ser en lenguaje oral: speech recognition and synthesis

5

comprensi n y traducci n

Transformación

(traducción)

Texto LN

origen

Texto LN

destino

Representación

interna texto

LN origen

Representación

interna texto

LN destino

Comprensión

Generación

Comprensión y traducción
  • En lugar de texto puede haber una intervención oral.

6

comprender el ln
Comprender el LN
  • La comprensión exige:
    • Extraer el significado individual de las palabras
    • Comprender las relaciones entre las palabras
    • Referir el significado literal al contexto de actuación del sistema
  • Todo esto se alcanza a través de un análisis de los componentes del lenguaje a diferentes niveles.

7

aplicaciones
Aplicaciones
  • Traducción y resumen automáticos
  • Extracción de información a partir de textos
  • Interfaces y sistemas de diálogo
  • Sistemas de consulta telefónica
  • Clasificación y filtro de documentos, email
  • Question answering
  • Web semántica
  • Búsqueda de información en Internet

8

ejemplo de an lisis
Ejemplo de análisis

“Em parlarà sens dubte de la reestructuració urbana a Barcelona”

  • Ejemplos de cosas que hay que detectar:
    • Palabras individuales: em, parlarà, sens...
    • El papel (categoría) de las palabras en la frase: nombre, nombre propio, nombre compuesto, verbo, artículo...
    • La relación entre categorías (papel sintáctico) para establecer el significado global: sujeto, objeto directo...

9

niveles de an lisis
Niveles de análisis
  • Fonológico
  • Textual
  • Morfológico
  • Léxico
  • Sintáctico
  • Lógico
  • Semántico
  • Pragmático
  • Ilocutivo

10

niveles de an lisis1
Niveles de análisis
  • Fonológico
    • Se aplica en el procesamiento del lenguaje oral.
    • Es el tratamiento de los sonidos para detectar unidades de expresión (palabras).

11

niveles de an lisis2
Niveles de análisis
  • Textual
    • Filtrado de información no relevante: los textos a tratar vienen a menudo acompañados de otros materiales que deben ser eliminados o extraídos (por ejemplo, si la fuente de información es una página web, diferentes tipos de marcas que definen las características de visualización de la página).

12

niveles de an lisis3
Niveles de análisis
  • Textual
    • Segmentación y localización de unidades tratables:
      • El texto debe ser segmentado en fragmentos que puedan tratarse de forma hasta cierto punto independiente (párrafos, oraciones, intervenciones de diversos interlocutores...).
      • Las unidades básicas de tratamiento son las palabras; localizar las palabras ortográficas es sencillo si el espacio o los signos de puntuación actúan como separadores.

13

niveles de an lisis4
Niveles de análisis
  • Textual
    • Localización de unidades tratables
      • Métodos basados en localización de marcas de puntuación: “.”, “?”, “!”, ”…”
      • Problemas: ?
        • siglas
        • iniciales

14

niveles de an lisis5
Niveles de análisis
  • Morfológico
    • La morfología estudia la estructura de las palabras y su relación con las categorías del lenguaje.
    • El objetivo del análisis morfológico automático es llevar a cabo una clasificación morfológica de las palabras.
    • Por ejemplo, el análisis de la palabra gatos resulta en

gato+Noun+Masc+Pl,

que nos indica que se trata de un sustantivo plural con género masculino y que su forma normalizada (lema) es gato.

15

niveles de an lisis6

Lexema

cant

Gramema

o

es

a

em

en

Niveles de análisis
  • Morfológico
    • Versión simple: utilización de formarios (listas de formas con información morfológica y los lexemas correspondientes)
      • Morfemas = lexemas (o raíz) o gramemas

16

niveles de an lisis7
Niveles de análisis
  • Morfológico
    • Analizadores morfológicos:
      • Diccionarios de morfemas:
        • de raíces (lexemas), de sufijos, de prefijos, de infijos
      • Morfotáctica: reglas de combinación de morfemas
      • Variaciones fonológicas: cambios al combinar morfemas (ej., ploure, plovisquejar)

17

niveles de an lisis8
Niveles de análisis
  • Léxico
    • Distingue entre palabras ortográficas y palabras gramaticales.
    • Obtiene información léxica de diccionarios, ontologías...

18

niveles de an lisis9
Niveles de análisis
  • Léxico
    • Detecta unidades de significado
      • Reconoce y fragmenta adecuadamente las palabras: “/Parlarà/ /sensdubte/ /de/ /les/ /reestructuracions/ /urbanes/ /a/ /SantCugat/”
    • Recoge información útil y facilita las fases de análisis posterior
      • Asocia categorías gramaticales a las unidades léxicas
      • Asocia información semántica a las unidades léxicas (uso de ontologías y diccionarios)
      • Detecta y clasifica entidades con nombre propio (namedentityrecognition, NER)

19

niveles de an lisis10
Niveles de análisis
  • Léxico
    • Correspondencia palabras ortográficas/gramaticales
      • Detecta, por ejemplo, los casos siguientes:
        • “dóna-m’ho”, “dímelo” (1 p. ortográfica, 3 p. gramaticales)
        • “sensdubte”, “sin embargo” (2 p. ortográficas, 1 p. gramatical)
    • Homonimia
      • Misma forma, diferentes categorías gramaticales
        • “roda” (verbo, 3a persona), “roda” (nombre) -> conexión con sintaxis
    • Polisemia
      • Misma forma y categoría, diferentes sentidos
        • p.e.: “banco”

20

niveles de an lisis11
Niveles de análisis
  • Léxico
    • Sigles
      • “Un cop s’hagenerat un PCB es pot enviar a una cua FIFO”
      • “The cell’s DNA sample was identified by PRC, a process approved by the official UBI”
    • Abreviatures
      • “El Dr. Pirvovaparlar del Tract. del Lleng. Natural…”
    • Fórmules i mesures
      • “Afegir dos mg de DM-oxano i guardar dins d’un vial de PVC”
      • “Si tenim en comptequex=y*2 + k, on kés una constant...”
    • Volumd’informació

21

niveles de an lisis12
Niveles de análisis
  • Ambigüedad léxica
    • “Pinchó la rueda de delante”
      • “rueda” puede ser nombre o verbo (part-of-speech tagging - POS-tagging)
    • “Vio el banco”
      • “banco” puede ser el mueble para sentarse, la entidad financiera o un grupo de peces (word sense disambiguation - WSD)

22

ejemplo
Ejemplo

“Quina es la capital de França?”

  • Resultado del análisis morfológico:

quina quin DT0FS00 quina NCFS000

és ésser VMIP3S0

la el TDFS0 ell PP3FSO00 la I

capital capital AQPCS00 capital NCFS000 capital NCMS000 de de SPS00

França frança NP00000-loc

? ? Fit

ejemplo1
Ejemplo

“Quina es la capital de França?”

  • Resultado del POS-tagging:

quina quin DT0FS00

és ésser VMIP3S0

la el TDFS0

capital capital NCFS000

de de SPS00

França frança NP00000-loc

? ? Fit

niveles de an lisis13

Lexema

cant-

Informació

cantar

V / Infinitiu

-o/-es/-a/-em/-eu/-en

Niveles de análisis
  • Utilización de lexicones
    • “Diccionarios léxicos”
    • Reúnen información útil para reconocer y categorizar las palabras y su ubicación en el texto.

25

problem tica representaci n
Problemática: representación
  • Decidir el tipo de información que contiene:
    • Categoría sintáctica
      • determinante, proposición, nombre propio, sustantivo, verbo, etc.
      • Problema de la granularidad (verbo -> transitivo/intransitivo)
    • Propiedades sintácticas de concordancia
      • género (masculino/femenino)
      • número (singular/plural)
      • persona (primera, segunda...)
      • caso (acusativo, dativo...)
problem tica representaci n1
Problemática: representación
  • Otras propiedades sintácticas:
    • Tipo de complemento del verbo
    • Preposiciones que acepta una palabra
  • Categoría semántica
  • Información morfológica
    • Derivación: prefijos/infijos/sufijos

plov + -isquej- + ar

re- + estructura + -cio + -ns

raíz

prefijo

sufijo

sufijo

problem tica representaci n2

re- + estructura + -cio + -ns

Problemática: representación
  • Información léxica

repetición

nombre

plural

raíz

sufijo

prefijo

sufijo

problem tica representaci n3

plov + -isquej- + ar

Problemática: representación
  • Información léxica

diminutivo

infinitivo

raíz

sufijo

infijo

niveles de an lisis14
Niveles de análisis
  • Sintáctico
    • Reconoce, extrae y representa estructuras sintácticamente válidas (o inválidas):

Els gat vell menja bacallà

El gata menja bacallà

El gat menja bacallà

| | | |

Det Noun Verb Noun

SN SV

F

30

niveles de an lisis15
Niveles de análisis
  • Ambigüedad sintáctica
    • “El vendedor de diarios del barrio” (prepositional-phrase attachment - PP-attachment)
    • “Vio un hombre con unos prismáticos”

31

niveles de an lisis16
Niveles de análisis
  • Lógico
    • Extrae y representa el significado literal de una oración a través de un lenguaje formal: cálculo de predicados de primer orden (CP1), ontologías, mapas conceptuales...
    • En el caso de CP1, expresiones en términos de predicados, variables, funciones, constantes, conectivas lógicas...

“El gat menja bacallà”

existen x, y (Gat(x) & Bacallà(y) & Menja(x,y))

32

niveles de an lisis17
Niveles de análisis
  • Semántico
    • Interpretación de la forma lógica: Relación de les entidades lógicas (constantes, variables, términos) con el mundo real (o su representación)
    • El gato es un felino, el bacalao es un pez comestible, el actor de comer tiene que ser un ser vivo...
    • Extraer sentido global a partir de sentidos individuales y relaciones
  • Ambigüedad semántica
    • “Dio un pastel a los niños”
      • Puede ser 1 a todos o 1 a cada niño
    • “Las ideas verdes duermen furiosamente”
niveles de an lisis18
Niveles de análisis
  • Pragmático
    • Interpretación en un contexto determinado (incorpora referencias implícitas)
      • “Le dio un libro”
      • “No les gustó”
    • Relación con el resto del discurso
      • “L’avió va detectar el banc”
      • “El gat vell” (perro viejo)
niveles de an lisis19
Niveles de análisis
  • Ilocutivo
    • Problema de asignación de intenciones
      • “Los platos están sucios”
        • ¿Es una frase declarativa neutra?
        • ¿Es una invitación a la acción? (¡Lávalos!)
        • ¿Es un reproche? (Siempre los dejas sucios y me toca lavarlos a mí)