1 / 13

LEXICONES Y CORPUS

LEXICONES Y CORPUS. Carlos Mario Zapata J. EJEMPLOS DE LEXICONES. Diccionario: Merriam-Webster. Lexicones: EuroWordNet Proyecto Aries Universidad de Maryland CIC-IPN. LEXICON VS. CORPUS. La calidad de los sistemas de PLN se mide con la calidad del lexicón asociado.

quon-hubbard
Download Presentation

LEXICONES Y CORPUS

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. LEXICONES Y CORPUS Carlos Mario Zapata J. Lingüística Computacional

  2. EJEMPLOS DE LEXICONES • Diccionario: • Merriam-Webster. • Lexicones: • EuroWordNet • Proyecto Aries • Universidad de Maryland • CIC-IPN Lingüística Computacional

  3. LEXICON VS. CORPUS • La calidad de los sistemas de PLN se mide con la calidad del lexicón asociado. • Algunas palabras suelen escapar al alcance de los diccionarios convencionales y los legibles por máquina. • Solución: Generación de lexicones, a partir de textos en lenguaje natural. • Se realiza un proceso de adquisición léxica que se realiza con corpus anotados. Lingüística Computacional

  4. ADQUISICIÓN DE CONOCIMIENTO LÉXICO • Se deben poblar los lexicones. • Se requieren miles de entradas, con muchas características cada entrada. • Las fuentes son relativamente limitadas: existen pocos lexicones y no son muy completos; además, suelen ser costosos. • La información ingresada al lexicón debería ser consistente y completa. Lingüística Computacional

  5. FORMAS DE ADQUISICIÓN DE CONOCIMIENTO LÉXICO • Manual: • Es la más costosa. • Muy usada para poblar lexicones. • Costos iniciales bajos. • La mayoría de aplicaciones en Lingüística Computacional son relativamente pequeñas y sólo requieren precisión en las palabras. Lingüística Computacional

  6. FORMAS DE ADQUISICIÓN DE CONOCIMIENTO LÉXICO • Diccionarios Legibles por Máquina: • La información requerida por los lexicones se encuentra en los diccionarios convencionales. • No es posible simplemente “citar” un diccionario. • Los diccionarios convencionales se producen con el usuario humano en mente (¿Sistemas de bases de datos?). • Los diccionarios convencionales pueden tener problemas de plenitud, consistencia y coherencia. • Se requiere una estructura para leer e incorporar la información en el lexicón (¿Se requeriría un sistema de PLN para leer el lexicón?). Lingüística Computacional

  7. LINGÜÍSTICA DE CORPUS • Corpus: Cuerpo de evidencia lingüística compuesta típicamente por usos probados del lenguaje. • Ej: Conversaciones diarias, publicidad radial, escritos publicados, etc. • Generalmente en formato legible por máquina. • Colecciones bien organizadas de datos, recogidas mediante un marco de ejemplos diseñado para permitir la exploración de cierta característica lingüística mediante los datos recogidos Lingüística Computacional

  8. TIPOS DE CORPUS • Monolingüe: De un solo lenguaje. • Comparable: Varios corpus monolingües recogidos en distintos lenguajes pero bajo ejemplificación similar. • Paralelo: Un corpus monolingüe y sus traducciones a otros lenguajes. • Hablados: Colecciones de grabaciones, pero que tienen mayor valor computacional cuando se acompañan de transcripciones. Lingüística Computacional

  9. ANOTACIÓN DE CORPUS • Mejoramiento de la información de un corpus con información de tipo lingüístico. • Proceso manual (con analistas humanos), semiautomático o automático (haciendo uso de ciertas herramientas como lematizadores y etiquetadores de habla (part-of-speech taggers). • La calidad de la anotación automática es inferior a la anotación manual. Lingüística Computacional

  10. VENTAJAS DE LA ANOTACIÓN DE CORPUS • Facilidad de explotación: Los corpus anotados tienen más utilidad que los corpus no anotados. • Reusabilidad. • Multifuncionalidad: surge de la reusabilidad, la cual genera nuevas formas de uso y funciones para los corpus anotados. • Análisis explícito: se pueden analizar características lingüísticas específicas, e incluso recolectar el corpus con ellas en mente. Lingüística Computacional

  11. CRÍTICAS A LA ANOTACIÓN DE CORPUS • La anotación produce corpus impuros, puesto que la interpretación del analista se plasma en el corpus cuando lo anota. • Existen diferencias apreciables en precisión y consistencia entre anotaciones automáticas y manuales. Las primeras son menos precisas pero más consistentes. Lingüística Computacional

  12. USOS DE LOS CORPUS ANOTADOS • Etiquetado de habla. • Desambiguación. • Extracción de Términos. • Construcción de Bases de Conocimientos. • Evaluación de Sistemas de Procesamiento del lenguaje. • Anotación automática a partir de anotación manual. Lingüística Computacional

  13. EJEMPLOS DE CORPUS • Google. • MICASE. Lingüística Computacional

More Related