Floresta sint c tica um recurso para avalia o
Download
1 / 7

Floresta sintá(c)tica: um recurso para avaliação - PowerPoint PPT Presentation


  • 69 Views
  • Uploaded on

Floresta sintá(c)tica: um recurso para avaliação. Diana Santos Susana Afonso http://cgi.portugues.mct.pt/treebank/PaginaFloresta.html. Motivação. É necessário texto real para avaliar sistemas que queiram lidar com texto real

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Floresta sintá(c)tica: um recurso para avaliação' - jorn


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
Floresta sint c tica um recurso para avalia o

Floresta sintá(c)tica: um recurso para avaliação

Diana Santos

Susana Afonso

http://cgi.portugues.mct.pt/treebank/PaginaFloresta.html


Motiva o
Motivação

  • É necessário texto real para avaliar sistemas que queiram lidar com texto real

  • É necessário saber o que está bem do ponto de vista humano para poder avaliar o desempenho de sistemas automáticos

  • É necessário verificar qual o espaço de convergência e de divergência para uma dada aplicação


Motiva o interna
Motivação interna

  • É preciso aprender a fazer projectos cooperativos que envolvam mais de dois lugares e pessoas com vários perfis

  • É preciso aproveitar

    • a colaboração já existente

    • os recursos já disponíveis

  • É preciso avaliar a qualidade dos corpora anotados no projecto AC/DC (e/ou a saída do analisador sintáctico utilizado)


Resultado recurso
Resultado: recurso

  • 1400+ árvores (35000+ palavras) revistas

  • 40000+ árvores (1 milhão de palavras)

    • Publicamente disponíveis (acesso e entrega)

    • Com informação morfológica, estrutura de constituintes e função sintáctica

    • Documentação sobre a codificação e sobre várias opções linguísticas

    • Lista de discussão, promessa de criação de novos formatos se necessário


Resultado experi ncia
Resultado: experiência

  • Fixação de uma forma de revisão e de disseminação dos resultados

    • vários passos (e formatos), verificação da consistência, discussão comum, marcação das versões

  • Estimativa de trabalho futuro

    • 15/20 frases em 4 horas

  • Estimativa de tempo de aprendizagem

    • dois-três meses


Resultado problemas
Resultado: problemas

  • Como avaliar?

  • Como comparar automaticamente?

  • Como proceder a testes inter-anotadores e obter um resultado razoável?

  • Sugestão: avaliar a Floresta como está

    • usá-la na avaliação conjunta de tantas quantas áreas for possível


Resultados experi ncia de avalia o
Resultados: experiência de avaliação

  • Muito importante definir o que avaliar

    • mais proveitoso definir sub-tarefas mais simples

  • Importante procurar uma métrica intuitiva

    • 3 anotadores - se 1 difere, duas diferenças (0,2,3)

    • qual a unidade (frase, palavra, constituinte)

  • Qual o ponto de vista das contagens?

    • 2:1, 1:2 como contar o número de frases “certas”


ad