floresta sint c tica um recurso para avalia o
Download
Skip this Video
Download Presentation
Floresta sintá(c)tica: um recurso para avaliação

Loading in 2 Seconds...

play fullscreen
1 / 7

Floresta sintá(c)tica: um recurso para avaliação - PowerPoint PPT Presentation


  • 69 Views
  • Uploaded on

Floresta sintá(c)tica: um recurso para avaliação. Diana Santos Susana Afonso http://cgi.portugues.mct.pt/treebank/PaginaFloresta.html. Motivação. É necessário texto real para avaliar sistemas que queiram lidar com texto real

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Floresta sintá(c)tica: um recurso para avaliação' - jorn


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
floresta sint c tica um recurso para avalia o

Floresta sintá(c)tica: um recurso para avaliação

Diana Santos

Susana Afonso

http://cgi.portugues.mct.pt/treebank/PaginaFloresta.html

motiva o
Motivação
  • É necessário texto real para avaliar sistemas que queiram lidar com texto real
  • É necessário saber o que está bem do ponto de vista humano para poder avaliar o desempenho de sistemas automáticos
  • É necessário verificar qual o espaço de convergência e de divergência para uma dada aplicação
motiva o interna
Motivação interna
  • É preciso aprender a fazer projectos cooperativos que envolvam mais de dois lugares e pessoas com vários perfis
  • É preciso aproveitar
    • a colaboração já existente
    • os recursos já disponíveis
  • É preciso avaliar a qualidade dos corpora anotados no projecto AC/DC (e/ou a saída do analisador sintáctico utilizado)
resultado recurso
Resultado: recurso
  • 1400+ árvores (35000+ palavras) revistas
  • 40000+ árvores (1 milhão de palavras)
    • Publicamente disponíveis (acesso e entrega)
    • Com informação morfológica, estrutura de constituintes e função sintáctica
    • Documentação sobre a codificação e sobre várias opções linguísticas
    • Lista de discussão, promessa de criação de novos formatos se necessário
resultado experi ncia
Resultado: experiência
  • Fixação de uma forma de revisão e de disseminação dos resultados
    • vários passos (e formatos), verificação da consistência, discussão comum, marcação das versões
  • Estimativa de trabalho futuro
    • 15/20 frases em 4 horas
  • Estimativa de tempo de aprendizagem
    • dois-três meses
resultado problemas
Resultado: problemas
  • Como avaliar?
  • Como comparar automaticamente?
  • Como proceder a testes inter-anotadores e obter um resultado razoável?
  • Sugestão: avaliar a Floresta como está
    • usá-la na avaliação conjunta de tantas quantas áreas for possível
resultados experi ncia de avalia o
Resultados: experiência de avaliação
  • Muito importante definir o que avaliar
    • mais proveitoso definir sub-tarefas mais simples
  • Importante procurar uma métrica intuitiva
    • 3 anotadores - se 1 difere, duas diferenças (0,2,3)
    • qual a unidade (frase, palavra, constituinte)
  • Qual o ponto de vista das contagens?
    • 2:1, 1:2 como contar o número de frases “certas”
ad