Aplica es e investiga o de base desafios multidisciplinares
Download
1 / 31

Aplicações e investigação de base – Desafios multidisciplinares - PowerPoint PPT Presentation


  • 69 Views
  • Uploaded on

Aplicações e investigação de base – Desafios multidisciplinares. António Teixeira Dep. Electrónica Telec. Informática , Universidade de Aveiro IEETA & SIG - IL. Human os. Inspir a. S í ntese de Voz. Me di ç ões. T eorias. Da dos. us am. Pat ologias. S i stem as.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Aplicações e investigação de base – Desafios multidisciplinares' - kemp


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
Aplica es e investiga o de base desafios multidisciplinares

Aplicações e investigação de base – Desafios multidisciplinares

António Teixeira

Dep. Electrónica Telec. Informática, Universidade de Aveiro

IEETA

& SIG - IL


Nossa vis o

Humanos

Inspira

Síntese de

Voz

Medições

Teorias

Dados

usam...

Patologias

Sistemas

(robôs, computadores

Nossa visão

  • Centrada nos Humanos

    (antropomórfica)

  • Dos Humanos

    • Dados, teorias

    • Modelos

  • Para os Humanos

    • sistemas

  • Interdisciplinar

  • Para Português essencialmente

ajudam


I aplica es

I - Aplicações

Interfaces Humano-Computador

Aplicações na área da Saúde


Desafio
Desafio

  • É crítico para a área ter exemplos de aplicações actuais e futuras que atraiam investimentos, empresas, alunos e o público em geral

  • Exemplos de áreas de aplicação em que considero ser relevante apostar:

    • Saúde

    • Interfaces Humano-Máquina / Acesso Universal

      • Incluindo Robótica


  • Ubiquitous computing - access to all information for anyone,anywhere, at any time - relies on speech for those whose eyes orhands are directed to other tasks (such as driving ...) or for thosewho cannot read or type (such as children, the blind, or thedisabled).”

    • Nass & Brave, in Wired for Speech


Porqu fala voz
Porquê Fala/Voz ?

  • A nossa forma natural de comunicar

    • Interesse crescente em estender o seu uso a interacção com máquinas

    • O HAL era fluente … em Inglês !!!

  • Mãos e visão livre

    • Permite interacção a alguma distância

    • Pode ser usada mesmo sem contacto visual

  • Não é necessário aprender a “linguagem” de interacção

  • Permite acesso remoto através do telefone


Rob s de servi o rob s pessoais
Robôs de Serviço – Robôs Pessoais

  • A próxima geração precisa de ser:

    • Animada

      • Respondendo a alterações no ambiente

    • Acessível

      • Ex: Ser capaz de explicar as suas intenções

      • Em muitos casos implicará o uso de interfaces usando fala

    • Adaptável

      • A diferentes utilizadores e ambientes

      • Implica aquisição de conhecimento sobre ambiente, utilizadores e tarefas


O rob carl
O robô Carl

  • Objectivo:

    • Desenvolver um robô capaz de aprender através da interacção com interlocutores humanos

  • 1.1 m de altura

  • ~10 anos

  • Pioneer 2-DX

    • Da Activemedia

  • Computador portátil

  • Array de microfones

  • 2 câmaras, sonares ...

  • Infelizmente fala Inglês !


Outras aplica es
Outras aplicações

  • A Fala deve desempenhar um papel principalnas “Tecnologias Assistivas” (Assistive Technologies)

    • Ver DSAI 2009 “position paper”

    • Exemplos:

      • Domótica para tetraplégicos

      • Comunicação Alternativa para Paralisia Cerebral

  • A integraçãode tecnologias de fala nas interfaces em geral deve ser promovida

    • Interfaces Multimodais


Ci ncias da fala e da audi o

Ciências da Fala e da Audição

Aplicações em Audiologia

Terapia da Fala


Desafio s
Desafio(s)

  • Análise instrumental e quantitativa da voz

  • Criação de novos instrumentos de intervenção e avaliação

  • Novas tecnologias para sistemas aumentativos

    • Como Geração de Linguagem Natural para interface com sistemas de síntese

  • Inclusão na formação profissionais desta área de conhecimentos sobre Processamento de Fala


Exemplo ssw para portugu s
Exemplo: SSW para Português

  • Staggered Spondaic Word Test (SSW)

  • Teste dicótico

  • Desenvolvido por Jorge Humberto Martins, MCFA, 2007


Ii estudos sobre o portugu s

II - Estudos sobre o Português

Fonética Experimental

Uso intensivo de tecnologias

Muito ainda para investigar …


Desafio1
Desafio

  • Ter informação detalhada sobre a produção do Português

    • Usar medição o mais directa possível

    • Contemplar os aspectos temporais e de sincronização

      • Muito pouco contemplados!

    • Áreas prioritárias:

      • Nasalidade

      • Laterais

      • Vibrantes

      • Produções “patológicas”

        • fenda palatina, problemas auditivos, doenças neurológicas …


Exemplo resson ncia magn tica
Exemplo:Ressonância Magnética

[i]

[e]

[E]


Exemplo 2 coarticula o nas laterais
Exemplo 2:Coarticulação nas Laterais

Lateral [l]

Lateral [L]


Outro desafio
Outro Desafio

  • Reduzir ou eliminar a necessidade de gravação de voz de um humano para a criação de sistemas de conversão texto-fala (TTS)


Texto gestos voz
Texto -> Gestos -> Voz

mínimo

Proc. Linguístico

(acento, sílaba ...

(m-i1_) (n-i0_)(m-u_)

Base dados

Gestos

Modelo Gestual

Info

sincronização

Pauta gestual

“Task dynamics”

Movimento articuladores

Sintetizador

(articulatório)


Exemplo de s ntese com sapwindows
Exemplo de Síntese (com SAPWindows)


Para al m da lingu stica

Para além da Linguística

Emoção

Identidade


Desafio2
Desafio

  • Voz transmite informação linguística mas também emoção, identidade, dialecto …

  • Necessidade da inclusão de reconhecimento e expressão de emoções pela voz em sistemas de interacção Humano-computador


Primeiro problema falta de dados
Primeiro problema: falta de dados

  • Não existência de um corpus de voz emocional disponível para o Português

  • Dificuldade de obter amostras de voz emocional espontânea


Resultados recentes para pe
Resultados recentes para PE

Raiva

Desesp

Tristeza

  • Raiva diferindo da Neutra no 4 parâmetros analisados

  • Desespero também diferindo nos 4 parâmetros, mas menores diferenças

  • Tristeza essencialmente diferente nas irregularidades

  • Medo similar a desespero e com HNR próximo da Neutra

  • Alegria, uma emoção positiva, apenas diferindo da neutra pelos valores de f0

Neutra

Medo

Alegria

F0 média

Jitter

HNR

Shimmer


Iii a fam lia da nossa l ngua

III - A família da nossa língua

ISCA Special Interest Group on the Iberian Languages

SIG-IL


Objectivos sig il
Objectivos SIG-IL

  • Fórum de discussão de investigação e aplicações na área das tecnologias da fala;

  • Promoção a adequada referência pela comunidade internacional a trabalhos publicados pelos seus membros;

  • Organizar/apoiar conferências, escolas e workshops;

  • Divulgar publicações relacionadas com as línguas Ibéricas

  • Promover a colaboração entre a indústria e academia

  • Promover o uso de tecnologias da fala na edução


Sig il isca special interest group on the iberian languages
SIG-IL ISCA Special Interest Group on the Iberian Languages

  • Primeira Direcção (Board)

    • Nestor Yoma, Rubén San-Segundo, Andréia Rauber, Plínio Barbosa,

  • Direcção actual

    • A. Teixeira (PT), Juan Nolasco Flores (MX), Aldebaro Klautau (BR), Rubén San-Segundo (SP)

  • Possibilidade de ter massa critica ?


Membros do sig il

Brasil

Portugal

Espanha

Cuba

Chile

Argentina

Alemanha

EUA

Japão

Países Baixos

Reino Unido

Membros do SIG-IL


Ideias e pr ximo evento
Ideias e próximo evento

  • Ter repositório de teses, artigos

  • Ter revista com impacto

    • Parabéns para a recém lançada linguaMatica

  • Ter projectos conjuntos

  • Um pouco de publicidade 


Principais desafios

Principais desafios

Prefiro usar desafios aos habituais “Problemas”


Desafios
Desafios

  • Arranjar formas de superar a não continuidade de financiamento

  • Conseguir o reconhecimento efectivo por parte das diversas entidades da grande relevância do Português

  • Ir diminuindo a incompreensão para as grandes especificidades da investigação nesta área

    • Exemplos:

      • Dificuldades de comparar resultados por inexistência de conjuntos de teste;

      • Publicações ISI



ad