Realidade aumentada sem marcadores

1. Realidade aumentada sem marcadores “Markless Tracking”

2. Equipe • André Fernando A. R. Pimentel (afarp) • Arthur Lima Cirino (alc6) • Cleivson Siqueira de Arruda(csa3) • Diogo Torres de M. Medeiros (dtmm) • Rubem Salzano Neto(rsn3)

3. Roteiro • Introdução; • Definições de Realidade Aumentada; • Exemplos de Realidade Aumentada; • Realidade Aumentada sem Marcadores. • Definição • Exemplos • Técnicas • Conclusão

4. Introdução

5. O que é RA? “Realidade Aumentada é definida usualmente como a sobreposição de objetos virtuais tridimensionais, gerados por computador, com um ambiente real, por meio de algum dispositivo tecnológico.”

6. O que é RA? • Conceituação muito geral; • A definição só fica clara com sua inserção em um contexto mais amplo: o da Realidade Misturada.

7. O que é RA? • Realidade Misturada é a sobreposição de objetos virtuais gerados por computador com o ambiente físico, mostrada ao usuário, em tempo real,com o apoio de algum dispositivo tecnológico

8. Contexto histórico da RA • 1966 • Ivan Sutherland inventa capacetes para exibição de imagens, sugerindo uma janela para um mundo virtual.

9. Contexto histórico da RA • 1989 • Jaron Lanier inventa o termo “Realidade Virtual” e cria o primeiro comercial em torno de mundos virtuais.

10. Contexto histórico da RA • 1990 • Tom Caudell cunha o termo “Realidade Ampliada”, enquanto estava na Boeing, a fim de ajudar trabalhadores a montar a conexão de cabos em aeronaves.

11. Tendências Futuras • “O mercado total de RA é estimado em atingir US$ 350 milhões em 2014, sendo 48% em publicidade e o restante em aplicações móveis, jogos e aplicações customizadas, mostrando a grande diversidade da área” (ABI Research) • “Nos próximos anos, a RA deixará de ser uma tecnologia de nicho para aplicações militar, médica e da indústria pesada para ser uma difusão no mercado” (Jackie Fenn, vice-presiddente do Gartner)

12. Tendências Futuras • Dois bons motivos para a RA explodir nos próximos anos...

13. Tipos de Sistemas de RA • Sistema de visão ótica direta; • Sistema de visão direta por vídeo; • Sistema de visão por vídeo baseado em monitor; • Sistema de visão ótica por projeção.

14. Sistema de visão ótica direta • “O sistema de visão ótica direta utiliza óculos ou capacetes com lentes que capturam a imagem real, possibilitando a projeção de imagens virtuais ajustadas com a cena real.” • Usa-se uma lente inclinada que permite a visão direta e que reflita a projeção de imagens geradas por computador diretamente nos olhos do usuário.”

15. Sistema de visão ótica direta

16. Sistema de visão direta por vídeo • “Utiliza capacetes com microcâmeras de vídeo acopladas. A cena real, capturada pela microcâmera, é misturada com os elementos virtuais gerados por computador e apresentadas aos olhos do usuário, através de pequenos monitores montados no capacete.”

17. Sistema de visão direta por vídeo

18. Sistema de visão por vídeo baseado em monitor • “O sistema de visão por vídeo baseado em monitor utiliza uma webcam para capturar a cena real. Depois de capturada, a cena real é misturada com os objetos virtuais gerados por computador e apresentada no monitor.” • “O ponto de vista do usuário normalmente é fixo e depende do posicionamento da webcam.”

19. Sistema de visão por vídeo baseado em monitor

20. Sistema de visão ótica por projeção • “O sistema de visão ótica por projeção utiliza superfícies do ambiente real, onde são projetadas imagens dos objetos virtuais, cujo conjunto é apresentado ao usuário que o visualiza sem a necessidade de nenhum equipamento auxiliar. Embora interessante, esse sistema é muito restrito às condições do espaço real, em função da necessidade de superfícies de projeção. “

21. Sistema de visão ótica por projeção www.youtube.com/watch?v=rP5y7yp06n0

22. Conclusões sobre a introdução • “Os sistemas de visão ótica são apropriados para situações onde a perda da imagem pode ser perigosa, como é o caso de uma pessoa andando pela rua, dirigindo um carro ou pilotando um avião.” • “Em locais fechados, onde o usuário tem controle da situação, o uso da visão por vídeo é adequado e não oferece perigo, pois em caso de perda da imagem, pode-se retirar o capacete com segurança, se for o caso.”

23. Definições de Realidade Aumentada

24. Marcadores “Os processos mais comuns de interação com elementos de RA dependem de um marcador (“marker”) que, na verdade é um pequeno desenho em preto-e-branco impresso numa folha de papel. É como se fosse um ícone grande chapado num cartão, cuja função é prover um referencial em cima do qual é “apoiado” um modelo matemático tridimensional. Em alguns casos, objetos comuns da própria cena sendo filmada podem servir de marcados, por exemplo, uma caneta ou mesmo um rosto.”

25. Marcadores

26. Marcadores “A imagem do marcador é capturada e o software reconhece não só a imagem no cartão, que é colocado dentro do enquadramento da câmera, mas reconhece também a posição do ícone em relação à câmera, informação que dará a perspectiva correta à imagem 3D que será mostrada. Em geral, a imagem impressa do ícone determina um plano imaginário, sobre o qual a ação de RA irá transcorrer, e o objeto tridimensional aparecerá fundido na imagem estampada na tela, mesclando a cena real com a imagem computadorizada, como se fosse um holograma.“

27. Marcadores

28. Exemplos sobre Marcadores http://www.youtube.com/watch?v=6Eohr1mmRTo&feature=player_embedded

29. Aplicações Atuais • Comércio; • Militar; • Engenharia; • Robótica; • Jogos; • Medicina; • Educação.

30. Aplicações Atuais - Comércio • Surface

31. Aplicações Atuais - Militar

32. Aplicações Atuais Engenharia

33. Aplicações Atuais - Robótica

34. Aplicações Atuais - Jogos

35. Aplicações Atuais - Medicina

36. Realidade Aumentada sem Marcadores

37. RA sem marcadores - Definição • “markless tracking” • “O rastreamento sem marcadores permite aos computadores reconhecer informações de contrastes e padrões sem quaisquer códigos, gravações ou marcas especiais no material impresso.”

38. RA sem marcadores - Exemplos • http://www.youtube.com/watch?v=b4_V4qZNF3I • http://www.youtube.com/watch?v=qXcIZ1R68SQ&feature=player_embedded

39. RA sem marcadores - Definição • Em realidade aumentada sem marcadores, objetos 3D virtuais são integrados em um verdadeiro ambiente 3D em tempo real. Isso é realizado usando as imagens do mundo real como marcador ao invés de marcadores aplicados em sistemas tradicionais.

40. Sobre uso de marcadores • RA sem marcadores • Maior imersão • Não tem a restrição de mudar o ambiente • Complexidade • RA com marcadores • Simplicidade • Robustez • Necessidade de modificar o ambiente Exemplo onde RA com marcadores não seria possível (I am Iron Man 2): http://www.youtube.com/watch?v=IkXLS9Zgh0E Exemplo onde RA sem marcadoores não seria possível (QR Code): http://www.youtube.com/watch?v=I6MiJKgtbug&NR=1

41. RA sem marcadores - TechPetro • Projeto desenvolvido pelo GRVM • Uso de duas tecnologias • RA sem marcadores • Reconstrução de imagens 3D a partir de 2D

42. RA sem marcadores - Técnicas

43. RA sem marcadores – MB • Modelos 3D são combinados com imagens 2D do mundo real, apresentando como saída: • Objetos presentes na imagem • Posição • Orientação • Processo off-line, onde há uma fase de preparação para a fase on-line do tracker • Interação entre os mundos real e virtual

44. RA sem marcadores – MB

45. RA sem marcadores – Edge Based • Informação da borda da imagem • Quando a primeira pose é estimada, ela é usado como base para o próximo modelo • Vantagens • Baixa complexidade • Bom desempenho • Fácil de implementar • Desvangagens • Não suportam rápido movimento da câmera • Correspondência de erros

46. RA sem marcadores – Edge Based • Identifica pontos de controle ao longo da borda do modelo 3D • Após a seleção, os pontos são projetados sobre a imagem • Vantagem • Eficiente (simples) • Muito gerais • Desvantagens • Falta de robustez

47. RA sem marcadores – Edge Based • Detecção de bordas explícitas sobre a imagem, que são extraídas da imagem (detecção de linha) • Vantagens • Mais robustos • Desvantagens • Falta de um modo geral • Baixa eficiência

48. RA sem marcadores – MB

49. MAR – Optical Flow Based • Monitoramento temporal da imagem, extraída a partir do movimento relativo da projeção do objeto na imagem • Calcula-se o fluxo óptico de t a t+1 • O algoritmo (Kanade-Lucas) determina quais os pontos ainda estão presentes em t+1

50. MAR – Optical Flow Based • Vantagens • Mudanças mais suaves entre as consecutivas poses • Carga de processamento moderada • Robusto contra a mudança de iluminação e grandes deslocamentos da câmera • Desvantagens • Acúmulo de erros (desvio da calibração da câmera)