SISTEMA SEMI-AUTOMÁTICO DE REGISTRO E MOSAICO DE IMAGENS

1. SISTEMA SEMI-AUTOMÁTICO DE REGISTRO E MOSAICO DE IMAGENS Dmitry Fedorov Dr. Leila M. G. Fonseca INSTITUTO NACIONAL DE PESQUISAS ESPACIAIS, São José dos Campos, 2003.

2. Sistema de registro

3. Sistema de registro • Código do sistema foi escrito em C++ utilizando bibliotecas livres (Qt, libtiff, libjpeg) • Foi enfatizada a utilização em plataformas diferentes • Três métodos de registro automático foram implementados: • método baseado em optical flow e geometria • método baseado na transformação wavelet • método baseado em contornos

4. Método padrão O método baseado em optical flow e geometria É o mais lento, porém é o mais robusto e aceita uma grande variedade de dados de entrada

5. Método baseado em wavelets O método baseado em wavelets é importante para o registro de imagens de radar ondeidentifica uma boa quantidade de pontos de controle Apresenta melhor precisão e eficiência de registro do que o método padrão

6. O método baseado em contornos Apresenta processamento rápido, porém só pode ser utilizado em imagens que possuem um número suficiente de contornos fechados bem definidos É adequado para o registro de imagens de diferentes sensores pois o método de casamento de feições não depende da resposta espectral

7. Interface gráfica do sistema Três passos lógicos: 1) Dados e pre-processamento 2) Busca de pontos de controle 3) Geração da imagem resultante Controle das janelas

8. Interface gráfica do sistema Busca de pontos de controle • Identificação de pontos • (auto, semi-auto, manual) • 2) Transformação • (translação, RST, afim, etc.) 3) Identificar pontos!

9. Interface gráfica do sistema Geração da imagem resultante • Imagem resultado • (mosaico, registro separado) • 2) Sobreposição • (normal, interlaçado, blended) 3) Interpolação (vizinho mais próximo, Bilinear) 4) Equalização

10. Edição de pontos de controle: Remover, gravar ou carregar, mostrar nas imagens... Ferramentas do sistema Pre-processamento: Modificar resolução, escolher a banda, realçar...

11. Ferramentas do sistema Registro de áreas retangulares aproximadamente correspondentes selecionadas por operador

12. Testes do sistema • Testes exaustivos foram executados com imagens: • Radar • Multi-sensores • Alta resolução • Seqüências de vídeo • O sistema foi testado operacionalmente por vários pesquisadores em: • Instituto Nacional de Pesquisas Espaciais • Universidade da Califórnia, Santa Barbara • Office of Naval Research, China Lake Naval Air Warfare Center, China Lake, Califórnia

13. Imagens Método wavelets Método padrão Radar, JERS-1 (10/10/95) + (08/13/96) Amazônia, floresta (512*512)(512*512) Tempo: 3185ms C.P.: 53 RMSE: 0.7648 Tempo: 6099ms C.P.: 6 (de 300) RMSE: 1.0000 SPOT band 3 + TM band 4 (08/08/95) + (06/07/94) Cidade Brasília (512*512)(512*512) Tempo: 3325ms C.P.: 29 RMSE: 0.8710 Tempo: 5889ms C.P.: 6 (de 300) RMSE: 1.8257 TM band 5 (06/07/92) + (07/15/94) Amazônia, floresta (512*512)(512*512) Tempo: 3104ms C.P.: 188 RMSE: 0.5359 Tempo: 2914ms C.P.: 4 (de 128) RMSE: 0.7071 Testes do sistema Comparação entre os métodos padrão e wavelets:

14. Imagens Método contornos Método padrão Landsat, composição 3,4,5 Litoral (1390*1500)(1200*1650) Tempo: 2604ms C.P.: 3 RMSE: 0.8165 Tempo: 6008ms C.P.: 5 (de 128) RMSE: 1.3416 Fotos aéreas Área urbana, Bay area, Califórnia (1283*2352)(1547*2284) Tempo: 4566ms C.P.: 32 RMSE: 1.4790 Tempo: 9183ms C.P.: 22 (de 128) RMSE: 2.0226 Fotos aéreas coloridas Área urbana, Santa barbara, Califórnia (306*386)(335*472) Tempo: 521ms C.P.: 6 RMSE: 0.4082 Tempo: 1392ms C.P.: 21 (de 128) RMSE: 1.2536 Testes do sistema Comparação entre os métodos padrão e contornos:

15. Imagens de florestas Imagens da floresta amazônica, TM na banda 5, adquiridas em diferentes datas, 07/06/1992 e 15/07/1994

16. Imagens de Radar Imagens da floresta amazônica, JERS-1, adquiridas em diferentes datas, 10/10/1995 e 08/13/1996

17. Imagens do CBERS Mosaico de 4 imagens CBERS-IRMMS de datas diferentes

18. Imagens Landsat Mosaico de duas imagens Landsat de datas diferentes. Foi gerado sem equalização em 3 minutos e 50 segundos

19. Detalhe do registro Mosaico de duas imagens Landsat de datas diferentes. Foi gerado com equalização em 5 minutos e 45 segundos

20. Composição colorida das imagens registradas R-PAN, G-4CCD, B-3CCD Imagens do LANDSAT 7 PAN - CBERS CCD R: PAN G,B: CCD 4 Registro automático usando retângulos

21. Imagens do radarRADARSAT-1, SAR

22. Mosaicos de seqüências de vídeo seqüência de 100 imagens IR gerado em 20 segundos

23. 14visíveis 6 termais Mosaicos de seqüências de vídeo Mosaicos registrados das seqüências de 640x480 pixels

24. Mosaico de imagens Ikonos _

25. Fotografia digital Método Blending para fotografia digital

26. Conclusão • O sistema foi implementado e testado • Existem binários para Windows, Linux, Solaris Sparc • Desenvolvida a página WEB do sistema: • http://regima.dpi.inpe.br/ • Desenvolvida a versão demo para WEB: • http://regima.dpi.inpe.br/demo/ • http://nayana.ucsb.edu/registration/

27. Trabalhos futuros • Pretende-se continuar o desenvolvimento do sistema: • Adicionar suporte de georeferenciamento e estender suporte de GeoTiff para todos os resultados • Adicionar técnicas avançadas de equalização e geração de mosaico de imagens • Melhorar os métodos automáticos

28. Agradecimentos • Várias instituições participaram no desenvolvimento: • Divisão de Processamento de Imagens, INPE • Divisão de Sensoriamento Remoto, INPE • Vision Lab, Universidade da Califórnia, Santa Barbara • China Lake Naval Air Warfare Center, Califórnia • O trabalho foi financiado pelas instituições: • CAPES • SELPER Brasil • Office of Naval Research, China Lake Naval Air Warfare Center • CalTrans

29. Demonstração do sistema Regeemy