UNIVERSIDAD DE CÓRDOBA Tesis doctoral

1. UNIVERSIDAD DE CÓRDOBA Tesis doctoral Correcciónautomática de la geometría de fotogramascapturadosdesdeplataformasaéreas no tripuladas Sebastián Castillo Carrión Córdoba, 2014

2. Índice • Introducción. • Objetivos. • Materiales y Métodos. • Resultados y discusión. • Video demostrativo. • Conclusiones.

3. Introducción • La información espacial es cada vez más demandada en diferentes ámbitos, como agricultura, gestión del territorio, educativo, urbanismo, etc. • Es necesario el desarrollo de nuevas técnicas para estructurar y organizar información (Srinivas et al. 1999, Kang et al. 2001, Quinn and Gahegan 2010, Samet 1984). • Una técnica especialmente efectiva es organizar la información en un árbol jerárquico quadtree, técnica empleada por las plataformas universales: Google Maps, Bing Maps, etc. • Los mapas empleados por las plataformas universales no presentan una exactitud posicional adecuada, como sugieren algunos autores (Chang et al. 2009). • Es necesario incoporar constantemente información espacial actualizada.

4. Introducción • Unametodologíatradicionalutilizadaparagenerarinformaciónespacialhansidolasplataformastripuladas con cámarasmétricas. Unaherramientareciente la constituye los vehículosaéreos no tripulados(UAVs). • Se han desarrollado nuevos sensores de bajo coste de captación de imágenes que pueden ser transportados por UAVs; sin embargo, aparecen una serie de problemas asociados, aunque el uso de técnicas de visiónporcomputadorproporcionaunasoluciónparcial. • La capturade información, por parte de los sensores, y sutratamientoautomáticosuponengrandesretos. • Esnecesariodesarrollarnuevasmetodologíasquepermitangenerarinformaciónespacial de forma automática y de precisiónutilizandoestossensores y plataformas, permitiendoactualizar la información de forma periódica, un accesoágil y sencillo.

5. Objetivo General • Diseñar e implementarunasistemática de generación de ortofotos y procesamiento de imágenes, de forma automatizada, a partir de vuelos UAV realizados con cámaras sin métricaprecisa, organizando, estructurando e integrando el resultado en un mosaico compatible con plataformasuniversales.

6. Objetivos Específicos • Diseñar e implementar un algoritmoqueorganice y estructureortofotos en mosaicosfáciles de usary compatibles con plataformasuniversales, optimizando los recursos. • Diseñar e implementarunasistemáticapara la captura y tratamiento de imágenesprocedentes de plataformas UAVs. • Optimizar los procedimientospara la generaciónautomática de imágenes con métricapartiendo de imágenes sin métrica.

7. Materiales y Métodos • Hemosutilizado dos colecciones de ortofotos de diferenteresolución, extensión y año. Un conjunto son 2.744 ortofotos de la región de Andalucía, de 1 m de resolución, y otroconjuntoesunaortofoto de 15 cm de resoluciónde un áreaconcreta de Andalucía. • Hemosutilizado el uso de librerías y herramientas de software libreparatratamientoespacial de la información: Perl, GDAL, libgeo-coordinates-utm-perl, Imagemagick, Orto_pnoa_Etrs89_vs_Ed50. • Hemos hecho uso de los datos de referencia de 588 puntos para elaborar un estudio estadístico de la exactitud geométrica. • Especificaciones técnicas del equipo hardware: CPU Intel Core 2, 1.86 Ghz, 4GB RAM.

9. Materiales y Métodos • Para capturarimágeneshemosutilizado dos cámaras: unaGoPro YHDC5170, y unacámara Canon IXUS 220HS. • Hemosutilizado la implementación del algoritmo SIFT con filtrado RANSAC proporcionadaporImageJparatratamiento de visiónporcomputador; con MicMachemosrealizadotratamientofotogramétrico. Ambasherramientas son software libre. • Hemosutilizado CHDK, un firmware de software libreparaacceder a característicasadicionales de cámarasfotográficas.

10. Materiales y Métodos • Hemos adquirido imágenes en dos zonas de vuelo: un área situada al sur de la provincia de Málaga, con una extensión aproximada de 100 hectáreas; y en unazona de Córdoba, finca Santa Clotilde, quecomprende 300 hectáreas. • Hemosutilizado dos ortofotosgeoreferenciadas, unaparacadazona de vuelo, y dos modelosdigitales del terreno de la finca Santa Clotilde. • Hemosutilizado 79 puntosdistribuidos de forma homogénea en la finca de Santa Clotildeparavalorar la exactitudposicionalrealizando tests NSSDA. • El hardware utilizado ha sido un equipo de 16GB RAM, 1,8TB, Intel Xeon E5620Ghz 64bits, y sistema operativo Ubuntu 12.04 LTS.

11. Resultados • Integración de ortofotografías procedentes de varios orígenes en un sistema universal.

12. Resultados • Hemos utilizado el sistema propuesto por Google para generar diversos subárboles jerárquicos. t q t r s tr ts tt tq tqq … trr … tss … ttt … t tq tr tqq tqr trq trr tt ts tqt tqs trt trs ttq ttr tsq tsr ttt tts tst tss

13. Resultados • Hemosgenerado 12 subárboles, correspondientes a Andalucía, correspondiendo a los niveles 8-15 del árbolmundial del sistemapropuestopor Google, dandolugar a 136.593 teselas. q t s s s s q

14. Resultados • Hemosdiseñado un algoritmoparaincorporarinformaciónespacial a la estructura. • La generación de la jerarquíasigueunasistemática “abajo - arriba”. • El algoritmo utiliza dos procedimientos diferenciados, uno para incorporar nodos hoja, y otro para incorporar nodos de niveles superiores. • La figura de la derechamuestra el diagrama de flujo del procedimiento de incorporación de nodoshoja (nodos del nivel 15).

15. Resultados • Ejemplo de 4 nodos hoja de nivel 15, y generación del nodo correspondiente del nivel 14.

16. Resultados • Actualización de nodos hoja: tqssrrrtqsqrqrqs, y tqssrrrtqsqrqrrt

17. Resultados • Estudioestadístico N=588 puntos

18. Resultados • Tratamiento de imágenesprocedentes de UAVs y optimización de los procedimientos de generaciónautomática de imágenes con métrica.

19. Resultados

20. Resultados • Hemospropuestounametodología de puesta a punto de UAV y adquisición de imágenes, y aplicamos a casosconcretos. • Hemosrealizado y analizadodiferentesconfiguraciones de lasplataformas, probandodiversosvalores del controladorProporcionalIntegradorDerivativo, equilibrando los UAVs, etc. • Como resultado de diferentesexperimentos, hemosconfiguradounaconexión de 56 kbps paraestablecer un enlace inalámbrico entre el UAV y el GCS. • Trasvariosensayos con la cámaraGoProexplorandodiferentesmétodos de adquisición, seleccionamosunaconfiguración de adquisiciónautomática de imágenescada 2 segundos, obteniendoimágenes de calidadadecuada y con metadatos. • Hemosdesarrolladoalgoritmosespecíficosparaintegrar la informaciónproporcionadapor la plataforma en lasimágenes.

21. Inicio Leer/modificar parámetros Tomar imagen Pausar 3 segundos ¿Ha transcurrido tiempo total de funcionamiento? No Sí Apagar Fin Resultados • Como resultado de la exploración de diferentesmodos de funcionamiento de la cámara Canon, llegamos a la conclusión de que no permitecapturacontínua de imágenes. • Hemosimplantado el firmware CHDK modificadopornosotros, parapermitir la capturacontínua de imágenes y configuración de otrosparámetros.

22. Resultados • Desarrollamos un dispositivofísico con 2 servomotores y su software de control, con el objetivo de que el ejeóptico de la cámarapermanezca perpendicular respecto al terreno. Inicio Leer valor de los acelerómetros del UAV Convertir a grados y calcular corrección Convertir corrección grados a pasos motor Aplicar pasos de motor a servomotores Fin

23. Resultados • Extracción automática de regiones de ortofotos en la zona de vuelo ubicada al sur de Málaga, con cámara GoPro y plataforma Skywalker FPV.

24. Resultados x,y x,y

25. Resultados x,y x,y

26. Resultados Inicio Leer parámetros SIFT • Hemos diseñado e implementado un algoritmo para asignar valores a SIFT y correlacionar imágenes de forma automática. • Hemos considerado sigma y nScales como parámetros más significativos del algoritmo SIFT. • Lo hemos aplicado a 25 imágenes aleatorias capturadas con el sensor GoPro y el UAV SkywalkerFPV en la zona de vuelo de Málaga. • Hemos desarrollado un diseño experimental 3x3, con 9 posibles combinaciones de valores para sigma y nScales. Img Aérea Selecciona imagen aérea no correlacionada Localiza región de ortofoto de la imagen aérea Regiones Ortofoto Correlaciona imagen aérea y región de ortofoto aplicando SIFT Logs Guardar resultado ¿Correlacionadas todas las imágenes ? No Sí Cambiar valores de los parámetros SIFT y repetir el proceso de correlación con todas las imágenes

27. Resultados • Resultados obtenidos tras aplicar SIFT para cada combinación de valores de sigma y nScales sobre el conjunto de 25 imágenes aéreas. Número de correlaciones % de correlaciones correctas

28. Resultados • Hemos realizado un diseño factorial utilizando el porcentaje de aciertos y las variables sigma y nScales. • Porcentaje de aciertos • Hemos validado el modelo utilizando 10 imágenes diferentes tomadas en las mismas condiciones.

29. Resultados • La metodología que proponemos es definir una planificación de vuelo. • En primer lugar, es necesario elegir la altura de vuelo. • A continuación, especificamos el recubrimiento transversal deseado, que nosotros definimos en 50-67%. • Utilizamos un procedimiento de captura contínua de imágenes cenitales. • Una vez cargada la ruta en el UAV, se lanza éste con la mano y se pilota manualmente. Alcanzado los 80 m de altura absoluta sobre el punto de lanzamiento, se cede el control a APM.

30. Resultados • Hay quepreverconfigurar en tiempo real ciertosparámetros de vuelo del UAV. • Obtuvimos 564 imágenes, integrando los datos de navegación a través del procesoexplicadoanteriormente. Tras un control de calidad, se seleccionaron 314 imágenes. • La altura de vuelo ha fluctuado entre 918-985 m. • El lado transversal de cada imagen oscila entre 308-457 m, dando lugar a un recubrimiento transversal de 51-67% • La velocidad media del UAV ha sido 23 m/s, adquiriendo 1 img cada 69 m; teniendo en cuenta que el lado longitudinal de cada imagen oscila entre 227-337 m, esto da lugar a un recubrimiento longitudinal que oscila entre 69-79%

31. Máximo error de alineación: 10 Correlaciones detectadas % correlaciones correctas % correlaciones correctas Correlaciones detectadas • Utilizando los resultados de un vuelo real, hemos validado el modelo de optimización descrito anteriormente, seleccionando 24 imágenes al azar. • Hemos comprobado el filtro RANSAC será más o menos restrictivo en función de características del sensor. • Para cada imagen, hemos extraido regiones de ortofoto de 688 x 680 píxeles, con 0,5 m/pixel, y cubriendo una extensión de 344 x 340 m. • Experimentalmente, el valor más restrictivo posible hemos detectado que es 1.1 Máximo error de alineación: 1.1

32. Vídeo

33. Resultados • Test de calidadposicional NSSDA (79 puntosreferencia)

36. Resultados

37. Resultados

38. Resultados

39. Resultados

40. Resultados

41. Conclusiones El desarrollo de sensores, así como el nacimiento de nuevas herramientas y plataformas que los soportan y transportan han dado lugar a un crecimiento exponencial en cuanto a la disponibilidad y cantidad de información geoespacial generada. Es necesario recurrir a nuevos modelos de representación de información espacial para poder analizar, procesar, transmitir y gestionar ingentes cantidades de información disponible. La metodología propuesta para generar un árbol jerárquico ha demostrado ser un modelo adecuado, sencillo y ágil para llevar a cabo estas tareas. Las plataformas UAV y el software de control múltiple que hemos propuesto han demostrado ser herramientas útiles, robustas y seguras, en los casos de necesidad de mayor resolución espacial, restricciones para el despegue y aterrizaje, soluciones de bajo coste, etc. Las plataformas empleadas basadas en hardware y software libre, facilitan su integración con otros sistemas y el desarrollo de utilidades complementarias. Especial mención merece el autopiloto APM, solución de bajo coste y un enorme potencial; el protocolo MAVLINK, que podemos considerar las bases de un estándar abierto para comunicar estaciones GCS con plataformas UAV; y los módulos de transmisión inalámbrica de largo alcance xbee, con los que se ha probado que es posible modificar en tiempo real y en pleno vuelo parámetros del UAV, aún cuando éste se encuentra a una distancia de hasta 3 km.

42. Conclusiones Los sensores propuestos y los algoritmos desarrollados han permitido obtener imágenes mediante el uso de cámaras sin precisión métrica, como las cámaras GoPro YHDC5170 y Canon IXUS 220HS. Hemos comprobado que la sistemática de captura continua con un intervalo definido entre adquisición genera un conjunto de imágenes adecuados para los estudios de optimización y generación de imágenes con métrica. Los algoritmos que hemos desarrollado permiten incorporar a las imágenes adquiridas la información generada por el UAV, válidos para cualquier sensor y cualquier mecanismo de adquisición de imágenes. Las imágenes obtenidas con cámaras sin métrica precisa deben ser tratadas con técnicas de visión por computador y fotogramétricas, siendo fundamental el papel desempeñado por el algoritmo SIFT y herramientas que lo incorporan, como el programa MicMac, herramienta de software libre que permite generar modelos tridimensionales e imágenes con métrica a partir de imágenes sin métrica. La optimización de los parámetros de SIFT en función de los contenidos de las imágenes y el uso del software “ImageJ”, permiten obtener un modelo de optimización y mejorar sustancialmente la correlación entre imágenes tomadas con dos cámaras y muy diferentes, como las cámaras GoPro YHDC5170 y Canon IXUS 220HS. La existencia de imágenes georeferenciadas, obtenidas de distintas fuentes, el modelo de optimización del algoritmo SIFT, y la facilidad de integración de sistemas basado en código abierto, facilitan establecer un flujo de trabajo entre MicMac e ImageJ, permitiendo asignar orientación absoluta a las imágenes sin necesidad de intervención manual, automatizando completamente el proceso y obtener fotogramas de adecuada calidad posicional.