NEW HOST GPNR Control y Monitoreo

1. NEW HOST GPNRControl y Monitoreo Mayo 2012

2. Inicio Presentación • Contexto General • Modelo de Datos • Funcionamiento

3. Contexto General • Descripción del Proceso En el contexto de los requerimientos técnicos de GPNR, se desarrollará esta funcionalidad con el fin de disponer de una herramienta que permita orquestar los procesos funcionales de GPNR (Proceso de Carga Diaria –o carga normal- y Proceso de Control de históricos) monitorearles el avance y proporcionales una recuperación “eficiente” en caso de falla y/o caída.

4. Modelo de Datos CyM

5. SHELL_PROC_CONTROL_GPNR.sh Funcionalidades de la Shell: • Valida los ambientes necesarios para la ejecución del proceso actual. • REVISION UPTIME DE MAQUINAS: Según una lista predefinida de maquinas que usa el proceso, realiza un ping a estas esperando respuesta. • REVISION UPTIME BASE DATOS: Realiza una querydummy a las Bases de Datos predefinidas para el proceso en ejecución. • REVISION ESPACIO DISPONIBLE EN MAQUINA DATASTAGE: Realiza una revisión del espacio disponible en la maquina, el espacio necesario es, al menos, 10% del total del disco. • REVISION UPTIME DE SERVICIO DE DATASTAGE: Realiza una revision del servicio de DataStage para la ejecución.

6. SHELL_PROC_CONTROL_GPNR.sh Funcionalidades de la Shell: • Cierra y marca como erróneas (Estado ‘ER’) en las tablas de control los registros que no tengan fecha fin. • Al hacer esto, cualquier proceso, etapa o actividad que haya quedado inconclusa debido a cualquier motivo (sin fecha fin) quedará marcada como errónea (Estado ER). Esto va a ser revisado mas adelante para validar si se necesita realizar una recuperación del proceso.

7. SHELL_PROC_CONTROL_GPNR.sh Funcionalidades de la Shell: • Lee las tablas de control para verificar si el ultimo proceso ejecutado, para el tipo de proceso actual, fue exitoso (estado ‘EX’), de lo contrario, genera una recuperación. • Al validar el estado de la ultima etapa ejecutada en el proceso anterior se puede verificar si esta finalizó correctamente o no. • Si la ejecución anterior fue exitosa (Estado EX), continúa con la ejecución de un proceso nuevo. • Si la ejecución anterior no fue exitosa (Estado ER), la shell de control obtiene la secuencia de la ultima etapa que sí fue exitosa y realiza una ejecución de “Ultima Secuencia Exitosa + 1”.

8. SHELL_PROC_CONTROL_GPNR.sh Funcionalidades de la Shell: • Validación de existencia de archivos en carpeta DAT. • La shell realiza una validación de existencia de los archivos CDD dentro de la carpeta DAT (ruta actual: /dsdata/DSNHGPNR/DAT/CARGADIARIA).

9. SHELL_PROC_CONTROL_GPNR.sh Funcionalidades de la Shell: • Ejecuta las etapas del proceso actual definidas en los dsConfigLocal de cada uno de ellos. • En los archivos de configuración de cada Tipo de Proceso se encuentran definidas las etapas de cada uno de ellos, ejemplo de Carga Diaria: • NUM_JOB_ETAPA=11; • JOB_ETAPA_[1]="SQ00_VALIDACION"; • JOB_ETAPA_[2]="SQ00_EXTRACCION"; • JOB_ETAPA_[3]="SQ00_INTEGRIDAD"; • JOB_ETAPA_[4]="SQ00_TRANSFORMACION"; • JOB_ETAPA_[5]="SQ00_CARGA_INTERMEDIA"; • JOB_ETAPA_[6]="SQ00_CALCULOSCOMPLEJOS"; • JOB_ETAPA_[7]="SQ00_CARGA_COMPLEJOS"; • JOB_ETAPA_[8]="SH000_ETP8_VIGENCIA.sh"; • JOB_ETAPA_[9]="SH_EJECUTA_CARGA_FINAL.sh"; • JOB_ETAPA_[10]="SH000_ETP10_DERIVADAS.sh"; • JOB_ETAPA_[11]="SH000_ETP11_TERMINO_PROCESO.sh";

10. Control y Monitoreo (DataStage) Control y Monitoreo tiene una parte de su funcionalidad dentro de DataStage, las cuales son: • Actualizar finalización de etapas: Actualiza el estado de la etapa (Estado EX) solo si terminó correctamente. Si hubiera terminado con error, la shell se encarga de obtener el estado y marcar como erróneo.

11. Control y Monitoreo (DataStage) Control y Monitoreo tiene una parte de su funcionalidad dentro de DataStage, las cuales son: • Crear registro de actividad: El job genera un registro en la tabla de Actividades del modelo de Control, esperando para ser actualizado al fin de esta.

12. Control y Monitoreo (DataStage) Control y Monitoreo tiene una parte de su funcionalidad dentro de DataStage, las cuales son: • Actualizar finalización de actividad: Actualiza el estado de la actividad (Estado EX-ER), actualiza la cantidad de registros procesados e inserta la fecha-hora fin de la actividad.