Teoría de lenguajes y compiladores

1. Unidad I Analizador lexicográfico Teoría de lenguajes y compiladores Semana 4 Temas Funcionamiento de un analizador lexicográfico. Exploradores

2. Objetivo General El alumno al finalizar el curso podrá desarrollar aplicaciones que le permitan determinar si una estructura gramatical corresponde a una sentencia valida en la definición de un lenguaje en particular, teniendo en cuenta el contexto sintáctico y semántico. Así mismo estará capacitado para proponer nuevas formas estructurales en la definición de lenguajes de programación.

3. Objetivos Específicos • Diseñar e implementar un analizador lexicográfico. • Diseñar e implementar un analizador sintáctico. • Diseñar e implementar un analizador semántico.

4. Objetivos Instruccionales Comprender el funcionamiento de un analizador lexicografico.

6. ¿Qué es un token? • La salida del analizador léxico es un conjunto de tokens. • Un token es una categoría sintáctica • En Español: • Nombres, verbos, adjetivos, … • En un lenguaje de programación • Identificadores, Enteros, palabras reservadas, espacios en blanco, … • La siguiente etapa, toma los tokens. • Ejemplo: Los identificadores se tratan diferente que las palabras reservadas. Exploradores

7. Tokens • Los token corresponden a conjuntos de cadenas. • Identificadores: cadenas de letras o dígitos que comienzan con una letra. • Enteros: una cadena de dígitos. • Palabras reservadas: else, if, begin, … • Espacios en blanco: una secuencia de espacios, nuevas líneas, tabuladores. • Open par: un paréntesis izquierdo. Exploradores

8. Tokens, Patrones y Lexemas • Lexema.- Es la palabra encontrada en el código fuente • Token.- Es la representación usada en el lenguaje • Patrón.- Es el conjunto de reglas asociadas a un token. Exploradores

9. Token, Patrones y Lexemas • Ejemplo: Para el lenguaje c++ Token Lexema Patrón Const const const Relación <,<=,!= <|<=|!= Id x, y, cont letras, seguidas demás letras y dígitos Exploradores

10. ANALISIS LEXICO El explorador, analizador lexicográfico o “scanner” es la parte del compilador que lee los caracteres del programa fuente y que construye unos símbolos intermedios (que llamaremos “tokens”), por ejemplo las variables, los enteros, palabras reservadas y los delimitadores ( +, - , *, espacio en blanco, etc.) Exploradores

11. Implementación del analizador léxico • Una implementación debe hacer dos cosas: • Reconocer las subcadenas que corresponden a tokens. • Regresar el valor o lexema de un token • El lexema es la subcadena. Exploradores

12. Implementación del analizador léxico • El Analizador léxico por lo regular descarta tokens que no son "importantes“, tokens que no contribuyen a generar el árbol. • Ejemplos: Espacios en blanco, comentarios. • Pregunta: ¿Qué pasa si quitamos todos los espacios en blanco y comentarios antes de realizar el análisis léxico? Exploradores

13. Razones por las que es conveniente separar el análisis léxico del sintáctico • Una parte muy elevada del tiempo de compilación se consume en la lectura y exploración de los caracteres del programa fuente. • La sintaxis de los símbolos que trata el explorador se describe con una gramática más simple (regular o tipo 3), mucho más simple que la del lenguaje a compilar. • En lugar de tener compiladores separados para cada caso, bastara tener exploradores diferentes, pero el resto del compilador seria el mismo. Exploradores

14. Funciones principales • Formación y entrega al parser de los tokens. Estos tokens que entrega formaran los terminales del analizador sintáctico. • Manejar el fichero del programa fuente, es decir abrirlo, a continuación leer sus caracteres y cerrarlo. • Explorar los literales • Listar el programa fuente, llegando en algún caso llevar el control exacto de cada carácter leído para señalar el carácter ofensivo en caso de error. • Manejar las macros. Sabemos que una macro es la expansión del texto fuente, de una manera independiente. Exploradores

15. Reconocimiento de componentes léxicos • El problema al que se enfrenta un compilador es detectar si una cadena del programa fuente representa o no un nombre de variable aceptable. • Además cualquier estructura léxica en un lenguaje de programación termina con un conjunto de símbolos reconocido como fin de la estructura. A estos símbolos llamaremos marcas de fin de cadena. • En el caso de nombres de variables, estas marcas podrían ser espacios, punto y coma, retorno de carro, operadores, etc. Exploradores

16. Diagrama de transición(1) Como paso intermedio en la construcción de un analizador léxico, primero se produce un diagnostico de estado estilizado, llamado diagrama de transición. Exploradores

17. Diagrama de transición(2) A continuación se muestra un diagrama de transición para el componente léxico oprel (operadores de relación). = < 2 Devuelve (oprel,MEI) 0 1 > Exploradores 3 Devuelve (oprel,DIF) Otro = > 4 Devuelve (oprel,MEN) Devuelve (oprel,IGU) 5 Devuelve (oprel,MAI) = 7 6 Otro Devuelve (oprel,MAY) 8

18.  CARÁCTER LEIDO ESTADO < = > OTRO 0 1 5 6 error 1 error 2 3 4 2 3 4 5 6 8 7 8 8 7 8 Tabla de transición Es un arreglo bidimensional cuyos elementos proporcionan el resumen de un diagrama de transición. Exploradores

19. Siguiente Semana Segunda practica calificada.

20. Unidad I Analizador lexicográfico Teoría de lenguajes y compiladores Semana 4 Temas Funcionamiento de un analizador lexicográfico. Exploradores