Introducción:

Un token es un par que consiste en un nombre de token y un valor de atributo

opcional. El nombre del token es un símbolo abstracto que representa un
tipo de unidad léxica; por ejemplo, una palabra clave específica o una
secuencia de caracteres de entrada que denotan un identificador, es lo
que se verá en esta tarea, así como los componentes léxicos y sus
aplicaciones y funciones.

Desarrollo:
 Clasificar los componentes léxicos en un código de programa.
break
break permite salir del bucle do, while o for más interno. También se
puede utilizar para salir de una sentencia switch.
Un ejemplo de break en un bucle es:

while (Z < 10) {

cin >> Z;
if (Z < 0) break; // salir si Z es negativo
cout << “Hola mundo, yo sigo”;
}

case
Sirve para etiquetar los diferentes casos de la sentencia switch.
Sintaxis:
case <valor> : <sentencia>;
...
break;
  Relacionar los componentes léxicos con una Expresión regular

Las expresiones regulares son una notación importante para especificar

patrones. Cada patrón concuerda con una serie de cadenas, de modo que
las expresiones regulares servirán como nombres para conjuntos de
cadenas.

El término alfabeto o clase de carácter denota cualquier conjunto finito de

símbolos. Ejemplos típicos de símbolos son las letras y los caracteres. El
conjunto {0 , 1} es el alfabeto binario. Los códigos ASSCII y EBCDIC son dos
ejemplos de alfabetos de computador.

Una cadena sobre algún alfabeto es una secuencia finita de símbolos

tomados de ese alfabeto. En teoría del lenguaje, los términos frase y palabra
a menudo se utilizan como sinónimos del término "cadena". La longitud de
una cadena s, que suele escribirse lsl, es el número de apariciones de
símbolos en s. El término lenguaje se refiere a cualquier conjunto de cadenas
de un alfabeto fijo. Esta definición es muy amplia, y abarca lenguajes
abstractos como Ǿ, el conjunto vacío, o {Є} y el conjunto que sólo contiene
la cadena vacía, así como al conjunto de todos los programas de Pascal
sintácticamente bien formados y el conjunto de todas las oraciones en inglés
gramaticalmente correctas, aunque los dos últimos conjuntos son mucho
más difíciles de especificar.
  Analizar la funcionalidad de diferentes generadores para análisis
léxico de compilador.
Algunos generadores de Analizadores Léxico:

 LEX: Código generado: C.

 FLEX: Código generado: C++.
 ZLEX: Código generado: C., soporta códigos de caracteres de 16 bits.
 JAX: Código generado: Java.
No soporta entornos, está basado en expresiones regulares.
No soporta Unicode.
 JLEX: Código generado: Java.
Similar a lex.
Diseñado para ser usado junto con CUP.
 JFLEX: Código generado: Java.

Diseñado para ser usado junto con CUP.

 Menciona las funciones del analizador léxico.

Su principal función consiste en leer los caracteres de entrada y elaborar

como salida una secuencia de componentes léxicos que utiliza el analizador
sintáctico para hacer el análisis. Esta interacción, suele aplicarse
convirtiendo al analizador léxico en una subrutina o corretona del analizador
sintáctico. Recibida la orden "obtén el siguiente componente léxico" del
analizador sintáctico, el analizador léxico lee los caracteres de entrada
hasta que pueda identificar el siguiente componente léxico.
Funciones secundarias.

Como el analizador léxico es .la parte del compilador que lee el texto fuente.
También puede realizar ciertas funciones secundarias en la interfaz del
usuario, como eliminar del programa fuente comentarios y espacios en
blanco en forma de caracteres de espacio en blanco, caracteres TAB y de
línea nueva. Otra función es relacionar os mensajes de error del compilador
con el programa fuente. Por ejemplo, el analizador léxico puede tener
localizado el número de caracteres de nueva línea detectados, de modo
que se pueda asociar un número de línea con un mensaje de error.

Conclusión:

Los componentes léxicos son de gran utilidad al momento de realizar

nuestros programas y es de suma importancia conocerlos, ya que estos ya
están definidos y cada uno tiene su valor.

Bibliografía:

 https://www.mhe.es/universidad/informatica/844814645X/archivos/g
eneral_apendice4.pdf (Universidad de informática).
 http://biblioteca.uns.edu.pe/saladocentes/archivoz/curzoz/Sesion_5.
pdf (Ing. Mirko Manrique Ronceros).
 http://cidecame.uaeh.edu.mx/lcc/mapa/PROYECTO/libro32/autoco
ntenido/autocon/21_funcin_del_analizador_lxico.html(Automatas y
compiladores).