Análisis Estocástico en Procesamiento de Señales __________________________________________________

Instituto Politécnico Nacional

Unidad Profesional Interdisciplinaria en Ingeniería y Tecnologías

Avanzadas

Reporte Técnico

Propuesta de estudio CGPI no. 20061372

Análisis Estocástico en Procesamiento de Señales

Autor: M. en C. Fernando Téllez A.

Laboratorio de Telecomunicaciones, UPIITA
Academia de Telemática

Participante: Alejandro Morales Medina

Estudiante PIFI.

Enero de 2007

_______________________________________________________________ 1
Análisis Estocástico en Procesamiento de Señales __________________________________________________

Agradecimientos

La idea de desarrollar este trabajo surgió con la sugerencia de algunos compañeros de la

UPIITA de preparar material relativo a las aplicaciones de la Teoría de la Probabilidad en el área de
las Comunicaciones, haciendo énfasis en el tópico de Procesos Estocásticos, debido al gran puente
que se ha dado entre la teoría impartida en los cursos clásicos de Probabilidad y la práctica
requerida en los alumnos en los cursos de Comunicaciones, específicamente en la parte del Análisis
de Señales y Filtraje, tópicos de suma dificultad para el alumno promedio.

Por lo anterior me decidí a preparar éstas notas como material auxiliar, ya sea para profesores
de Matemáticas que imparten Probabilidad y Procesos Estocásticos a alumnos del área de las
Comunicaciones, para alumnos que ya cursaron ésta asignatura pero que quieren profundizar con
mayor formalidad en las aplicaciones en Teoría de Señales o para profesores de Teoría de las
Comunicaciones como material adicional en sus cursos.

Agradezco sobremanera a quienes me motivaron para ello, al profesor Saúl Puga y al profesor
Prisciliano. También debo extender mi agradecimiento a la profesora Iliana C. Carrillo por sus ideas
en algunos desarrollos incluidos en las notas y por la revisión de parte del material incluido, así
como al alumno PIFI Alejandro Morales M. por generar parte del código Matlab incluido.

Este reporte técnico refleja la preparación de unas notas cuya intención es la de servir de
auxiliar a profesores y alumnos en el tratamiento de los tópicos que incluye, y se desarrollaron bajo
una propuesta de estudio registrada en CGPI.

Fernando Téllez A.
Enero de 2007

_______________________________________________________________ 2
Análisis Estocástico en Procesamiento de Señales __________________________________________________

Justificación

Actualmente existe una brecha práctica en la impartición de la asignatura de Matemáticas V

(Probabilidad y Procesos Estocásticos) dirigida a alumnos de tronco común de Ingeniería,
específicamente aquellas ingenierías que involucran el uso de las Comunicaciones, que es un área
que hace uso intensivo y extensivo de la Teoría de la Probabilidad. Esto ocurre debido a que en el
curso de Probabilidad no se tiene contemplado el cubrir aspectos de aplicación dirigidos a éstas
carreras con la profundidad que sería deseable.

Por lo anterior, el disponer de material relativo a los fundamentos teóricos en Probabilidad y

Procesos Estocásticos es ya una necesidad imperiosa dentro de la carrera de Ingeniería Telemática
en la UPIITA.

Esta propuesta de estudio tiene como objetivo el generar una serie de notas acerca de los
principales conceptos del Análisis Estocástico necesarios para un mejor entendimiento y manejo de
las nociones básicas del Procesamiento de Señales, tanto en el dominio analógico como en el digital
(procesos aleatorios continuos y discretos, respectivamente); dirigidas a docentes y alumnos de la
UPIITA y, en general, a todos aquellos que deseen estudiar los tópicos básicos del procesamiento
de señales de manera formal.

Una de las grandes necesidades que ha existido la UPIITA, tanto en los estudiantes del tronco
común como en los docentes de Matemáticas V (de Ciencias Básicas) y Comunicaciones I y II (ésta
última exclusiva de Ingeniería Telemática), desde sus comienzos con el plan de estudios vigente, ha
sido el lograr una mayor integración interdisciplinaria entre los fundamentos de la Teoría de
Probabilidades y sus múltiples aplicaciones a la Ingeniería en general, y a la Ingeniería Telemática
en particular; de manera que ilustre extensivamente con ejemplos prácticos los conceptos
matemáticos involucrados, con un compromiso entre la formalidad matemática requerida en
Matemáticas y el sentido práctico que se demanda en ingeniería. Ello requerirá de elaborar un
conjunto de prácticas dirigidas al estudiante de manera que se familiarice con experimentos en
ingeniería con el uso de la herramienta matemática adecuada desde los primeros semestres del
tronco común.

_______________________________________________________________ 3
Análisis Estocástico en Procesamiento de Señales __________________________________________________

Introducción

El procesamiento de señales es, actualmente, un área de la ingeniería que esta presente en

nuestra vida diaria debido no solo al rápido incremento de los sistemas de comunicación, sino
también a su incorporación en otras áreas muy diversas, todas ellas con altas tasas de crecimiento.

Hay dos tipos de procesamiento de señales: el analógico y el digital. El procesamiento digital

de señales se ha desarrollado rápidamente durante los últimos 30 años. Este rápido desarrollo es
resultado de los avances tecnológicos tanto en el área de las computadoras como en la fabricación
de circuitos integrados, que cada vez se encuentran disponibles a mayores velocidades, con mayor
capacidad de cómputo y de mayor versatilidad a ser incorporados en sistemas embebidos. Estos
circuitos digitales, que son cada vez mas baratos, han permitido construir sistemas digitales muy
sofisticados, los cuales son capaces de realizar funciones y tareas que normalmente eran demasiado
costosas y difíciles de implementar en circuitos analógicos.

Lo anterior no se quiere decir que el procesamiento digital es la solución para todos los
problemas, ya que en la actualidad, aún considerando las ventajas de los procesadores digitales de
señales, hay procesos que tienen que ser tratados de forma analógica, como el procesamiento de
señales moduladas en alta frecuencia, aunque se está trabajando para lograr que la circuitería digital
logre niveles intermedios de frecuencia con tecnologías como software radio.

El procesamiento de señales se procura hacer en el dominio digital por diferentes razones:

• Una señal digital es más fácil de procesar que una analógica.
• Las señales son convertidas a formato discreto (digital) para facilitar su transmisión o
almacenamiento.
• Es posible realizar mediante procesamiento digital acciones imposibles de obtener
mediante el procesamiento analógico (por ejemplo, filtros con respuesta de frecuencia
arbitraria).
• Los circuitos son más pequeños en tamaño, más eficientes en uso de energía, más
confiables y de mantenimiento más barato.

A pesar de las ventajas que el procesamiento digital tiene, existen algunos inconvenientes
tales como la perdida de información a causa de la digitalización de las señales analógicas, aunque
el nivel de distorsión introducido es controlable y ajustable, a costa de aumentar el número de bits
asignados a la representación digital, lo que conlleva con un mayor ancho de banda requerido o
equivalentemente una mayor cantidad de memoria requerida para su almacenamiento.

Una de las aplicaciones más notables son los filtros digitales ya que, como ya se mencionó,
son más fáciles de implementar en el dominio digital que en el analógico.

El papel que desempeña el análisis probabilístico en el procesamiento de señales es cada vez

más relevante, dado que la naturaleza intrínseca de las señales de información es aleatoria, por ello
las nociones fundamentales del análisis se tratan a mayor profundidad en el texto, como lo es el
concepto de la variable aleatoria y sus múltiples aplicaciones.

Tal vez uno de los mayores problemas en el procesamiento digital de señales sea el de
optimización, ya que muchas de las necesidades en el diseño de un esquema de procesamiento es el
de optimizar dado un criterio de desempeño (como lo es el de menor distorsión, el del error
cuadrático medio mínimo –o alguna otra métrica de desempeño–, el de mayor velocidad de
convergencia, etc.) y para resolver algunos de estos problemas se requiere de herramientas que
están fuera del alcance de éstas notas, principalmente debido a que el grado de complejidad queda

_______________________________________________________________ 4
Análisis Estocástico en Procesamiento de Señales __________________________________________________

fuera del alcance de los programas de enseñanza de nivel superior (como los problemas de
optimización no lineal, optimización multiobjetivo, análisis para obtener estadísticas mínimas
suficientes, filtraje óptimo y filtraje Kalman, entre otros).

La estructura de las notas

Dado que las notas generadas están dirigidas en general a estudiantes que requieren de la
teoría de probabilidades en sus problemas en el área de procesamiento de señales (muy comunes en
Ingeniería), en el desarrollo se hace énfasis en los conceptos básicos de las herramientas de
probabilidad, principalmente el de la variable aleatoria y su caracterización, se asume que el lector
ya ha tomado un curso clásico de Probabilidad y otro de nociones introductorias de Teoría se
Señales, y además es deseable que haya llevado las nociones básicas de Procesos Estocásticos,
aunque ello no es estrictamente necesario.

En la primera parte se incluyen una serie de ejemplos con solución detallada, de manera que
el lector pueda seguir claramente todos los desarrollos algebraicos sin ningún problema,
adicionalmente dichos ejercicios se encuentran documentados gráficamente y en muchos se incluye
código en algún lenguaje de programación, ello permite que, si se dispone de una PC con el
compilador adecuado, se pueda experimentar y cambiar algunos de los parámetros del problema
para generar nuevos escenarios de simulación para lograr un mejor entendimiento del problema.

En la parte de generación de números aleatorios y de herramientas para su análisis se incluye

código en lenguaje Java (por la popularidad que ha ido ganando) y en Matlab (por el poder que ha
desarrollado y facilitado para simulación de sistemas complejos); se verá como con el avance del
texto, Matlab facilita más el manejo de problemas de mayor grado de complejidad, sobre todo
cuando se considera que incluye herramientas donde ya se dispone de muchas soluciones de nivel
profesional. Se puede desarrollar código en lenguaje C/C++ a partir del código Java de manera
sencilla, pero se requiere que la persona tenga conocimientos sobre algunos puntos cruciales de
C/C++ que podrían complicar la traducción (como lo es el manejo de memoria dinámica), sobre
todo si la velocidad de ejecución es un problema que deba tomarse en cuenta, afortunadamente aún
el código en Matlab permite obtener resultados en tiempos razonables.

En la segunda parte del documento se encuentran la parte de caracterización de las señales

como procesos estocásticos, tanto en el dominio del tiempo como en el dominio de la frecuencia,
material que generalmente está incluido en la parte final de un curso de Procesos Estocásticos para
estudiantes de Ingeniería, por lo que igualmente es de utilidad a profesores de Matemáticas en
cursos de Ingeniería para consultar ejemplos de aplicación.

Finalmente se establece el problema del filtraje de señales, aunque sólo se presenta el análisis
básico considerando ruido blanco como señal, ya que generalmente es el escenario más común en
procesamiento de señales aleatorias.

Se recomienda ampliamente al lector que si desea revisar algún punto con mayor rigor al
considerado recurra a las referencias incluidas al final del documento, se trata de libros clásicos en
el análisis probabilístico, aunque no todos se especialicen el procesamiento de señales.

En la siguiente tabla se muestra la estuctura de capítulos de las notas generadas y en las

siguientes secciones se proporciona una descripción breve del contenido de las notas. Estas se
encuentran disponibles por separado como uno de los productos generados en la presente propuesta
de estudio.

_______________________________________________________________ 5
Análisis Estocástico en Procesamiento de Señales __________________________________________________

CONTENIDO DE LAS NOTAS GENERADAS

I. LA VARIABLE ALEATORIA
I.1 Interpretación de una variable aleatoria
I.2 Generadores de números aleatorios uniformes
I.3 La simulación como herramienta
I.4 La fdp y la fda de una variable
I.5 Grado de ajuste
I.6 Transformaciones de variables aleatorias
- Cuantificación de una variable continua
- El ADC
- Compresores y expansores
I.7 Generadores de números aleatorios no uniformes
I.8 Variables aleatorias independientes y decorreladas
I.9 Variables aleatorias correladas
- Correlación y covarianza entre dos variables gaussianas
- La superficie generada por la fdp gaussiana conjunta
- El problema de diagonalización
- El problema inverso: El generador de números aleatorios correlados
I.10 Estimación
- El estimador lineal óptimo
- Predicción lineal
II. LA SEÑAL ESTOCÁSTICA
II.1 La definición de señal
II.2 La Transformada de Fourier (TdF) en Comunicaciones
II.3 La información como una señal analógica y su modelamiento
II.4 Clasificación de los procesos estocásticos
II.5 Caracterización
- La media estadística y la media temporal
- Momentos estadísticos: La función de correlación cruzada (CCF) y la función de
covarianza cruzada
II.6 Estacionaridad
II.7 Ergodicidad
II.8 Cicloestacionaridad
II.9 Momentos en la frecuencia: Análisis espectral
- La densidad espectral de potencia (DEP)
- Propiedades de la densidad espectral de potencia
- El ancho de banda
III. FILTRAJE
III.1 Diagrama general de un sistema de comunicaciones analógico
III.2 Filtraje de procesos estocásticos
- Filtros
- Filtraje de señales determinísticas
- Filtraje de señales estocásticas
- Ancho de banda equivalente de ruido
IV. CONCLUSIONES
V. REFERENCIAS

_______________________________________________________________ 6
Análisis Estocástico en Procesamiento de Señales __________________________________________________

Capítulo: I, La variable aleatoria

Tópico: I.1, Interpretación de una variable aleatoria

Descripción
Éste punto es la sección introductoria del capítulo, en éste se menciona la importancia y
relevancia del concepto de la variable aleatoria y sus implicaciones en el área del Procesamiento de
Señales. Se ejemplifica la necesidad de su comprensión usando un ejemplo común de un circuito a
los que se enfrenta un alumno en los semestres intermedios de su carrera, en éste se menciona el
papel que juega la variable aleatoria y los problemas que se plantean para su solución usando
herramientas de la Teoría de Probabilidades.

Tópico: I.2, Generalidades de los números aleatorios uniformes

Descripción
En esta sección se describen las ideas fundamentales y la necesidad de disponer de un
generador de números aleatorios con distribución de probabilidades uniforme. Se destaca la
importancia que juega este generador en sistemas de números aleatorios más complejos y con
generadores de números aleatorios no uniformes. Se proporciona código fuente en lenguaje Java y
Matlab para implementar un generador de números aleatorios uniformes.

Tópico: I.3, La simulación como herramienta

Descripción
En ésta sección se destaca el papel que la simulación de un problema por computadora
puede llegar a ser una herramienta sumamente útil en la obtención de resultados de forma rápida,
así como un método de validación de modelos matemáticos. Se menciona la importancia que tiene
el Análisis Probabilístico, usando momentos estadísticos de bajo orden, para la obtención de
modelos de simulación adecuados para un problema determinado en Procesamiento de Señales.

Tópico: I.4, La fdp y la fda de una variable

Descripción
En esta sección se proporciona un método para aproximar la función de densidad de
probabilidad, fdp, y la función de densidad acumulativa, fda, de una variable aleatoria a partir de un
conjunto de valores muestreados en realizaciones de la variable aleatoria, se incluyen varios
ejemplos, con su código fuente en lenguaje Java y en Matlab, para ilustrar el procedimiento y se
incluyen los resultados obtenidos de manera gráfica.

Tópico: I.5, Grado de ajuste

Descripción
En esta sección se describe un método para medir el grado de ajuste que se logra a una fdp a
partir de la aproximación del método de la sección anterior, utilizando varias medidas para ello, se
ilustra el método con un ejemplo y se muestran los resultados obtenidos de manera gráfica.

Tópico: I.6, Transformaciones de variables aleatorias

Descripción
Esta sección incluye mucho material de aplicaciones al Procesamiento de Señales. Se
detalla el proceso realizado en un Convertidor Analógico a Digital y el papel que juega la variable
aleatoria en el modelamiento y resolución del problema de cuantificación de una señal, se menciona

_______________________________________________________________ 7
Análisis Estocástico en Procesamiento de Señales __________________________________________________

también el método alternativo utilizado en el procesamiento de señales de voz (específicamente en

su codificación), se incluye un ejemplo resuelto a detalle.

Tópico: I.7, Generadores de números aleatorios no uniformes.

Descripción
Esta sección es equivalente a la sección para generadores de números aleatorios uniformes,
con la diferencia de que ahora se usan los números uniformes para obtener números con
distribución no uniforme, destacando la importancia que tienen éstos en la simulación en
procesamiento digital de señales. Se hace énfasis en los números con distribución exponencial
positiva y gaussiana (estándar y no estándar).

Tópico: I.8, Variables aleatorias independientes y decorreladas.

Descripción
En esta sección se describen los conceptos de independencia estadística y correlación
estadística y se ejemplifican con un ejemplo de un vector aleatorio bidimensional. Se introduce el
cálculo del momento de segundo orden (correlación y covarianza) para vectores aleatorios
multidimensionales, así como su caracterización, se calculan algunos estimados para un conjunto de
realizaciones del vector.

Tópico: I.9, Variables aleatorias correladas

Descripción
Se hace el cálculo explícito de la correlación y covarianza para un vector gaussiano
bidimensional, así como la ejemplificación de varios casos de vectores bidimensionales de manera
gráfica. Se exponen con detalle los problemas numéricos de correlar variables decorreladas y el de
decorrelar variables correladas, así como su importancia en procesamiento de señales.

Tópico: I.10, Estimación

Descripción
En esta sección se introduce de manera básica el concepto de estimación estadística y su
importancia en procesamiento de señales, ya que éste se considera como un tópico de complejidad
avanzada en el Análisis Probabilístico. Se incluyen dos sub-tópicos: el estimador lineal óptimo y
sus aplicaciones, así como la predicción lineal.

Capítulo: II, La señal estocástica

Tópico: II.1, La definición de señal

Descripción
En la sección se proporciona la definición del concepto de señal y se dan múltiples
ejemplos de varios tipos de señales que son de utilidad.

Tópico: II.2, La Transformada de Fourier (TdF) en Comunicaciones

Descripción
Esta sección es un repaso de la interpretación que se le da a la TdF en el área del
procesamiento de señales, auxiliado de un ejemplo con un circuito sencillo y obteniendo sus

_______________________________________________________________ 8
Análisis Estocástico en Procesamiento de Señales __________________________________________________

expresiones en el dominio de la frecuencia, así como su resultado final, que es el de las señales que
intervienen en el circuito, en función de sus parámetros.

Tópico: II.3, La información como una señal analógica y su modelamiento

Descripción
En esta sección se introduce la analogía de una señal de información con un proceso
estocástico, su justificación y sus ventajas.

Tópico: II.4, Clasificación de los Procesos Estocásticos.

Descripción
En esta sección se incluye la caracterización clásica para procesos estocáticos, mencionando
algunos ejemplos de señales que caen dentro de cada uno de los diferentes tipos de procesos.

Tópico: II.5, Caracterización.

Descripción
En esta sección se proporciona la definición de los principales parámetros de un proceso
estocástico, sus momentos estadísticos y temporales.

Tópico: II.6, Estacionalidad

Descripción
Se define una de las principales propiedades de un proceso estocástico y su relevancia para
el análisis de señales estocásticas. Se incluyen algunos ejemplos de señales estacionarias y no
estacionarias.

Tópico: II.7, Ergodicidad

Descripción
Se proporciona la definición de ergodicidad, así como sus implicaciones prácticas para
señales ergódicas, como el de la validez de resultados en intervalos de tiempo no analizados
simplemente por los resultados arrojados del análisis de varias muestras estadísticas.

Tópico: II.8, Cicloestacionaridad

Descripción
Se proporciona la definición del concepto de cicloestacionaridad y se menciona el ejemplo
de la señal PAM y varios de los tipos de la señal PAM como casos particulares de señales
cicloestacionarias.

Tópico: II.9, Momentos en la frecuencia: Análisis espectral

Descripción
Se culmina el capítulo con el tópico clásico en análisis de señales, ahora expuesto usando
herramientas del Análisis Probabilístico: la caracterización de la señal estocástica usando momentos
en el dominio de la frecuencia, especialmente la descripción y propiedades de la Densidad Espectral
de Potencia, se menciona la importancia y relevancia que tiene éste parámetro en la Teoría de
Señales, así como una de sus principales características, que es el ancho de banda de una señal
estacionaria. Se dan ejemplos detallados y se muestran gráficamente los resultados obtenidos.

_______________________________________________________________ 9
Análisis Estocástico en Procesamiento de Señales __________________________________________________

Capítulo: III, Filtraje

Tópico: III.1, Diagrama general de un sistema de comunicaciones analógico

Descripción
Se muestra el diagrama básico de un sistema de comunicaciones analógico, donde se
muestra la relevancia del filtraje.

Tópico: III.2, Filtraje de procesos estocásticos.

Descripción
Se proporciona la definición clásica equivalente en matemáticas y la definición usada en
Teoría de Señales para un filtro. Posteriormente se muestra el desarrollo para la obtención de las
expresiones en los dominios del tiempo y la frecuencia, que caracterizan a un filtro; tanto para el
caso en que se filtran señales deterministas como señales estocásticas, aunque se hace énfasis en el
ruido blanco. Se incluyen varios ejemplos

Finalmente se concluye con algunas reflexiones acerca del contenido expuesto en las notas
y se dan algunas recomendaciones para quellos lectores que deseen profundizar en alguno de los
tópicos incluidos, para lo cuál se incluyen una breve lista de referencias bibliográficas que se
pueden consultar para tales fines.

Resultados

El principal objetivo buscado era el de lograr unas notas del tópico que pudieran servir
como un apoyo didáctico, para profesores tanto del área de Probabilidad y Procesos Estocásticos y
del área de Análisis de Señales, como para alumnos que se desempeñan en alguna de éstas
asignaturas, o que están llevando algún curso de aplicaciones en Ingeniería. Finalmente varios
profesores de la Academia de Ciencias Básicas que imparten la asignatura de Probabilidad y
Procesos Estocásticos revisaron el material y planean adoptar algunos contenidos para enriquecer su
material didáctico.

Para ello fue necesario proponer varios experimentos de procesamiento de señales,

desarrollarlos y codificarlos de manera que se pudieran obtener resultados en formato amigable, por
ello mucho del material se desarrolló en Matlab, debido a la interfase tan amigable que presenta y a
su facilidad de uso, así como de las herramientas de que dispone para realizar análisis de sistemas
complejos.

Adicionalmente se logró presentar algunos de éstos resultados en un taller incluido en el 1er

Congreso Internacional de la Didáctica de las Matemáticas en la Ingeniería, realizado en ESIME
UPC.

Impacto

Como se ha mencionado anteriormente, las notas se desarrollaron para enriquecer los cursos
de Probabilidad y Procesos Estocásticos, específicamente con aplicaciones al Procesamiento de
Señales (postulado a partir de los resultados logrados por varias generaciones de alumnos en la

_______________________________________________________________ 10
Análisis Estocástico en Procesamiento de Señales __________________________________________________

asignatura de Comunicaciones I, o Teoría de las Comunicaciones, así como de la poca vinculación

de la asignatura de matemáticas con ésta).

Por lo anterior, es de esperarse que el principal impacto se vea en los contenidos impartidos
en dichas asignaturas, en beneficio del alumnado.

Las notas ya se encuentran en un formato que facilita mucho su inclusión en los contenidos
de la asignatura de Matemáticas V (Probabilidad y Procesos Estocásticos), aunque se convertiría en
un curso muy ambicioso. Por tanto hay trabajo adicional por parte del profesorado de dicha
asignatura para adaptar el contenido de manera que se alcance a cubrir con experimentos para ser
desarrollado en una PC como tarea en casa, ello permitiría mayores alcances en la asignatura y
sobre todo una transición más suave con asignaturas de la carrera ubicadas en semestres superiores.

_______________________________________________________________ 11