Tratamento Estatstico de Sinais

Parte 1

Os dados observados devem estar relacionados com a

informacao

Devido `a complexidade da natureza, este relacionamento nao

pode ser modelado de forma determinstica
As observacoes sao sempre contaminadas por fenomenos
imprevisveis e/ou incontrolaveis

Jose C. M. Bermudez
Departamento de Engenharia El
etrica
Universidade Federal de Santa Catarina

June 13, 2013

Uma forma possvel de lidar com a situacao e modelar

matematicamente as observacoes como variaveis aleatorias ou
processos aleatorios
Permite acomodar matematicamente os desvios em relacao
`as observacoes ideais na forma de distribuicoes estatsticas

Processamento Estatstico de Sinais

O processamento de sinais trata da utilizacao de modelos

matematicos e de dados observados para
I

Extrair alguma informacao sobre um fen

omeno fsico de
interesse

Extrair alguma informacao inserida nos dados

propositadamente

Modificar os dados de forma a atribuir-lhes alguma propriedade

desejada

O estudo do processamento de sinais com esse enfoque de

modelagem estatstica denomina-se Processamento Estatstico
de Sinais

O processamento estatstico de sinais combina a modelagem

de sinais como processos aleatorios com tecnicas de inferencia
estatstica

Inferencia estatstica: Inferencia sobre as propriedades de

sinais a partir de um conjunto de observacoes e uma
estatstica adequada ao problema

Uma subdivisao possvel (e comum) da area

I

Teoria de Estimacao

Teoria de Deteccao

Teoria de Classificacao ou Reconhecimento de Padroes

r(t)

Diferencas conceituais basicas entre deteccao e estimacao

I

Estimacao Deseja-se estimar o valor de um parametro de um

modelo matematico construdo para um sinal ou um sistema a
partir de um conjunto de observac
oes

Deteccao: Usa-se um conjunto de observac

oes para decidir
qual de duas hip
oteses conhecidas para a producao destas
observac
oes e a mais provavel

uma generalizacao do problema de deteccao

Classificacao: E
para m
ultiplas (> 2) hip
oteses

Transmissor

Fonte
1 Dgito binrio a
cada T segundos

1
T

Canal
Sinal recebido

Sequncia
transmitida

Transmissor
T

Possibilidades - recepcao
(
s1 (t) transmitido ! r(t) = s1 (t) + n(t),
s0 (t) transmitido ! r(t) = s0 (t) + n(t),

0tT
0tT

Exemplos de Aplicacao
Deteccao
1) Sistema de Comunicac
oes Digitais
r(t)

Transmissor

Fonte
1 Dgito binrio a
cada T segundos

Sinal recebido

Sequncia
transmitida

Transmissor

Possibilidades - transmissao
(
s1 (t) = A sen(!1 t),
s0 (t) = A sen(!0 t),

Problema de deteccao:

Canal

se o bit e 1
se o bit e 0

A cada T segundos, uma de 2 hipoteses esta correta

9
H0 : s1 (t) foi transmitido =
Decidir observando r(t)
;
H1 : s0 (t) foi transmitido

2) Radar

Cada dgito teclado gera um pulso com 2 frequencias somadas

f H1

f H2

f H3

DTMF
Pulso transmitido

f L1

f L2

f L3

f L4

Sinal recebido com avio

H0

Pulso retornou

Sinal recebido: sem avio

H1

Problema de deteccao. (classificacao)

Pulso ausente

Dado o sinal recebido, decidir dentre as 12 hipoteses possveis

Estimacao
1) Radar
3) Reconhecimento de voz

Uma vez que a presenca do objeto e detectada, deseja-se

estimar a posicao do objeto.

Discagem por sinal de voz

I

Locutor fala um n
umero de 1 a 9

Problema de deteccao (classificacao)

Isso pode ser feito, por exemplo, pela estimacao do tempo 0

decorrido entre o envio e o recebimento do pulso de radar

H0 : n
umero falado foi 0
..
.

H9 : n
umero falado foi 9

0 =
I

2R
,
c

em que c e a velocidade de propagacao do sinal

0 e medido com erro aleatorio

4) Comunicacoes
2) Codificacao de sinais de voz
I

Sinal de voz e modelado como um processo aleat

orio
parametrico (AR, ARMA)

A partir de amostras do sinal de voz, estima-se os parametros

do modelo

Os parametros sao usados para transmitir ou armazenar sinais

de voz a baixas taxas

Estimacao da frequencia da portadora de um sinal modulado

para possibilitar a desmodulacao para a banda base

4) Comunicacoes
2) Codificacao de sinais de voz
I

Sinal de voz e modelado como um processo aleat

orio
parametrico (AR, ARMA)

A partir de amostras do sinal de voz, estima-se os parametros

do modelo

Os parametros sao usados para transmitir ou armazenar sinais

de voz a baixas taxas

3) Biomedica
Estimacao da frequencia cardaca de um feto a partir de
observacoes contaminadas por rudo ambiental e do sensor

Estimacao da frequencia da portadora de um sinal modulado

para possibilitar a desmodulacao para a banda base
5) Controle
Um barco comandado `a distancia deve ter sua posicao
estimada na presenca de rudo ambiental para possibilitar o
controle por parte do piloto

4) Comunicacoes
Estimacao da frequencia da portadora de um sinal modulado
para possibilitar a desmodulacao para a banda base
5) Controle
Um barco comandado `a distancia deve ter sua posicao
estimada na presenca de rudo ambiental para possibilitar o
controle por parte do piloto
6) Sismologia
Estimacao da profundidade de um dep
osito de petr
oleo a
partir de reflexoes sonoras contaminadas por distorc
oes
causadas pelas diferentes densidades das camadas de pedra e
oleo do solo

Inferencia Estatstica
I

Modelagem de incertezas
I

Modelos baseados em Teoria de Probabilidades e Processos

Estocasticos

Incertezas sao modeladas usando modelos probabilsticos

A probabilidade pode ser vista como uma especificacao do

grau em que acreditamos que um sinal reflete um estado da
natureza

Exemplo: Suponha que observamos

x[0], x[1], . . . , x[N

1]

Exemplos de Estatsticas:
I

Media amostral: x
=

N 1
1 X
x[n]
N
n=0

1]]T

Os proprios dados: x = [x[0], . . . , x[N

Estatstica de 1a ordem: x[1] = min{x[0], . . . , x[N

Funcao arbitraria: f (x) = [x3 [0] + x(2), ln(x[1]) + x[3]]T

Obs: Uma estatstica nao pode depender de quantidades

desconhecidas

Modelos Probabilsticos Estatstica

I

Modelos probabilsticos: Descrevem as incertezas nos sinais

que podemos vir a observar

Estatstica: Descreve propriedades de sinais ja observados

Permite que tiremos conclusoes (inferencias) sobre qual
modelo probabilstico melhor reflete o estado da natureza
Probabilidade

Interferencia estatstica
I

Inferencias sobre comportamentos de sinais e sistemas a partir

de estatsticas das observac
oes

Uma estatstica e uma funcao dos dados observados, que pode

ser escalar ou vetorial

1]}

Modelos
probabilsticos

Sinais
observados

Estatstica

Estimacao Parametrica

Em geral, as observacoes (dados observados) nao sao o que

queremos medir. Sao apenas relacionadas com essas
quantidades

As funcoes que relacionam as observacoes e as quantidades de

interesse sao geralmente de conhecimento do usuario

Os valores dos parametros no caso especfico em estudo e que

nao sao conhecidos. Esses parametros devem ser estimados a
partir das observacoes

A descricao das observacoes como valores da funcao para

valores conhecidos das variaveis independentes e, em geral,
incompleta

Se um experimento e repetido sob as mesmas condicoes, o

conjunto de observacoes resultantes sera diferente de
experimento para experimento

As flutuacoes imprevisveis que ocorrem nas observacoes sao

chamadas de erros nao-sistematicos

Erros nao-sistematicos podem ser modelados de forma eficaz

usando modelos probabilsticos. As observacoes sao entao
modeladas como variaveis aleatorias

As funcoes parametricas descrevem o comportamento das

observacoes

Como o estimador e uma funcao das observacoes modeladas

como variaveis aleatorias, ele tambem sera uma variavel
aleatoria

O valor do estimador para cada conjunto de observacoes e

uma realizacao do estimador chamada de estimativa

Processamento estatstico de sinais

1) Postulamos modelos probabilsticos que julgamos captar
razoavelmente as incertezas dos dados
2) Coletamos os dados
3) Formulamos estatsticas que nos permitam interpretar ou
entender nossos modelos probabilsticos

Teoria de Estimacao
I

Maioria dos problemas de estimacao ! Estimacao de

parametros de um modelo a partir de observac
oes de formas
de onda contnua no tempo

Com a crescente utilizacao de computadores ! Sinais sao

amostrados antes do processamento estatstico

Problema de estimacao atual: Estimar os valores dos

parametros a partir de observac
oes discretas ou de um
conjunto de dados {x[0], x[1], . . . , x[N 1]}

Se desejamos estimar o valor de um parametro , nosso

estimador sera uma funcao g das observac
oes
n
o

= g [x[0], x[1], . . . , x[N 1]]T

Lida com a estimacao de parametros e frequentemente

denominada estimacao parametrica

Exemplo: Desejamos estimar a amplitude e a frequencia de um

sinal em presenca de rudo branco aditivo
I

Exemplo: x(tn ) e o n
umero de chamadas telefonicas que chegam
a uma central desde t = 0 ate t = tn . O n
umero de ocorrencias ate
t = tn e modelado de acordo com um processo de Poisson N (tn ).
Medidas feitas ao longo do tempo permitiram estabelecer que o
valor medio de x(tn ) segue a lei exponencial

Modelo determinstico
E{x(tn )} = gn () = A cos(2 f0 tn + )
Vem da descricao fsica (modelo)

em que os parametros e

Pontos de medida
tn = 0.1(n

E[x(tn )] = E[N (tn )] =

1), n = 1, 2, . . . , N

tn = 100 e

tn

variam entre diferentes centrais.

Sabendo que medidas foram tomadas em uma dada central nos

instantes

Vetor de parametros desconhecidos

tn = 0.25 + 0.75 (n

1),

n = 1, 2, 3, 4, 5

= [A, f0 ]T

Modelo probabilstico das observac

oes em t = tn
x(tn ) = E{x(tn )}+w(tn )

tn = 0.1(n 1),

n = 1, . . . , N

Modelo probabilstico das observacoes

em que

p[x(tn )] = e
w(tn ) N (0,

2
w)

w(tn ) e rudo branco

PDF das observacoes x(tn )

1
1 h
p x(tn ) = p
exp
x(tn )
2
2
2 w
2 w

tn

( tn )x(tn )
,
x(tn )!

em que
tn = 100 e

A cos(2 f0 tn + )

Obs:

a) x(tn ) e uma variavel aleat

oria contnua
b) E{x(tn )} depende do vetor de parametros

x(tn ) 2 Z

i2

tn

Problema de estimacao:
Desejamos estimar o vetor de parametros
= [, ]T

Realizacoes de x(tn ) para = 1 e

100

=1
100

90

90

80

80

70

70

60

60

50

50

40

40

30

30

20

20

10
00

1.5

2.5

3.5

00

100

100

90

90

80

0.5

1.5

2.5

3.5

Classificacao das tecnicas de estimacao

Classicas: Os parametros de interesse sao modelados como

determinsticos e desconhecidos

Bayesianas: Os parametros de interesse sao modelados como

uma realizacao de uma variavel aleat
oria

80

70

70

60

60

50

50

40

40

30

30

20

20

10
00

10
0.5

10
0.5

1.5

2.5

3.5

00

0.5

1.5

2.5

3.5

t = [t1 , t2 , t3 , t4 , t5 ]T = [0.25, 1.0, 1.75, 2.5, 3.25]T

Curva E{x(tn)} obtida do modelo com = 1 e

Pontos em vermelho gerados com distribuicao de Poisson com

tn dado pelo modelo

=1

O Problema de Estimacao

Exemplo: Estimacao do Indice Dow-Jones medio

3200

ndice Dow-Jones mdio (observao)

Sequencia de passos
I

Definir um modelo probabilstico para o comportamento das

observac
oes (da aplicacao)

Postular uma PDF para as incertezas das observac

oes (da
aplicacao + complexidade matematica)

Aplicar tecnicas de estimacao para estimar os parametros a

partir das observac
oes

Modelo possvel para

E{x(n)}
3100

3000

2900

2800

n (dias)
0

10

20

30

40

50

60

70

80

90

100

A qualidade da estimacao vai depender

a) Da qualidade do modelo probabilstico

Modelo probabilstico

b) Da adequacao da PDF escolhida ao problema

c) Da tecnica de estimacao empregada

x[n] = A + B n + w[n]

n = 0, 1, . . . , n

com
E{x[n]} = A + B n

w[n] N (0,

Modelo probabilstico (PDF)

x[n] N (E{x[n]},

Estimac
ao Bayesiana
+ Observac
oes
estatisticamente
independentes

Vetor de parametros a estimar

Incorpora informacoes adicionais (quando disponveis) sobre

os parametros visando aprimorar a estimacao

No exemplo: e razoavel assumir que

I

B > 0 (coeficiente angular do comportamento medio)

A 2 [2800, 3200]

= [A B]T
I

Conjunto de observac
oes

x = x[0], x[1], . . . , x[N

1]

! x N (E{x},

Expressao da PDF em funcao de x e

(
N 1
1
1 Xh
p(x; ) =
exp
x[n]
2
N/2
2
2
(2 )
n=0

p(x; ) =

1
(2

2 )N/2

exp

N 1
1 Xh
2

x[n]

(A + Bn)

(A + Bn)

n=0

i2

i2

Estimac
ao Cl
assica
I

Baseada na PDF p(x; ) vista como uma funcao de

Os valores de x[n] observados sao substitudos em p(x; )

Diferentes p(x; ) para diferentes observac
oes

Nesse caso, A e B (o vetor ) sao modelados como variaveis

aleatorias

Para o conjunto de dados observados x, os valores de A e B

que tentamos estimar sao vistos como uma realizacao do
vetor aleatorio

Em estimacao Bayesiana, os dados sao descritos pela PDF

conjunta
p(x, ) = p(x|)p()

p() e a PDF a priori de

I)

Busca-se o valor de que ajuste melhor a PDF aos valores

observados

Ela incorpora nosso conhecimento sobre antes da

observacao dos dados x
I

p(x|) e a PDF condicional dos dados, condicionada ao

conhecimento de

 importante entender a diferenca conceitual entre

Obs: E

Polarizacao (Bias) de um Estimador

p(x; ): Funcao de verossimilhanca (likelihood)

I

Vetor de parametros

p(x|): PDF dos dados para um dado valor de

p(x, ): PDF conjunta dos dados x e de

= [1 , 2 , . . . p ]T
I

Estimador de

Obs: Estimador X Estimativa

I

O estimador e uma funcao das observac

oes. Como essas sao
variaveis aleatorias, o estimador e uma variavel aleat
oria

Uma estimativa e o valor numerico do estimador para um

conjunto especfico de dados (uma realizacao de x)

= [1 , 2 , . . . p ]T

Polarizacao do estimador do k-esimo parametro

(
ek ) = E{k }

Polarizacao do estimador do vetor de parametros

= E{}

()

Logo, cada estimativa e uma realizacao da variavel

aleatoria estimador

Propriedades dos Estimadores

I

Um estimador e uma funcao escalar ou vetorial das

observacoes cuja finalidade e a de medir o valor de um ou
mais parametros

O estimador nao pode ser funcao dos parametros a estimar

O estimador de um vetor de parametros nao e u

nico. Podem
existir diferentes estimadores para um dado problema

Qual e o melhor estimador para uma dada aplicacao?

Deve-se avaliar a qualidade de um estimador

= 0 Estimador nao polarizado

()

Se

Se lim

N !1

= 0,
()

N : N
umero de Observacoes

Estimador assintoticamente nao polarizado

I

A polarizacao caracteriza a exatidao do estimador (erro

sistematico)

Causas da Polarizac
ao
a) Pode ser um desvio sistematico causado pelas flutuac
oes das
observacoes e que nao diminui com N ! 1. Ocorre, por
exemplo, quando o modelo das flutuac
oes e incorreto
b) Pode ser um desvio sistematico devido a erro na modelagem
parametrica do comportamento das observac
oes. Pode ser,
por exemplo, um erro no modelo do comportamento medio
das observacoes

Causa (b):
I

Este e um problema serio porque leva a erro com qualquer

estimador que seja escolhido

Para evitar esse erro o projetista pode ficar tentado a usar um

modelo para as observacoes que seja tao sofisticado que inclua
todos os possveis efeitos

c) Pode ser um desvio sistematico de um estimador

assintoticamente nao polarizado devido a um n
umero
insuficiente de observac
oes

Isso pode levar a outros problemas (parametros perturbadores)

O uso de parametros em excesso tende a aumentar a variancia

do estimador

Causa (a):
I

Au
nica solucao possvel e usar outro estimador

O problema maior e que a polarizacao pode nao ser detectada

As estimativas podem convergir (para um valor errado)

quando N ! 1
importante aplicar o estimador escolhido inicialmente a
E
dados sinteticos para verificar este tipo de possibilidade

Causa (c):
I

Depende do n
umero de observacoes disponveis

Expressoes analticas para essa polarizacao sao difceis de

obter
Pode ser testado usando dados sinteticos

Flutuacoes (desvios em relacao `a media)

I

Caracterizam a precisao do estimador (erros nao sistematicos)

Variancia do estimador
var(k ) = E

E(k )

Problema com estimadores que minimizam o MSE

I

i2

Expressao geral do MSE

MSE(k ) = E[(k k )2 ]
= E{([k E(k )] + [E(k )
= E{[k

com E{} tomado em relacao `a PDF das observac

oes x
I

+ [E(k )

Matriz covariancia do estimador vetorial

2

3
var(1 )
cov(1 , 2 ) cov(1 , p )
6 cov(1 , 1 )
var(2 )
cov(2 , p )7
6
7
C = 6
7
..
..
..
..
4
5
.
.
.
.
cov(M , 1 ) cov(M , 2 )
var(p )
nh
ih
io
cov(k , l ) = E k E(k ) l E(l ) = E[k l ] E[k ]E[l ]

E(k )2 ]} + 2E{[k
|
k ] 2

k ])2 }
E( )][E(k )
{z k }

MSE(k ) = E{[k E(k )]2 } + [E(k ) k ]2

|
{z
} |
{z
}

Costuma-se assumir que E(k ) = k e minimizar var(k )

var(k )

k ]}

=0

func
ao de k !

Minimizar MSE(k ) leva a estimadores que nao sao

realizaveis, pois sao funcoes dos parametros a serem estimados

Estimador MVU (Minimum Variance Unbiased)

Exemplo: Considere a estimacao de um nvel DC A (sinal

constante) a partir de observacoes ruidosas x[n]
Observacoes:
I

A var(k ) mede os desvios de k em relacao a E{k }

Note que E{k } pode ser diferente de k

Em geral, estamos mais interessados no erro quadratico
medio

2
MSE(k ) = E k k
Na maioria das vezes leva estimadores nao implementaveis

x[n] = A + w[n]
E{w[n]} = 0,
I

, n = 0, 1, . . . , N

w[n] branco com variancia

2
w

Usando o estimador
N 1
1 X
A =
x[n]
N n=o

Polarizacao
=
E{A}

N 1
1 X
1
E{x[n]} =
(N A) = A
N
N
n=0

(nao polarizado)

Variancia
= E{[A E{A}]
2 } = E{(A
var{A}
8"
#2 9
< 1 NX1
=
=E
x[n] A
: N
;

A)2 }

n=0

8"
< NX1

1
= 2E
:
N
=

x[n]

NA

n=0

8"
< NX1

1
E
N2 :

w[n]

n=0

#2 9
=
;

=
var{A}

82
32 9
>
>
>
<6NX1
=
7 >
1
7
= 2E 6
x[n]
A
4
5
; N
>
>
>
{z
} >
: n=0 |
;

#2 9
=

1
N2

wn

N
X1
n=0

2
w

E{w2 [n]}
| {z }

var{w[n]}=

2
w

A variancia diminui com o n

umero de observac
oes

Histogramas de para amostras de diferentes dimens

oes
A = 3, n2 = 1, w[n] com distribuicao gaussiana
1200

1200

1000

1000

800

800

600

600

400

400

200

200

0
2.6
2.7 2.8 2.9

3.1 3.2 3.3 3.4 3.5

0
2.6 2.7 2.8 2.9

N = 100

3.1 3.2 3.3 3.4 3.5

N = 400

1200
1000
800
600
400
200
0
2.6 2.7 2.8 2.9

3.1 3.2 3.3 3.4 3.5

N = 1600