Medicin del Riesgo

Backtesting

Qu origin la Gestin Integral de Riesgos?

CRISIS RUSA, BRASIL, TURQUA CRASH BURSTIL EFECTO TEQUILA CRISIS ASIATICA PRINCIPIOS BSICOS SUPERVISIN BANCARIA

1987

1988

1994

1996

1997

1999

1999

ACUERDO ORIGINAL (Basilea I)

RIESGO DE MERCADO (1ra ENMIENDA)

NUEVO ACUERDO Basilea II BOOM CRISIS FINANCIERA

Fuente: Elaboracin Propia

FRACTURA NECESIDAD DE CAMBIO

Qu origin la Gestin Integral de Riesgos?

BASILEA II 3ERA RONDA CONSULTIVA IMPLEMENTACIN CRISIS SUBPRIME

1999

2000

2001

2003

2004

2006

2007

2010

PRINCIPIOS PARA LA ADMNISTRACIN DE RIESGOS DE CREDITOS

ACUERDO DEFINITIVO REGULACIONES BANCARIAS AUTOCTONAS

2 RONDA CONSULTIVA (PRCTICAS SLIDAS PARA LA ADMINISTRACIN Y SUPERVISIN DEL RIESGO OPERATIVO
Fuente: Elaboracin Propia

NUEVO ACUERDO Basilea III

Algunas lecciones sobre una inadecuada Gestin de Riesgos

Los desastres financieros sirven como lecciones prcticas de lo que podra suceder como consecuencia de una deficiencia en la administracin de los diferentes riesgos a los que se enfrentan las instituciones financieras.

Empresas Financieras
Allied Irish Bank ($700) Barings ($1,000) Chemical Bank ($33) Daiwa ($1,000)

Empresas No Financieras

Allied Lyons ($150)

Gibsons Greetings ($20) Hammers. ($600) & Fulham

Grandes Quiebra s
(MM US$)

Kidder Peabody ($350)

LTCM ($4,000) ? Midland Bank ($500) National Bank ($130) Sumitomo ($2,000)

Metallgesellschaft ($1,800) Orange County ($2,000) Procter and Gamble ($90) Shell ($1,000)

Parmalat (?)
ENRON (?)

Qu es Value at Risk (VaR)?

El VaR resume la prdida mxima esperada a lo largo de un horizonte de tiempo objetivo dentro de un intervalo de confianza dado.
El clculo del VaR est dirigido a elaborar un reporte de la siguiente forma: Se tiene una certeza de X% de que no se perder ms de V dlares en los siguientes N das V es el VaR de N -das para un nivel de confianza de X% Segn la propuesta del Comit de Basilea el intervalo de confianza ideal es de 99% (1% de probabilidad, -2.33 desviaciones) y segn la metodologa de RiskMetrics es de un 95% (5% de probabilidad y -1.65 desviaciones).

Metodologas VaR alternativas

Mtodo Analtico (Delta Normal)

Similitudes
Los tres mtodos buscan estimar un valor crtico para las prdidas potenciales.

Mtodo Montecarlo (Simulaciones)

Diferencias
Cada mtodo realiza distintos supuestos acerca de qu valores son representativos sobre las futuras prdidas potenciales y cmo stas se distribuyen estadsticamente.

Mtodo Histrico (Histogramas)

Backtesting

Qu es el Backtesting?
Para complementar la metodologa de medicin de riesgo de mercado, es recomendable hacer pruebas para verificar la exactitud del modelo VaR.
El backtesting es un procedimiento estadstico utilizado para validar la calidad y la precisin de un modelo VaR. Por lo cual mediante pruebas de bondad de ajuste se comparan los resultados estimados por los modelos con los realmente observados y con base en una tcnica estadstica, se concluye si el modelo es exacto (backtesting)

Por qu implementar Backtesting?

Los modelos VaR son muy tiles solo si predicen los riesgos futuros que puede afrontar la empresa con precisin. Los modelos deben ser siempre calibrados con mtodos estadsticos apropiados. Si los resultados obtenidos del VaR no predicen, los modelos deben ser revisados porque puede que estn tomando supuestos incorrectos o parmetros incorrectos y se tenga que reformular el modelo. Adicionalmente, el Comit de Basilea, y los reguladores, exigen el uso de Backtesting a los bancos que usan metodologas VaR para determinar capitales mnimos regulatorios.

Propiedades
Para el anlisis del backtesting se tendr en cuenta dos propiedades que debe cumplir la funcin de impactos, : Christoffersen (1998), puntualiza que el problema para determinar la adecuada cobertura de un modelo VaR, es determinar si la funcin de sucesos, satisface las siguientes propiedades.
a).

Propiedad de cobertura no condicionada: La probabilidad en que una prdida exceda al VaR reportado, debe ser igual al %, o en trminos de la notacin anteriormente mencionada, = . Asimismo, si el nmero de veces que exceden las prdidas al VaR reportado es estadsticamente mayor que el nivel de significancia %, el modelo debera ser revisado, puesto que se estara subestimando el actual nivel de riesgo del portafolio.

Propiedades
b). Propiedad de independencia: La propiedad de cobertura no condicionada establece una restriccin sobre cun frecuente el VaR es excedido. La propiedad de independencia establece una restriccin ms fuerte sobre la forma en que estos excesos pueden ocurrir. Especficamente, esta propiedad nos dice que dos elementos de la funcin de impactos, ( ) deben ser independientes uno del otro. Intuitivamente, esta condicin requiere que los rezagos de los excesos , no deben influir sobre el resultado de los posteriores excesos, . Por tanto, si los excesos previos predicen un exceso del VaR futuro, entonces esto indicara una inadecuada medida del VaR reportado.

El procedimiento del Backtesting es revisado desde dos perspectivas:

i). El nivel de cobertura, es decir el grado de precisin del VaR en predecir las prdidas, en la que se utilizan metodologas, tales como:

Mtodo Grfico: Se compara grficamente las Utilidades - Prdidas registradas con el VaR calculado, y se registra el nmero de veces en que las prdidas exceden al VaR.
4 000.00

Utilidades/Prdidas - VAR

2 000.00

0.00

( 2 000.00)

( 4 000.00)
Utilidad/Prdida VaR

( 6 000.00) 21-sep-07 21-nov-07 21-ene-08 21-mar-08 21-may-08 21-jul-08 21-sep-08

Metodologas
Mtodo de intervalos de confianza de fallas: Mediante este mtodo se construye un intervalo estadstico para el nmero de excesos registrados en el modelo. De esta manera si el nmero de excesos est dentro del intervalo se podra afirmar que el nivel de confianza elegido al calcular el VaR refleja eficientemente la proporcin de excesos. Este mtodo se fundamenta en la estimacin de un intervalo estadstico probable para el nmero de excesos. As, dado un nmero n de das y una proporcin emprica de excesos x, la varianza de esta proporcin de excesos es:
2

x(1 n

x)

En consecuencia, se tiene un intervalo para el nmero de excesos de:

p x x.(1 x) n ,r x.(1 x) n

Metodologas
Test de Proporcin de Fallas de Kupiec (POF) : Este test, enfoca exclusivamente la propiedad de cobertura no condicionada. Evala si el VaR reportado es excedido en mayor o menor medida que el nivel de significancia %. Kupiec, propuso un Test de Proporcin de Fallas (excesos), el cual examina cuntas veces una institucin financiera excede el VaR sobre un periodo de tiempo dado. Si el nmero de excesos difiere considerablemente del % de la muestra, entonces el modelo utilizado para el clculo del VaR entra en cuestionamiento. Para verificar si el nivel de exceso presentado por el VaR es compatible con el nivel de confianza asumido, se evala la Hiptesis Nula que la probabilidad de fallas sea igual a:

H0 : p

Test de Proporcin de Fallas de Kupiec (POF)

Lo que hace el test es modelar diferencias entre los resultados reales y las medidas de riesgo generadas por el modelo VaR mediante una distribucin Binomial. Si el VaR es inferior a los resultados reales, se define el evento como fracaso con probabilidad (p). En el caso opuesto, cuando las prdidas xito con probabilidad (1-p). La probabilidad de que el nmero de fracasos sea igual a x en una muestra de tamao n se determina a partir de la distribucin Binomial:
LRPOF px 2 ln x p (1 (1 p) v p) v
x x

Esta prueba de Razn de Verosimilitud (LR), se distribuye asintticamente como una Chi Cuadrado con 1 grado de libertad.

Prueba Kupiec
Tabla 1. Valores del estadstico chi-cuadrada
Nivel de confianza de la prueba (1- ) Nivel de significancia ( ) 95% 99% 99.5% 5% 1% 0.50% Valor del estadstico chicuadrada con un grado de libertad 3.841455 6.634891 7.879400

Prueba de coeficiente de fallas

Supngase que N es el numero de veces que la perdida observada excede al VaR, en un total de T observaciones. Se desea saber en un nivel dado de confianza, si N es demasiado pequeo o demasiado grande bajo la hiptesis nula de que p=1-a (por ejemplo 0.01) (puesto que el nivel de confianza elegido es de 99%, para las perdidas) Si resulta que efectivamente n es demasiado pequeo o demasiado grande (N/T es muy diferente de 0.01), entonces el modelo se tiene que revisar. En caso contrario el modelo puede tomarse como un buen modelo de pronostico de perdidas.

El procedimiento del Backtesting es revisado desde dos perspectivas

ii). La independencia de los excesos, la cual requiere que los excesos sean independientes entre si. Para este anlisis se emplean las siguientes metodologas: Test de Markov de Christoffersen: Se examina la probabilidad de que un exceso dependa de algn otro exceso que haya ocurrido das previos, se tiene que demostrar si dichos excesos son estadsticamente dependientes o no.

Tabla de contingencia del Test de Independencia de Markov

Este Test conlleva a construir una tabla de contingencia de 2x2, que registra todos los excesos producidas en una institucin.

Si la medida del VaR es adecuada y por tanto refleja el nivel de riesgo del portafolio, entonces la proporcin de excesos que N4 I 1 ocurren despus de un da en que hubo2 un4 exceso, , es decir, N N debera ser igual a la proporcin de excesos que ocurrieron N I despus 0 un daNen N de que no hubo excesos, es decir . En trminos de los elementos de la tabla de contingencia, se debera dar lo siguiente:
t 1
3

t 1

Tabla de contingencia del Test de Independencia de Markov

En trminos de los elementos de la tabla de contingencia, se debera dar lo siguiente:

N3 N1 N3 N2

N4 N4

Si esta proporcin difiere estadsticamente una de otra, esto indicara revisar el modelo del clculo del VaR. A su vez, estas proporciones deben ser equivalentes al nivel de significancia %, que se asume en el anlisis del backtesting,
Obtenindose la siguiente relacin de equivalencia:

N3 N1 N3 N2

N4 N4

N3 N

N4

Stress testing

Stress - testing
Las metodologas de VaR no tienen como propsito medir la peor perdida que podra pasar; por lo tanto estos anlisis deben ser complementados con pruebas de stress testing; que permitan identificar situaciones que puedan traer perdidas extraordinarias. Stress testing es clave para la adecuada gestin de riesgo que debe incluir

Anlisis de escenarios Modelos estresados por volatilidades y correlaciones Desarrollo de planes de accin en caso de materializarse alguno de los escenarios extremos.
Los escenarios recogen grandes e imprevistos movimientos en las variables y pueden ser creados de la siguiente forma:

Stress - testing
Movimientos de variables claves: es un simple e intuitivo mtodo, sin embargo tiene como dificultad el prever el movimiento de todas las variables que es improbable que se muevan en la misma direccin.
Usando escenarios histricos: consiste en replicar las condiciones de periodos histricos de crisis tales como el crash de la bolsa en 1987, la crisis asitica, la crisis mejicana etc. Creando escenarios en prospectiva: generando y modelando las variables que puedan afectar de manera mas directa el valor del portafolio. El objetivo del Stress testing es identificar reas de potencial vulnerabilidad para de esta manera generar estrategias que eviten escenarios de bancarota.

Ejemplo:

Stress - testing

Para nuestro portafolio de 3 acciones realizamos un stress testing replicando las peores volatilidades de nuestro periodo de anlisis.
Parametros FECHA
Factor decaimiento exponencial Confidence level short term Factor Escalar Horizonte de tiempo No dias Valor portafolio 07/08/2007 0.94 95.0% 1.6449 VaR 10 USD 100,000,000

Volatilidades Stock Coke Amazon Bank of America EWMA 8.52% 24.59% 5.91% Historica 10.37% 12.79% 5.60% Stress testing 20.56% 33.27% 6.87%

Resultados
Stock Coke Amazon Bank of America VaR no correlacionado VaR Correlacionado Efecto diversificacin W 30% 30% 40% 100% Valor USD USD 30,000,000 USD 30,000,000 USD 40,000,000 USD 100,000,000 VaR EWMA USD 2,554,797 USD 7,377,410 USD 2,365,718 USD 12,297,926 USD 11,999,687 USD 298,239 VaR Historico USD 3,110,716 USD 3,837,653 USD 2,241,019 USD 9,189,387 USD 12,726,448 -USD 3,537,061 VaR Stress testing USD 6,169,217 USD 9,980,300 USD 2,747,988 USD 18,897,505 USD 25,459,886 -USD 6,562,381

Anlisis de eventos extremos

Si las cosas van mal, qu tan malas pueden ser?

Teora de los valores extremos

Valores extremos se denomina a los valores inusuales causados por eventos raros. Pueden definirse, tambin, como eventos de baja probabilidad de ocurrencia pero de alto impacto.

En el anlisis clsico de datos, los valores extremos son llamados outliers y, generalmente, son ignorados en el estudio. Esto significa que los datos son analizados de forma de hacerlos uniformes a los efectos de ajustar un modelo a ellos. Esto es correcto si se buscan estimadores de los casos comunes por lo que, no debe importar si se quitan los valores extremos. Pero si se busca describir los eventos que no suceden comnmente, entonces es incorrecto. El potencial de la teora de los valores extremos aplicada a problemas de ndole financiera ha sido reconocido recientemente.

Teora de los valores extremos

El final de la ltima dcada ha sido caracterizado por la inestabilidad en los mercados financieros a nivel mundial. Esto motiv la revisin de los modelos de evaluacin de riesgos existentes y llev a la bsqueda de metodologas apropiadas que puedan hacer frente a estos riesgos y sus consecuencias. La pregunta tpica que se intenta responder es:Si las cosas van mal, qu tan malas pueden ser? Por lo que, el problema que se presenta es poder modelar valores extremos a partir de la informacin disponible. Los mtodos estadsticos para evaluar eventos extremos necesitan poder medir suficientemente bien la cola de la distribucin que se analiza. La Teora de los Valores Extremos (EVT) es la que se encarga de este anlisis. La EVT no solo genera modelos para la muestra que se est utilizando, tambin puede ser utilizada para extrapolar la probabilidad de un evento an ms extremo que queda fuera de toda muestra posible.

Teora de los valores extremos

Eventos extremos se presentan en todas la reas de la administracin y gestin de riesgo. Uno de los desafos de los administradores es crear modelos que tengan en cuenta eventos raros pero con alta capacidad de impactar el valor de los activos. la EVT se centra en el estudio de los extremos de una distribucin, de los sucesos de baja probabilidad, desarrollando un conjunto de herramientas a partir de las cuales es posible determinar los cuantiles extremos de una distribucin sin necesidad de conocer la distribucin completa.

Teora de los valores extremos

La teora de los valores extremos se fundamenta en el anlisis de eventos que no se encuentran normalmente distribuidos.
Distribucin total de los retornos

Retornos extremos

Fundamentos de Probabilidad
La llamada funcin de densidad de probabilidad (f.d.p.) sirve para saber cmo repartir la probabilidad en los diferentes posibles eventos. Ejemplo: la f.d.p. con forma de campana de la distribucin de Gauss o "Normal": La densidad "Normal" tiene grandes virtudes, especialmente las asociadas al "teorema central de lmite", pero desgraciadamente no sirve para el clculo de probabilidades de la mayora de los indicadores financieros. Si observamos los cambios diarios en alguna variable de mercado durante un periodo prolongado de tiempo, siempre se tendrn muchas observaciones pequeas positivas y negativas pero generalmente tendremos algunos datos extremos hacia uno o ambos extremos.

Fundamentos de Probabilidad
La densidad Gaussiana no permite la existencia de eventos extremos pues sus colas decrecen extremadamente rpido (ms rpido que una exponencial). La Teora de Valores Extremos, o EVT por sus siglas en ingls ("Extreme Value Theory"), es un conjunto de tcnicas estadsticas para ajustar distribuciones de probabilidad que permitan (como el nombre lo dice) la existencia de valores extremos. Las densidades ajustadas son "de colas anchas de colas pesadas.

Ejemplo
Tasa de Cetes a 91 das en mercado secundario.

Se tomaron 1045 datos diarios de esta tasa (aprox. 4.2 aos). Se tom una ventana mvil de 504 datos (2 aos) y se calcul el VaR de la tasa por cuatro diferentes mtodos. Esto dio como resultado, 540 estimaciones de VaR. Obsrvese la grfica de evolucin de la tasa y de sus primeras diferencias.

15 10

30 25 20

35

40

50 45

5 0
18-Sep-97 18-Dic-97 18-Mar-98 18-Jun-98 18-Sep-98 18-Dic-98 18-Mar-99 18-Jun-99 18-Sep-99 18-Dic-99 18-Mar-00 18-Jun-00 18-Sep-00 18-Dic-00 18-Mar-01 18-Jun-01 18-Sep-01

Cetes 91d

Cete de 91 das y sus Primeras Diferencias

1as diferencias

-6

-3

12

15

Histograma y Ajustes
Histograma de 1as diferencias del Cete de 91 das 500 0.5

400
Frecuencia

0.4

300

0.3

Mmm
200 0.2

100

0.1

0
0.5 1.5 2.5 3.5 4.5 5.5 -4.5 -3.5 -2.5 -1.5 -0.5 6.5

El histograma prueba empricamente que la distribucin de probabilidad NO es normal.

Cmo funciona la Teora de Valores Extremos?

Distribuciones de Valores Extremos

Gumbel
g0( x 0 1) 0.2 g0( x 1 2) 0.3

g 0 x, ,

exp

exp

exp

x
0.1 0 4 2 0 2 x 4 6 8 10

Frchet
g1 x, , , x
(1 )

Frchet

0.8

0.6

g1( x 1 0 1) g1( x 4 1 2) 0.4

exp

g1( x .5 2 2)

0.2

4 x

10

Weibull
g2( x g2( x g2( x 1.5 0 1) 4 1 5)

0.8

0.6

.75 2 3) 0.4

0.2

g 2 x, , ,

(1

exp

10

6 x

Distribucin Generalizada de Pareto

2

Exponencial
w0 x, , exp x

1.5

w0( x 0 1) w0( x 1 2) 1

0.5

4 x

10

Pareto

Pareto
w1( x 1 0 1) w1( x .75 1 1)

1.5

w1 x, , ,

(1

w1( x 3 1 1) 0.5

1.5

2.5

3 x

3.5

4.5

Beta
1 w2( x w2( x w2( x .99 0 1) .75 0 1) .05 .20 1) 0.5

w2 x, , ,

(1

)
0 1 0.8 0.6 x 0.4 0.2 0

Teorema de Fisher-Tippet
Para conocer la probabilidad en las colas es importante observar primero la distribucin del mximo y del mnimo. El teorema de Fisher-Tippet asegura, bajo ciertas condiciones, que la distribucin de los extremos se puede aproximar bien con alguna de las distribuciones extremas (Gumbel, Frchet, Weibull), siempre que el tamao muestral sea grande. Esto reduce la bsqueda de la distribucin lmite a slo tres posibilidades!

Cmo funciona el EVT?

Supongamos que se tiene un conjunto de datos x1, x2, ... , xn sobre los que queremos estimar el p-simo cuantil, es decir, un valor z tal que P(x<z)=p. Supongamos tambin que p es pequeo (digamos que p<=0.05). Si pensamos que todas las observaciones tienen la misma probabilidad de ocurrencia, calculemos primero un cuantil ms alto, llammosle u al nmero tal que P(x<u)=q (e.g. q=0.2 0.1), donde u sea tal que exista un 100q% de observaciones menores o iguales que u. Al nmero u se le llamar umbral. Ordenaremos primero nuestros datos en orden ascendente y1=mn(xs), y2, ..., yn=mx(xs).

Grfica de Prdidas
Tiempo
0

Monto de Prdidas X
U

Teorema Balkemade Haan

Para el clculo del VaR necesitaremos conocer la distribucin de probabilidad del umbral. El teorema de Balkema y de Haan asegura que las colas de esta distribucin se tienen que parecer a una generalizada de Pareto. Gracias a eso, la distribucin condicional de las colas, de donde derivaremos el VaR, se puede aproximar bien con una distribucin Exponencial, una Pareto o una Beta. La generalizada de Pareto es sencilla en cuanto a que slo necesita de tres parmetros.

Cmo aplicar EVT (continuacin)

Nos quedaremos slo con las observaciones menores que el umbral y1, y2, ..., yj y a las cantidades bajo el umbral uy1, u-y2, ..., u-yn les ajustaremos una distribucin generalizada de Pareto. Con esta distribucin ser fcil calcular el p-simo cuantil z, es decir el nmero tal que P(u-y>z)=p. Si nuestra muestra fuese de prdidas y ganancias simuladas la z ser el VaR. Por propiedades de la distribucin ser tambin sencillo calcular el exceso promedio, es decir E[y|y<u] (Artzner).

Estimacin
Primero estimaremos el umbral. Esto generalmente se hace con tcnicas visuales como la grfica de la funcin de excesos promedio. Generalmente se parte de unos estimadores iniciales de los parmetros, usando el mtodo de Pickands o el de Hill la grfica Q-Q. Posteriormente se pasa a afinar esas estimaciones por Mxima verosimilitud. Para esto se necesita un mtodo de optimizacin multivariado (v.g. Newton-Raphson). Una vez que se tienen los parmetros, la estimacin del VaR y del Exceso Esperado son inmediatas.

Otros Usos
Riesgo de Crdito Riesgo operacional (y legal) Hidrologa Clculos actuariales