Data Warehouse A servio do suporte

decisrio nas organizaes.

Prof. Grimaldo Oliveira

www.aprendavirtual.ninehub.com www.bicomvatapa.blogspot.com

Programa

Mercado de Trabalho Planejar para o DW Business Intelligence Data WareHouse

Desenvolvimento do DW Como criamos o DW

Preparao de Dados Case PRODEB Case Governo Concluso Bibliografia

Mercado de Trabalho

Boas Notcias
Salrio de Analista de DW o mais Valorizado. Site Revista Exame 18/08/2010. Demanda por Profissionais de TI em Alta at 2018... Ela vira de BI. Site Convergncia Digital 05/07/2010

BI deve crescer 14% no Brasil. Site IDC Brasil 20/05/2010

DW e BI ganham destaque no oramento de TI. Site Convergncia Digital 06/08/2010

23% das empresas usaram BI na nuvem em 03 anos.

Site ComputerWorld 18/06/2010

O salrio bom!!!
Realidade Brasil
Controladoria/ Informaes Gerenciais
Cargo Fixo/ ms Varivel Remunerao Anual

Gerente

R$ 11.000 - R$ 17.000

3% - 4%

R$ 176.000 - R$ 289.000

Analista Snior

R$ 7.000 - R$ 12 .000

2% - 3%

R$ 105.000 - R$ 192.000

Analista Pleno

R$ 5.000 - R$ 8.000

2% - 3%

R$ 75.000 - R$ 128.000

Analista Junior

R$ 3.000 - R$ 5.000

2% - 3%

R$ 45.000 - R$ 80.00

Fonte: Site Revista Exame, 18/08/2010

Planejar tudo

Comeando a planejar...

Em que situao pretendo que minha empresa esteja a mdio e longo prazo ?
Qual a razo de ser da minha empresa ? Por que e para que ela existe ? Qual a situao atual em que ela se encontra ? Quais so e de que forma posso classificar a situao atual dos meus processos de negcio ? Quais aes devem ser elaboradas para que meus processos de negcio sejam potencializados ?

O processo decisrio nas empresas

Qual o suporte de informaes para o executivo ?

- Documentos impressos - Planilhas Eletrnicas

Contexto Atual : Sobram dados e falta informao

Processo Decisrio
Quem toma deciso

Estratgico Ttico Operacional

O processo decisrio nas empresas

Qual a qualidade das informaes para o executivo ?

Conflito de Conceitos Falta de Integridade Excesso de Papis Perda de tempo para informaes

composio

das

Contexto Atual : As informaes disponibilizadas aos executivos no possuem confiabilidade

Business Inteligence

Business Intelligence - Conceito

Coleta de dados a partir de diversas aplicaes operacionais, integrando-as em reas lgicas de processos de negcios, armazenando-as em um repositrio central e disponibilizando as informaes aos tomadores de deciso atravs de uma ferramenta de visualizao de forma rpida, fcil e intuitiva.

Ambiente BI

Business Intelligence - Objetivos

Prover suporte decisrio de qualidade nas organizaes disponibilizando informaes sobre clientes, mercado, negcios e processos com as seguintes caractersticas : - Informaes confiveis, padronizadas, unificadas, com fcil e rpido acesso. - Composio de anlises diferenciadas - Visualizao intuitiva das informaes

Data Warehouse - Conceito

o repositrio central dos dados da organizao com o objetivo de prover suporte deciso.

Orientado por assunto: contm informaes sobre os processos de negcio da empresa. No voltil: permite apenas a carga de novos dados e consultas. Varivel no tempo: contm dados no atualizveis que se referem a algum momento especfico. Integrado: contm dados em um estado uniforme, ou seja, existe uma consistncia entre nomes, unidades de medida e etc.

Data Warehouse - Objetivos

Tornar a informao mais acessvel e consistente para toda a organizao. Ser uma fonte segura para proteger a informao da empresa. Deve ser a base para a tomada de deciso.

Data Warehouse - Benefcios

Elimina as redundncias Padroniza as terminologias Democratiza a informao Agiliza o processo de deciso Libera tempo do executivo

Desenvolvimento do Data WareHouse

Data Warehouse Principais Etapas do Desenvolvimento

Identificao dos indicadores Modelagem Dimensional ETL + Carga Criao dos Relatrios (Ferramenta OLAP) Ps-Implantao

Processo de Construo do Data WareHouse

COMO CRIAMOS O DW
MATRIZ DE NECESSIDADES

CONSOLIDA DADOS

FERRAMENTA OLAP

Preparao dos Dados

Os dados no mundo real esto sujos:
Incompletos
ausncia de atributos de interesse apenas dados agregados ausncia de valores

Ruidosos
erros aleatrios valores aberrantes (outliers) discrepncias nas codificaes ou nos nomes

Inconsistentes

Sem dados de boa qualidade o resultado da minerao pobre

Case : PRODEB
REAS SOLICITANTES

GERNCIA ADMINISTRATIVA; GERNCIA DE ACOMPANHAMENTO E AVALIAO DE PRODUTOS; GERNCIA ECONMICA-FINANCEIRA; COORDENAO DE COMPRAS; COORDENAO DE SERVIOS DE IMPRESSO.

REAS BENEFICIADAS

PRESIDNCIA; GERNCIA DE RELACIONAMENTO E ATENDIMENTO; ASSESSORIA DE GESTO DE CUSTOS E CONTROLES INTERNOS; COORDENAO FINANCEIRA.

Necessidades e Levantamento
NECESSIDADES Controle dos dados administrativos; Controle dos dados do faturamento (Mainframe); Controle dos dados do financeiros; Controle dos gastos com a Impresso Corporativa; Controle de compras; Consolidao em uma base nica; Eliminao dos diversos relatrios em Excel espalhados pelos servidores; Criao de relatrios dinmicos de quaisquer assunto.

DADOS LEVANTADOS Energia; Impresso corporativa; gua; Indenizao por Km; Material de Consumo; Reprografia; Txi; Telefonia; Veculos; Viagem; Compras.

Problemas? Solues a serem encontradas!!!

Operacional
Duplicidade na base de telefonia;
Duplicidade na base de indenizao de km;

Matricula dos servidores no cadastrada corretamente;

Datas invlidas; Identificao de linhas telefnicas sem unidades; Matriculas inexistentes nos sistemas; Informaes com descries diversas

Cargas do DW : CASE GOVERNO

Carga de stage de dimenso - fonte de dados: sistema transacional - carga total dos dados Carga de stage de fato(interao com operacional) - fonte de dados: sistema transacional - carga dos dados controlada por um perodo

Carga de dimenso - fonte de dados: stage de dimenso

Carga de fato - fonte de dados: stage de fato

Carga de stage de dimenso

-

Carga total dos dados da respectiva tabela operacional

Insere um registro que representa SEM INFORMACAO na tabela de stage de dimensao.

Carga de stage de dimenso

Carga de stage de fato

-

onde realizada a implementao da regra de negcio de cada fato do DW.

Join com a tabela CONTROLE_CARGA para fazer o controle por perodo dos dados carregados.

Atualizao automtica da tabela CONTROLE_CARGA para configurao da prxima carga da fato.

Estrutura da tabela:

Carga de stage de fato tabela CONTROLE_CARGA

Alguns registros de prxima carga(PROXIMA=S):

Alguns registros indicando o perodo de carga atual de cada fato(ATUAL=S):

Alguns registros para histrico de execuo das cargas(PROXIMA=N E ATUAL=N):

Carga de stage de fato tabela CONTROLE_CARGA

Regra do join entre a TABELA_FATO e a tabela CONTROLE_CARGA:
CONTROLE_CARGA.NOME_TAB =NOME_DA_FATO' And CONTROLE_CARGA.PROXIMA ='S' And TABELA_FATO. PERIODO > CONTROLE_CARGA.DATA_CARGA_INICIO And TABELA_FATO. PERIODO < CONTROLE_CARGA.DATA_CARGA_FIM

Carga de stage de fato pr e psmapping

(P_PREMAPPING_CARGA_FATO): - Atualiza o campo DATA_FIM se estiver nulo no respectivo registro, colocando a data atual.

(P_POSMAPPING_CARGA_FATO):

- Seta o flag ATUAL=N onde ATUAL=S no registro em questo.

- Seta os flags ATUAL=S e PROXIMA=N onde PROXIMA=S no registro em questo. - Insere um registro com o flag PROXIMA=S a depender do nvel de tempo(mensal ou dirio) da fato em questo. Este novo registro ter o atributo DATA_CARGA_INICIO igual ao dia ou o ms anterior da data atual.

Carga de stage de fato

Carga de dimenso
-

Controle dos dados existentes na dimenso. inserido apenas os registros alterados e os novos. Transformao dos dados nulos para SEM INFORMACAO Criao de chave artificial para dimenso atravs de uma sequence.

Carga de dimenso

Carga de fato
-

Alter-Joins com as stages de dimenso para busca das chaves necessrias

Controle do cdigo da carga em execuo

Registro da execuo da carga. Transformao dos dados nulos para SEM INFORMACAO
Lookup das chaves artificiais das dimenses

Split para tabela fato e tabela de auditoria Auditoria dos dados carregados.

Carga de fato registro de execuo da carga

-

Tabela CONTROLE_EXECUCAO_FATO:

- A tabela contem a chave(FK) para a respectivo registro na tabela CONTROLE_CARGA, o nome da tabela fato, a data em que foi feita a carga e o cdigo da carga.

Carga de fato

Carga de fato auditoria dos dados

Tabela CONTROLE_LOGERROS:

Carga de fato auditoria dos dados(exemplo)

Dados da tabela de auditoria da fato de arrecadao:

Dados da tabela de auditoria da fato de arrecadao:

Registro gerado na tabela CONTROLE_LOGERROS:

Seqncia obrigatria para execuo das cargas

Stages de dimensao

Dimenses

Inicio

Stages de fato

Fatos

Ferramentas OLAP e ETL

Open Source

Jmagallanes

Pentaho
Talend Discoverer Microstrategy

Proprietrias

Cognos
SAP BW

OWB- ORACLE

Bibliografia Recomendada

KIMBALL, Ralph - Data Warehouse Toolkit. Makron Books, So Paulo, 2004 INMON, W.H. Como Construir o Data Warehouse. Campus, Rio de Janeiro, 2005

COREY, M. - Oracle 10g Data Warehouse. Campus, Rio de Janeiro, 2004

Bibliografia na Internet

www.dwbrasil.com.br

www.datawarehouse.com
www.ralphkimball.com