Ferramentas OLAP

Heron Silva - heron.silva@gmail.com Joo Moreira - jonimoreira@gmail.com

Business Intelligence

Agenda do Curso
Reviso conceitos Teoria de Tomada de Deciso Microsoft Analysis Services Exerccios

Referncia bibliogrfica
The Microsoft DW Toolkit, Kimball Advanced Data Warehouse Design (2009), Elzbieta Quadrante Mgico de BI Gartner 2011 OLAP Solutions, Thomsen Editora Wiley

Business Intelligence

Agenda do Curso

Reviso conceitos

Ferramentas Histrico Operaes Arquitetura

Teoria de Tomada de Deciso Microsoft Analysis Services Exerccios

Para que OLAP?

Facilitar a tomada de decises Realizando anlises comparativas Respondendo perguntas analticas em modelos multidimensionais Examinando os dados e agregados para encontrar padres e tendncias de importncia para a organizao Manipulando dinamicamente e agregando automaticamente dados do dataw arehouse
Business Intelligence

OLAP - Ferramentas
Softare com objetivo de dar suporte w tomada de decises atravs de anlise dinmica e multidimensional dos dados de uma organizao Suporta operaes de navegao permitindo que a ao do usurio final seja tanto analtica quanto navegacional

OLAP - Ferramentas
Ferramentas OLAP servem para: Manipular e analisar um grande volume de dados sob mltiplas perspectivas (dimenses) Facilitar a criao de queries complexas com grande quantidade de dados

Evoluo das Ferramentas

Linguagens de programao e Sistemas Gerenciadores de Banco de Dados (SGBD)

Facilidade

para Analistas de Sistema (dados acessados de forma mais simples) para usurios comuns (gerentes, diretores e profissionais da rea de marketing, vendas etc..) Independncia de tcnicos de informtica para gerar relatrios Anlise das informaes de forma dinmica e rpida

Ferramentas OLAP
Facilidade

Histrico

Fonte: 2009 SAP

Operaes OLAP

Roll-up, drill-don, pivot, slice, dice, drillw across, drill-through

Roll-up

A operao de roll-up transforma medidas detalhadas em medidas sumarizadas, movendo acima na hierarquia ou reduzindo a dimenso (agrega para o nvel acima). Ex: Roll-up da dimenso Loja de cidade para pas

Drill-don w

A operao de drill-do n realiza o oposto da roll-up, ou seja, passando de w um nvel mais geral para um nvel mais detalhado em uma hierarquia, representando ndices (medidas) mais detalhados. A figura apresenta um drilldon de quartil para ms na dimenso tempo. w

Pivot

A operao pivot (ou rotate) roda os eixos de um cubo para oferecer uma alternativa de visualizao dos dados

Slice

A operao slice seleciona uma dimenso em um cubo resultando em um sub-cubo. A figura ilustra dados filtrados quando somente Paris filtrado.

Dice

A operao dice define uma seleo em duas ou mais dimenses, resultando em um outro subcubo. A figura apresenta as vendas nas lojas de Paris para os primeiros seis meses

Drill-across

A operao drill-across executa consultas envolvendo mais de um cubo. Esse pode ser o caso, por exemplo, se quisermos comparar dados de venda de um cubo com dados de aquisies de outro cubo. Essa operao requer que os dois cubos tenham pelo menos uma dimenso em comum

Drill-through

A operao de drill-through permite que se mova a partir dos dados no nvel mais detalhado de um cubo para os dados no sistema transacional do qual os dados do cubo foram derivados. Isso pode ser utilizado, por exemplo, quando se quer determinar o motivo de um desvio em algum valor no cubo.

Onde est OLAP na Arquitetura?

Outra Viso da Arquitetura

Arquitetura OLAP - ROLAP

Relational OLAP (ROLAP)

Dados armazenados em um Banco de Dados Relacional Gerador Inteligente de SQL a partir da especificao do modelo multidimensional Simulao das operaes OLAP (slice&dice, por exemplo, transformam-se em uma declarao WHERE de SQL) Anlise mais exploratria dos dados Servidor de banco de dados relacional e a engine OLAP em um servidor que armazena cubos de informao (a consulta enviada e processada no servidor do banco de dados relacional) Permite anlise de grande quantidade de dados

Arquitetura OLAP - ROLAP

Vantagens: Alta escalabilidade - limitao o BD Relacional Pode alavancar as funcionalidades inerentes do BD Desvantagens: Baixo desempenho Consultas SQL custosa para grande volume de dados; Limitado pelas funcionalidades SQL (por exemplo, a dificuldade de realizar clculos complexos)

Arquitetura OLAP - MOLAP

Multidimensional OLAP (MOLAP) Cubo agregado a partir do modelo relacional. Consultas tem menor tempo de resposta j que todos os dados esto pr-agregados no cubo. Dados armazenados em formatos proprietrios Acesso aos dados diretamente no banco de dados multidimensional Usurio manipula os dados do cubo diretamente no servidor Benefcios de desempenho Avaliaes mais simples e rpidas, mas com limitao de tamanho

Arquitetura OLAP - MOLAP

Vantagens
Alto desempenho Clculos complexos Baixa escalabilidade Investimentos altos

Desvantagens

Arquitetura OLAP

Hybrid OLAP (HOLAP)

Combina

as solues ROLAP e OLAP (tenta combinar as vantagens de cada)

Alta performance do MOLAP Melhor escalabilidade do ROLAP

Exemplo:

ROLAP para dados detalhados da tabela fato e MOLAP para dados agregados.

Arquitetura OLAP

Desktop OLAP (DOLAP) Local OLAP (LOLAP)

Processamento na mquina cliente Consulta o servidor e recebe micro cubo para ser analisado Vantagens: menor trfego na rede e menor sobrecarga no servidor Desvantagem: maior tempo para iniciar anlise e limitao no volume da dados do cubo (devido ao tempo/volume do transporte)

Agenda do Curso
Reviso conceitos Teoria de Tomada de Deciso Microsoft Analysis Services Exerccios

Tomada de decises
... o processo pelo qual so escolhidas algumas ou apenas uma entre muitas alternativas para as aes a serem realizadas. ...deciso a ao tomada com base na apreciao de informaes. Decidir recomendar entre vrios caminhos alternativos que levam a determinado resultado. (Wikipdia)
Business Intelligence

Quem
Responsveis pela tomada de deciso?
Diretores / Executivos Gerentes / Administradores

Usurios de ferramentas OLAP?

Tomadores de decises Analistas de negcio Fornecedores Clientes
Business Intelligence

O que e como
Chegar a uma concluso?
Tomadores de decises precisam ter domnio das diversas variveis ou situaes que podem interferir no objetivo final; Necessrio conhecer os objetivos da organizao; Optar pela melhor alternativa (a que d real valor para a organizao) dentre as disponveis.
Business Intelligence

Quando
Tomar decises?
O mercado exige rapidez nas solues, portanto o quanto antes a melhor deciso for tomada, melhor para a organizao; Uso de estratgia para agendar o melhor momento para uma tomada de deciso atravs de alguma mudana na organizao.

Business Intelligence

Business Intelligence

Processo
1. Examinar a situao
1. Percepo da situao que abrange algum problema; 2. Diagnstico e definio do problema; 3. Definio dos objetivos;

2. Buscar alternativas de soluo ou de cursos de ao; 3. Escolher alternativa mais apropriada ao alcance dos objetivos;
1. Avaliao e comparao dessas alternativas;

4. Implementar a alternativa escolhida.

Business Intelligence

Percepo do problema

1. 2.

3. 4.

Problema: Situao onde o estado atual das coisas diferente do desejado. Desvio em relao a experincia do passado (Vendas mais baixas, turnover de funcionrios); Desvio em relao ao plano (lucros menores, estouros de oramento, projetos atrasados, projees no alcanadas); Pessoas trazem problemas (clientes insatisfeitos, demisses, problemas de relacionamentos); Desempenho dos competidores (procesos melhores, novos lanamentos, Business Intelligence melhor atendimento)

Diagnstico e definio
Esse gap um problema? Como resolv-lo? Qual o tamanho do espao (gap) entre o estado atual e o estado desejado? Como essa diferena afeta nossas chances de alcanar os nossos objetivos? Qual o timing para agir? Quais so as prioridades? Fcil de ser resolvido? Poderia se resolver sem aes tomadas? A deciso deve ser tomada por mim? Business Intelligence

Decises
Problemas diferentes requerem diferentes tipos de tomadas de deciso Todo problema administrativo equivale a um processo de deciso de forma exclusivamente mtua. Sendo ambos pontos extremos, possuindo um subconjunto de decises entre eles.(Simon, 1970) Tipos
Programadas No programadas
Business Intelligence

Decises programadas
So as decises caracterizadas pela rotina e repetitividade. So adotadas mediante uma regra, com dados evidentes, condies estticas, certeza, previsibilidade. Acontecem com certa frequncia na organizao.(Wikipdia) Exemplos
Fazer pedido de estoque sempre que o nvel cair para 100 unidades; Liquidao de mercadorias de lojas do vesturio prximo a troca de estao; Lanamento de um produto no mercado (carro, livro, Business Intelligence alimentos)

Decises no programadas
So as decises caracterizadas pela noestruturao, dados inadequados, nicos e imprevisveis. Estes tipos de decises esto ligados s variveis dinmicas tornando-se de difcil controle. Seu intuito a resoluo de problemas incomuns, marcados pela inovao e incerteza.(Wikipdia) Se um problema no surge com freqncia suficiente para ser resolvido por uma poltica, ele deve ser resolvido por uma deciso noprogramada.
Business Intelligence

Condies de deciso
Condies de certeza
Quando a deciso tomada se baseando em certezas, atravs de informaes precisas, mensurveis e confiveis sobre os resultados
Quando a certeza sobre o sucesso com o resultado da tomada da deciso tem probabilidade conhecida (entre 0 e 100%) Quando a probabilidade incerta ou desconhecida (algumas vezes por metas no claras)
Business Intelligence

Condies de risco

Condies de incerteza (ou ignorncia)

Nveis de deciso

Nvel Estratgico
Longo prazo: em geral so decises para muitos anos

Nvel Ttico

Mdio prazo: deciso para alguns meses

Curto prazo: deciso para alguns dias ou alguns meses Momentneo: deciso para algumas horas / dias

Nvel Operacional Nvel de despacho ou liberao

Importncia (Alta, mdia, normal, pouca e no importante)
Estruturao (Estruturada e no estruturada) Previsibilidade (previsvel, rotineira, no rotineira, indita)
Business Intelligence

Condies de deciso
Condies de certeza
Quando a deciso tomada se baseando em certezas, atravs de informaes precisas, mensurveis e confiveis sobre os resultados
Quando a certeza sobre o sucesso com o resultado da tomada da deciso tem probabilidade conhecida (entre 0 e 100%) Quando a probabilidade incerta ou desconhecida (algumas vezes por metas no claras)
Business Intelligence

Condies de risco

Condies de incerteza (ou ignorncia)

Agenda do Curso
Reviso conceitos Teoria de Tomada de Deciso Microsoft Analysis Services Exerccios

Microsoft

Microsoft

Microsoft
Pontos Positivos:
Ganhando mercado desde que entrou em 2000 BI em: Microsoft Office, Microsoft SQL Server e Microsoft SharePoint Usurios satisfeitos (acima da mdia) - Capacidade de Execuo Baixo custo (mesmo comparado com open-source)
Base instalada - mais custoso migrar para outra soluo Mais citado como baixo TCO

Microsoft
Pontos Positivos:
Orientado para TI (SQL Server e Visual Studio)
Investimento em Suporte, Parceiros, Desenvolvedores etc..

Avanos para Larga Escala

Data (1o na pesquisa) e Usurios (2o na pesquisa - 1 o MicroStrategy)

Uso do OLAP > que 2x a mdia (Microsoft SQL Server Analysis Services)

Microsoft
Pontos Positivos:
Iniciando (tardiamente) in-memory - SQL Server Poer w Pivot
SQL Server "Denali": in-memory Microsoft Analysis Services cubes

Integrado com ambiente de Colaborao (SharePoint)

Busca, gerenciamento, compartilhamento, rede social etc..

Microsoft
Pontos Negativos:
Complexidade pelos 3 produtos combinados
Como integrar? Impactos na inovao. Proposta: "Faa voc mesmo

Comparando com os Grandes

Foco limitado (desenvolvedores) Falta foco em ferramentas voltadas para o negcio Falta clareza em Mobilidade Mudanas: Excel 2010 e Poer Pivot w

Microsoft
Pontos Negativos:
Faltam Pacotes para agilizar a implementao A empresa precisa ter base MS:
Excel, Windos, SQL Server, SQL Server Analysis Services, w Visual Studio e .NET com SharePoint Server

Falta camada de metadados (entre as piores classificaes)

BIDS
SQL Server 2005/2008 com Business Intelligence Studio (BIDS) BIDS a IDE para desenvolvimento atravs dos tipos de projetos
SQL Server Integration Services -SSIS SQL Server Analysis Services -SSAS SQL Server Reporting Services -SSRS

BIDS = Visual Studio + "plugins"

BIDS
IDE com mesmo ambiente para criao de ETL, cubos e relatrios Soluo nica no Visual Studio pode conter um ou mais tipos de projeto Integrado ao Visual Studio: podem ser usados componentes de bibliotecas (dlls), Web Services, Providers, etc Controle de cdigo fonte (TFS, VSS, SVN, etc)

Analysis Services
Servidor Microsoft para construo de:
Estruturas multidimensionais (cubos) Modelos de data mining

Cubos
Modelos multidimensionais carregados com dados de uma ou vrias fontes Pode armazenar valores agregados Pode conter calculations, KPIs, translations e perspectives

Unified Dimensional Model

UDM um termo que define um conceito importante: Enterprise Data Warehouse Exemplo: A dimenso cliente se encontra em datamarts diferentes, mas os cubos fazem referncia mesma dimenso Cubos diferentes podem compartilhar as mesmas dimenses No BIDS, UDM = cubo

Data Mining
Utiliza algoritmos estatsticos para encontrar tendncias e padres nos dados Categorias:
Algoritmos de classificao Algoritmos de regreo Algoritmos de segmentao Algoritmos de associao Algoritmos de anlises sequenciais

Agenda do Curso
Reviso conceitos Teoria de Tomada de Deciso Microsoft Analysis Services Exerccios