Curso 19286 Aula 02 v1 PDF

Aula 02
Banco de dados e BI p/ DATAPREV (Anlise de Negcios)

Professor: Thiago Rodrigues Cavalcanti
51583806784 - carla peretro

Conceitos de OLAP e DATA MINING
Prof. Thiago Rodrigues Cavalcanti Aula 02
AULA 02: Data mining e OLAP
Sumrio
1. Recuperao de dados ................................................................................................... 1
OLAP ...................................................................................................................................................... 1
2. Conceitos bsicos ............................................................................................................. 2
3. OLAP x OLTP....................................................................................................................... 2
4. Operaes OLAP................................................................................................................ 4
5. Arquitetura de servidores OLAP................................................................................ 10
6. Critrios de avaliao de produtos OLAP .............................................................. 14
Data mining ...................................................................................................................................... 16
7. Conceitos bsicos ........................................................................................................... 16
7.1. Processo de minerao ............................................................................................ 18
7.2. Tarefas de minerao ............................................................................................... 22
7.2.1. Regras de associao............................................................................................ 22
7.2.2. Classificao ............................................................................................................. 24
7.2.3. Agrupamento (Clustering) .................................................................................. 26
7.2.4. Abordagem para outros problemas de minerao .................................... 27
7.3. Conceitos Complementares .................................................................................... 28
Visualizao e anlise exploratria de dados ...................................................................... 30
Questes Comentadas.............................................................................................................. 33
Questes extras .......................................................................................................................... 49
Consideraes Finais ..................................................................................................................... 62
1. Recuperao de dados
Nesta aula, nosso objetivo apresentar as diferentes tcnicas e
ferramentas que fazem acesso ao Data Warehouse (DW). preciso entender que
cada uma delas atende a uma necessidade especfica de usurios e clientes.
Vamos mostrar como recuperar as informaes e como visualizar esses

dados aps a execuo de diferentes algoritmos ou consultas sobre o DW. 51583806784
Dividimos nossa aula em quatro partes. Falaremos de OLAP ou processamento

analtico on-line, data mining ou minerao de dados e, em seguida,
mostraremos as possibilidades de visualizao por meio dos painis e
dashboards.
OLAP
O termo On-Line Analitical Processing OLAP foi proposto por E.F. Codd, o
pai do modelo relacional. O modelo relacional pe os dados em tabelas,
enquanto o OLAP usa a representao de arrays multidimensionais. Essa
representao de dados j existia previamente na estatstica e em outras reas.
Existe um grande nmero de operaes de analise de dados e explorao de
Prof. Thiago Rodrigues Cavalcanti

www.estrategiaconcursos.com.br 1 de 62

dados que so facilitadas como esse modelo de representao. Vamos entender

o conceito por trs desse modelo.
2. Conceitos bsicos
Comeamos tentando responder a uma pergunta bsica: O que OLAP?
Trata-se de um processamento de dados dedicado ao suporte a deciso. Essa
analise feita por meio da visualizao de dados agregados ao longo de vrias
dimenses analticas do modelo de dados dimensional (ex.: tempo, espao,
categoria de produto, quantidade vendida, preo).
Esse processamento feito sobre dados armazenados em Banco de Dados

especializadas. Eles seguem um modelo lgico de dados multidimensional e so
chamados de Data Warehouse, Data Mart ou BD multidimensionais. Falamos
sobre eles na aula anterior. Sabemos inclusive que os dados so estruturados de
forma hierarquizada em diferentes nveis de granularidade.
Outra definio possvel para OLAP seria um recurso que permite

manipular e analisar grandes volumes de dados sobe mltiplas
perspectivas. Ou ainda, um software que permite ao usurio interagir com um
grande banco de dados on-line (data warehouse) e solicitar e receber
praticamente qualquer relatrio no formato desejado.
Partindo dos trs conceitos vistos at agora, passaremos para uma

sistematizao do conhecimento dentro do assunto. Os conceitos de OLAP, mais
precisamente quando tratamos de questes para concursos, podem ser
classificados da seguinte forma: 1. OLAP x OLTP, 2. Operaes OLAP e 3.
Taxonomias de servidores OLAP.
3. OLAP x OLTP
On-Line Analytical Processing (OLAP) muito diferente do tradicional On-
Line Transaction Processing (OLTP). Quando utilizamos OLTP, o foco sobre as
51583806784
transaes individuais. Considere, por exemplo, um sistema OLTP simples usado

por um vendedor de livros para manter a par dos livros em estoque. Quando
uma cpia de um determinado livro B vendida, o sistema diminui o nmero
que mostra quantas cpias de B esto em estoque.
Da mesma forma, o nmero aumenta quando mais cpias so entregues

a partir do editor. O sistema s mantm o controle dos dados mais atual, isto ,
o que est atualmente no estoque. Detalhes sobre vendas individuais no so
armazenados em um formato fcil de analisar. O varejista pode at saber quem
o cliente, mas esta informao no mantida com a finalidade de anlise
posterior. O sistema armazena suas informaes em um banco de dados
relacional que normalizada para evitar anomalias de atualizao. Este tipo de


sistema conhecido como OLTP. Ele otimizado para recuperao e/ou

atualizao de uma pequena quantidade de tuplas.
Em contraste, um sistema OLAP para o varejista de livros mantm o

controle de cada venda individual. Isso tambm inclui informaes especficas
sobre a venda, como a cidade onde a venda ocorreu, a data da venda, o
vendedor que vendeu o livro, e informaes sobre o banco de dados
multidimensional. Ele usado para o armazenamento de tais dados. Desta
forma mais fcil achar, por exemplo, o livro de receitas mais vendido e o
nmero mdio de livros infantis vendidos antes de uma operao de vendas. O
OLAP geralmente no apaga nem atualiza seus dados; apenas adies de novos
dados ocorrero no sistema periodicamente. O OLAP assim otimizado para
recuperar (e sumarizar) grandes quantidades de dados.
A comparao entre OLAP e OLTP passa por diversos critrios individuais.

Cada autor valoriza critrios diferentes, ou seja, se voc observar algumas
caractersticas so comparadas em um livro e no em outro. Vamos comear
exibindo uma primeira tabela que faz algumas distines entre os dois modelos:
A ideia fundamental por trs da programao de matriz ou array de que

51583806784
as operaes se aplicam de uma vez para todo um conjunto de valores. Isto o

torna um modelo de programao de alto nvel, uma vez que permite ao
programador pensar e operar sobre os agregados inteiros de dados, sem ter de
recorrer s linhas explcitas de operaes escalares individuais.
A base da programao por array e do seu pensamento encontrar e

explorar as propriedades de dados onde os elementos individuais so
semelhantes e/ou adjacente. Ao contrrio da orientao a objetos que
implicitamente quebra de dados para suas partes constituintes (ou quantidades
escalares), a orientao serial olha para um grupo de dados e aplica um
tratamento uniforme.


A comparao continua com outros autores. Carlos Barbieri faz uso da

seguinte lista em seu livro:
Resumindo quando pensamos em OLTP temos as seguintes caractersticas:

Ele usado para acesso dados em tempo real, baseado em transao, os
dados podem existir em mais do que uma tabela. Eles so otimizados para
transaes mais rpidas e incluem operaes de inserir, atualizar e excluir. No
so construdos para a execuo de consultas complexas. Bancos de dados de
sistemas Line-of-Business (LOB) e Enterprise-Resource-Planning (ERP) usam
este modelo. A ferramenta da Microsoft que gerencia este modelo o SQL
Server Management Studio (SSMS). Segue as regras de normalizao de banco
de dados (DB) e usa banco de dados relacional. Armazena dados da chave. Usa
menos ndices e mais juno. E faz consultas de vrias tabelas.
Quando nosso foco OLAP temos: O uso de dados on-line ou histricos.

Usado para anlise e navegao sobre os dados. Os dados podem existir em
mais do que uma tabela. Otimizado para desempenho analtico dos dados. Banco
51583806784
de dados apenas de leitura. Construdo para executar consultas complexas.

Bancos de dados analticos, como Cognos, a Business Objects, e assim por
diante utilizam este modelo. A ferramenta da Microsoft para esse tipo de modelo
o SQL Server Analysis Services (SSAS). Relaxa as regras de normalizao de
banco de dados. Utiliza banco de dados relacional ou multidimensional.
Armazenam dados agregados em relao chave. Comparado com OLTP usa
relativamente mais ndices e menos juno. Consulta pode ser executada em
menos tabelas.
4. Operaes OLAP


Passamos agora para as operaes OLAP. Conhecida tambm como

funcionalidades. Aqui esto as funes que podem ser aplicadas sobre os dados
disponveis nos cubos ou nos DW. Antes de tratarmos das funes vamos
relembrar o conceito de granularidade.
A granularidade diz respeito ao nvel de detalhe ou de resumo nas unidades

de dados no DW. Quanto maior o nvel de detalhes, menor o nvel de
granularidade. O nvel de granularidade afeta diretamente o volume de dados
armazenado no DW e, ao mesmo tempo, o tipo de consulta que pode ser
respondida.
OLAP oferece recursos de modelagem analtica, incluindo um mecanismo de

clculo para desvio padro, varincia, entre outros; e processamento de
medidas em mltiplas dimenses. Os recursos tambm permitem gerar
sumarizaes, agregaes e hierarquias em cada nvel de granularidade e em
cada cruzamento de dimenso. Ele ainda suporta modelos funcionais para
previso, anlise de tendncias e anlise estatstica.
Neste contexto, um motor OLAP uma ferramenta poderosa a anlise de

dados. Que tal darmos uma olhada nas operaes de OLAP? Certamente voc j
ouviu falar de Drill Down, Drill up, Roll up, Drill across, Pivot, Slice and
Dice. Pois bem, que tal detalhar cada uma delas?
Em modelos multidimensionais, como prprio nome sugere, os dados so

organizados em mltiplas dimenses. Cada uma delas contm mltiplos nveis
de abstrao. Esses nveis so, ainda, definidos pelo conceito de hierarquia.
Essa organizao prov ao usurio uma flexibilidade para observar os dados a
partir de diferentes perspectivas e em diferentes nveis de detalhe.
Graficamente, esses modelos podem ser representados por meio de um

cubo. As operaes sobre um cubo de dados nos permitem materializar
diferentes perspectivas (tambm conhecidas como vises), permitem consultas
e anlises interativas sobre dados armazenados. Vamos, ento, entender as
peculiaridades de cada uma dessas operaes de OLAP.
51583806784
Roll-up: tambm conhecida como drill-up, aplica uma agregao sobre o

cubo de dados. Ou ainda, aumentar o nvel de granularidade dentro de uma
dimenso, reduzindo o detalhamento da informao. , basicamente, subir na
hierarquia. A figura abaixo, retirada do livro Data Mining: Concepts and
Techniques, mostra o resultado da operao de roll-up aplicada no cubo central
subindo na hierarquia de location. Basicamente, essa hierarquia definida na
seguinte ordem: street < city < province_or_state < country. Essa agregao
mostra uma ascenso na hierarquia de location do nvel de city para o nvel
de country.
Drill-down: o inverso da operao de roll-up. uma forma de navegar

de um dado com menor nvel de detalhe para um dado com maior nvel de

detalhe. Essa operao pode ser realizada tanto descendo em uma hierarquia de
uma dimenso quanto introduzindo dimenses adicionais. A figura abaixo exibe
o resultado de uma operao de drill-down sobre o cubo central, basicamente,
descendo sobre a hierarquia de tempo (day < month < quater < year). A
operao desce do nvel de semestre (quater) para ms (month).
Outra forma de executar o drill-down seria adicionando uma nova dimenso

ao cubo. Por exemplo, imagine, a partir do cubo central, uma operao de drill-
down que introduz uma dimenso adicional. Por exemplo,
grupo_de_consumidores.
Slice and dice: A operao de slice executa uma seleo sobre uma das
dimenses de um determinado cubo, resultando em um subcubo. A figura
mostra um exemplo da operao de slice que seleciona as vendas por cidade em
um determinado semestre (nestre caso, quarter = Q1). A operao
de dice define um subcubo atravs de umaseleo sobre duas ou mais
dimenses. A figura tambm mostra uma operao de dice que envolve trs
dimenses seguindo os seguintes critrios (location = Toronto ou Vancouver
|| time = Q1 ou Q2 || item = home entertainment ou computer).
Pivot: Tambm conhecida como rotate ou rotao, uma operao de

visualizao que rotaciona os eixos de um determinado cubo, provendo uma
viso alternativa dos dados. A figura mostra uma operao de pivot sobre o
resultado da operao de slice. Neste caso, observamos uma rotao em duas
dimenses. Contudo o mesmo pode ser feito, tambm, em um cubo 3-D.
51583806784


At aqui vimos as mais simples operaes de OLAP, que podem, inclusive,

ser consideradas operaes bsicas. Contudo, ainda no tratamos das famosas
Drill-across e Drill-through. Vamos agora definir cada um deles:
Sobre a operao de drill-across encontramos na literatura uma

divergncia entre os principais autores. Vejam algumas definies
abaixo:
Drill-across: Executa uma consulta envolvendo mais de uma tabela fato!

Essa operao exige que os dois cubos tenham pelo menos uma das dimenses
em comum. A ideia voc conseguir consultar as mltiplas tabelas fato e colocar
o resultado em um nico data set. Esta a viso de Kimball (voc pode ver um
exemplo aqui).
Para entender como efetuar essa operao, que tal mostrarmos um

exemplo prtico? Imagine que uma determinada livraria tenha duas formas de
venda de produtos: nas suas lojas fsicas ou pela Internet. Para cada um desses
processos de venda temos um cubo. No primeiro caso o cubo montado com as
hierarquias de livros, tempo e localizao geogrfica. Na internet, no existe a
dimenso geogrfica. Desta forma, esta foi substituda pela dimenso cliente.
Suponha que um gerente deseja fazer uma consulta para saber qual livro
foi o mais vendido nos anos de 2008 e 2009. Para fazer o drill-across, ns
atendemos primeira premissa segundo Kimball: trata-se de uma operao
sobre dois cubos. Os dados nos dois cubos so combinados nas dimenses
comuns aos mesmos. Nesse caso, livros e tempo. O analista vai, ento, utilizar
uma medida derivada para somar as vendas dos dois cubos e dessa forma obter
o livro com maior quantidade de vendas. Veja que o drill-across abre um novo
caminho para que voc possa analisar os dados. A figura abaixo ilustra esse
exemplo:
51583806784
Drill-across: Significa mudar de uma classificao em uma dimenso para

outra em uma dimenso diferente.


Drill-across: uma tcnica similar ao drill-down. A diferena que

o drilling ser feito horizontalmente, ao invs de verticalmente. Por exemplo,
depois de inicialmente exibir o resultado das vendas anuais, o drill-across pode
ser usado para exibir as vendas em cada ms.
Dentre as definies acima eu ficaria com a primeira. Contudo acho

que importante ver as demais para ter um entendimento mais amplo a
respeito do assunto. Vamos agora tratar de drill-through.
Drill-through: Essa operao pode se utilizar das facilidades de SQL para,

a partir do cubo de dados, penetrar (drill through) at as tabelas relacionais
de back-end. Ela visa o entendimento das informaes (registros) a partir dos
quais o cubo derivado. Assim, permite a movimentao de um dado, em um
determinado nvel do cubo para dados de nvel operacional. Pode ser usado, por
exemplo, se voc est tentando determinar a razo de um ponto fora da curva
(outlier) dentro do cubo de dados.
Drill-Through: As tabelas de drill-through permitem que voc exiba, em

tempo de consulta, os detalhes dos dados no sumarizados a partir dos quais
uma clula de uma tabela ou uma seleo de clulas sumarizada. A capacidade
de drill-through permite as empresas acesso aos dados que no esto
armazenados no servidor OLAP, fazendo-as acessveis para os usurios finais
das aplicaes OLAP. Esses dados podem vir tanto do DW quanto das bases
transacionais.
Drill-Through to Detail Level: Permite uma transio suave de uma base

multidimensional e agregada para o nvel de detalhamento de registro nas fontes
de dados do repositrio de DW.
Vejam que, ao contrrio das definies de drill-across que divergem

entre si, as definies de drill-through so complementares. O objetivo,
nesse caso, mergulhar na hierarquia dos dados para observa-los no
maior nvel de detalhamento, chegando, s vezes, a consultar as bases
de dados transacionais que deram origem aos dados agregados do DW.
51583806784
Alm das definies de drill-across e drill-throught vistas acima, existe

outra bastante difundida na Internet, esta uma definio equivocada, mas
utilizada por algumas bancas, como a FCC. (Espero que isso mude um dia!)
Drill-Across: ocorre quando o usurio pula um nvel intermedirio dentro

de uma mesma dimenso. Por exemplo, a dimenso tempo composta por ano,
semestre, trimestre, ms e dia. A operao drill-across executada quando o
usurio passa de ano direto para trimestre ou ms. Por essa definio podemos
representar a operao de drill-across conforme a figura abaixo:


Drill-Throught: ocorre quando o usurio passa de uma informao contida

em uma dimenso para outra. Por exemplo, inicia na dimenso do tempo e no
prximo passo analisa a informao por regio. Mais uma vez, podemos
visualizar essa definio no cubo abaixo.
At aqui falamos das principais operaes de OLAP, outras que s vezes

aparecem na literatura so listadas abaixo com suas respectivas definies:
Drill-within: a passagem de uma classificao para outra classificao

diferente dentro da mesma dimenso. 51583806784
Para entendermos um pouco melhor que os autores quiseram dizer com

isso, precisamos voltar ao conceito de hierarquia e classificao. Em uma
determinada dimenso possvel que exista diferentes classificaes. Vamos
pensar em um exemplo de produto. Produto pode ter uma classificao grupo de
produto que pode ser dividido em categorias e essas por sua vez divididas em
setores. Veja que essa uma classificao de produto e possui uma hierarquia
dentro dela. Contudo a dimenso produto pode ter outras classificaes como,
por exemplo, marca (Brand), VideoSystem e AudioSistem. A operao de drill-
within basicamente passar de uma classificao para outra dentro da mesma
dimenso. Veja a figura a seguir:


Rank: Ordena os membros de uma dimenso de acordo com algum

critrio. Essa operao basicamente cria um ranking os n maiores
ou n menores itens em uma lista, possvel ainda calcular as mdias mveis, o
crescimento dos ndices, a taxa de retorno interno, depreciao e funes
estatsticas. Os resultados dessas operaes so tipicamente visualizados em
uma forma de tabela cruzada (cross-tabular).
Nest-unnest: Reduo das dimenses.
Slipt: Planificao das faces do cubo
Push/Pull: Juno de valores
Algumas operaes podem ser efetuadas entre cubos e que so baseadas

na teoria dos conjuntos, so elas: Juno, Unio, Interseco e Diferena.
Vejamos o exemplo da operao cross-join (produto cartesiano) abaixo:
Cross-join usado para gerar um produto cartesiano entre os conjuntos

passados como parmetro. 51583806784
5. Arquitetura de servidores OLAP

Logicamente, servidores OLAP apresentam aos usurios de negcio os
dados multidimensionais de um Data Mart ou de um Data Warehouse, sem a
preocupao de mostrar como e onde os dados so de fato armazenados.
Todavia, a arquitetura fsica e a implementao de servidores OLAP devem
considerar aspectos de armazenamento.
A implementao de um DW para processamento OLAP pode ser feita das

seguintes formas: ROLAP, MOLAP, HOLAP, DOLAP e WOLAP. Vamos agora
analisar as peculiaridades de cada uma dessas estruturas.


O Multidimensional On-Line Analytical Processing ou MOLAP refere-se aos

servidores que usam um MDDB para armazenar dados. Estratgia pela qual so
usados gerenciadores de banco de dados proprietrios, com caractersticas de
armazenamento especiais e ferramentas para tratamento dimensional de dados.
Esse modelo dispe de propriedades especiais de armazenamento como

matrizes esparsas, operaes com array e indexaes de bitmap. Porm no
oferece toda a gama de recursos encontrada num SGBDR, como debug,
paralelismo, log, otimizadores e monitorao.
Exige a migrao dos dados do SGBD relacional para o armazenamento

multidimensional e a sua constante atualizao. Pode ser limitada na sua
capacidade mxima de armazenamento, mas por ser voltada exclusivamente
para essas aplicaes pode apresentar, em tese, melhor desempenho do que as
alternativas relacionais.
Pode ser entendida como uma planilha multidimensional, e algumas

oferecem a opo de memria RAM-MD, permitindo a manipulao dos dados
diretamente em memria. No caso de MOLAP, tanto as estruturas bsicas (maior
granularidade) quanto s estruturas agregadas/cubos so armazenadas nesse
formato.
Um conceito que faz parte dos modelos MOLAP a exploso dos dados.
difcil determinar condies para a exploso de dados, ou para prever se uma
configurao particular vai explodir. Uma abordagem que parece ajudar a
resolver o problema a manipulao de dados esparsos dinamicamente.
Manipulao de dados esparsos de forma dinmica permite que um banco de
dados analise seus padres de armazenamento prprios e aperfeioe-os para
evitar a exploso de dados.
ROLAP
O termo ROLAP especifica que o servidor OLAP se baseia numa base de

dados relacional: Relational On-Line Analytical Processing. Os dados de origem
51583806784
so inseridos em um banco de dados relacional, geralmente em um esquema

estrela ou esquema floco de neve, o que ajuda em tempos de recuperao mais
rpidos. O servidor fornece um modelo multidimensional dos dados, atravs de
consultas SQL otimizadas.
Um dos motivos para escolher pelo uso do ROLAP est no fato de RDBs
so uma tecnologia bem estabelecida que tem muitas oportunidades para
otimizao. Suporta maior quantidade de dados que uma MDDB.
O Servidor ROLAP um servidor intermedirio que fica entra a base de

dados relacional de back-end e as ferramentas de front-end. Eles usam SGBDs
relacionais ou relacionais estendidos para gravar e gerenciar os dados do DW, e
um middleware OLAP para dar suporte s funcionalidades faltantes.


HOLAP e DOLAP
O Hybrid OLAP Server representa uma abordagem de uso misto das

duas estratgias anteriores, em que as estruturas relacionais so normalmente
utilizadas para os dados de menor granularidade e as estruturas dimensionais
nativas so dedicadas ao armazenamento de agregados (maior granularidade).
O Desktop Olap Server representa uma abordagem na qual as

estruturas dimensionais ou relacionais so transferidas do DW/DM para as
estaes cliente. So armazenadas com o objetivo de facilitar o desempenho de
certas anlises, minimizando o trfego de informaes entre o ambiente cliente
e o ambiente servidor.
6. Critrios de avaliao de produtos OLAP

Uma estrutura arquitetural era necessria dentro da qual as funes
poderiam aparecer e se tornariam parte dos produtos habituais do analista de
dados ou usurio final. Esta estrutura tornou-se uma medida significativa da
eficcia do produto para anlise de dados multidimensional em si, e, na verdade,
representou o primeiro critrio de avaliao de produtos de OLAP. Ela se baseia
em 12 regras de avalio que so listadas de descritas de forma sucinta a
seguir.
1. Viso conceitual multidimensional J falamos sobre a viso

multidimensional na aula anterior. De certa forma ela se aproxima da
perspectiva que um usurio ou analista tem sobre os dados. Sendo assim, temos
que nos preocupas em criamos um modelo com essa estrutura. Ela facilita a
execuo de operao de Slice and Dice, Pivot and rotate tornando a
manipulao dos dados mais simples.
2. Transparncia - OLAP deve ser fornecido dentro do contexto de uma

verdadeira arquitetura de sistemas aberta, permitindo que a ferramenta analtica
possa ser incorporada em qualquer necessidade do analista/usurio, sem afetar
51583806784
negativamente a funcionalidade das ferramentas do host.
3. Acessibilidade - O sistema OLAP deve acessar apenas os dados

realmente necessrios para realizar a anlise solicitada e no tomar a "pia da
cozinha" abordagem comum que traz dados desnecessrios.
4. Desempenho consistente na gerao de relatrios - imperativo que o

componente do servidor de ferramentas OLAP seja suficientemente inteligente
de tal forma que vrios clientes possam ser conectados com o mnimo de esforo
e programao de integrao.
5. Arquitetura cliente-servidor - A maioria dos dados que atualmente

exigem o processamento analtico on-line armazenada em sistemas de


mainframe e eles so acessados atravs de computadores pessoais. Por

conseguinte, obrigatrio que os produtos OLAP sejam capazes de funcionar
num ambiente cliente-servidor. Para este fim, imperativo que o componente
servidor das ferramentas OLAP seja suficientemente inteligente de tal forma que
vrios clientes possam ser conectados com o mnimo esforo e programao de
integrao.
6. Dimensionalidade genrica - Cada dimenso dos dados deve ser

equivalente em suas estruturas e capacidades operacionais. Capacidades
operacionais adicionais podem ser concedidas a dimenses selecionadas, mas
desde que as dimenses sejam simtricas, uma determinada funo adicional
pode ser concedida a qualquer dimenso. A estrutura bsica de dados, frmulas
e formatos de relatrios no deve ser inclinada para uma dimenso especfica
dos dados.
7. Manuseio dinmico de matriz esparsa - Esta disponibilizada atravs de

uma tecnologia de servidor poderosa que pode ser intimamente ligada com o
banco de dados da empresa. Ela pode ajustar o seu esquema fsico para o
mximo desempenho com base na densidade dos dados de entrada da empresa
e na distribuio real dos valores dos dados.
8. Suporte a multiusurios - Esta funo fornecida pelo produto de

software, mas pode ser limitada pelo nmero de clientes que podem ser
suportados pela plataforma de hardware do servidor. Alm disso, ela permite o
acesso multiusurio para um modelo analtico comum e controla o acesso e
permisses para o nvel de clulas individuais atravs de uma "concesso" e
"revogar" de esquemas baseada nos menus.
9. Operaes irrestritas de cruzamento de dimenses - Quaisquer duas (ou

mais) clulas, independentemente da dimenso em que aparecem dentro de um
determinado modelo de anlise, podem ser utilizadas em qualquer frmula. As
frmulas no esto restritas a uma dimenso por vez. Qualquer termo em uma
frmula pode ser ainda modificado atravs da incluso de atributos a partir de
qualquer dimenso. Em outras palavras, qualquer clula de dados ou intervalo
51583806784
no modelo de dados pode ser acessada por meio de clculos em qualquer

momento.
10. Manipulao de dados intuitiva - A maior parte de toda a criao do

modelo, manipulao e tarefas de animao ocorrem por meio de cliques no
mouse diretamente associados com os dados em anlise.
11. Relatrio flexvel relata que capacidade vai significativamente alm

dos front-ends disponveis para os produtos de RDBMS comerciais. Consultas e
relatrios que normalmente requerem SQL significativos e sofisticados (e esforo
de codificao processual talvez associado) podem ser criados facilmente com e
processados significativamente mais rpido. Analistas so capazes de apresentar


dados em qualquer formato, de acordo com qualquer trajetria de consolidao,

abrangendo qualquer nmero de dimenses de dados.
12. Dimenses e agregao de nveis ilimitados - Permite a especificao e

manipulao de um nmero ilimitado de dimenses de dados dentro de um
determinado modelo.
Data mining
Existe geralmente informao escondida nos dados que no so to
evidentes no momento da leitura. Um analista humano pode levar semanas para
descobrir essa informao til. A maioria dos dados de fato nunca analisada.
Com o crescimento da capacidade de processamento e armazenamento surgem
perguntas sobre como identificar padres (X acontece se...), excees (isto
diferente de... por causa de...), tendncias (ao longo do tempo, Y deve
acontecer...) e correlaes (se M acontece, N tambm deve acontecer).
Para ajudar a resolver esses questionamentos surge um conjunto de

conceitos relacionados Data Mining. Veremos a estrutura terica da matria
nesta parte da aula. Vem comigo!
7. Conceitos bsicos
Comeamos os conceitos tentando responder ao seguinte
questionamento: O que minerao de dados? Vrios autores propuseram
definies semelhantes para o termo, vejamos algumas delas:
Eduardo Gimenes: o processo de extrair informao vlida,

previamente desconhecida e de mxima abrangncia a partir de grandes
bases de dados, usando-as para efetuar de decises cruciais.
Laudon&Laudon: Anlise de grandes quantidades de dados a fim de

encontrar padres e regras que possam ser usadas para orientar a
51583806784
tomada de decises e prever o comportamento futuro.
Minerao de dados, ou data mining, o processo de anlise de conjuntos

de dados que tem por objetivo a descoberta de padres interessantes e
que possam representar informaes teis.
Como o nome indica data mining se refere minerao ou a descoberta

de novas informaes em funo de padres ou regras em grandes quantidades
de dados. Para ser til, na prtica, a minerao de dados precisa ser realizada
eficientemente em grandes arquivos e banco de dados.
Vejamos outras definies possveis para o termo. A minerao de dados

a aplicao de algoritmos especficos para extrao de padres a partir dos

caracterizam as propriedades gerais dos dados em um banco de dados. Esto

focadas em achar padres reconhecidos por seres humanos para descrever os
dados. As preditivas, por outro lado, realizam uma inferncia sobre os dados
atuais para fazer previses futuras sobre os mesmos. Usa variveis para prever
valores futuros ou desconhecidos de outras variveis.
Outra taxonomia divide as tarefas em top-down e botton-up. Algumas

tarefas so abordadas de forma top-down chamado teste de hipteses. Em
testes de hipteses, um comportamento armazenado no banco de
dados passado utilizado para verificar ou refutar notaes preconcebidas,
ideias e palpites referentes s relaes nos dados.
Outras tarefas so melhor abordadas de forma bottom-up chamado de

descoberta de conhecimento (Knowledge discorvery). Na descoberta de
conhecimento a analise sobre os dados feita sem suposies prvias. Os dados
so autorizados a falar por si.
As tarefas adequadas para minerao de dados (no limitado a essas)

so: Classificao (Preditiva), Clustering (Descritiva), Regra de Associao
(Descritiva), Regresso (Preditiva) e Deteco de desvios (Preditiva).
Outro ponto importante dentro do assunto so as tcnicas de minerao

que consistem na especificao de mtodos que nos garantam como descobrir
os padres que nos interessam. Dentre as principais tcnicas utilizadas em
minerao de dados, temos: tcnicas estatsticas, tcnicas de aprendizado de
mquina e tcnicas baseadas em crescimento-poda-validao.
Por fim, temos trs caractersticas que so aplicadas a muitos conjuntos

de dados e que possuem um impacto significativo sobre as tcnicas de
minerao de dados: dimenso, disperso e resoluo. A dimenso refere-
se quantidade de atributos de um conjunto de dados. A resoluo est
relacionada granularidade dos dados. Um conjunto de dados
muito disperso quando para um atributo relevante, a maioria dos valores NULL
ou um valor padro. Esse conceito est relacionado disperso.
51583806784
Um ltimo conceito que j foi cobrado em provas de concurso diz respeito

aos mtodos para identificar padres em dados, que so basicamente trs:
- Modelos simples (consultas baseadas em SQL, OLAP, raciocnio

humano)
- Modelos intermedirios (regresso, rvores de deciso, agrupamento)
- Modelos complexos (redes neurais, induo de regras)
7.1. Processo de minerao


Em 1996, um conjunto de trs empresas especializadas no ento jovem e

imaturo mercado de data mining, desenvolveram um modelo de processos
genricos, com o intuito de padronizar as etapas do processo de minerao de
dados, dando incio ao denominado projeto CRISP-DM (CRoss Industry Standard
Process for Data Mining) [The CRISP-DM Consortium, 2000].
Na figura acima mostrado o ciclo de vida de um projeto de minerao de

dados, que consiste de seis fases. A sequncia de fases no obrigatria,
ocorrendo a transio para diferentes fases, dependendo do resultado de cada
fase, e que etapa particular de cada fase precisa ser executada em seguida. As
setas indicam as mais importantes e mais frequentes dependncias entre as
fases.
O ciclo externo na figura simboliza o ciclo natural da minerao de dados.

Um processo de minerao de dados continua aps a soluo ter sido
desenvolvida. As lies aprendidas durante o processo podem provocar
perguntas novas, frequentemente mais pertinentes ao negcio. Processos
subsequentes se beneficiaro das experincias de processos anteriores.
O entendimento do negcio (Business Understanding) foca no

entendimento do negcio que visa obter conhecimento sobre os objetivos do
51583806784
negcio e seus requisitos.
Uma vez definido o domnio sobre o qual se pretende executar o processo

de descoberta, o prximo passo selecionar e coletar o conjunto de dados ou
variveis necessrias. Consiste no entendimento dos dados utilizando-se de
conjuntos de dados "modelo".
Essa fase se inicia com uma coleta inicial de dados, e com

procedimentos e atividades visando familiarizao com os dados, para
identificar possveis problemas de qualidade, ou detectar subconjuntos
interessantes para formar hipteses.


A prxima etapa a limpeza dos dados (Data Preparation) que consiste

na preparao dos dados que visa limpeza, transformao, integrao e
formatao dos dados da etapa anterior.
a atividade pela qual os rudos, dados estranhos ou inconsistentes so

tratados. Esta fase abrange todas as atividades para construir o conjunto de
dados final (dados que sero alimentados nas ferramentas de minerao), a
partir do conjunto de dados inicial.
A utilizao de Data Warehouses facilita em muito esta etapa do processo

de minerao de dados, que costuma ser a fase que exige mais esforo,
correspondendo geralmente a mais de 50% do trabalho. Por isso, muito
importante para uma organizao, que ela possua em seus processos habituais
boas prticas da administrao de dados, como o Data Cleansing, que uma
parte fundamental da cadeia da administrao da informao, responsvel pelas
etapas de deteco, validao e correo de erros em bases de dados.
A prxima fase a Modelagem dos Dados (Modeling). Nessa fase, vrias

tcnicas de modelagem so selecionadas e aplicadas, e seus parmetros so
calibrados para se obter valores otimizados. Geralmente, existem vrias tcnicas
para o mesmo tipo de problema de minerao.
Algumas tcnicas possuem requerimentos especficos na forma dos dados.

Consequentemente, voltar para a etapa de preparao de dados
frequentemente necessrio. A maioria das tcnicas de minerao de dados
baseada em conceitos de aprendizagem de mquina, reconhecimento de
padres, estatstica.
Seguindo o fluxo temos a Avaliao do processo (Evaluation). Neste

momento visamos garantir que o modelo gerado atenda s expectativas da
organizao. Os resultados do processo de descoberta do conhecimento podem
ser mostrados de diversas formas.
Porm, estas formas devem possibilitar uma anlise criteriosa para

51583806784
identificar a necessidade de retornar a qualquer um dos estgios anteriores do

processo de minerao. Nesta etapa se construiu um modelo que parece de alta
qualidade, de uma perspectiva da anlise de dados.
Antes de prosseguir, importante avaliar mais detalhadamente o modelo,

e rever as etapas executadas para construir o modelo, para se certificar de que
ele conseguir alcanar os objetivos de negcio. Deve se determinar se houve
algum importante objetivo do negcio que no foi suficientemente alcanado. No
fim desta fase, uma deciso sobre o uso dos resultados da minerao deve ser
tomada.
A execuo (Deployment) consiste na definio das fases de implantao

do projeto de Minerao de Dados. A criao do modelo no o fim do projeto.


Mesmo se a finalidade do modelo for apenas aumentar o conhecimento dos

dados, o conhecimento ganho necessitar ser organizado e apresentado em uma
maneira que o cliente possa usar.
Dependendo das exigncias, a fase de execuo pode ser to simples

quanto a gerao de um relatrio, ou to complexo quanto executar processos
de minerao de dados repetidamente. Em muitos casos ser o cliente, no o
analista dos dados, que realizar as etapas da execuo. Entretanto, mesmo se
o analista no se encarregar da execuo importante que ele faa o cliente
compreender que medidas devero ser tomadas a fim de empregar efetivamente
os modelos criados.
Com isso terminamos nossa rpida explicao sobre o processo de

minerao de dado descrito pelo CRISP-DM. Vamos agora tratar das tarefas de
minerao.
7.2. Tarefas de minerao

Vamos falar agora das tarefas de minerao comeando pela regra de
associao.
7.2.1. Regras de associao

As regras de associao relacionam a presena de um conjunto de itens
com outra faixa de valores de outro conjunto de variveis. Podemos pensar nos
seguintes exemplos: 1. Quando uma mulher compra uma bolsa em uma loja, ela
est propensa a comprar sapatos (na mesma loja) e 2. Uma imagem de raio X
contendo as caractersticas a e b provavelmente exibir tambm a caracterstica
c (o mesmo raio-x). Veja as figuras abaixo que ilustram esses exemplos:
51583806784
Uma regra de associao um padro da forma X Y, onde X e Y so

conjuntos de valores. O seguinte padro clientes que compram po tambm
compram leite representa uma regra de associao que reflete um padro de
comportamento dos clientes do supermercado. Descobrir regras de associao


3. Gerar as regras de associao para a base de dados: Aps o conjunto

de itens finais ter sido produzido, deve-se gerar as regras de associao de um
conjunto de itens Y = I1,I2,,...,Ik, sendo k 2. O antecedente da regra ser um
conjunto X de Y tal que, X possua k-1 itens, e o consequente seja Y X. Para
verificar a validade de uma regra, a confiana da regra (suporte(Y) / suporte(X))
deve satisfazer o valor mnimo de confiana informado.
Uma pergunta pode ser relevante neste momento: como descobri todos
os conjuntos de itens grandes?
Temos que verificar duas propriedades: 1. Fechamento por baixo, ou

seja, um itemset grande tambm deve ser grande (desta forma cada
subconjunto de um itemset excede o suporte mnimo exigido). 2.
Antimonotonicidade um superconjunto de um itemset pequeno tambm
pequeno (implicando que ele no tem suporte suficiente). Sendo assim quando
se descobre um itemset pequeno, ento qualquer extenso deste itemset ser
pequeno.
7.2.2. Classificao
Parece ser um imperativo humano. A fim de compreender e
comunicar sobre o mundo que estamos constantemente a classificar,
categorizar e classificar. Dividimos as coisas vivas em filos, espcies
e gnero; matria em elementos; ces em raas, as pessoas em raas. Os
objetos a serem classificados so geralmente representados por registros em
um banco de dados ou um arquivo, e o ato de classificao consiste em
adicionar uma nova coluna com um cdigo de classe de algum tipo.
Uma das tarefas mais comuns dentro de minerao de dados. Consiste

em examinar as caractersticas de um objeto recm apresentados e atribu-lo
a um dos conjuntos predefinidos de classes. A tarefa de classificao
caracterizada por uma definio das classes (1), e conjunto dados para
aprendizado (2) pr-classificados. 51583806784
Uma definio mais formal para a classificao a tarefa de aprendizado

de uma funo alvo f que mapeia cada atributo de um conjunto x para um rtulo
de classe predefinido y. Essa descrio foi dada por Tan em seu livro de
minerao e pode ser observada na figura abaixo:
O modelo construdo baseia-se na anlise prvia de um conjunto de

dados de amostragem ou dados de treinamento, contendo objetos corretamente

classificados. Por exemplo, suponha que o gerente do supermercado est

interessado em descobrir que tipo de caractersticas classificam seus clientes em
bom comprador ou mau comprador. Um modelo de classificao poderia
incluir a seguinte regra: Clientes da faixa econmica B, com idade entre 50 e 60
so maus compradores.
So tcnicas usualmente empregadas em tarefas de classificao rvores

de deciso e redes neurais. Boa parte dos mtodos de classificao utilizam
tcnicas estatsticas e de aprendizado de mquina. Segundo o Navathe,
classificao o processo de encontrar um conjunto de modelos (funes) que
descrevem e distinguem classes ou conceitos.
Tem o propsito de utilizar o modelo para predizer a classe de objetos que

ainda no foram classificados. Utiliza um aprendizado supervisionado para
separa classes em grupos distintos. Vejam um exemplo na figura abaixo:
Na classificao o objetivo a construo de um modelo que possa ser

aplicado a dados no classificados e classific-los. So exemplos de tarefas de
classificao que foram abordados atravs de tcnicas de minerao de dados:
classificao de pedido de crdito como baixo, mdio ou alto risco,
escolher contedo a ser exibido em uma pgina Web, determinar quais os
nmeros de telefone correspondem a mquinas de fax,
descobrir sinistros fraudulentos e atribuir cdigos da indstria e
denominaes de emprego com base nas descries de texto livre.
Em todos os exemplos, h um nmero limitado de classes, e espera-

se ser capaz de atribuir qualquer registo em um ou outra. As rvores de
51583806784
deciso e tcnicas semelhantes so bem adaptadas para a classificao. Rede

neural e anlise de links tambm so teis para a classificao de certas
circunstncias. Vejam na figura a seguir um fluxo que mostra o funcionamento
de um algoritmo de classificao:


7.2.3. Agrupamento (Clustering)

Diferentemente da classificao e predio onde os dados de treinamento
esto devidamente classificados e as etiquetas das classes so conhecidas, a
anlise de clusters trabalha sobre dados onde as etiquetas das classes no esto
definidas.
A tcnica consiste em identificar agrupamentos de objetos, estes que

identificam uma classe. Trabalha sobre dados onde as etiquetas das classes
no esto definidas. Conhecido tambm por aprendizado no
supervisionado e, s vezes, chamado de classificao por estatsticos e de
segmentao por pessoas de marketing.
Queremos achar grupos naturais nos dados onde dados em um mesmo

grupo so semelhantes entre si e dados de grupos diferentes so diferentes
51583806784
entre si. Mas como medir essa semelhana. Existem algumas mtricas para
calcular as distncias e dissimilaridades entre os itens de dados.
As medidas de distncia podem ser calculadas entre dois objetos. Sejam

O1 e O2 dois objetos de um universo de possveis objetos. A distncia
(dissimilaridade) entre O1 e O2 um nmero real denotado por D (O1,O2).
Observem a figura abaixo para entender melhor o conceito:


Algumas propriedades podem ser analisadas nas medidas de distncia. A

simetria (D (A,B) = D (B,A)), caso contrrio voc poderia afirmar que Alex
parece com Bob, mas Bob no parece com Alex. A constncia de auto
simetria (D (A,A) = 0), caso contrrio voc poderia afirmar que Alex parece
mais com Bob, do que o prprio Bob. A positividade (D(A,B) = 0 A = B)
caso contrrio existiriam objetos no seu mundo que so diferentes, mas voc
no consegue diferenci-los. E a desigualdade triangular (D (A,B) D(A,C) +
D (B,C)) caso contrrio voc poderia afirmar que Alex parecido com Bob, e
Alex parecido com Carl, mas Bob no se parece com Carl.
Podemos usar alguns tipos de algoritmos para agrupamentos. Algoritmos

particionais que objetivam construir diversas parties e avali-las com algum
critrio. Algoritmos hierrquicos que criam uma decomposio hierrquica de
um conjunto de objetos utilizando algum critrio. Vejam o exemplo abaixo:
Por exemplo, poderamos aplicar anlise de clusters sobre o banco de

dados de um supermercado a fim de identificar grupos homogneos de clientes.
Clientes residentes em determinados pontos da cidade costumam vir ao
supermercado aos domingos. Enquanto clientes residentes em outros pontos da
cidade costumam fazer suas compras s segundas-feiras.
7.2.4. Abordagem para outros

problemas de minerao
51583806784
Anlise de padres sequenciais - Um padro sequencial uma

expresso da forma < i1;.....; in >, onde cada i um conjunto de itens. A
ordem em que esto alinhados estes conjuntos reflete a ordem cronolgica em
que aconteceram os fatos representados por estes conjuntos. Assim, por
exemplo, a sequncia < {carro}, {pneu, toca-fitas} > representa o padro
Clientes que compram carro, tempos depois compram pneu e toca-fitas de
carro. Descobrir tais padres sequenciais em dados temporais pode ser til em
campanhas de marketing, por exemplo.
Anlise de Padres em Sries Temporais - O preo de fechamento de

uma ao ou de um fundo de investimentos um evento que ocorre a cada dia


da semana para cada fundo ou ao. Sequencias desses valores so exemplos

de uma serie temporal. Sries temporais so sequencias de eventos, cada
evento pode ser um tipo fixo dado uma transao.
Uma srie temporal uma coleo de observaes feitas sequencialmente

ao longo do tempo. Em sries temporais a ordem dos dados fundamental. Uma
caracterstica muito importante deste tipo de dados que as observaes
vizinhas so dependentes e o interesse analisar e modelar esta dependncia.
Predio Consultando o dicionrio encontramos a seguinte definio:

dizer antecipadamente o que vai acontecer, seja por meio de regras certas,
pretensa adivinhao ou conjetura. Em algumas aplicaes, o usurio est mais
interessado em predizer alguns valores ausentes em seus dados, em vez de
descobrir classes de objetos. Isto ocorre, sobretudo, quando os valores que
faltam so numricos. Neste caso, a tarefa de minerao denominada
Predio.
Anlise de Outliers - Um banco de dados pode conter dados que no

apresentam o mesmo comportamento padro da maioria. Estes dados so
denominados outliers (excees). Muitos mtodos de minerao descartam estes
outliers como sendo rudo indesejado. Entretanto, em algumas aplicaes, tais
como deteco de fraudes, estes eventos raros podem ser mais interessantes do
que eventos que ocorrem regularmente. Por exemplo, podemos detectar o uso
fraudulento de cartes de crdito ao descobrir que certos clientes efetuaram
compras de valor extremamente alto, fora de seu padro habitual de gastos.
Veja que voc pode descobri fraudes por analise de outleirs ou

classificao. No primeiro voc conhece o padro dos dados ou transaes
comuns ao banco de dados e algo que no se adapte a esse padro um ponto
fora da curva. No segundo voc treina um modelo para que ele reconhea
padres de fraude.
Regresso - Regresso uma aplicao especial da regra de

classificao. Se uma regra de classificao considerada uma funo sobre
51583806784
variveis que as mapeia em uma classe destino, a regra chamada regresso.

Uma aplicao de regresso ocorre quando, em vez de mapear uma tupla de
dados de uma relao para uma classe especfica, o valor da varivel previsto
baseado naquela tupla.
Quando: Y = f(x1, x2, ..., xn). Uma funo f linear no domnio das
variveis xi, o processo de derivar f de um dado conjunto de tuplas para <x1,
x2, ... Xn, y> chamado regresso linear.
7.3. Conceitos Complementares


Visualizao e anlise exploratria de dados

Esta a parte do assunto que permite exibir os resultados de uma anlise
de dados. A visualizao estudada dentro do contexto procurando entender as
diferentes formas de exibio do contedo produzido a partir dos dados
armazenados. Como possvel exibir os dados? Quem so os interessados?
Veremos isso nas prximas linhas.
Devido forma como o crebro humano processa as informaes, mais

rpido para as pessoas compreenderem o significado das diferentes perspectivas
sobre os dados quando eles so exibidos em tabelas e/ou grficos, em vez de
debruado sobre pilhas de folhas de clculo ou pginas de leitura e de relatrios.
Visualizao de dados trata da forma de apresentao dos dados em um

formato pictrico (por meio de desenhos) ou grfica. Durante sculos, as
pessoas tm dependido de representaes visuais, como grficos e mapas para
compreender a informao mais fcil e rapidamente.
medida que mais e mais dados so coletados e analisados, os tomadores

de deciso, em todos os nveis, devem utilizar software de visualizao de dados
que lhes permitam ver os resultados analticos visualmente. Com essas
ferramentas podemos encontrar relevncia entre as milhes de variveis,
comunicar conceitos e hipteses aos outros, e at mesmo, prever o futuro.
Visualizao interativa A visualizao de dados interativa vai um passo

alm fornecendo algo mais do que a exibio de grficos estticos e planilhas.
Faz uso de computadores e dispositivos mveis para penetrar em tabelas e
grficos visando obter mais detalhes, e de forma interativa (e em tempo real)
mudar os dados que voc v ou at como eles so processados.
E como entendida a visualizao no contexto de Big Data? Estudos

mostram que o crebro processa imagens 60 mil vezes mais rpido do que
texto. A etapa final no seu fluxo de trabalho para anlise em Big Data, a
51583806784
visualizao de dados analticos uma representao visual dos conhecimentos

adquiridos. Em alguns softwares, a sua visualizao est ligada sua anlise,
portanto, a qualquer tempo alteraes de dados, so incorporadas a sua
visualizao que ser atualizada automaticamente com os resultados mais
novos.
A visualizao de dados est por toda parte. Desde a criao de uma

representao visual com pontos de dados para impressionar potenciais
investidores, ao relatrio sobre os progressos de um determinado projeto, ou
at mesmo a visualizao de conceitos para segmentos de clientes, a
visualizao de dados uma ferramenta valiosa e aparece no mercado em uma
variedade de configuraes.


dizer para alm da modelagem formal ou hiptese em testes. Anlise

exploratria de dados foi promovida por John Tukey para incentivar os
estatsticos a explorar os dados e, eventualmente, formular hipteses que
poderiam levar a nova coleta de dados e experimentos. AED diferente de
anlise de dados inicial (ADI), que se concentra mais estreitamente na
verificao de suposies necessrias para o modelo e as hipteses, fazendo
manipulao de valores faltantes e transformaes de variveis conforme
necessrio. AED abrange IDA.
Segundo Tukey, os objetivos da AED so os seguintes:
1. Sugerir hipteses sobre as causas dos fenmenos observados.
2. Avaliar os pressupostos sobre os quais a inferncia estatstica ser

baseada.
3. Apoiar a seleo de ferramentas e tcnicas estatsticas adequadas.
4. Fornecer uma base para uma futura coleta de dados atravs de

pesquisas ou experimentos.
51583806784


Questes Comentadas
Apresentamos abaixo um conjunto de questes sobre o assunto que
aprendemos nesta aula. Esperamos que elas ajudem na fixao da matria.
Qualquer dvida, estamos s ordens!
1. Ano: 2013 Banca: CETRO rgo: ANVISA Cargo: Analista

Administrativo - rea 5
Assinale a alternativa que apresenta um recurso essencialmente OLAP.
A) ROLLUP.
B) GROUP BY.
C) OLAPUP.
D) HAVING.
E) SELECT.
Comentrio: Vajam que a questo quer saber nosso conhecimento a respeito
das operaes OLAP. Neste caso, apenas uma das alternativas apresenta o nome
de uma operao. Essa operao navega na hierarquia de uma dimenso
permitindo a agregao dos dados e uma visualizao num nvel de
granularidade maior e menos detalhado dos dados. A operao de ROLLUP,
encontra-se na alternativa A e a nossa resposta.
Gabarito: A.
2. Ano: 2016 Banca: CESPE rgo: TRT-08 Cargo: Analista de TI -

QUESTO 10
Acerca de data mining, assinale a opo correta.
51583806784
A A fase de preparao para implementao de um projeto de data mining

consiste, entre outras tarefas, em coletar os dados que sero garimpados, que
devem estar exclusivamente em um data warehouse interno da empresa.
B As redes neurais so um recurso matemtico/computacional usado na
aplicao de tcnicas estatsticas nos processos de data mining e consistem em
utilizar uma massa de dados para criar e organizar regras de classificao e
deciso em formato de diagrama de rvore, que vo classificar seu
comportamento ou estimar resultados futuros.
C As aplicaes de data mining utilizam diversas tcnicas de natureza estatstica,
como a anlise de conglomerados (cluster analysis), que tem como objetivo
agrupar, em diferentes conjuntos de dados, os elementos identificados como
semelhantes entre si, com base nas caractersticas analisadas.


D As sries temporais correspondem a tcnicas estatsticas utilizadas no clculo

de previso de um conjunto de informaes, analisando-se seus valores ao longo
de determinado perodo. Nesse caso, para se obter uma previso mais precisa,
devem ser descartadas eventuais sazonalidades no conjunto de informaes.
E Os processos de data mining e OLAP tm os mesmos objetivos: trabalhar os
dados existentes no data warehouse e realizar inferncias, buscando reconhecer
correlaes no explcitas nos dados do data warehouse.
Comentrio: Teceremos comentrios sobre cada uma das alternativas acima.
A Sabemos que a minerao de dados pode acontecer sobre qualquer tipo de
arquivo de dados. Lembrem-se a possibilidade de textmining que no tem
necessidade de dados armazenados em um DW. Alternativa errada!
B Na alternativa B existe uma avalanche de conceitos misturados: redes neurais,
que fazem parte do conjunto de assuntos relacionados a inteligncia artificial;
tcnicas estatstica e arvore de deciso. Cada tcnica de minerao usada com
um propsito especifico, por exemplo, a classificao vai permitir que voc
classifique novas entradas de acordo com um conjunto pr-determinado de
sadas, que foram construdos em uma etapa anterior do processo. A questo
peca por misturar vrios conceitos.
C Criar clusters, ou seja, agrupar subconjuntos de dados de acordo com alguma
semelhana entre eles. Essa a nossa resposta.
D Uma serie temporal deve considerar a sazonalidade, pela lei da oferta e
demanda, se voc percebe que as vendas aumentam no Natal, voc pode
aumentar o preo ou o estoque. O fato de desconsiderar a sazonalidade torna a
questo incorreta.
E Os processos de OLAP e Data mining so diferentes em relao a
complexidade e resultados esperados. OLAP uma ferramenta de consulta em
bases de dados analticas, ele visa extrair informaes por meio de queries e
utilizando as operaes sobre os cubos de dados, mas no aplicam algoritmos
especficos neste processo. Data Mining bem mais complexo que OLAP, ele
busca padres em grandes volumes de dados por meio de tcnicas estatsticas e
de algoritmos de inteligncia artificial, por exemplo. Sendo assim no possvel
comparar de forma to simplista quando a alternativa tentou fazer, por isso, a
letra E est incorreta.
Gabarito: C 51583806784
3. Ano: 2016 Banca: CESPE rgo: TCE-SC Cargo: Auditor de TI

Julgue os itens subsecutivos, acerca de minerao de dados.
98 Para a realizao de prognsticos por meio de tcnicas de minerao de
dados, parte-se de uma srie de valores existentes obtidos de dados histricos
bem como de suposies controladas a respeito das condies futuras, para
prever outros valores e situaes que ocorrero e, assim, planejar e preparar as
aes organizacionais.


99 As aglomeraes, tipos de informao obtidos por meio da minerao de

dados, caracterizam-se por se ligarem a um nico e especfico evento, em torno
do qual ocorrem vrias aes, com produo sistmica de informaes
gerenciais que apoiaro uma nova ocorrncia do mesmo tipo de evento.
Comentrio: A alternativa 98 trata dos aspectos de previso relacionados a
minerao de dados. Basicamente voc deve escolher um algoritmo,
parametrizar, utilizar dados histricos das bases de dados como entrada e tentar
prever o futuro. O texto da questo est correto.
Aglomeraes ou clusters so grupos de indivduos de uma amostra que
possuem caractersticas semelhantes. Geralmente so definidos intervalos de
valores, para cada intervalo temos um clusters, agrupamento ou aglomerao.
Essa ideia de eventos em srie relacionados a um evento inicial est relacionada
a tcnicas de associao. Questo, portanto, encontra-se incorreta.
Gabarito: C E
4. Ano: 2016 Banca: FCC rgo: TRT-MT Cargo: Analista de TI Questo

34
Na abordagem Star Schema, usada para modelar data warehouses, os fatos so
representados na tabela de fatos, que normalmente
(A) nica em um diagrama e ocupa a posio central.
(B) est ligada com cardinalidade n:m s tabelas de dimenso.
(C) est ligada s tabelas de dimenso, que se relacionam entre si com
cardinalidade 1:n.
(D) tem chave primria formada independente das chaves estrangeiras das
tabelas de dimenso.
(E) est ligada a outras tabelas de fatos em um layout em forma de estrela.
Comentrio: A ltima questo da nossa prova de hoje trata da ementa vista
pelo curso de BI. O examinador testa seus conhecimentos sobre modelagem
dimensional, mais especificamente, sobre o modelo star schema. O modelo em
51583806784
questo composto por uma tabela fato e um conjunto de tabelas dimenso.

Em outras palavras, cada processo de negcio representado por um modelo
dimensional que consiste em uma tabela fato contendo medies numricas do
evento e, cercada por um conjunto de tabelas dimenso que contm o contexto
no momento em que ocorreu o evento. Vejam que ela ocupa uma posio
central no modelo, o que leva a nossa resposta, na alternativa A.
Gabarito: A


5. ESAF - 2008 - Cargo: ANALISTA DE FINANAS E CONTROLE -

Secretaria do Tesouro Nacional - STN - TECNOLOGIA DA
INFORMAO/ INFRA-ESTRUTURA DE TI
13- Com respeito minerao de dados, assinale a opo correta, aps avaliar
as seguintes afirmaes:
I. A minerao de dados pode ser usada em conjunto com um datawarehouse,
para auxiliar tomada de deciso.
II. A minerao de dados permite a descoberta de regras de associao entre
hierarquias.
III. A minerao de dados compreende todo o processo de descoberta de
conhecimento em bancos de dados.
a) Apenas as afirmaes I e II so corretas.
b) Apenas as afirmaes I e III so corretas.
c) Apenas as afirmaes II e III so corretas.
d) As afirmaes I, II e III so corretas.
e) As afirmaes I, II e III so incorretas.
Comentrios: Vamos comentar cada uma das alternativas acima
I. Exatamente, ambas fazem parte do processo de descoberta de conhecimento.
Em um primeiro momento formado o Data Warehouse com a base de dados
que agrega informaes de diferentes fontes. Aps passar por uma limpeza
(para retirar dados inconsistentes, ex.: uma data sem o ano 12/02) esses dados
so integrados de forma a compor um DW com informaes de todos os setores
da organizao. Num segundo momento o um algoritmo de minerao de dados
toma uma parte dos dados do DW e procura encontrar regras ou padres teis.
II. Verdadeiro. Uma das tarefas de Data Mining a descoberta de regras de
associao entre dados. Outras tarefas que podemos listar so:
Classificao
Clustering
Estimativa
Previso 51583806784
Agrupamento por afinidade

III. Na realidade o oposto do que est dito na alternativa. A minerao de
dados que faz parte do processo de descoberta do conhecimento.
Para entender melhor, veja a figura abaixo:


Dimensionality Reduction
Feature subset selection
Feature creation
Discretization and Binarization
Attribute Transformation
Gabarito: E
7. ESAF 2013 Secretria do Tesouro Nacional Analista de sistemas

Uma tcnica de classificao em Minerao de Dados uma abordagem
sistemtica para
a) construo de controles de ordenao a partir de um conjunto de acessos.
b) construo de modelos de classificao a partir de um conjunto de dados de
entrada.
c) construo de modelos de dados a partir de um conjunto de algoritmos.
d) construo de controles de ordenao independentes dos dados de entrada.
e) construo de modelos de sistemas de acesso a partir de um conjunto de
algoritmos.
Comentrios: Essa questo trata de classificao, uma tarefa de data mining. A
classificao pode ser entendida como o processo de encontrar um conjunto de
modelos (funes) que descrevem e distinguem classes ou conceitos, com o
propsito de utilizar o modelo para predizer a classe de objetos que ainda no
foram classificados. Segundo o TAN, a definio tambm pode ser a tarefa de
aprender uma funo alvo f que mapeie cada conjunto de atributos x para um
dos rtulos de classes y pr-determinados. Com a ajuda das duas definies
acima podemos chegar resposta na letra B. Abaixo temos uma figura do livro
do TAN que apresenta graficamente a definio de classificao.
51583806784
Gabarito: B
8. ESAF - 2013 - DNIT - Analista Administrativo - Tecnologia da

Informao
So regras de avaliao de produtos OLAP:
(a) Transferncia ao usurio. Desempenho consistente na gerao de relatrios.
Dimensionalidade cumulativa. Operaes irrestritas com dimenses cruzadas.


(b) Viso conceitual multidimensional para restringir consultas. Transparncia ao

usurio. Dimensionalidade genrica. Manipulao dedutiva dos dados.
(c) Viso conceitual multidimensional para formular consultas. Desempenho
consistente na gerao de relatrios. Dimensionalidade genrica. Manipulao
intuitiva dos dados.
(d) Viso conceitual multidimensional para formular consultas. Dimensionalidade
genrica. Manipulao segmentada dos dados. Operaes irrestritas com
dimenses alternadas.
(e) Extenso conceitual dos dados. Transparncia ao dispositivo de acesso.
Manipulao intuitiva dos dados. Operaes irrestritas com indicaes cruzadas.
Comentrios: Os produtos OLAP podem ser avaliados com o uso das regras de
avaliao citadas por Codd. Portanto, um bom produto OLAP deve possuir:
i) viso conceitual multidimensional;
ii) transparncia;
iii) acessibilidade;
iv) desempenho consistente do relatrio;
v) arquitetura cliente-servidor;
vi) dimensionalidade genrica;
vii) manuseio dinmico da estrutura da matriz;
viii) apoioa multi-usurios;
ix) operaes irrestritas de cruzamento de dimenses;
x) manipulao de dados intuitiva;
xi) relatrio flexvel;
xii) dimenses e agregao de nveis ilimitados.
Gabarito: C
9. ESAF - 2012 - CGU - Analista de Finanas e Controle - prova 3 -

51583806784
Auditoria e Fiscalizao - Geral .

So caractersticas gerais de conjuntos de dados:
(a) disposio, disperso e renderizao.
(b) dimenso, posicionamento e homogeneidade.
(c) compatibilidade, disperso e interao.
(d) dimenso, disperso e resoluo.
(e) portabilidade, concentrao e resoluo.
Comentrios: Questo retirada de TAN et. al (2009, p. 35), que destaca trs
caractersticas aplicadas a muitos conjuntos de dados e que possuem um
impacto significativo sobre as tcnicas de minerao de dados: dimenso,
disperso e resoluo.


A dimenso refere-se quantidade de atributos de um conjunto de dados;

A resoluo est relacionada granularidade dos dados.
Um conjunto de dados muito disperso quando para um atributo relevante, a
maioria dos valores NULL ou um valor padro, e esse conceito est relacionado
disperso.
Gabarito: D
10. ESAF - 2012 - Receita Federal - Analista Tributrio da RF - Prova 2

- rea Informtica
Um data mining inteligente descobre informaes em data warehouses onde
consultas e relatrios no conseguem revela-las. Ferramentas dedata
mining encontram padres em dados e podem at deduzir regras a partir deles.
Os mtodos usados para identificar padres em dados so:
(a) modelos simples, modelos intermedirios e modelos complexos.
(b) modelos simples, modelos fsicos e modelos integrados.
(c) modelos hbridos, modelos top-down e modelos bottom-up.
(d) modelos lgicos, modelos fsicos e modelos interativos.
(e) modelos bsicos, modelos genricos e modelos complementares.
Comentrios: De acordo com TURBAN so usados trs mtodos para identificar
padres em dados:
Modelos simples (consultas baseadas em SQL, OLAP, raciocnio humano)
Modelos intermedirios (regresso, rvores de deciso, agrupamento)
Modelos complexos (redes neurais, outra induo de regras)
Gabarito: A
51583806784
11. ESAF - 2012 - CGU - Analista de Finanas e Controle - prova 3 -

Auditoria e Fiscalizao - Geral
So aspectos motivadores da Minerao de Dados:
(a) Escalabilidade. Dimensionalidade moderada. Dados homogneos.
Propriedade e centralizao dos dados.
(b) Extensibilidade. Alta paridade. Dados complexos e heterogneos.
Concorrncia e distribuio dos dados.
(c) Escalabilidade. Alta dimensionalidade. Dados complexos e heterogneos.
Propriedade e distribuio de dados.
(d) Escalabilidade. Dimensionalidade varivel. Dados compatveis e acoplados.
Adequao da distribuio de dados.


(e) o processo de descoberta automtica de informaes teis em grandes

depsitos de dados.
Comentrios: Essa questo peca por falta de preciosismo do examinador.
Sabemos que o processo de minerao de dados requer superviso. Ele no
totalmente automtico, embora vrias etapas desse processo sejam
automatizveis. Mas, se analisarmos cada uma das alternativas acima, podemos
observar que aquela que mais e aproxima de todas as definies que vimos at
aqui a presente na alternativa E.
Gabarito: E
14. ESAF CVM 2010 - Sistemas .

53- Minerao de Dados
a) o processo de atualizar de maneira semiautomtica grandes bancos de dados
para encontrar verses teis.
b) o processo de analisar de maneira semiautomtica grandes bancos de dados
para encontrar padres teis.
c) o processo de segmentar de maneira semiautomtica bancos de dados
qualitativos e corrigir padres de especificao.
d) o programa que depura de maneira automtica bancos de dados corporativos
para mostrar padres de anlise.
e) o processo de automatizar a definio de bancos de dados de mdio porte de
maior utilidade para os usurios externos de rotinas de minerao.
Comentrios: Vejam que est questo, quando contrastada com a anterior, nos
leva a uma viso mais precisa do conceito de minerao de dados. Em ambos os
casos, o objetivo final descobrir informaes teis, mas no caso desta questo
o examinador se preocupou em deixar claro que um processo semiautomtico.
Gabarito: B
51583806784
15. ANO: 2015 BANCA: CESPE RGO: MEC PROVA: TCNICO DE

NVEL SUPERIOR - ADMINISTRADOR DE DADOS
No que se refere a bancos de dados transacionais (OLTP) e a banco de dados
analticos (OLAP), julgue os itens que se seguem.
[1] Em ambientes corporativos, o uso de ambientes OLTP visa eliminar ao
mximo a redundncia de forma que a transao promova mudanas de estado
o mais pontualmente possvel, ao passo que o uso de ambientes OLAP objetiva
prover uma viso dos dados orientados anlise com uma navegao rpida de
dados agregados.
[2] OLAP uma interface com o usurio que pode se utilizar de diversos
modelos de armazenamento para apresentar as informaes. As diversas formas


17. ANO: 2015 BANCA: CESPE RGO: MEC PROVA: GESTO -

GERENTE DE PROJETOS
Acerca dos conceitos de banco de dados transacionais (OLTP) e analticos
(OLAP), julgue os itens que se seguem.
[1] O ROLAP, sistema que se baseia na manipulao dos dados armazenados na
base de dado relacional, apresenta a desvantagem de no lidar com grandes
quantidades de dados.
[2] Na pivotagem, que uma agregao de sistemas OLAP, utiliza-se uma
tabulao cruzada bidimensional, como um piv de duas dimenses.
Comentrios: Vamos comentar cada uma das assertivas acima:
[1] O ROLAP armazena os dados numa base de dados relacional. No ROLAP
existe uma boa padronizao das tecnologias de banco de dados. Podem
manipular grandes quantidades de dados. Pode ter as funcionalidades de uma
base de dados relacional e como acessa diretamente mais fcil adicionar novas
dimenses. Os dados esto sempre disponveis. Permite pedidos ad hoc
eficazmente.
A performance pode ser mais lenta e limitada pelas funcionalidades SQL. Para
ter acesso aos dados visando realizar operaes de drill down em tempo real
necessrio muito poder de processamento e, consequentemente, hardware caro.
O MOLAP armazena os dados num cubo multidimensional. O MOLAP permite
uma boa performance nas operaes slicing and dicing, tendo um bom tempo de
resposta para consultas OLAP. Permite clculos complexos. limitado quanto a
quantidade de dados que se deseja manipular. No existe uma padronizao das
tecnologias de banco de dados. Realizar alteraes como adicionar novas
dimenses complicado devido falta de flexibilidade. No permite pedidos ad
hoc eficazes.
Vejam que pelo exposto nossa assertiva est incorreta.
[2] O termo dado para a movimentao de dados entre eixos chamado de
pivotagem. Usando esta tcnica, voc pode reorganizar os seus dados para
revelar as relaes que podem no ser aparente. Para muitas pessoas,
51583806784
pivotagem tambm conhecida como "dicing". Vejam, portanto, que a

alternativa est correta.
Gabarito: E C
18. ANO: 2015 BANCA: CESPE RGO: TCU PROVA: AUDITOR FEDERAL
DE CONTROLE EXTERNO ANLISE DE INFORMAES.
No que concerne a data mining (minerao de dados) e big data, julgue os
seguintes itens.


[82] O uso prtico de data mining envolve o emprego de processos,

ferramentas, tcnicas e mtodos oriundos da matemtica, da estatstica e da
computao, inclusive de inteligncia artificial.
[83] Quem utiliza o data mining tem como objetivo descobrir, explorar ou
minerar relacionamentos, padres e vnculos significativos presentes em grandes
massas documentais registradas em arquivos fsicos (analgicos) e arquivos
lgicos (digitais).
[84] A finalidade do uso do data mining em uma organizao subsidiar a
produo de afirmaes conclusivas acerca do padro de comportamento exibido
por agentes de interesse dessa organizao.
[85] No ambiente organizacional, devido grande quantidade de dados, no
recomendado o emprego de data mining para atividades ligadas a marketing.
Comentrios: Vamos analisar cada uma das assertivas acima a respeito de
minerao de dados.
[82] Se analisarmos qualquer definio formal de Data Mining, por exemplo:
Minerao de dados, ou data mining, o processo de anlise de conjuntos de
dados que tem por objetivo a descoberta de padres interessantes e que possam
representar informaes teis.
Segundo a teoria Data Mining uma mistura de diferentes disciplinas:
Estatstica, Aprendizado de mquina e Banco de dados. Podemos ento verificar
que os termos listados na questo se enquadram perfeitamente dentro do
contexto e das definies existentes. Portanto, alternativa correta.
[83] Vamos analisar mais uma definio de Data Mining para chegarmos a uma
concluso definitiva a respeito desta questo. A minerao de dados um
campo interdisciplinar que rene tcnicas de aprendizado de mquina,
reconhecimento de padres, estatsticas, banco de dados e visualizao para
abordar a questo da extrao de informaes a partir de grandes bases de
dados. Vejam que em todas as definies as anlises so feitas sobre base de
dados digitais. Usar tecnologia para otimizar e ampliar o horizonte e descobrir
padres ou informaes relevantes. Sendo assim a alternativa est incorreta
pois afirma que possvel fazer anlise em arquivos fsicos (analgicos).
[84] A princpio voc pode ser levado a acreditar que a questo est falsa, pois
Data Mining no vai produzir afirmaes conclusivas. Veja, porm, que o
examinador usou a palavra subsidiar a produo. Esse justamente a grande
51583806784
caracterstica que est descrita no detalhamento da ltima falcia acima.

Resposta da alternativa 84 correta.
[85] Observem que o examinador colocou uma afirmao incorreta. Dizer que
no possvel usar DM para atividades ligadas a marketing. O caso mais clssico
conhecido justamente o das fraudas prximas das cervejas. Uma das
maiores redes de varejo dos Estados Unidos descobriu em seu gigantesco
armazm de dados que a venda de fraldas descartveis estava associada de
cerveja. Em geral, os compradores eram homens, que saam noite para
comprar fraldas e aproveitavam para levar algumas latinhas para casa.
Gabarito: C E C E


19. ANO: 2015 BANCA: CESPE RGO: TCU PROVA: AUDITOR FEDERAL
DE CONTROLE EXTERNO - TECNOLOGIA DA INFORMAO
Julgue os itens subsequentes, a respeito de modelagem dimensional e anlise de
requisitos para sistemas analticos.
[1] Na anlise dos dados de um sistema com o apoio de uma ferramenta OLAP,
quando uma informao passa de uma dimenso para outra, inexistindo
hierarquia entre elas, ocorre uma operao drill through.
[2] Entre os requisitos de anlise de uma aplicao OLAP inclui-se a capacidade
de tratar dinamicamente a esparsidade das informaes para restringir o
cruzamento dimensional de matrizes com clulas de valor zero.
Comentrio: Vamos comentar cada uma das alternativas acima.
[1] Quando tratamos das definies de drill through encontramos na literatura
duas definies:
Drill Throught - ocorre quando o usurio passa de uma informao contida em
uma dimenso para uma outra. Por exemplo: Inicia na dimenso do tempo e no
prximo passo analisa a informao por regio
Drill Throught a operao de drill-through permite que voc exiba, em tempo
de consulta, os detalhes dos dados no sumarizados. A partir dos quais uma
clula de uma tabela ou uma seleo de clulas sumarizada. Permite as
empresas acesso aos dados que no esto armazenados no servidor OLAP,
fazendo-as acessveis para os usurios finais das aplicaes OLAP. Esses dados
podem vir tanto do DW quanto das bases transacionais.
Vejam que a alternativa apresenta em seu texto uma definio muito
semelhante a primeira definio. A ideia do drill throught navegar pelo cubo
como ilustrado na figura abaixo. Alternativa correta.
51583806784
[2] Primeiramente precisamos ter em mente as 12 regras para avaliar

ferramentas ou produtos OLAP.
Duas dessas regras aparecem dentro do texto apresentado pela questo o
tratamento dinmico de matrizes esparsas (7) e operao de cruzamento
dimensional irrestrito (9).

presentes na clusula. Em termos de anlise multidimensional, CUBE gera todos

os subtotais que podem ser calculados em um cubo de dados para dimenses
especficas. Se especificarmos CUBE(time, region, department), o resultado ir
incluir todos os valores que seriam includos em um equivalente ROLLUP.
MODEL - A clusula MODEL permite que sejam especificadas frmulas complexas
ao mesmo tempo em que traz a facilidade de no serem necessrias a utilizao
de mltiplas clusulas JOIN e UNION. Ela suporta queries OLAP, como
compartilhamento de perodos de comparao e tambm prov blocos de
construo para oramentos, previses e aplicaes estatsticas. Enfim, MODEL
uma clusula que permite criar arrays multidimensionais dando mais poder e
flexibilidade para os clculos de valores.
Gabarito: B
51583806784


Questes extras
21. ANO: 2015 BANCA: FCC RGO: TRT - 3 REGIO (MG) PROVA:
ANALISTA JUDICIRIO - TECNOLOGIA DA INFORMAO
No modelo de dados multidimensional existem as operaes suportadas pelas
ferramentas OLAP para permitir a anlise dos dados. Com relao a estas
operaes, considere os dados abaixo.
Para movimentar a viso dos dados ao longo de nveis hierrquicos da dimenso

tempo, saindo do que consta na Tabela 2 para o que consta na Tabela 1, um
analista de TI deve utilizar a operao OLAP
A drill throught.
B drill down.
C drill across.
D pivot.
E roll up.
51583806784
Gabarito: E
22. ANO: 2014 BANCA: FCC RGO: TCE-RS PROVA: AUDITOR

PBLICO EXTERNO - TCNICO EM PROCESSAMENTO DE DADOS
Os cubos de dados que armazenam os dados multidimensionais, podem ter
modelos de armazenamento que variam conforme a soluo OLAP On-Line
Analytical Processing utilizada. Nesse sentido considere os seguintes modelos:
I. Armazena os dados de detalhe (fatos) e as agregaes em um modelo
multidimensional. No faz uso da base de dados relacional para acessar os
dados dos cubos. Necessita de um processamento constante do cubo, embora
apresente melhor desempenho.

II. L os dados de detalhe (fatos) diretamente de fonte de dados relacional.

Caso existam agregaes, estas sero geradas no modelo relacional. Pode ser
usado quando h problemas para armazenamento de uma estrutura
multidimensional.
III. L os dados de detalhe (fatos) diretamente da fonte de dados relacional.
Grava as agregaes em formato multidimensional. Os dados que no possuem
agregaes so consultados no modelo relacional. Mantm os benefcios do
modelo multidimensional sem ocupar tanto espao em disco.
I, II e III referem-se, respectivamente, aos modelos
A HOLAP MOLAP ROLAP.
B MOLAP ROLAP HOLAP.
C HOLAP DOLAP ROLAP.
D DOLAP HOLAP MOLAP.
E ROLAP HOLAP DOLAP.
Gabarito: B
23. ANO: 2014 BANCA: FCC RGO: TJ-AP PROVA: ANALISTA

JUDICIRIO - BANCO DE DADOS - DBA
Nas ferramentas de navegao OLAP (On-Line Analytical Processing), possvel
navegar entre diferentes nveis de detalhamento de um cubo de dados.
Supondo-se que um relatrio esteja consolidado por Estados de um pas, o
processo que possibilita que os dados passem a ser apresentados por cidades e
bairros, denominado
A drill down.
B data mining.
C botton-up.
D drill up. 51583806784
E top-down.
Gabarito: A
24. ANO: 2010 BANCA: FCC RGO: TCE-SP PROVA: AGENTE DA

FISCALIZAO FINANCEIRA - PRODUO E BANCO DE DADOS
No modelo multidimensional, significa, de forma simplificada, a reduo do
escopo dos dados em anlise, alm de mudar a ordem da dimenses, mudando,
desta forma, a orientao segundo a qual os dados so visualizados.


Trata-se de
A slice and dice.
B joint.
C grant.
D split.
E tuning.
Gabarito: A

Quando, em um modelo multimensional, o usurio pular de uma informao
contida em uma dimenso para outra como por exemplo, da dimenso tempo
para a dimenso regio, a operao executada corresponde a
A roll trought.
B select.
C drill trought.
D roll up.
E join.
Gabarito: C

Quando, em um modelo multimensional, o usurio pular um nvel intermedirio
51583806784
dentro de uma mesma dimenso, como por exemplo, sendo a dimenso tempo
composta por ano, semestre, trimestre, ms e dia e o usurio pular de ano para
ms, a operao executada corresponde a
A tracking.
B hashing.
C drill down.
D drill across.
E union.
Gabarito: D



A mudana de uma hierarquia (orientao) dimensional para outra tem sua
realizao facilitada em um cubo de dados por meio de uma tcnica chamada
A roteamento.
B pivoteamento.
C ROLAP.
D OLTP.
E MOLAP.
Gabarito: B
28. ANO: 2014 BANCA: FCC RGO: TCE-GO PROVA: ANALISTA DE

CONTROLE EXTERNO - TECNOLOGIA DA INFORMAO
As ferramentas OLAP permitem efetuar a explorao dos dados de um Data
Warehouse (DW). Em relao a este tema, correto afirmar:
A A anlise multidimensional representa os dados como tabelas, de forma
semelhante aos bancos de dados relacionais.
B Combinando as dimenses, o usurio tem uma viso dos dados de um DW,
podendo efetuar operaes bsicas como slice and dice, drill down e roll up.
C O resultado das operaes OLAP no permite a descoberta de tendncias e
cenrios; isso conseguido com sistemas ERP, capazes de transformar dados do
DW em informaes estratgicas.
D As operaes slice and dice realizam a alterao nos dados do DW modificando
o nvel de granularidade da consulta. 51583806784
E Para navegar nas dimenses do DW so utilizadas as operaes drill, que no

afetam o nvel de granularidade da consulta.
Gabarito: B
29. ANO: 2014 BANCA: FCC RGO: TRF 4 REGIO (SUL) PROVA:
ANALISTA JUDICIRIO - INFORMTICA
Um sistema OLAP um sistema interativo que permite que um analista veja
diferentes resumos de dados multidimensionais. Sobre estes sistemas,
considere:


As operaes mostradas na Figura 1 e na Figura 2, respectivamente, so

A drill-down e ROLAP.
B rotao e drill-down.
C ROLAP e drill-through.
D rotao e roll-up.
E roll-up e rotao.
Gabarito: B
31. ANO: 2013 BANCA: FCC RGO: TRT - 9 REGIO (PR) PROVA:
51583806784

As ferramentas OLAP so as aplicaes s quais os usurios finais tm acesso
para extrair os dados de suas bases e construir os relatrios capazes de
responder s suas questes gerenciais. As operaes realizadas abaixo navegam
nos dados, modificando o nvel de granularidade da consulta.


A primeira e a segunda operaes so, respectivamente,

A roll up e drill down.
B drill across e slice and dice.
C slice and dice e dill throught.
D dill throught e roll up.
E drill down e roll up.
Gabarito: A
32. ANO: 2013 BANCA: FCC RGO: TRT - 12 REGIO (SC) PROVA:
51583806784
Dentre as diferenas cruciais entre o modelo tradicional de uso de bancos de

dados OLTP (Online Transaction Processing) e o modelo voltado para Data
Warehousing (DW) est
A o nvel de armazenamento de dados, muito mais sumarizado no caso de DW.
B a quantidade de clusulas JOIN, utilizadas em maior nmero para DW.
C a necessidade de normalizao para as bases OLAP, o que no necessrio
em OLTP.
D a utilizao de dados derivados e agregados em OLTP, o que no ocorre no
ambiente de DW.
E o nmero de ndices necessrios, muito maior no caso de DW.


Gabarito: E
33. ANO: 2013 BANCA: FCC RGO: TRT - 15 REGIO (CAMPINAS-

SP) PROVA: ANALISTA JUDICIRIO - TECNOLOGIA DA INFORMAO
Considere
I. A fonte de dados de todos os cubos OLAP do Service Manager so os data
marts do Operations Manager, enquanto o Configuration Manager fornece dados
em Big Data e CSV, no sendo compatveis com OLAP.
II. As informaes de autenticao sobre a fonte de dados devem ser
armazenadas no SSAS (SQL Server Analysis Services) para se estabelecer o
nvel correto de permisses.
III. Os cubos OLAP podem exibir e somar grandes volumes de dados, embora
no forneam aos usurios acesso pes- quisvel a quaisquer pontos de dados,
quando os dados precisam ser acumulados, decompostos e analisados, conforme
a necessidade para tratar da maior variedade de questes relevantes rea de
interesse do usurio.
Est correto APENAS o que se afirma em
A III
B II e III
C I e III
D I e II
E II
Gabarito: E
34. ANO: 2015 BANCA: FCC RGO: CNMP PROVA: ANALISTA DO

51583806784
CNMP - DESENVOLVIMENTO DE SISTEMAS

Em relao s ferramentas de Data Discovery e os fundamentos de Data Mining,
correto afirmar:
A Data Mining o processo de descobrir conhecimento em banco de dados, que
envolve vrias etapas. O KDD Knowledge Discovery in Database uma destas
etapas, portanto, a minerao de dados um conceito que abrange o KDD.
B A etapa de KDD do Data Mining consiste em aplicar tcnicas que auxiliem na
busca de relaes entre os dados. De forma geral, existem trs tipos de
tcnicas: Estatsticas, Exploratrias e Intuitivas. Todas so devidamente
experimentadas e validadas para o processo de minerao.
C Os dados podem ser no estruturados (bancos de dados, CRM, ERP),
estruturados (texto, documentos, arquivos, mdias sociais, cloud) ou uma
mistura de ambos (emails, SOA/web services, RSS). As ferramentas de Data


Discovery mais completas possuem conectividade para todas essas origens de

dados de forma segura e controlada.
D Estima-se que, atualmente, em mdia, 80% de todos os dados disponveis so
do tipo estruturado. Existem diversas ferramentas open source e comerciais de
Data Discovery. Dentre as open source est a InfoSphere Data Explorer e entre
as comerciais est a Vivisimo da IBM.
E As ferramentas de Data Mining permitem ao usurio avaliar tendncias e
padres no conhecidos entre os dados. Esses tipos de ferramentas podem
utilizar tcnicas avanadas de computao como redes neurais, algoritmos
genticos e lgica nebulosa, dentre outras.
Gabarito: E
35. ANO: 2014 BANCA: FCC RGO: TCE-RS PROVA: AUDITOR

PBLICO EXTERNO - TCNICO EM PROCESSAMENTO DE DADOS
A revista da CGU Controladoria Geral da Unio, em sua 8a edio, publicou
um artigo que relata que foram aplicadas tcnicas de explorao de dados,
visando a descoberta de conhecimento til para auditoria, em uma base de
licitaes extrada do sistema ComprasNet, em que so realizados os preges
eletrnicos do Governo Federal. Dentre as tcnicas preditivas e descritivas
utilizadas, esto a classificao, clusterizao e regras de associao. Como
resultado, grupos de empresas foram detectados em que a mdia de
participaes juntas e as vitrias em licitaes levavam a indcios de conluio.
As tcnicas aplicadas referem-se a
A Customer Churn Trend Analysis.
B On-Line Analytical Processing.
C Data Mining.
D Business Process Management.
E Extraction, Transformation and Load.
51583806784
Gabarito: C
36. ANO: 2014 BANCA: FCC RGO: TRF 3 REGIO (SP MS) PROVA:
ANALISTA JUDICIRIO - INFORMTICA (BANCO DE DADOS)
Minerao de dados a investigao de relaes e padres globais que existem
em grandes bancos de dados, mas que esto ocultos no grande volume de
dados. Com base nas funes que executam, h diferentes tcnicas para a
minerao de dados, dentre as quais esto:


I. identificar afinidades existentes entre um conjunto de itens em um dado grupo

de registros. Por exemplo: 75% dos envolvidos em processos judiciais ligados a
ataques maliciosos a servidores de dados tambm esto envolvidos em
processos ligados a roubo de dados sigilosos.
II. identificar sequncias que ocorrem em determinados registros. Por exemplo:
32% de pessoas do sexo feminino aps ajuizarem uma causa contra o INSS
solicitando nova percia mdica ajuzam uma causa contra o INSS solicitando
ressarcimento monetrio.
III. as categorias so definidas antes da anlise dos dados. Pode ser utilizada
para identificar os atributos de um determinado grupo que fazem a
discriminao entre 3 tipos diferentes, por exemplo, os tipos de processos
judiciais podem ser categorizados como infrequentes, ocasionais e frequentes.
Os tipos de tcnicas referenciados em I, II e III, respectivamente, so:
A Padres sequenciais - Redes Neurais - rvore de deciso
B Redes Neurais - rvore de deciso - Padres sequenciais
C Associao - Padres sequenciais - Classificao
D Classificao - Associao - Previso
E rvore de deciso - Classificao Associao
Gabarito: C
37. ANO: 2013 BANCA: FCC RGO: MPE-MA PROVA: ANALISTA

JUDICIRIO - BANCO DE DADOS
Uma das funes desempenhadas pelas tcnicas de minerao de dados consiste
em determinar que itens de um conjunto de dados ocorrem de forma
simultnea. Essa funo recebe a denominao de
A anlise de afinidade.
B estimativa.
51583806784
C previso.
D seleo adaptativa.
E anlise de varincia.
Gabarito: A

NO um objetivo da minerao de dados (mining), na viso dos diversos
autores,

E sries temporais.
Gabarito: B

Uma das abordagens de mining define que, se uma regra de classificao
considerada uma funo sobre variveis que as mapeia em uma classe destino,
a regra chamada
A categorizao.
B Apriori.
C algoritmo gentico.
D regresso.
E minimizao.
Gabarito: D

Considere uma dada populao de eventos ou novos itens que podem ser
particionados (segmentados) em conjuntos de elementos similares, tal como,
por exemplo, uma populao de dados sobre uma doena que pode ser dividida
em grupos baseados na similaridade dos efeitos colaterias produzidos. Como um
dos modos de descrever o conhecimento descoberto durante a data mining este
chamado de
A associao. 51583806784
B otimizao.
C classificao.
D clustering.
E temporizao.
Gabarito: D
43. ANO: 2015 BANCA: FGV RGO: TJ-SC PROVA: ANALISTA

JUDICIRIO - ANALISTA DE SISTEMAS


Consideraes Finais
Chegamos ao final da nossa aula que abordou os assuntos relacionados a

OLAP, Data Mining e Visualizao. Essa aula faz parte de um conjunto de aulas
que cobrem o assunto de BI.
Esperamos que voc tenha gostado e aprendido bastante sobre o assunto.
At a prxima!
Thiago Cavalcanti
51583806784


Curso 19286 Aula 02 v1 PDF

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Curso 19286 Aula 02 v1 PDF

Încărcat de

Drepturi de autor:

Formate disponibile

Aula 02

Banco de dados e BI p/ DATAPREV (Anlise de Negcios)

51583806784 - carla peretro

AULA 02: Data mining e OLAP

Vamos mostrar como recuperar as informaes e como visualizar esses

Dividimos nossa aula em quatro partes. Falaremos de OLAP ou processamento

Prof. Thiago Rodrigues Cavalcanti

51583806784 - carla peretro

dados que so facilitadas como esse modelo de representao. Vamos entender

Esse processamento feito sobre dados armazenados em Banco de Dados

Outra definio possvel para OLAP seria um recurso que permite

Partindo dos trs conceitos vistos at agora, passaremos para uma

transaes individuais. Considere, por exemplo, um sistema OLTP simples usado

Da mesma forma, o nmero aumenta quando mais cpias so entregues

Prof. Thiago Rodrigues Cavalcanti

51583806784 - carla peretro

sistema conhecido como OLTP. Ele otimizado para recuperao e/ou

Em contraste, um sistema OLAP para o varejista de livros mantm o

A comparao entre OLAP e OLTP passa por diversos critrios individuais.

A ideia fundamental por trs da programao de matriz ou array de que

as operaes se aplicam de uma vez para todo um conjunto de valores. Isto o

A base da programao por array e do seu pensamento encontrar e

Prof. Thiago Rodrigues Cavalcanti

51583806784 - carla peretro

A comparao continua com outros autores. Carlos Barbieri faz uso da

Resumindo quando pensamos em OLTP temos as seguintes caractersticas:

Quando nosso foco OLAP temos: O uso de dados on-line ou histricos.

de dados apenas de leitura. Construdo para executar consultas complexas.

Prof. Thiago Rodrigues Cavalcanti

51583806784 - carla peretro

Passamos agora para as operaes OLAP. Conhecida tambm como

A granularidade diz respeito ao nvel de detalhe ou de resumo nas unidades

OLAP oferece recursos de modelagem analtica, incluindo um mecanismo de

Neste contexto, um motor OLAP uma ferramenta poderosa a anlise de

Em modelos multidimensionais, como prprio nome sugere, os dados so

Graficamente, esses modelos podem ser representados por meio de um

Roll-up: tambm conhecida como drill-up, aplica uma agregao sobre o

Drill-down: o inverso da operao de roll-up. uma forma de navegar

51583806784 - carla peretro

Outra forma de executar o drill-down seria adicionando uma nova dimenso

Pivot: Tambm conhecida como rotate ou rotao, uma operao de

Prof. Thiago Rodrigues Cavalcanti

51583806784 - carla peretro

At aqui vimos as mais simples operaes de OLAP, que podem, inclusive,

Sobre a operao de drill-across encontramos na literatura uma

Drill-across: Executa uma consulta envolvendo mais de uma tabela fato!

Para entender como efetuar essa operao, que tal mostrarmos um

Drill-across: Significa mudar de uma classificao em uma dimenso para

Prof. Thiago Rodrigues Cavalcanti

51583806784 - carla peretro

Drill-across: uma tcnica similar ao drill-down. A diferena que

Dentre as definies acima eu ficaria com a primeira. Contudo acho

Drill-through: Essa operao pode se utilizar das facilidades de SQL para,

Drill-Through: As tabelas de drill-through permitem que voc exiba, em

Drill-Through to Detail Level: Permite uma transio suave de uma base

Vejam que, ao contrrio das definies de drill-across que divergem

Alm das definies de drill-across e drill-throught vistas acima, existe

Drill-Across: ocorre quando o usurio pula um nvel intermedirio dentro

Prof. Thiago Rodrigues Cavalcanti

51583806784 - carla peretro

Drill-Throught: ocorre quando o usurio passa de uma informao contida

At aqui falamos das principais operaes de OLAP, outras que s vezes

Drill-within: a passagem de uma classificao para outra classificao