Documente Academic
Documente Profesional
Documente Cultură
Inteligência
Geográfica:
Mitos e Verdades
Eduardo de Rezende Francisco
Professor – FGV e ESPM
Sócio-Fundador – GisBI
Chief Knowledge Officer – Meia Bandeirada
erfrancisco@gmail.com
Envolvente
Carga horária 24% acima da exigida pelo MEC
Curso Integral nos 2 primeiros anos
75% do curso com aulas práticas em
laboratórios
Flexível
Disciplinas eletivas em 3 trilhas:
Gestão de Games
Desenvolvimento de APPs web e mobile
Digital Business Intelligence
Adaptável
Aulas se iniciam às 09h20
Inovador
Ambiente de aulas diferenciado
Laboratórios padrão Scale-up
Profissional
Mentoring com profissionais do mercado desde
o 2º semestre
Preparação para Certificações Técnicas
Parcerias com grandes empresas de tecnologia
(IBM, PlayStation, HP, OLX, Ydigital Media)
BIG DATA
Dan Ariely
Webinar Big Data e Inteligência Geográfica Eduardo de Rezende Francisco
08/Dez/2014 erfrancisco@gmail.com
BIG DATA
1. Volume de dados
Bilhões de linhas x bilhões de colunas
Aumento de 44x de 2009 a 2020 (0,9ZB a 35ZB)
2. Complexidade de Processamento
Estruturas de dados em constante mudança
Necessidade de analisar tais dados em tempo real
3. Estruturas de dados
Grande variedade (80-90% não estruturada) a ser analisada
Estas características tornam necessário o uso de sistemas de computação paralela e paralela massiva
(MPP, massively parallel processing)
4. Exemplos
Sistemas: Netflix, Amazon, Waze, controle estrutural, análise de streamings
Tipos de dados: financeiros, texto, multimedia, mapeamentos genéticos, dados geográficos, etc.
Velocidade
BIG DATA:
Expansão em ritmo crescente
em três frentes
(os 3 primeiros Vs)
Volume
MB GB TB PB
audio
Veracidade
+
Valor
Variedade
Webinar Big Data e Inteligência Geográfica Eduardo de Rezende Francisco
08/Dez/2014 erfrancisco@gmail.com
Características do Big Data: Estruturas de Dados
O Crescimento dos Dados Não Estruturados
Só recentemente foram
desenvolvidas técnicas
Não Estruturados para análise de dados
nesta faixa
• Planilhas e DBs de baixo • Suporta BI mas restringe • Permite análises de alta perform.
volume para controle local. análises não padronizadas. utilizando processamento in-DB
• Extrações de dados são • Dependente de TI & DBAs para • Reduz os custos associados com a
dependentes dos analistas. acesso aos dados e mudanças replicação nos dados em sistemas
de estrutura. “sombra”
• Os analistas gastam muito • “Propriedade dos Analistas” ao
tempo extraindo os dados de invés de “Propriedade dos DBAs”
múltiplas fontes.
Laboratório
RStudio
16
Job offers in data science
17
Job offers in data science
18
Profiles of the most popular data
scientists on LinkedIn
Skill Percent
Data Mining 24,3%
Machine Learning 14,5%
Analytics 13,6%
Big Data 10,5%
Predictive Analytics 6,5%
Data Analysis 5,8%
Predictive Modeling 4,7%
Hadoop 2,8%
Text Mining 2,8%
Statistics 2,6%
Natural Language Processing 2,3%
Start-Ups 2,0%
Algorithms 1,6%
Distributed Systems 1,3%
Map Reduce 1,1%
Data Warehousing 1,0%
Business Intelligence 0,8%
SQL 0,6%
R 0,6%
Scalability 0,5%
Inteligência de Negócios
Eduardo de Rezende Francisco – José Luiz Kugler
terra
Início é um recurso finito
adensamento urbano 24
movimenta o
mercado e suas dinâmicas
25
o Início
interesse e o valor atribuído são
impactados por diversos elementos…
acessibilidade
26
transporte público tráfego
opções restrições
27
eventos impactantes
28
feiras
Início livres
29
Início
deficiências da infraestrutura
30
Metrô
31
iluminação estacionamento poluição
pública
telecomunicações
energia
comércio
e serviços
segurança
água
esgoto
32
como levar em conta
todos esses aspectos?
O que é comum a todos
eles?
como enfrentar os riscos
e melhorar o
desempenho? 33
Inteligência geográfica
Políticos Legais Jurídicos
Impactos potenciais advindos de uso e ocupação do solo titularidades e direitos
programas de governo legislações complementares contenciosos reais e potenciais
Londres, 1854,
Grave Epidemia de
Cólera
11 Agentes geocodificados
1 por distrito
Muitos clientes
associados a agentes
Processo Geográfico
de Alocação
mais
associa distantes
cada proposta ao
(muitas
Agente maislinhas
próximoque
se cruzam no
Propósito: OTIMIZAÇÃO
diagrama spider)
Powered by
Baseado na Natureza
do Trajeto
(a pé, de carro, etc) e
na Malha de Ruas
(trechos de
logradouros,
conversões, paradas)
Powered by
Área de Cobertura
Polígonos de Thiessen
e Voronoi
Associa cada ponto do
espaço geográfico ao
Agente mais próximo
Densidade de
Propostas
Powered by
Área de Cobertura
Polígonos de Thiessen
e Voronoi
Associa cada ponto do
espaço geográfico ao
Agente mais próximo
Densidade de
Propostas
Evolução
GPS
Apps
geográficos
smart
phones
SIME LBSs
Mudança de Paradigma 1
• Aplicações Monolíticas se dividiram em Servidores de Dados
Geográficos e Aplicações Geográficas (Fornecedores de
Serviços Geográficos)
• Aplicações Temporais – “Time-based GIS”
• Interoperabilidade, Disponibilidade
– Consórcio OpenGIS – Padronização
– APIs abertas (J2EE, .NET, XML, ASP, CORBA, ...)
• Diferencial Competitivo
– Serviços de Análise e Visualização Espacial
como WebServices - “GeoServices”
• Cultura do GIT – Geographic Information Technology
– GIS Corporativo x GIS Departamental
Mudança de Paradigma 2
• Popularização da Tecnologia: Dados e Serviços Livres
• Disponibilidade de Dados Geográficos em plataforma
Web-based (Google Earth, Microsoft Virtual Earth, ESRI ArcGIS Explorer)
• Serviços de localização, Geocodificação e Roteamento
disponíveis, inclusive em dispositivos móveis
Mudança de Paradigma 3
• Cloud GIS consolidado, para dados públicos e privados
• Avalanche de Apps com natureza geográfica
• Proliferação de Dispositivos e Sensores georreferenciados
• Valor no Uso da Informação Geográfica, e não na Posse
• Bases Sistemáticas como commodities
• Necessidade de Integração entre GIS e BI
• Pré-processamento ou on-the-fly ?
• Geo Big Data
2 Desafios
Técnico-
Informacional
Cultural
ID de Objeto
ID de Célula
Fonte: MapLink, 2013 – Webinar Aplicações de Big Data para Análises do Trânsito
Fonte: MapLink, 2013 – Webinar Aplicações de Big Data para Análises do Trânsito
Central Feature
De muitas formas,
a Estatística Espacial estende
o que nossos olhos e mentes Mean Center
fazem intituivamente
para avaliar padrões,
tendências e
relações espaciais.
Central Feature
Mean Center
Algumas Questões da Estatística Espacial
High Poverty
High Poverty
Surrounded by
Low poverty
Low poverty
Surrounded
Low Poverty by High
Poverty
Uso Potencial
• Epidemiologia
• Como modelar a propagação de uma doença contagiosa?
• Criminologia
• Como identificar locais de alta incidência?
• Setor Imobiliário
• Como prever os preços dos imóveis?
• Banking
• Como prever renda e propensão a default com fatores locais?
• Marketing/Comportamento do Consumidor
• Como a comunicação boca-a-boca se dissemina?
EAESP-FGV
USP
UFRGS
55
Papers interessantes
Lealdade do Consumidor e Programas de Fidelidade:
uma análise topográfica do campo de conhecimento à luz da
bibliometria, estatística espacial e redes sociais
ROCHA, V. M., PONCHIO, M., FRANCISCO, E.
EnANPAD 2013
56
Papers interessantes
RAE-eletrônica: Exploração do Acervo à Luz da Bibliometria,
Geoanálise e Redes Sociais
FRANCISCO, E.
RAE – Revista de Administração de Empresas da FGV-EAESP,
vol. 51, nº 3 – mai-jun 2011
57
Algumas Soluções Interessantes
Outras
- SpaceCurve
- ESRI Hadoop framework
- Location Tech: GeoMesa
- goGeo
- ...
Modelos Mentais
INFORMAÇÕES DECISÃO
Business Intelligence
O BI que os software oferecem:
Dados operacionais
Simulações
Cruzamentos
Processamentos
complexos
Decisões sem
sensibilidade
Perspectiva
Limitadora. GIS não
estende modelo
mental empresarial,
apenas aprimora
leque de ferramentas
analíticas
Novo Paradigma:
Quais são as questões de negócios que preciso responder
através das ferramentas de BI/Big Data?
Dimensão geográfica
aplicada em todos os
níveis, inclusive como
parte da
compreensão do
negócio
Contextualização
espaço-temporal
Coletores, Sensores,
Internet of Things
Armazenamento
Dashboards
BIG
DATA Sistemas de
Monitoramento Interpretação, análise e
técnicas preditivas, geoestatística
Informações para
apoio à decisão
Colaboração Visualização e compreensão