Um software open source de manipulao e visualizao de grafos

Oficina Gephi
Mapeando e analisando a vida das redes sociais

www.labic.net

Pesquisadores:
AllanCancianMarquez
BiancaBortolonGonalves
JeanMaiconRickesMedeiros
NelsonAloysioReis
1

ndice
1. Introduo
1.1OqueGephi...........................................................................
1.2Formatosdeentradaesada...........................................................
1.3Formatosparaexportao..............................................................
1.4Glossriodetermos....................................................................
1.5Linksteis...............................................................................
1.6Exemplosdegrafos.....................................................................

3
3
3
4
4

2. Preparao
2.1Prerequisitosdoprograma............................................................. 9
2.2interfacegrfica......................................................................... 9
2.3Plugins................................................................................... 12

3. Teoria
3.1Estatsticascomumenteutilizadas...................................................... 12
3.2Filtroscomumenteutilizados............................................................ 13

4. Prtica
Criandoumdataseteexemplosdecrawlers............................................... 14

1. Introduo
1.1 O que Gephi?
uma plataforma open source para a visualizao e manipulao de grafos
dinmicosehierrquicos,incluindotodosostiposderedesesistemascomplexos.uma
ferramenta similar ao Adobe Photoshop: em vez de imagens, o usurio livre para
modificar o visual e interagir com a estrutura das redes que importa, posteriormente
adicionando filtrospararessaltarosaspectosquedesejaeenfimexportandooresultado
finalemSVG,PNGouPDF.
Sua principal funo servir como mtodo de anlise de dados, elaborao de
hipteses, descoberta de padres sociais e de comportamento e isolamento de
estruturas importantesdentroderedeshierarquizadas.Tambmlargamenteutilizadona
visualizao de redes de relaes entre indivduos e dos contedos que (re)produzem,
tornandose uma ferramenta poderosa para pesquisas de opinio e no campo da
cibercultura.
O download pode ser feito no site oficial, onde tambm encontramse mais
informaes e novidades sobre oprograma,assimcomopluginscomfunesadicionais
interessantes.
Nesta apostila, estaremos trabalhando com a verso 0.8.2 beta do programa,
lanadoem3dejaneirode2013.

1.2 Formatos de entrada e sada

.GEXF,.GDF,.GraphML:
Grafos com ns e arestas definidos caso o nico programa a ser usado seja o
Gephi,recomendaseutilizaro.GEXFporpossuirmaisrecursos.
.Gephi:
Grafos com ns, arestas, estruturaevisualdefinidosoprojetodaredeconforme
desenvolvidopelousurio(equivalenteao.psddoPhotoshop)
.CSV(CommaSeparatedValues):
Tabela de ns e/ou arestas separada por por vrgulas, ponto e vrgulas ou pipes
(caractere|)

1.3 Formatos para exportao

.PNG(PortableNetworksGraphics):
Formatodeimagemdepequenotamanhoeconsequenteversatilidade
.SVG(ScalableVectorGraphics),PDF(PortableDocumentFormat):
Ambos formatos de imagens vetoriais, ou seja, apropriados para ilustraes,
mapas,grafos,logos,etc.,emespecialpararedimensionamentoezoom.

1.4 Glossrio de termos

N:chamadotambmdenode,vrtice
Aresta:chamadotambmdelink,ligao,edge.Elapodeser:
Simples:quandoaligaonopossuipeso
Ponderada: quando diferentes arestas possuem pesos distintos, ou seja,
ligaesmaisoumenosfortes,adependerdoquerepresentamnarede
Cluster:conjuntodensfortementeconectado,grupodens
Grafo:representaogrficadeumaredeinterativa.Elepodeser:
Direcional ou dirigido: quando um n possui ligao com outro no
necessariamenterecproca(ex:Instagram,Twitter)
No direcional ou no dirigido: quando a ligao entre dois ns
necessariamenterecproca(ex:FacebookeOrkut).
Crawl:importado doingls, o verbo crawlear (to crawl) neste contextosignifica
minerar/coletardadosdaweb,demdias,deredessociaisetc.

.....Fig. 1: n.......Fig. 2: arestas (indicadas

....por setas) de um grafo

1.5 Links teis

Siteoficial:www.gephi.org
Blog:www.gephi.org/blog
Fruns:www.forum.gephi.org
Marketplace(plugins):www.marketplace.gephi.org/plugins
Tutoriaisoficiaisefeitosporusurios:www.gephi.org/users
Twitter:www.twitter.com/Gephi
Wikipdia:www.wiki.gephi.org
GruponoFacebook:www.facebook.com/groups/gephi/

1.6 Exemplos de grafos

Fig. 3: Grafo no-direcionado de uma rede

Observam-se ns representados por cores distintas e arestas cujas
cores so o resultado da interao destes ns - opo padro no Gephi.
Por todos possurem o mesmo peso, o grafo objetiva, portanto, uma
representao da rede de relaes de ns e dos grupos a que pertencem.
Para o layout, utilizou-se do algoritmo de distribuio Fruchterman-Reingold,
cujo objetivo uma estrutura o mais limpa, visualmente, possvel.

Fig. 4: Grafo de uma rede extrada do Twitter

Observam-se quatro diferentes clusters de ns conectados a um
componente central, responsvel por ser o hub neste caso.
Para o layout, utilizou-se do algoritmo de distribuio Force Atlas,
cujo objetivo representar espacialmente as ligaes entre ns pertencentes
a distintos grupos, de forma a criar um mapa de suas interaes.
Seu sucessor o excede em capacidades de visualizao.

Fig. 5: Grafo de uma rede extrada do Twitter

Observam-se diferentes grupos de ns espalhados pelo grafo.
Para o layout, utilizou-se do algoritmo de distribuio Force Atlas 2,
com a opo Stronger Gravity ligada e Prevent Overlap para ajuste final.
Utilizou-se tambm a estatstica de modularidade para identificar comunidades.
O usurio pode posteriormente analisar o comportamento de grupos
individualmente por opes de filtragem e tratamento em outra
rea de trabalho (vide sees 2.2.11 e 3.2).

Fig. 6: Grafo de uma rede extrada da Wikipdia

Observam-se quatro diferentes clusters representados por diferentes
cores; so subgrupos de usurios da comunidade da Wikipdia turca.
Para o layout, utilizou-se do algoritmo de distribuio Yifan Hu,
cujo objetivo separar os clusters que podem ser evidenciados
com filtros de modularidade. Nota-se a rede perifrica mais afastada
do centro, ao contrrio do grafo anterior.

2. Preparao
2.1 Prerequesitos do programa
O nico prequesito do programa a instalao do Java Runtime Environment
(JRE), disponvel em www.java.com. Ateno para a verso dosistemaoperacional, 32
ou64bits. Caso estesejaLinux,recomendaseinstalar a verso proprietriatradicional,
emvezdeaescritaemcdigoaberto(OpenJDK).

2.2 Interface grfica

1. Barra de ambientes
Visogeral:readetrabalho(localdedesenvolvimentodografo).
Laboratrio de dados: rea de edio em tabela dos dados que compem o
grafo (ouseja,deseudataset),ondepossveladicionar,editareexcluirarestase
ns individuais, assim como importar e exportar datasets em CSV (vide seo
1.2)
Visualizao:readeexportaodoprojetoquandoconcludo(videseo1.3).
2. Funes de visualizao
Partio:manipularnsearestasdeacordocomseusgrupos.
Classificao:manipularnsearestasdeacordocomseusvalores.

3. Opes das funes de visualizao

3.1 Partio
Aqui, as estatsticas so aplicadas a grupos de ns ou arestas, a depender da
informaoselecionadaedecomoelafoiinseridanolaboratriodedados.
Aplicaodeparmetrosdepartio
Porcentagens dosgrupos,agrupamento e criaode grfico emporcentagem ou
empizzadasinformaesdografo.
3.2 Classificao
Nesta seo, possvel aplicar estatsticas referentes a cor e tamanho de
ns/arestaseseusrespectivosrtulos.Abaixodaseleodeintervalo,temos:
Spline: configurar a interpolao de classificao, ouseja,aproporoemquea
estatsticaselecionadaaplicada
Aplicarouautoaplicarfiltros
Listardadosconformeestatsticaaplicada
Escalonamentolocal.
4. Distribuio/Layout
Seo referente espacializao do grafo, com diferentes algoritmos que variam
em sua utilidade de acordo com a rede a ser trabalhada. Os algoritmos de
espacializao mais comuns includos no pacote padro do programa so
FruchtermanReingold (videpg. 4) eForceAtlas2,sucessornaturaldoForceAtlas(vide
pg.5e6)outrospodemserconseguidospormeiodeplugins(videseo2.3).
5. rea de visualizao do grafo
Movergrafo:enquantopressionadoobotodireto,arrasteomouse
Aumentarreadeseleo:ctrl+scrolldomouseparacimaouparabaixo
Zoom:scrolldomouseparacimaouparabaixo
6. Ferramentas de edio de grafos
Telacheia
Seleodensdireta
Seleodensretangular
Moverns
Colorirnsevizinhosprximos
Alterarotamanhodeumn
Colorirnsindividuais
Adicionarnovonconformecliquedomouse
Adicionarnovaarestaconformecliquedomouse
Selecionarocaminhomaiscurtoentredoisns(grafosdirecionados)
10

 Mapadecalordeumneseusvizinhos,peladistncia(grafosdirecionados)
Editaratributosden.
7. Ferramentas de visualizao
Centralizargrafointeiro
Centralizargrafoconformecoordenadas
Restaurarcordosnsparapreto
Restaurartamanhodosnspara1
Restaurarcoresdosrtulosdetextodons
Restaurarrtulosdensvisveis
Restaurartamanhodafontedosrtulos.
8. Ferramentas de visualizao de grafo
Invertercordefundo
Capturadetela
Exibirrtulosdens
Exibirbordas
Exibirarestas
Arestascomacordondeorigem
Exibirrtulosdearestas
Escaladepesodasarestas
Mododotamanhodosrtulos
Mododacor
Fontedosrtulos
Tamanhodafontedosrtulos
Corpadrodafontedosrtulos
Atributosdosrtulos.
9. Contexto
Informaesbsicasreferentesrede,comoquantidadedensedearestas.
10. Estatsticas e filtros
Estatsticas: diferentes valores a serem calculados com diferentes algoritmos
sobreatributosepropriedadesdarede(videseo3.1).
Filtros: selecionanografo os componentes correspondentes a umaclassificao
conformeselecionadapelousurio.
11. Workspaces
possvel criar diferentes reas de trabalho para manipular mais de um grafo
simultaneamentenum mesmo projetodoGephi.Tambmpermitesecopiaroumoverns

11

existentes ougrafos inteirosparareas distintas, selecionados manualmente ou filtrados

comaajudadoprograma(videseo3.2).
Quando uma atualizao para o programa ou algum plugin esteja disponvel,um
coneaoladodireitodestareaaparecer,possibilitandooseudownload.
12. Configuraes complementares
Opes de visualizao do grafo ainda no ambiente de trabalho. possvel
configurar o modo que o grafo, os ns, as arestas e os rtulos de texto se comportam
antesdaexportaodografo,deformaamelhoraravisualizaoemanipulaodarede.

2.3 Plugins
Responsveis por adicionar funes noexistentes ao programa, a seo de
plugins do Gephi est disposta discretamente na barra de ferramentas, em Tools
Plugins.Nela, possvelfazer o downloaddediferentesextensesdesenvolvidasparao
programa,queseroposteriormente,comaautorizaodousurio,atualizadasconforme
sodesenvolvidas.
No Gephi Marketplace (www.marketplace.gephi.org/plugins) possvel ver a
descriodecadapluginetambmfazeroseudownloadparainstalaomanual.

3. Teoria
3.1 Estatsticas comumente utilizadas
Grau mdio
Defineopesodosnsdeacordocomaquantidadedesuasconexes.
Graudeentrada:nmerodeconexesqueumnrecebedeoutro
Graudesada:nmerosdeconexesquesaideumnparaoutro
Grau ponderado mdio
Similaraograumdio,mas utilizaseospesosdasarestasemseualgoritmopara
entodefiniropesodosns.
Densidade do grafo
Mostraoquo prxima a rede est de ser completa.Umgrafo completo aquele
em que, para cada n, existe uma arestaconectando esse n aosdemaisouseja,um
grafoemquetodososseuscomponentesencontramseconectados
HITS:
Autoridade:estimaovalordocontedodon
Hub:ovalordasarestasparaasoutraspginas.

12

Dimetro da rede:
Centralidadedeintermediao: medeafrequnciacomqueumnaparecenos
caminhosmaiscurtosentrensdasredes
Centralidade de proximidade: distncia mdia de um determinado n inicial
paratodososdemaisnsdarede
Excentricidade: distncia de um determinado n inicial at o n mais distante
deleencontradonarede.
Modularidade
Defineosclustersdarededeacordocomaforadesuasconexes.
Centralidade de autovetor
Medidadeimportnciadoncombasenasconexesquepossuicomoutros.

3.2 Filtros comumente utilizados

Atributos
Filtra ns e vrtices de acordo com atributos prestabelecidos pelo usurio no
dataset,nolaboratriodedadosenasdefiniesdepartioeclassificaodografo.
Topologia
Intervalo de grau: seleciona e mantm ns que possuem grau dentro de um
intervalodefinidopelousurio
Rede ego:exibe arededeumnemespecfico,filtrandotodososoutrosqueno
possuemconexocomestedeterminado
Componente gigante: seleciona os ns mais conectados da rede e retira da
visualizaoosperifricos,compoucasconexes
Intervalo de grau de entrada: seleciona e mantm ns que possuem grau de
entradadentrodeumintervalodefinidopelousurio
Kcore:mantmnografoapenasnsnomnimomenosK(nmero)degrau
Intervalode grau bidirecional/mtuo: selecionaemantmnsquemutuamente
possuemgraudentrodeumintervalodefinidopelousurio
Rede de vizinhos: mantm ns que estejam a uma profundidade x de
determinadon,identificadopeloseuIDourtulo
Intervalode grau desada:selecionaemantmnsquepossuemgraudesada
dentrodeumintervalodefinidopelousurio.

13

4. Prtica
Criando um dataset
Conforme visto anteriormente, crawlers soosresponsveispor minerar grandes
conjuntos de dados (big data) na web e filtraroque ounopertinente, a dependerdo
objetivo do usurio.Aps a coleta, importase odataset para o Gephi, queentotomar
afunodeediodedadoseesquematizaovisualdarede.
Algunscrawlersdenotvelutilizaonocamposo:
Flocker
Webappque age como estruturador de redes de retweets emtemporeal.Permite
exportarografocriadoparaGEXF,PNGeSVG.
Licena:gratuita.
Site:www.flocker.outliers.es
Netvizz
Aplicativo do Facebook de fcil utilizao que possibilita extrair as redes de
amigos,pginasegruposaqueousurioprincipalestconectado.
Licena:gratuita.
Site:www.apps.facebook.com/netvizz
NodeXL
Extenso para o Microsoft Excel que permite extrair dados de redes como
FacebookeTwittereposteriormanipulaonoprogramaouexportaoparaGephi.
Licena:gratuita.
Site:www.nodexl.codeplex.com
PluginSocialNetworkImporter:www.socialnetimporter.codeplex.com
Topsy
Permite extrairdadosdarededoTwitter.Pelaparceriaquetemcomaredesocial,
o nico que no possui limite de tempo de publicao do tweet nem limite de
requisiesaoservidor.osucessordoYourTwapperKeeper.
Licena:versolimitadagratuitaeprofissionalpaga.
Site:www.topsy.com
YourTwapperKeeper
Permite a configurao de diferentes keywords para monitorao, captura e
armazenamentodetweetsemtemporeal.Necessitadeinstalao.
Licena:cdigoaberto.
Site:www.github.com/540co/yourTwapperKeeper
14