BRAIN MAP | Entidade Promotora:

Parceiros:

14-05-2010

Plataformas existentes com abordagens parciais ao problema

0/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

ndice

Tabela de Figuras...........................................................................................................................................2 Introduo .....................................................................................................................................................4 Ferramentas para a Manipulao e Anlise de Informao .........................................................................5 WEKA .........................................................................................................................................................5 Protg ......................................................................................................................................................8 TGViz......................................................................................................................................................9 SOVA ................................................................................................................................................... 10 OntoGraf............................................................................................................................................. 11 OlwPropViz ......................................................................................................................................... 13 NavigOWL ........................................................................................................................................... 14 Pentaho .................................................................................................................................................. 15 Avizo ....................................................................................................................................................... 17 IBM OpenDx ........................................................................................................................................... 21 ParaView................................................................................................................................................. 23 VTK.......................................................................................................................................................... 28 VisIt ......................................................................................................................................................... 31 TouchGraph Navigator ........................................................................................................................... 35 Visifire ..................................................................................................................................................... 37 Minner 3d ............................................................................................................................................... 41 Viscovery ................................................................................................................................................ 45 Wolfram Mathematica ........................................................................................................................... 48

1/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Tabela de Figuras
Figura 1: Grficos de anlise e de disperso do WEKA .................................................................................6 Figura 2: Grfico de Anlise do WEKA ...........................................................................................................7 Figura 3: Ferramenta de visualizao e manipulao TGViz .........................................................................9 Figura 4: Ferramenta de visualizao e manipulao SOVA ...................................................................... 10 Figura 5: Ferramenta de visualizao e manipulao OntoGraf ................................................................ 11 Figura 6: Ferramenta de visualizao e manipulao OntoGraf com filtros .............................................. 12 Figura 7: Ferramenta de visualizao e manipulao OntoGraf com meta-dados .................................... 12 Figura 8: Ferramenta de visualizao e manipulao OwlPropViz ............................................................ 13 Figura 9: Ferramenta de visualizao e manipulao NavigOWL .............................................................. 14 Figura 10: Anlises analticas da informao pela aplicao Pentaho, com exportao para dispositivos mveis ........................................................................................................................................................ 15 Figura 11: Exemplos de DashBoards, criados pela aplicao Pentaho ...................................................... 16 Figura 12: Exemplo de aplicao do Avizo com workflow de controlo na verso standard ...................... 18 Figura 13: Exemplo de aplicao do Avizo com workflow de controlo na verso Fire .............................. 19 Figura 14: Exemplo de aplicao do Avizo na variante Earth..................................................................... 20 Figura 15: Exemplo de output obtido e workflow de controlo sobre esses dados.................................... 21 Figura 16: Exemplo composto do OpenDx ................................................................................................. 22 Figura 17: Exemplo de visualizao de Data Mining na rea de molculas orgnicas............................... 23 Figura 18:Visualizao 3D ParaView........................................................................................................... 24 Figura 19: Janela do ParaView na analise de fluidos .................................................................................. 25 Figura 20: Grfico de temperatura e presso ............................................................................................ 26 Figura 21: Representao grfica de um output ........................................................................................ 26 Figura 22: Diferentes representaes ParaView ........................................................................................ 27 Figura 23:Grfico criado no Paraview utilizando o VTK ............................................................................. 28 Figura 24: Grfico criado no VisIt utilizando o VTK .................................................................................... 29 Figura 25: Grfico gerado no VTK............................................................................................................... 30 Figura 26: Exemplo de mapa no VisIt ......................................................................................................... 31 Figura 27: Configurao da tonalidade do mapa ....................................................................................... 32 Figura 28: Exemplo de uma analise de dados em 2D e em 3D .................................................................. 33 Figura 29: Menu de criao de views ......................................................................................................... 34 Figura 30: Navigator executado no browser .............................................................................................. 35 Figura 31: Fases do processamento dos dados .......................................................................................... 36 Figura 32: Ferramenta para criao de grficos no browser ..................................................................... 37 Figura 33: Grfico de rea .......................................................................................................................... 38 Figura 34: Grfico em funil ......................................................................................................................... 38 Figura 35: Grfico de barras com Live Updates ......................................................................................... 39
2/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Figura 36: Zoom in realizado ao grfico de barras ..................................................................................... 40 Figura 37: Interface do Miner 3D ............................................................................................................... 41 Figura 38:Grfico desenvolvido no Miner3D Basic .................................................................................... 42 Figura 39: Grfico mais elaborado desenvolvido em Miner3D Enterprise ................................................ 43 Figura 40: Exemplo de dados analisados com recurso ao K-Means .......................................................... 44 Figura 41: interface grfica do Viscovery Profiler ...................................................................................... 45 Figura 42: Output da anlise dos acessos a um site ................................................................................... 46 Figura 43: Interface da ferramenta Decision Maker .................................................................................. 47 Figura 44: Interface do Wolfram Mathematica ......................................................................................... 48 Figura 45:Exemplos de grficos obtidos do Wolfram Mathematica .......................................................... 49 Figura 46: Wolfram ligado base de dados ............................................................................................... 50

3/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Introduo
Pretende-se com o presente documento, efectuar o estudo e anlise de plataformas que tenham em si, abordagens parcialmente semelhantes aos conceitos envolvidos no projecto do Brain Map. Essa anlise ser direccionada sobre ferramentas comerciais e ferramentas open source de modo a garantir um levantamento completo e profundo nestas duas vertentes de desenvolvimento de software. Este estudo prvio, tem como objectivo criar um conhecimento geral sobre o contexto onde o Brain Map se insere, e desta anlise, ser possvel, extrair os melhores conceitos e procedimentos que eventualmente possam refinar a ideia de projecto Brain Map, conforme inicialmente descrita em sede de candidatura. Ao nvel de contextualizao no projecto QREN Brain Map, este documento, encontrasse enquadrado na actividade de Estudos Preliminares

4/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Ferramentas para a Manipulao e Anlise de Informao

No presente captulo ser feita a anlise de diversas ferramentas de manipulao e de visualizao de informao de diferentes domnios e reas do saber humano. Sero analisadas em maior profundidade as suas funcionalidades e a interface grfica com o utilizador.

WEKA
O Weka (Waikato Environment for Knowledge Analysis), uma ferramenta de aprendizagem automtica, que numa s aplicao rene vrios algoritmos e abordagens. Recorrendo a tcnicas de minerao de dados (explorao de grandes quantidades de dados) e aprendizagem automtica permite analisar a informao e efectuar modelao preditiva por induo. O Weka dispe de um interface grfico bastante completo e elaborado que permite analisar e fazer comparaes entre os resultados dos vrios algoritmos, pois possui boas ferramentas de anlise numrica e grfica para fazer a correcta avaliao dos seus resultados. No contexto do Brain Map, a componente de relevo do Weka no se prende com os algoritmos de aprendizagem automtica em si, mas sim com os diversos mtodos de visualizao e anlise sobre grandes quantidades de informao para avaliao dos algoritmos que o WEKA dispem. O Weka uma ferramenta de software livre desenvolvida em Java pela Universidade de Wakato da Nova Zelndia, e como tal no pode ser considerado uma ferramenta comercial pois desenvolvida e mantida por uma comunidade de programadores e investigadores. Nativamente trabalha com os dados no formato.ARFF, no entanto tambm permite importar dados em formato csv, libsvm, bsi e xrff. Dispe ainda de um pr-processador que permite transformar e importar dados em outros formatos.

5/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Figura 1: Grficos de anlise e de disperso do WEKA

6/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Figura 2: Grfico de Anlise do WEKA

Na Figura 1 e na Figura 2 possvel ver alguns exemplos de visualizaes possveis sobre os dados de sada do WEKA em que possvel visualizar a distribuio de uma amostra em relao a duas variveis. Nesta aplicao os outputs grficos so relativamente pobres esteticamente, tornando-se pouco apelativos (e at intimidadores para o utilizador inexperiente). No entanto este output grfico pensado e desenvolvido apenas na funcionalidade e na simplicidade e so considerados pelos especialistas bastante eficazes. Do ponto de vista de interaco com o utilizador so bastante pobres, pois para exercer qualquer efeito de rotao, zoom ou de movimento o utilizador obrigado a interagir com as diversos controlos (sob a forma de Combo Boxes ou de diversos sliders). Assim, nesta aplicao, no possvel manipular a informao directamente, apenas de uma forma indirecta atravs de controlos.

7/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Protg
O Protg uma ferramenta de software que tem como objectivo ser um sistema de extraco de conhecimento que permita criar, editar, visualizar e manipular ontologias em diversos formatos. uma ferramenta analisada no contexto do Brain Map porque tem muitas funcionalidades e ferramentas de manipulao e visualizao de informao. A ferramenta em si focada no domnio das ontologias, mas os conceitos e ideias podem ser facilmente utilizados noutros contextos em que existam grandes conjuntos de dados e informaes. O Protg uma ferramenta desenvolvida em JAVA e utiliza a API Swing de JAVA para o desenvolvimento do seu interface grfico. No entanto, devido a ter uma grande comunidade de desenvolvimento, existe um nmero elevado de outros plugins, sendo nesses que se encontra a maioria das ferramentas de visualizao e manipulao de grandes quantidades de informao. A aplicao comeou a ser desenvolvida para ser utilizada em reas de biomedicina pela Universidade de Stanford em colaborao com a Universidade de Manchester. No entanto, devido ao sucesso da aplicao depressa foi adoptada nas mais diversas reas onde seja possvel criar uma ontologia para representar relaes de conhecimento num determinado domnio. A forma mais difundida com que o Protg consome os dados e a informao recorrendo ao formato OWL. Esta abordagem utiliza o standard do consrcio World Wide Web Consortium (W3C) para a Web Semntica, o OWL (Web Ontology Language) para registar a estrutura do conhecimento de um determinado domnio. O OWL ainda uma derivao de RDF, que por sua vez um dialecto de XML. De seguida sero descritas algumas das funcionalidades de interesse do Protg no que diz respeito a manipulao e visualizao de dados e de informao.

8/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

TGViz

Figura 3: Ferramenta de visualizao e manipulao TGViz

A Figura 3 mostra o exemplo de uma ferramenta de visualizao e manipulao dentro do Protg, em que desenhado um grafo ou uma constelao sobre a informao presente na ontologia. (Para mais informao sobre constelaes, consultar o Documento Mecanismos de visualizao e interaco existentes no domnio da soluo). Neste caso as instncias das diversas classes esto ocultas e s possvel ver os ns e ramos a uma profundidade 2 em relao raiz. Desta forma possvel observar algumas das principais classes dos dados presentes evitando o excesso de informao e de entropia visual. A interaco com o utilizador indirecta, atravs de botes de zoom e de um slider para efectuar rotaes sobre a constelao. J a qualidade grfica da aplicao bastante pobre.

9/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

SOVA

Figura 4: Ferramenta de visualizao e manipulao SOVA

A Figura 4 mostra outro exemplo de ferramenta de visualizao de informao proveniente do Protg. Esta aplicao j tem uma qualidade grfica melhor que a ferramenta anteriormente analisada e mais atractiva para o utilizador. Esta ferramenta tem algumas limitaes na capacidade de filtragem dos elementos apresentados, podendo em alguns casos criar alguma entropia visual devido ao excesso de elementos. A visualizao pode ser feita sobre todos os elementos presentes ou indicando um n ou elemento da estrutura em que so apresentados todos os elementos descendentes. Nesta aplicao o utilizador no pode interagir directamente com os dados apresentados, apenas pode clicar sobre um boto que inicia ou pra um movimento de rotao da constelao.

10/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

OntoGraf O OntoGraf mais uma ferramenta adicional do Protge que permite visualizar e manipular os dados e a informao pressentes numa ontologia. semelhante aos anteriormente analisados, no entanto esta ferramenta tem uma componente grfica mais elaborada e sobretudo uma componente de interactividade e de manipulao nos dados directamente pelo utilizador. Na Figura 5 possvel visualizar o aspecto normal durante a visualizao normal das ontologias.

Figura 5: Ferramenta de visualizao e manipulao OntoGraf

11/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Figura 6: Ferramenta de visualizao e manipulao OntoGraf com filtros

Nesta ferramenta a componente de interaco com o utilizador est muito desenvolvida. O utilizador pode manipular directamente a constelao da ontologia, arrastando, fazer zoom, efectuar rotaes e mudar elementos de stio. Quando o utilizador muda elementos de stio, a aplicao automaticamente rearranja toda a estrutura e as ligaes entre os diversos elementos.

Figura 7: Ferramenta de visualizao e manipulao OntoGraf com meta-dados

12/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

O utilizador pode ainda aplicar filtros sobre os elementos da ontologia tendo a visualizao dessas aces e alteraes em tempo real, como pode ser visto na Figura 6. Pode ainda configurar quais os meta-dados a aparecer sobre cada elemento, e as famlias de objectos que iro apresentar meta-dados, como pode ser visualizado na Figura 7. OlwPropViz

O OwlPropViz outra ferramenta do Protg, que semelhante s anteriormente analisadas, mas tem um foco maior nas ligaes e relaes entre os objectos e instncias das ontologias. Ao nvel de interaco relativamente pobre pois apenas permite activar a exibio ou ocultao dos elementos descendentes ou ascendentes de um determinado objecto. No entanto tem a possibilidade de fazer alteraes nas relaes exibidas directamente sobre o diagrama apresentado, o que se torna uma mais-valia para o utilizador. Esta aplicao pode ser visualizada na Figura 8.

Figura 8: Ferramenta de visualizao e manipulao OwlPropViz

13/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

NavigOWL Esta ferramenta de visualizao de ontologias do Protg permite construir constelaes ontolgicas. Para alm disso a ferramenta destaca-se das restantes porque tem a capacidade de construir e exibir as representaes grficas de constelaes de grande dimenso sem perda de performance. O utilizador tambm pode manipular directamente os elementos com o rato e efectuar zoom, movimentos de rotao e de translao da constelao. Outra funcionalidade de destaque desta ferramenta a aplicao de layouts pr-definidos. Esses layouts permitem arrumar automaticamente os dados apresentados em diversas topologias. Os layout prdefinidos so em forma de crculo, aleatrio e pela fora das ligaes. Tal pode ser visualizado um exemplo na Figura 9.

Figura 9: Ferramenta de visualizao e manipulao NavigOWL

14/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Pentaho
O Pentaho uma plataforma open source de Business Intelligence. A plataforma tem o objectivo de ajudar empresas e organizaes a gerirem a sua actividade comercial e de negcio. O Pentaho permite importar grandes quantidades de informao em diversos formatos sobre a actividade da empresa e posteriormente efectuar extraco e manipulao de informao, estudos e anlises sobre os dados fornecidos. A origem dessa informao pode vir de simples bases de dados SQL, ficheiros CSV e de Excel, objectos OLAP, ficheiros XML e XUL. A plataforma tem ainda ferramentas de Data Mining que permitem efectuar aces de machine learning para classificao automtica de dados e para realizar regresses e previses. A aplicao permite de uma forma fcil e intuitiva criar relatrios pontuais ou automticos sobre os dados e actividades da empresa. Esses relatrios podem ter componentes grficas e de interaco com o utilizador de modo a que seja possvel analisar grandes quantidades de dados e relaes. Ainda na rea grfica, a plataforma permite criar Dashboards personalizados para permitir a arrumao dos vrios dados e reports disponveis. Estes Dashboards pretendem ser uma forma gil e eficaz de centralizar toda a informao disponibilizada pela plataforma.

Figura 10: Anlises analticas da informao pela aplicao Pentaho, com exportao para dispositivos mveis

15/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Na Figura 10 possvel visualizar algumas anlises analticas da informao presentes na plataforma. Como os reports e dashboards so automaticamente criados em formato Web, estes podem ser facilmente acedidos em qualquer dispositivo mvel. J a Figura 11 mostra o exemplo de dois dashboards com a aglomerao de vrios reports e anlises analticas dos dados em estudo.

Figura 11: Exemplos de DashBoards, criados pela aplicao Pentaho

16/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Avizo
O software Avizo um software especializado na visualizao de dados de cariz cientfico e industrial. O software mantido e melhorado actualmente pelo VSG Visualization Sciences Group. Inicialmente foi concebido e desenhado pelo Visualization and Data Analysis Group at Zuse Institute Berlin (ZIB) com o nome de Amira. A aplicao s passou a ser um produto comercial em Novembro de 2007. O software Avizo permite aos utilizadores visualizarem grandes conjuntos de informao em formatos tridimensionais. A modelao e controlo dos resultados de visualizao obtidos, so efectuados atravs de uma linguagem de programao visual da prpria aplicao e pela criao de mdulos de aco, controlo ou processamento dos dados. Esses mdulos posteriormente podem ser agrupados num workflow que determinar os vrios passos que a informao em bruto inicial sofrer at se obter o output grfico final. Devido enorme diversidade de reas em que pode ser aplicado a ferramenta foi sub-dividida em diferentes reas e diferentes pacotes de software com diferentes especializaes. Tal medida pode ser visto como uma vantagem e ao mesmo tempo uma desvantagem. uma vantagem pois tendo a aplicao dividida em reas torna-se mais especfica e focada numa rea. No entanto tem a grande desvantagem que com esse foco deixa de ser uma ferramenta genrica e qualquer utilizao noutro domnio no previsto poden-se tornar num problema. Para colmatar essa falha a Avizo na sua ltima subverso criou um pacote genrico com o fim de ser polivalente a qualquer domnio.

As subverses que o Avizo tem so: Avizo Earth para aplicaes na rea das geocincias e da anlise de recursos minerais e de hidrocarbonetos; Avizo Wind focado no estudo de comportamentos aerodinmicos de objectos e de comportamento de fluxos de gases; Avizo Fire para o estudo das cincias dos materiais e compostos, assim como para a observao de ignies e comportamento de chamas e de exploses; Avizo Green dedicado ao estudo de ambientes e ecossistemas locais e globais; Avizo Standard com o objectivo de ser genrico e polivalente em diversos domnios.

17/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Figura 12: Exemplo de aplicao do Avizo com workflow de controlo na verso standard

A Figura 12 mostra um exemplo do Avizo, em que possvel visualizar esquerda e a ocupar a maioria do ecr a visualizao obtida dos dados inseridos na aplicao. Do lado direito do ecr possvel visualizar, no topo, o workflow de mdulos de controlo e processamento dos dados. Por baixo, so visveis os atributos e parmetros de um determinado objecto do workflow.

18/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Figura 13: Exemplo de aplicao do Avizo com workflow de controlo na verso Fire

O exemplo da Figura 13 mostra um exemplo em que para alm da visualizao dos dados e do workflow de processamento possvel observar uma simples tabela do tipo Excel com os dados referentes experincia. Tambm possvel visualizar os mesmos dados representados numa forma grfica, neste caso um simples grfico e barras.

19/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Figura 14: Exemplo de aplicao do Avizo na variante Earth

A Figura 14 mostra um exemplo de aplicao da variante Earth, dedicada ao estudo das geocincias. Neste caso a aplicao difere um pouco dos exemplos vistos anteriormente. Neste caso existe uma lista de layers do lado esquerdo do ecr que podem ser activados ou desactivados, ou alterar as suas propriedades e visualizar imediatamente as alteraes na visualizao apresentada.

20/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

IBM OpenDx
O OpenDX um software cientfico para visualizao de dados e de informao. Pode ser facilmente aplicado a contextos complexos desde a representao de engenhos mecnicos representao limitada do funcionamento do crebro humano. Os dados representados podem assumir a forma de escalares, de vectores ou de campos vectoriais de mltiplas dimenses. Uma das grandes caractersticas que diferenciou esta aplicao das restantes foi o facto de permitir que os elementos em representaes espaciais no tm de estar todos mesma distncia ou homogeneamente distribudos. A aplicao maioritariamente desenvolvida em C tendo em vista a performance e desenvolvida sobre a licena Publica da IBM (i.e. o software open source e livre). Esta licena difere apenas em alguns pontos da conhecida licena GPL.

Figura 15: Exemplo de output obtido e workflow de controlo sobre esses dados

21/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Uma outra vantagem desta plataforma o facto de ser genrica e ainda assim ser eficaz nos diversos domnios em que pode ser utilizada. A Figura 15 mostra um exemplo de um resultado obtido conjuntamente com os principais controlos da aplicao. A maior ferramenta visvel um workflow com os vrios mdulos de processamento e de tratamento dos dados. Por sua vez, cada elemento desse workflow editvel e configurvel. Do lado direito por cima da imagem de output existe um conjunto de controlos que permitem efectuar movimentos e rotaes sobre o resultado final. Por fim, em baixo do lado esquerdo, existe uma caixa com algumas propriedades de visualizao, nomeadamente o ngulo, e os tipos de projeco grfica. A Figura 16 mostra um exemplo de composio de diversos grficos em 3D no espao. Ao centro em maior destaque o resultado final. No entanto possvel ver os grficos das vrias variveis independentes na periferia da imagem. J a Figura 17 mostra um exemplo complexo de representao de informao molecular no espao, de uma molcula orgnica.

Figura 16: Exemplo composto do OpenDx

22/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Figura 17: Exemplo de visualizao de Data Mining na rea de molculas orgnicas

ParaView
O ParaView uma aplicao open source, distribuda gratuitamente que tem como principais funcionalidades a visualizao e anlise de dados. O projecto do ParaView iniciou-se me 2000 com um esforo colaborativo entre 2 grandes entidades, a empresa Kitware e o Laboratrio Nacional de Los Alamos fundado pelo departamento de energia norte-americano. A verso actual continua a ser responsabilidade da Kitware, mas agora em conjunto com 2 novas entidades, o Sandia National Labs e a CSimSoft. Este grupo de empresas tenta atingir 4 objectivos principais para o ParaView, so eles: Desenvolvimento de uma ferramenta de visualizao, open-source e multiplataforma Suporte ao processamento de grandes quantidades de dados atravs da utilizao de sistemas distribudos. Criao de uma interface de utilizador flexvel e intuitiva. Desenvolver uma arquitectura base que possa ser extensvel.

O facto de ser multiplataforma tambm uma grande vantagem pois no limita a utilizao a um tipo de sistema operativo. De acordo com o site esta ferramenta encontra-se a correr em sistemas como Windows, MAC OS X, Linux, IBM Blue Gene, Cray Xt3 e vrios sistemas operativos para clusters e supercomputadores.

23/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Figura 18:Visualizao 3D ParaView

Dirigido sobretudo para reas cientficas e de investigao, esta ferramenta baseia-se numa arquitectura cliente-servidor de modo a facilitar aos utilizadores a configurao e manuteno das principais funcionalidades de processamento dos dados. A manipulao e explorao dos dados no ParaView pode ser feita utilizando as suas capacidade de visualizao em 3D (Figura 18), que permite ao utilizador trabalhar com os resultados de forma interactiva, mas tambm pode ser feita programaticamente utilizado as capacidade de processamento automatizado, tambm chamado de batching.

24/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Figura 19: Janela do ParaView na analise de fluidos

O ParaView ideal para trabalhar com quantidades de dados extremamente grandes, e normalmente instalado em sistemas distribudos ou super computadores devido ao grande processamento que necessita realizar, sendo os processamentos mais complexos aplicados a conjuntos de dados como o comportamento de fluidos (Figura 19) ou de dinmica de temperaturas. Pode ser instalado em computadores pessoais e portteis, caso a quantidade de dados a analisar no seja muito elevada.

25/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Figura 20: Grfico de temperatura e presso

As principais funcionalidades do ParaView esto organizadas por tipo. As mais importantes so: capacidades de visualizao de dados, formato de ficheiros de input e output, ferramentas de interaco com o utilizador, computao distribuda e ferramentas de Scripting. De seguida vai-se abordar mais detalhadamente as capacidades de visualizao e a interface.

Todas as operaes de tratamento de dados produzem um novo conjunto de dados como output. O output pode ser apresentado graficamente com diversas formas, como setas, grafos, superfcies, entre outras. O ParaView pode por exemplo analisar um campo de vectores e transformar esse campo, consoante os filtros aplicados pelo utilizador em setas, linhas ou esferas, dependendo do tipo de dados que se pretende analisar e do formato que melhor se adequa situao em causa.

Figura 21: Representao grfica de um output

26/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

A interface do utilizador bastante flexvel e variada. Na janela principal possvel ver os diferentes tipos de representao para um conjunto de dados, desde tabelas, grficos de barras ou de linhas, e visualizaes em 3D. A forma como so apresentados os dados pode ser alterada atravs dos filtros que o utilizador personaliza. Tambm permitido ao utilizador deslocar as vrias janelas do programa de modo a organiza-las como preferir.

Figura 22: Diferentes representaes ParaView

27/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

VTK
O Visualization ToolKit, mais conhecido apenas por VTK, um software/toolkit open-source, utilizado em computao grfica 3D e visualizao/processamento de imagem e dados. O VTK possui uma vasta biblioteca de classes em C++ ajustada nos princpios da programao orientada a objectos apresentando tambm ao utilizador vrias interfaces de interpretao para outra linguagens como o caso do Java e do Python. Actualmente a empresa responsvel pelo desenvolvimento e suporte desta ferramenta a Kitware. Inicialmente este software foi criado para acompanhar um livro intitulado "The Visualization Toolkit: An Object-Oriented Approach to 3D Graphics". A extensa comunidade de utilizadores e programadores envolvidos na execuo da ferramenta tem sido o principal meio de desenvolvimento e crescimento da mesma. Alm de funcionar como uma ferramenta independente, a grande utilidade dada ao VTK de funcionar como base de outras ferramentas de visualizao como o caso do ParaView (Figura 23) e do VisIt (Figura 24).

Figura 23:Grfico criado no Paraview utilizando o VTK

28/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Figura 24: Grfico criado no VisIt utilizando o VTK

Sendo uma ferramenta multiplataforma, o VTK pode ser utilizado nos trs sistemas operativos principais: Windows, MAC OS e Linux. Normalmente instalado em grandes servidores, com um poder de processamento elevado pois o tipo e a quantidade de dados que trata so extremamente elevadas. No caso da Figura 25, a matriz de dados que gerou o grfico apresentado levou cerca de 200 segundos a ser analisada com um processador de 8 cores.

29/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Figura 25: Grfico gerado no VTK

O VTK suporta uma grande variedade de algoritmos os mais importantes so: Mtodos escalares Mtodos vectoriais Mapas de tenso Algoritmos de anlise de texturas e volumes Algoritmos para suavizao de malhas Algoritmos de corte e contorno Dezenas de algoritmos de processamento de imagem

30/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

VisIt
O VisIt uma ferramenta desenvolvida pelo Departamento de Energia dos Estados Unidos da Amrica no mbito de um programa de modernizao e investigao chamado Advanced Simulation and Computing Program. Foi colocado em produo em 2002 e actualmente encontra-se na verso 2.3. uma ferramenta multiplataforma e agora mantida por um grupo de organizaes, destacando-se o Oak Ridge National Laboratory, Lawrence Berkeley National Laboratory e a Universidade da Califrnia. A ferramenta direccionada visualizao cientfica de dados e visualizao interactiva. bastante utilizada para anlise e visualizao de campos vectoriais em 2D e em 3D com conjuntos de dados extremamente grandes.

Figura 26: Exemplo de mapa no VisIt

A interface do VisIt um pouco antiga e complexa sendo necessrio algum conhecimento prvio para a utilizao da ferramenta. Na Figura 26 visvel a quantidade de opes disponveis ao utilizador e alguns dos menus abrem novos submenus, como o caso da tonalidade apresentada no mapa que personalizvel atravs das opes visveis na Figura 27.

31/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Figura 27: Configurao da tonalidade do mapa

A ferramenta baseada numa arquitectura do tipo cliente-servidor, onde o servidor instalado em sistemas de processamento paralelizados. O cliente define o tipo de dados e a anlise que pretende realizar, o processamento realizado pelo servidor e posteriormente mostrado ao cliente, este por sua vez pode filtrar e visualizar o mesmo como entender. O VisIt constitudo por diversos mdulos que em conjunto realizam o processamento dos dados, a anlise e a apresentao dos mesmos. Esses mdulos podem ser adicionados, removido ou alterados e organizam-se da seguinte forma: 31 Mdulos para anlise dos dados, 42 Mdulos para manipulao dos dados, 81 Tipos de leitores de ficheiros, Mais de 50 mdulos do tipo query para a extraco dos dados quantitativos Mais de 100 expresses diferentes para padronizar os outputs.

32/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Figura 28: Exemplo de uma analise de dados em 2D e em 3D

As principais vantagens da ferramenta Visit face a outras aplicaes de anlise e visualizao de dados so as seguintes: Grande nmero de ferramentas para visualizao e anlise de campos escalares, campos de vectores e campos de tenso; Ferramentas no s quantitativas mas tambm qualitativas de anlise e visualizao; Suporta vrios tipos de redes para anlise de dados, como o caso de redes de pontos em 2D e 3D (Figura 28); Interface grfica poderosa e com todo o tipo de ferramentas acessveis directamente das barras de ferramentas, possibilitando ao utilizador aumentar, diminuir, rodar ou arrastar os objectos. Possibilita tambm a criao de planos ou esferas directamente na interface e a personalizao das formas de visualizao dos dados (Figura 29). Extensvel atravs de plugins carregados dinamicamente para a ferramenta que facilitam/adicionam novas tarefas ferramenta.

33/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Figura 29: Menu de criao de views

34/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

TouchGraph Navigator
Desenvolvido pela empresa TouchGraph, este software foi criado em 2001, inicialmente com o objectivo de ser uma ferramenta para o browser do Google, o Google Chrome (Figura 30), permitindo aos utilizadores realizar visualizaes sobre as relaes entre links e site como o Google, a Amazon ou a Wikipdia.

Figura 30: Navigator executado no browser

Actualmente com o principal objectivo de criar novas formas de visualizao para grandes grupos de dados, a prpria empresa defende que os conjuntos de dados podem revelar novas informaes ocultas se forem organizados e mostrados ao utilizador de uma forma mais eficiente. Desenvolvido por uma grande equipa de designers a empresa desenvolveu algumas formas exclusivas de mostrar, mas sobretudo organizar as anlises realizadas aos grficos. A fcil utilizao do software e as diversas formas de anlise de dados so as principais vantagens do mesmo.

35/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Figura 31: Fases do processamento dos dados

Totalmente desenvolvido em Java um software pensado para simplificar a navegar nos dados, a aplicao de filtros sobre os resultados e para tornar a visualizao de dados num processo de rpida compreenso. Utilizado por indivduos ou por grandes organizaes, pode ser aplicado a pequenos objectos ou relaes mas tambm as grandes quantidades de variveis e grupos de dados. O software pode-se dividir em trs fases principais (Figura 31): Carregamento dos dados, a partir de ficheiros ou bases de dados. Processamento, visualizao e filtragem dos resultados obtidos. Agrupamento dos dados em tabelas relacionadas.

36/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Visifire
O Visifire um software desenvolvido em Silverlight e WPF pela empresa Webyog Softworks, utilizado na visualizao de dados atravs da criao de grficos. A primeira verso foi desenvolvida aps o lanamento do Silverlight 1.1 Alpha e actualizado quando foi lanado o Silverlight 2.0. Esta ferramenta pode ser utilizada em outros programas ou mesmo pginas web em Silverlight ou HTML, desenvolvidas pelo utilizador, atravs da utilizao da sua API e do gerador de grficos.

Figura 32: Ferramenta para criao de grficos no browser

Para criar grficos, o processo bastante simples. O utilizador apenas tem que analisar os dados que pretende e criar o grfico utilizando o Chart/Gauge Designer (Figura 32) e posteriormente copiar o cdigo HTML que a ferramenta gera para o grfico construdo e colocar na sua pgina. O Chart/Gauge Designer uma ferramenta exclusivamente construda para a criao dos grficos, e pode ser executada tanto localmente como no browser.

37/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Figura 33: Grfico de rea

Os grficos criados pelo Visifire so os mais tradicionais como: grficos de barras, grficos de colunas, grficos de linhas / rea (Figura 33), grficos em funil (Figura 34), entre outros. Cada tipo de grfico apresenta vrios subtipos que so totalmente personalizveis em aspectos como, dimenso de visualizao, cor, tamanho do grfico, escala de amostragem, legendas e ttulos.

Figura 34: Grfico em funil

38/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

A principal vantagem desta ferramenta a interactividade que os grficos criados apresentam. Analisemos por exemplo a Figura 35, que apresenta um grfico de demonstrao apresentado no site da ferramenta onde possvel analisar outros aspectos alm do grfico propriamente dito.

Figura 35: Grfico de barras com Live Updates

Na parte inferior da Figura 35 existe um grupo de botes que permite ao utilizador alterar ou analisar ao pormenor a informao por detrs do grfico. No boto View XAML, o utilizador tem a possibilidade de ver o cdigo que gera o grfico, no boto View HTML, alm de ter acesso ao cdigo html correspondente a este grfico, o utilizador pode copiar o cdigo e aplica-lo a sua pgina web. O boto que merece mais destaque o Live Updates. Ao clicar nesse boto o utilizador d incio a uma actualizao constante por parte do grfico onde possvel ver em tempo real as actualizaes que os dados fonte do grfico esto a sofrer nesse preciso momento. A ferramenta redimensiona o grfico consoante o tamanho dos dados novos, alterando o tamanho das escalas, das barras, a largura e a altura do grfico e todos os restante elementos que sejam alvo de actualizao com o objectivo de apresentar o grfico da forma mais eficiente possvel.

39/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Figura 36: Zoom in realizado ao grfico de barras

O utilizador pode tambm filtrar a informao que pretende ver no grfico, a Figura 36 exactamente o mesmo grfico apresentado na Figura 35, com a nica diferena que o utilizador realizou zoom in com o scroll do rato numa rea especfica do grfico. Todo o grfico redimensionado e este zoom pode ser realizado simultaneamente com as actualizaes do grfico em tempo real. possvel ver na Figura 36 uma pequena barra em cima da escala no eixo das abcissas. Essa barra tambm permite ao utilizador navegar no grfico e redimensiona-lo, basta aumentar ou diminuir a rea da barra e o grfico faz zoom out ou zoom in respectivamente.

40/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Minner 3d
O Minner 3D um conjunto de ferramentas direccionadas para a anlise de dados, visualizao e operaes de data mining. Esta ferramenta desenvolvida pela empresa com o mesmo nome. uma ferramenta certificada pela Microsoft. possvel observar na interface da mesma (Figura 37) o estilo de apresentao das barras de ferramentas que se assemelha a interface das verses mais recentes do Microsoft Office.

Figura 37: Interface do Miner 3D

Actualmente a ferramenta encontra-se na verso 7.3, verso na qual sofreu algumas melhorias em termos de interface grfica. Essas melhorias foram criadas a pensar na simplificao dos processos, para tornar possvel ao utilizadores analisar os seus dados sem perder demasiado tempo a aprender a trabalhar com o Miner 3D.
41/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Houve tambm melhorias na integrao com o Microsoft SQL Server, fazendo com que actualmente seja uma das aplicaes mais utilizadas para realizar processos de datamining a bases de dados da Microsoft. A empresa que desenvolve este software apresenta vrias verses aos clientes. Cada verso tem ferramentas exclusivas e direccionada a vrios tipos de utilizador, mas tambm a formatos e tipos de dados distintos. Embora apresente uma grande variedade de verses, todas elas partilham a mesma base de processamento de dados, o Miner 3D. As verses apresentadas aos clientes so: Miner3D Basic Miner3D Professional Miner3D Enterprise Miner3D Developer

O Miner3D Basic pensado para simplificar ao mximo a vida do utilizador, pois como o prprio site desta verso indica: A anlise de dados no tm que ser complicada. A introduo dos dados assemelha-se ao Microsoft Excel facilitando assim a transio dos utilizadores para esta ferramenta.

Figura 38:Grfico desenvolvido no Miner3D Basic

O Miner3D Professional e o Miner3D Enterprise so criados para profissionais da rea, e permitem a anlise de dados por parte de engenheiros, investigadores, gestores e profissionais de informao.

42/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Tm algumas vantagens em relao a outros softwares para esse tipo de pblico, pois enquanto as outras ferramentas necessitam muitas vezes de alguns conhecimentos aprofundados em reas como a programao, a estatstica ou a matemtica para se entender o resultado devolvido pelos programas, o miner3D por sua vez apresenta os outputs como texto limpo, bastante fcil de interpretar. Alm das ferramentas direccionadas a anlise e tratamento de dados, o Miner3D Enterprise permite ao utilizadores criarem vdeos sobre os dados, bastante utilizado em dados que sofrem alteraes em tempo real. Nos vdeos, alm das alteraes da informao podem ser realizados movimentos de perspectiva, zoom, rotaes e seleco de dados importantes. Os vdeos podem ser reproduzidos no Windows Media Player ou em qualquer leitor que tenha suporte para o formato de vdeo da Microsoft. Os grficos podem tambm ser alterados e exportados para ferramentas como o Word e o PowerPoint.

Figura 39: Grfico mais elaborado desenvolvido em Miner3D Enterprise

43/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

O Miner3D Developer, como o prprio nome indica criado para programadores, permitindo a estes desenvolver aplicaes e integrar grficos de alta qualidade nas mesmas recorrendo ao SDK do Miner 3D. Esta verso apresenta todas as ferramentas disponibilizadas na verso Enterprise com alguns extras, como o caso dos controlos ActiveX/COM e automatizao da interface, documentao para desenvolvimento, o Software Developement Kit ( SDK ) e exemplos com cdigo fonte em vrias linguagens de programao. O Miner3D Developer suporta vrias plataformas de programao como Visual Basic, Visual C/C++, C# (C-sharp), JavaScript e VBScript. Nesta verso est tambm disponvel uma ferramenta chamada KMeans clustering que permite o tratamento de grandes quantidades de dados, utilizando algoritmos matemticos e esquemas proprietrios baseados em filtros e rvores de pesquisa multidimensionais.

Figura 40: Exemplo de dados analisados com recurso ao K-Means

44/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Viscovery
O Viscovery uma ferramenta de data mining e data visualization, que oferece aos utilizadores meios de anlise de dados, de pesquisa de padres e anlise preditiva de dados. O resultado dessas anlises apresentada de forma grfica para uma rpida compreenso do que se pretende encontrar nos dados analisados. O Viscovery Suite um conjunto de vrios softwares com funes distintas para possibilitar a utilizao independente de cada uma, sem que exista um fluxo de processos constante, podendo o utilizador apenas trabalhar com um dos software do conjunto sem ter restries ligadas aos restantes. Alm do Viscovery Suite existe um outro software de visualizao de dados com aplicao exclusiva em processos de data mining com o nome SOMiner. Este software est no mercado desde 1996 e utiliza algoritmos estatsticos e um tipo de mapas chamados Self Organized Maps para criao dos grficos que resultam da anlise dos dados.

Figura 41: interface grfica do Viscovery Profiler

45/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Com uma interface simples mas poderosa (Figura 41), o utilizador tem acesso as ferramentas mais importantes e utilizadas directamente a partir da barra de ferramentas e as ferramentas mais direccionadas a partir da barra de menus.

Figura 42: Output da anlise dos acessos a um site

O Viscovery torna possvel a anlise de dados complexos, reconhecimento de relaes entre classes, definio de grupos alvo e suporte a tomada de decises sem que o utilizador que interage com a ferramenta tenha conhecimentos elevados em estatstica. (Figura 42) Esta ferramenta constituda pelos seguintes softwares individuais: Viscovery Profiler Viscovery Predictor Viscovery Scheduler Viscovery Decision Maker

46/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

One(2)One Engine

Figura 43: Interface da ferramenta Decision Maker

No mbito do BrainMap o software mais importante a analisar ser o Viscovery Decision Maker. O Viscovery Decision Maker pensado para apresentar ao utilizar o mximo de informao relativa a um conjunto de dados e auxilia-lo na tomada de uma deciso. Para que no seja necessrio uma grande perca de tempo na compreenso dos dados apresentados, o utilizador tem a possibilidade de filtrar os dados e escolher a formato como essa informao apresentada.

Os pontos chaves deste software so: A manipulao e definio de modelos de deciso de forma rpida e intuitiva. A possibilidade de segmentao da anlise de dados em massa de forma a tornar mais rpido o processamento dos dados Grande capacidade de visualizao de dados atravs de SOMs recorrendo a ferramentas de anlise numrica, grficos de perfil e estatstica descritiva.

47/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Wolfram Mathematica
O software Wolfram Mathematica (Figura 44) um produto da empresa Wolfram Research, conhecida mundialmente pelo seu site com mecanismos de computational knowledge engine. Este software dirigido a reas como a matemtica, estatstica, engenharia e cincia e est disponvel ao pblico desde 1988. totalmente desenvolvido em linguagem C e uma ferramenta proprietria multiplataforma, e encontra-se na verso 8.0.

Figura 44: Interface do Wolfram Mathematica

No mbito da visualizao e anlise de dados o software oferece ao utilizador dois pontos de destaque, funcionalidade de anlise de dados e fontes de conhecimentos e um grande nmero de ferramentas de construo de grficos e visualizaes. A integrao com o computational knowledge engine

48/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Wolfram|Alpha est bastante presente, existindo mesmo funcionalidade de interaco entre o software Mathematica e o site online.

Figura 45:Exemplos de grficos obtidos do Wolfram Mathematica

Permite a utilizao de centenas de formatos de ficheiros diferentes, para importao e exportao de dados. O Wolfram mathematica consegue abrir e gravar todos os formatos com base no tipo xml, formatos grficos em 2D e em 3D, vrios formatos multimdia, formatos de documentos como html, rtf e pdf para exportao de ficheiros e outputs, consegue mesmo extrair os ficheiros para ficheiros comprimidos. Visto ser uma ferramenta utilizada tambm na anlise de dados, a conectividade com as bases de dados mais conhecidas tambm um aspecto relevante nesta ferramenta. O utilizador pode definir como fonte de informao para anlise uma base de dados, sendo apenas necessrio configurar o acesso do Mathematica base de dados, de forma que o programa consiga realizar pesquisas dentro da base de dados para tratamento dos resultados.

49/1 Projecto em curso com o apoio de:

BRAIN MAP | Entidade Promotora:

Parceiros:

Figura 46: Wolfram ligado base de dados

50/1 Projecto em curso com o apoio de: