Sbes2007 Revisaosistematica

2004 ACM-IEEE INTERNATIONAL SYMPOSIUM ON
EMPIRICAL SOFTWARE ENGINEERING
REVISES SISTEM
SISTEMTICAS
APLICADAS A
ENGENHARIA DE SOFTWARE
Guilherme Horta Travassos
Jorge Biolchini
Composi
Composio do material
As transparncias apresentadas neste tutorial, alm das preparadas pelos
autores, incluem traduo e adaptao de material (com autorizao) dos
trabalhos dos pesquisadores relacionados abaixo, que permitiram sua utilizao
no contexto da ESELAN (Experimental Software Engineering Latin American
Network) e ESELAW:
Victor R. Basili , UMD/USA - The Role of Experimentation in Software
Engineering: Past, Present, Future - Keynote speaker at ICSE 18
Barbara Kitchenham, Keele University/UK
Research Protocols and
Systematic Literature Reviews, 3rd International Advanced School on
Empirical Software Engineering. ISESE 2005
Tore Dyb, SINTEF, Norway
- Research Protocols and Systematic
Literature Reviews, 3rd International Advanced School on Empirical
Software Engineering. ISESE 2005
Tutorial SBES 2007

Grupo de Engenharia de Software Experimental
www.cos.ufrj.br/~ese
Agenda
Introduo: Engenharia de Software e Experimentao

Histrico de Revises Sistemticas
Planejando uma Reviso Sistemtica
Conduzindo uma Reviso Sistemtica
Relatando os resultados de uma Reviso Sistemtica
Lies aprendidas executando revises sistemticas
Concluses
Engenharia de Software
Natureza de uma Disciplina
Assim como outras disciplinas, a Engenharia de Software necessita
do ciclo de construo de modelos, experimentao e aprendizado
(mtodo cientfico)
Engenharia de Software cincia de laboratrio
O papel do pesquisador compreender a natureza dos processos,
produtos e o relacionamento entre os dois no contexto do sistema
O papel do profissional da prtica (engenheiro de software)
construir sistemas cada vez melhores, utilizando o conhecimento
disponvel
Mais que em outras disciplinas, estes papis so simbiticos
o O pesquisador precisa dos laboratrios para observar e manipular as
variveis
Elas somente existem quando os engenheiros de software constroem
sistemas de software
o O engenheiro de software precisa compreender melhor como construir

sistemas melhores
O pesquisador pode produzir modelos para ajudar
Natureza de uma Disciplina
Engenharia de Software desenvolvimento e no produo
As tecnologias da disciplina so baseadas no elemento
humano
O Software no o mesmo o tempo todo
o Existe um enorme nmero de variveis que provocam diferenas
o Seus efeitos precisam ser entendidos
Atualmente,
o Conjunto de modelos insuficientes que nos permita pensar sobre
a disciplina
o Falta de conhecimento dos limites das tecnologias para certos
contextos
o Anlise e experimentao insuficientes: empirismo x
experimentao; experincia x experimentao
Engenharia de Software Experimental

Relacionamento da ESE para teoria, modelos e questes de
pesquisa

Paradigmas de Pesquisa Disponveis
Analtico
o
o
o
o
Prope uma teoria formal ou um conjunto de axiomas

Desenvolve uma teoria
Deriva os resultados e
Se possvel, verifica os resultados com observaes empricas
Experimental
o Observa o mundo (ou solues existentes)

o Prope um modelo ou uma teoria de comportamento (ou
melhores solues)
o Mede e analisa
o Valida (coloca prova) hipteses do modelo ou da teoria (ou
invalida)
o Repete o procedimento para evoluir a base de conhecimento
o O paradigma experimental envolve:
Projeto do estudo experimental

Observao
Anlise quantitativa e qualitativa
Coleta de dados e validao do processo ou produto sendo estudado

Paradigma da Pesquisa Experimental
o Anlise Quantitativa
Medio controlada e no intrusiva
Objetiva
Orientada a verificao
TEORIA
MUNDO
(ESE)
o Anlise Qualitativa
MODELOS
QUESTES
PESQUISA
HIPTESES
PROJETO DE
PESQUISA
RESULTADOS
DA PESQUISA
Observao natural e no controlada

Subjetiva
Orientada a descoberta
o Anlise Semi-Quantitativa
Associa observao e alguma medio (tendncia)
Semi-objetiva
Orientada a observao
Classifica
Classificao de Estudos em
Classifica
Classificao de Estudos em
Estudos In virtuo
Participantes interagem com um modelo computacional da
realidade
Estudos Primrios
Representam os estudos regulares, usualmente incluindo estudos
observacionais (estudos de caso) e estudos experimentais
Utilizados para observar algum comportamento no campo ou colocar
uma hiptese a prova
Estudos In vivo
Estes estudos envolvem indivduos em seus prprios ambientes
Estudos experimentais executados nas organizaes que desenvolvem
software durante o processo de desenvolvimento e sob condies reais de
trabalho podem ser classificados como in vivo
Estudos In vitro
Estes estudos so executados em ambientes controlados, como um
laboratrio ou comunidade controlada
A maioria dos estudos experimentais in vitro so executados em
universidades ou entre grupos selecionados em uma organizao de
desenvolvimento de software
o O comportamento do ambiente nos quais os indivduos interagem

descrito como um modelo e representado por um programa de
computador (simulador)
Em ES estes estudos so normalmente executados em universidades e
centros de pesquisa e podem ser caracterizados por um pequeno grupo de
indivduos manipulando simuladores
Estudos In silico
Participantes e mundo real (ambiente) descritos como modelos
computacionais
o O ambiente totalmente composto por modelos computacionais
onde a interao humana reduzida a um mnimo
Podemos encontrar, por exemplo, estudos in silico aplicados a
experimentao relacionada a usabilidade de software (e.g. caracterizao
de desempenho)
TRAVASSOS, G. H. ; BARROS, Marcio de Oliveira . Contributions of In Virtuo and In Silico Experiments for the Future of
Empirical Studies in Software Engineering. In: 2nd Workshop in Workshop Series on Empirical Software Engineering: The
Future of Empirical Studies in Software Engineering, 2003, Roma. Proceedings of the WSESE03, 2003.
Realimenta
Realimentao de Conhecimento de
Estudos em ES
O processo de experimentao apresenta natureza recursiva
Conhecimento adquirido de estudos in vivo /in vitro pode ajudar no planejamento e
execuo de estudos in virtuo /in silico
In Vivo
In Vitro
Ameaas de Controle,
Risco e Custo
Necessidade de
conhecimento
em Eng. Soft. e de
e-infrastructure
In Virtuo
In Silico
Classifica
Classificao de Estudos em Engenharia
de Software Experimental
Estudos Secundrios
Dependem dos resultados dos estudos primrios para serem

realizados
Usualmente utilizados para revelar evidncias e construir
conhecimento
o Exemplos de estudos secundrios

Meta-anlise
Reviso Sistem
Sistemtica
quasi-reviso
sistemtica
sistemtico de estudos)
Estudos Tercirios
(mapeamento
Tambm chamados de Reviso Terciria

Uma reviso de estudos secundrios relacionados a uma
mesma questo de pesquisa.
Reviso Sistem
Sistemtica da
Literatura
Agenda

Concluses
Uma reviso de literatura usualmente representa uma

atividade inicial em qualquer pesquisa ou desenvolvimento
em uma organizao
Como garantir que o investigador obtenha informao de boa
qualidade do material sendo utilizado?
Revises Sistemticas (RS) podem representar uma

ferramenta til para alcanar a qualidade das informaes
RS provem os meios para executar revises de literatura
abrangentes e no tendenciosas, fazendo com que seus
resultados tenham valor cientfico!
Direcionam a identificao, seleo e produo de evidncias
relacionadas a um tpico de pesquisa em particular.
Sinnimos:
Sntese de Pesquisa (research synthesis), Reviso Sistemtica
Reviso Sistemtica da
Literatura
Razes para Realizar Revises

Sistem
Sistemticas da Literatura
Ferramenta bsica do paradigma baseado em evidncia

o Iniciou na medicina
o Agora sendo utilizada em pesquisas relacionadas a polticas de
sade, cincias sociais e educao
Padro metodolgico existente

o Muito mais rigoroso que as revises narrativas utilizadas em
o Padres de Sistemas de Informao tambm muito mais rigorosos
Mesmo que o paradigma baseado em evidncia no seja

ainda totalmente possvel em ES
Revises sistemticas podero ajudar a aprimorar nossos
padres de reviso
o As prticas tradicionais precisam ser melhoradas e aprimoradas
Sumarizar evidncias existentes sobre um

fenmeno
Identificar lacunas na pesquisa atual
Fornecer um arcabouo para posicionar novas
pesquisas
Apoiar a gerao de novas hipteses
Razes para Realizar Revises

Sistem
Produzir uma reviso de literatura abrangente e
no tendenciosa, possuindo valor cientfico
Revises sistemticas tm por objetivo construir
uma sntese da pesquisa existente que seja:
Justa (no tendenciosa)
Rigorosa (de acordo com o procedimento definido)
Aberta (assegurando que o procedimento de reviso
esteja visvel para outros pesquisadores)
Objetiva (assegurando que o procedimento de reviso
seja reprodutvel por outros pesquisadores)
Vantagens de Revises
Sistem
Fornece informao sobre os efeitos de um
fenmeno entre uma grande faixa de ambientes
(settings)
Essencial para Engenharia de Software onde temos
problemas com a amostra da populao
Resultados consistentes fornecem evidncia que os
fenmenos so:
Revises Sistem
Sistemticas em
A metodologia de revises sistemticas tem sua
origem nas reas de sade e cincias sociais, que
possuem histria consolidada de pesquisa cientfica
Necessrio adaptar os princpios de Reviso Sistemtica
para a Engenharia de Software
Nosso grupo de pesquisa tem conduzido algumas

revises de literatura utilizando esta metodologia
sistemtica
A conduo de uma reviso sistemtica no uma tarefa
simples. Necessita:
o Processo de realizao de Reviso Sistemtica
o Modelo (template) de protocolo de Reviso Sistemtica
Desvantagens
Desvantagens da Reviso
Sistem
Sistemtica da Literatura
Requer mais esforo que revises tradicionais
(informais) da literatura
Difcil para pesquisadores isolados
Geralmente requer pelo menos 2 pesquisadores
envolvidos
o Reduo da influncia (vis) individual
o Robustos
o Transferveis
Resultados inconsistentes
o Permitem estudar as fontes de variao
Incompatvel quando se tem como requisito

escrever artigos curtos!
Meta-anlise pode ser possvel quando se tratando

de estudos quantitativos
Diferen
Diferenas entre Revises
Tradicionais e Sistem
Sistemticas
Caracterstica
Reviso Tradicional
Questo
Escopo abrangente,
formulao genrica
Identificao da
Pesquisa
Seleo
Anlise
Sntese
Inferncias
Reviso Sistemtica
Foco definido,
formulao especfica
Usualmente no
Fontes abrangentes,
especificada e tendenciosa
estratgia de busca
definida e explcita
Usualmente no
Baseada em critrios
especificada e tendenciosa explcitos e uniformemente
aplicados
Varivel
Rigorosa nos objetivos e no
mtodo, e crtica
Geralmente um sumrio
Sntese qualitativa e/ou
qualitativo
quantitativa
Algumas vezes baseada
Usualmente baseada em
em evidncia
evidncia
Valor das Revises

Sistem
Pode contradizer conhecimento comum
Jrgensen e Molkken revisaram pesquisas sobre projetos

atrasados (overruns)
o Os resultados do Standish CHAOS report no compatvel com
outras pesquisas
Pode ter utilizado metodologia no apropriada
Jrgensen revisou evidncia sobre a opinio de especialistas

relativa a estimativas de projeto
o No existe apoio consistente para afirmar que modelos de estimativa

so melhores que indivduos
Kitchenham, Mendes e Travassos revisaram evidncias sobre a

utilizao de modelos de estimativa de custos de projeto
o concluram que necessrio determinar se, ou sobre que
circunstncias, os modelos de estimativa de custos derivados de
repositrios de dados podem apoiar as estimativas para uma
companhia especfica.
Dyb, T. et al. (2007) Applying Systematic Reviews to Diverse Study Types: An Experience Report.
ACM/IEEE First International Symposium on Empirical Software Engineering and Measurement. DOI
10.1109/ESEM.2007.59,
Agenda
Planejando a Reviso
Sistem
Sistemtica
Descrio do Problema

Concluses
Um engenheiro de software est trabalhando na rea de

processos de software, desenvolvendo uma abordagem para
melhoria de qualidade de software. Neste sentido, tem se
especulado na sua organizao que a utilizao de
inspees de software pode aprimorar o processo de
construo fazendo com que se identifique em torno de 60%
dos defeitos do produto. Entretanto, no se tem clareza
disso. Para tomar a deciso de inserir inspees no processo
de desenvolvimento necessria a observao de alguma
evidncia sobre se inspees de software realmente trazem
benefcio ao desenvolvimento.
Processo para Realiza

Realizao de Reviso
Sistem
Tem por objetivo guiar os pesquisadores a executar Revises
Sistemticas no domnio da Engenharia de Software
A realizao de uma reviso sistemtica envolve trs fases
principais (com resultados empacotados ao longo do processo):
Planejamento
Execuo
Anlise dos resultados
O processo de RS no puramente seqencial, podendo

ocorrer bastante iterao entre as fases
Muitas atividades so iniciadas durante o desenvolvimento da
atividade de desenvolvimento do protocolo (planejamento), e
refinadas quando a execuo da RS efetivamente ocorre.

Realizao de Reviso
Sistem
[ protocol plan approved ]
Execution
Descrever o problema
Especificar as questes de pesquisa
Desenvolver o Protocolo de Reviso
Avaliar o Protocolo de Reviso
[ execution approved ]
Result Analisys
Packaging
Fase de Planejamento:
Objetivos da pesquisa so listados
Questes de pesquisa so formuladas (strings de busca preparadas)
Mtodos que sero usados para executar a reviso e analisar os dados
obtidos devem ser definidos
As fontes e seleo de estudos devem ser planejadas
Um protocolo de reviso definido
Avaliao do Planejamento:
O protocolo de reviso deve ser avaliado para garantir que o
planejamento vivel
Abordagens: pedir a especialistas para revisar o protocolo de reviso
e/ou testar a execuo do protocolo
Planejamento
[ execution disapproved ]
[ protocol plan disapproved ]
Planning
Desenvolvendo o protocolo
Protocolo de Reviso
Especifica os mtodos que sero utilizados para a Reviso
Sistemtica
Protocolo pr-definido
o Reduz a influncia do pesquisador
Seleo de artigos influenciada pela expectativa do
pesquisador
Troca da questo de pesquisa para satisfazer aos
resultados das buscas
Definir um protocolo de pesquisa: Boa prtica para

qualquer estudo experimental!
Conte
Contedo do Protocolo
Questo de Pesquisa
Descrio do problema
Ponto de partida de qualquer reviso sistemtica
Questo de pesquisa
Formato livre
Razo para a pesquisa
Elemento crtico a ser definido antes de se iniciar qualquer busca

Influencia o:
o processo de busca, que deve identificar os estudos

primrios que permitem responder as questes de
pesquisa
o processo de extrao de dados, que deve fazer com que
se extraiam dados para responder as questes
o processo de anlise de dados, que deve permitir a sntese
dos dados de forma que as questes possam ser
respondidas.
A questo que voc quer responder descrita em

linguagem simples
o Ex.: a ferramenta CASE importante para a empresa
melhorar o desenvolvimento do software?
Questo Estruturada
Converter o formato livre num formato claro e explcito
Utilize abordagem estruturada
o Ex.: Utilizar ferramenta CASE permite o aumento da
produtividade dos projetistas de software na empresa?
Questo de Pesquisa
Conte
Exemplo
Tipos de questes
Auferir o efeito de uma tecnologia de Engenharia de
Software
Identificar a freqncia ou a taxa de um fator de
desenvolvimento do projeto
o Ex.: Taxa de falhas de projetos
Identificar fatores de custo e risco

Identificar tecnologias de software e tendncias de pesquisa
Identificar o impacto da tecnologia na confiabilidade,
desempenho, custo,
Descrio do Problema
o Um engenheiro de software est trabalhando na rea de
processos de software, desenvolvendo uma abordagem
para melhoria de qualidade de software. Neste sentido,
tem se especulado na organizao que a utilizao de
construo fazendo com que se identifique em torno de
60% dos defeitos do produto. Entretanto, no se tem
clareza disso. Para tomar a deciso de inserir inspees
no processo de desenvolvimento necessria a
observao de alguma evidncia sobre se inspees de
software realmente trazem benefcio ao desenvolvimento.
Questo de Pesquisa (formato livre)
o EXERCCIO: FORMULE A PERGUNTA REFERENTE AO
PROBLEMA EM FORMATO LIVRE.
Conte
Exemplo
Descrio do Problema
Questo de Pesquisa (formato livre)
o Inspecionar software poderia ajudar a melhorar a
qualidade dos produtos de software na organizao?
Conte
Exemplo
Descrio do Problema
Questo de Pesquisa (formato estruturado)
o EXERCCIO: FORMULE A PERGUNTA REFERENTE AO
PROBLEMA EM FORMATO ESTRUTURADO.
Conte
Exemplo
Descrio do Problema
processos de software, desenvolvendo uma abordagem para
melhoria de qualidade de software. Neste sentido, tem se
especulado na organizao que a utilizao de inspees de
software pode aprimorar o processo de construo fazendo com
que se identifique em torno de 60% dos defeitos do produto.
Entretanto, no se tem clareza disso. Para tomar a deciso de
inserir inspees no processo de desenvolvimento necessria
a observao de alguma evidncia sobre se inspees de
Questo de Pesquisa (formato livre => formato estruturado)
o O uso de inspees de software em processos de software
permite a identificao de defeitos em projetos de software? Se
sim, qual a proporo de defeitos identificados?
Conte
Questes de pesquisa (formato estruturado)
Questo Principal: O uso de inspees de software em processos

de software permite a identificao defeitos em projetos de
software?
Questo Secundria: Se sim, qual a proporo de defeitos
identificados em projetos de software com o uso de inspees de
software em processos de software?
Interveno:
Para a questo principal: processos de desenvolvimento que

utilizem inspees de software que identifiquem defeitos.
Para questo secundria: processos de desenvolvimento que
utilizem inspees de software que exibam a proporo de defeitos
identificados.
Barreiros, C.; Santos, P.S.; Santos, R. (2007). Reviso Sistemtica. Trabalho da Disciplina CPS820 Engenharia de Software Experimental. PESC/COPPE/UFRJ
Questo de pesquisa
Questo de pesquisa
Estrutura da Questo
Estrutura da Questo
Populao (Population)
o Pessoas, tipos de projetos, tipos de aplicaes, afetados pela
Interveno
Interveno (Intervention)
o Tecnologia de software, ferramenta, procedimento, , que
gera Resultado
Comparao (projetos experimentais) (Comparison)
o Qualquer restrio em tipos de estudos primrios (e.g., outro
tipo de Interveno) a ser includa para Comparao
Resultado (Outcome)
o Efeitos, impacto da tecnologia em termos de informaes
relevantes para os profissionais da prtica
String de Busca := P .AND. I .AND. C .AND. O

quasi-Reviso Sistemtica -> C = {}
Normalmente representa reviso de
caracterizao (mapeamento
sistemtico de estudos)
PICO
Custo, qualidade, disponibilidade para o mercado,
Pai, Madhukar, McCullovch, Michael, Gorman, Jennifer D., Pai, Nitika, Enanoria, Wayne, Kennedy, Gail,
Tharyan, Prathap, Colford, John M. Jnr. Systematic reviews and meta-analysis: An illustrated, step-bystep guide. The National Medical Journal of India, 17(2) 2004, pp 86-95.
Questo de pesquisa
Questo Principal: O uso de inspees de software em processos de
software permite a identificao defeitos em projetos de software?
Conte
Palavras-chave e Sinnimos (em ingls, por ser a lngua utilizada nas

bases de dados eletrnicas consultadas):
IDENTIFIQUE:
Populao (Population)
Interveno (Intervention)
Comparao (projetos experimentais) (Comparison)
Resultado (Outcome)
Populao:
o
o
o
Questo Secundria: Se sim, qual a proporo de defeitos

identificados em projetos de software com o uso de inspees de
software em processos de software?
Software application, system, program;

Project development, engineering, design;
Process method, methodology, technique, approach
P := (software project <or> software development <or> software engineering

<or> software design <or> application project <or> application development
<or> application engineering <or> application design <or> system project
<or> system development <or> system engineering <or> system design <or>
program project <or> program development <or> program engineering <or>
program design <or> software process <or> software method <or> software
methodology <or> software technique <or> software approach <or>
application process <or> application method <or> application methodology
<or> application technique <or> application approach <or> system process
<or> system method <or> system methodology <or> system technique <or>
system approach <or> program process <or> program method <or> program
methodology <or> program technique <or> program approach)
Barreiros, C.; Santos, P.S.; Santos, R. (2007). Reviso Sistemtica. Trabalho da Disciplina CPS820 - Engenharia de
Software Experimental. PESC/COPPE/UFRJ
Conte
Palavras-chave e Sinnimos (em ingls, por ser a lngua utilizada

nas bases de dados eletrnicas consultadas):
Interveno:
o
o
Conte
Palavras-chave e Sinnimos (em ingls, por ser a lngua utilizada

nas bases de dados eletrnicas consultadas):
Software application, system, program;

Inspection review, reading, peerreview, peer review;
I:= (software inspection <or> software review <or> software reading

<or> software peerreview <or> software peer review <or> application
inspection <or> application review <or> application reading <or>
application peerreview <or> application peer review <or> system
inspection <or> system review <or> system reading <or> system
peerreview <or> system peer review <or> program inspection <or>
program review <or> program reading <or> program peerreview <or>
program peer review)
Resultado (Outcome):
o
o
Defect detection fault detection, error detection, failure

detection, defect identification, fault identification, error
identification, failure identification;
Rate proportion, average, ratio. (apenas para a questo
secundria).
O:=(defect detection <or> fault detection <or> error detection <or>

failure detection <or> defect identification <or> fault identification
<or> error identification <or> failure identification)
String de busca - Questo principal:
String de busca para questo secundria:
o
o
P <and> I <and> O
P <and> I <and> O <and> (rate <or> proportion <or>

average <or> ratio)
Conte
Estratgia utilizada para a pesquisa de fontes primrias
Estudos individuais relacionados ao fenmeno de interesse
Conte
Desenvolvendo Estratgias de Busca
Busca tima
Estratgia para encontrar estudos primrios
o Sensibilidade
Critrio para Avaliao de Qualidade
o Preciso
Pesquisa de termos, recursos, bases de dados, peridicos, conferncias

Critrio para completude
Critrio utilizado para avaliar a qualidade das fontes primrias
Estratgia para extrao de dados
habilidade de identificar todos os materiais relevantes

quantidade de material relevante existente no material
recuperado pela busca. Representa a habilidade da estratgia
em recuperar o mnimo possvel de material no pertinente
Que informao ser extrada das fontes primrias
Procedimentos para sntese dos dados

Cronograma para a pesquisa
RN:= # relevante no
recuperados
RR:= # relevante
recuperados
U:=Universo da Busca
IR:= # irrelevante
recuperados
Sensibilidade := RR/(RN + RR)

Preciso:= RR/(RR + IR)
Dieste, O. and Padua, A. G. (2007) Developing Search Strategies for Detecting Relevant Experiments
for Systematic Reviews. ACM/IEEE First International Symposium on Empirical Software Engineering
and Measurement. DOI 10.1109/ESEM.2007.19,
Conte
Conte

Quanto menor RN, maior a sensibilidade. Se RN = 0, a sensibilidade
ser de 100%.
o Uma busca com baixa sensibilidade recupera muito pouco

artigo relevante.
o Reviso sistemtica com baixa qualidade, incompleta e
produzindo evidncia no confivel.
Quanto menor IR, maior a preciso. Se IR =0, a preciso de 100%
Observando a Sensibilidade e a Preciso da Estratgia de Busca
Tipo de
Estratgia
Faixa de
Sensibilidade
Faixa de
Preciso
Objetivo
Alta
Sensibilidade
85-99%
7-15%
Mxima sensibilidade
apesar de baixa preciso
Alta Preciso
40-58%
25-60%
Mxima preciso apesar

de baixa sensibilidade
tima
80-99%
20-25%
Maximizao de ambas
as caractersticas
Aceitvel
72-80%
15-25%
Sensibilidade e preciso
boas o suficiente
o Uma busca com baixa preciso recuperar muito artigo

irrelevante.
o Talvez no impacte o resultado final da reviso, entretanto
provocar um aumento de esforo desnecessrio para
revisar os artigos visando identificar sua possvel relevncia
para a reviso
Avalia
Avaliao do Protocolo de
Reviso
Modelo do Protocolo de Reviso

Sistem
Sistemtica
Serve como diretriz para os pesquisadores em Engenharia de Software
construrem um protocolo para realizao de Reviso Sistemtica
Protocolos para reviso sistemtica

Geralmente sujeitos a revises independentes
Responsabilidade dos pesquisadores em identificar

os revisores
Especialistas em tecnologia de Engenharia de Software
Especialistas em mtodos experimentais
Os mesmos revisores deveriam avaliar o relatrio final
Agrega e formaliza idias relacionadas a:
Diretrizes para Reviso Sistemtica em ES proposta por [Kitchenham, 2004]

Protocolo-exemplo descrito por [Mendes and Kitchenham, 2004]
Tambm introduz uma descrio do processo para apoiar o uso do template
Protocolos de RS desenvolvidos para a rea mdica
Processo de RS e modelos estendidos apresentados em:
Biolchini, J., Mian, P.G., Natali, A.C. and Travassos, G.H. (2005) Systematic Review in
Software Engineering: Relevance and Utility, Technical Report ES67905, PESC - COPPE/UFRJ.
Disponvel em http://www.cos.ufrj.br/uploadfiles/es67905.pdf
Guia os pesquisadores atravs das atividades do processo de realizao

da reviso sistemtica definindo claramente, para cada seo do
protocolo, o que deve ser preenchido
Modelo do Protocolo de Reviso Sistem

Sistemtica:
Fase de Planejamento
Agenda
Planejamento da Reviso:
Objetivo:
Formulao da pergunta:
Interveno:
o Controle
o Populao
o Resultados
o Aplicao
Critrios de seleo de fontes:
Mtodos de busca de fontes:
Palavras-chave:
Listagem de fontes:
Tipo dos artigos:
Idioma dos artigos:
Critrios de incluso e excluso dos artigos
Critrios de qualidade dos estudos primrios:
Processo de seleo dos estudos primrios
Avaliao da qualidade dos estudos primrios:
Estratgia de extrao de informao:
Sumarizao dos resultados:

Concluses
Mafra, S. N. e Travassos, G.H. (2006) Estudos Primrios e Secundrios apoiando a busca

por Evidncia em Engenharia de Software. Relatrio Tcnico ES-687/06 PESC/COPPE/UFRJ. Disponvel em http://www.cos.ufrj.br/uploadfiles/1149103120.pdf

Realizao de Reviso
Sistem
Executando a Reviso
Planning

Execution
Result Analisys
Packaging
Identificar as pesquisas relevantes

Selecionar Estudos Primrios
Fase de Execuo:
Busca nas fontes definidas realizada
Estudos obtidos so avaliados de acordo com o critrio
estabelecido no protocolo
Informao relevante relacionada a questo de pesquisa
extrada dos estudos selecionados
Auferir a qualidade do estudo

Extrair dados requisitados
Avaliao da Execuo:
Avaliar as mquinas de busca WEB para verificar se elas so
capazes de executar a busca
Excluir uma fonte digital selecionada ou retrabalhar a busca para
satisfazer as restries da mquina de busca
Sntese dos Dados
Identifica
Identificao da Pesquisa
Gerao da Estratgia de Busca
Procedimento Iterativo
o Se inicia durante o desenvolvimento do protocolo
o Se beneficia atravs de consultas a bibliotecrios
Buscas preliminares
Identificar a existncia de qualquer Reviso Sistemtica na
rea
Utilizar vrias combinaes de termos de busca derivados da
questo de pesquisa
Consulta com especialistas da rea
Necessrio tratar o vis de publicao
Identifica
Documente a Busca
Processo deve ser transparente e repetvel
Leitores devem ser capazes de julgar a iseno da
reviso
A busca deve ser documentada da forma como ocorre
o Mudanas no protocolo devem ser anotadas e justificadas
Resultados de buscas no filtrados devem ser

guardados
o Caso seja necessria re-anlise
Mantenha informao sobre cada recurso utilizado

o Nomes dos peridicos, anos considerados, etc.
Literatura Cinza (RTs, estudos no publicados)

Anais de Conferncias
Contatos pessoais
Identifica
Consideraes sobre mquinas de Busca
Mquinas usualmente utilizadas (mais estvel para menos estvel):
o SCOPUS, ScienceDirect, Web of Science, EI COMPENDEX, IEEE Xplore,
ACM Digital Library
o Mquinas alternativas: Google Scholar, CiteSeer
Em geral, ainda no esto apropriadas para serem utilizadas em Revises
Sistemticas
Problemas com falta de consistncia de nomenclatura, classificao,
estabilidade de resultados e palavras de busca (ACM Digital Library
atualmente causa surpresas):
Identifica
Consideraes sobre mquinas de Busca:
Exemplo de diferenas na descrio dos termos de busca
IEEE Xplore
o (software project <or> software development <or> software
engineering <or> ) <and> (software inspection <or> software review

<or> )
SCOPUS
o TITLE-ABS-KEY(("software project" OR "software development" OR
"software engineering" ) AND ("software inspection" OR "software
review" )
o Interface com o usurio inconsistente
Extrao e manipulao de dados incompatvel e exigindo grande esforo

manual. Termos de busca necessitam ser ajustados mquina a mquina
o Limitao no nmero de resultados apresentados
Science Direct Elsevier
No permitem anlise do resultado completo da busca
o Limitao nos resultados (detalhes) apresentados em cada pgina

Copiar e colar detalhes da busca exige muito tempo
Bailey, J. et al (2007) Search Engine Overlaps : Do they agree or disagree?. REBSE 07 - Workshop on
Realising Evidence Based Software Engineering. Satellite workhop at ICSE 2007.
o tak(('software project' OR 'software development' OR 'software

engineering' OR ) AND ('software inspection' OR 'software review)

Identifica
Sele
Seleo de Estudos Prim
Primrios
Consideraes sobre mquinas de Busca

Pesquisadores devem estar familiarizados em como cada mquina de busca
trata os termos para busca.
o Realizar avaliao piloto do protocolo uma forma interessante de
entender e aprender sobre o uso das mquinas
Para evitar redundncia nas buscas, pesquisadores deveriam primeiro
planejar que termos devero ser aplicados em cada mquina de busca
o As mquinas classificam os artigos de forma diferenciada e com termos
diferentes
o Ao realizar a busca, registre os resultados e a data e horrio que foi
realizada. Isso pode tambm ajudar a revelar problemas na busca ou
mesmo de grafia errada de termos
Defina o critrio de seleo de estudos

Critrio inicial deve ser definido no protocolo
Critrios de excluso e incluso devem ser
baseados na questo de pesquisa
o Tente evitar excluso no intencional de linguagem
Tendo em vista a aparente fragilidade de algumas mquinas de busca,

adote uma abordagem paciente e oportunista.
o Assim, se uma mquina de busca est temporariamente no
disponvel, voc poder ter alguma indicao que no perdeu seu
tempo na pesquisa.
Bailey, J. et al (2007) Search Engine Overlaps : Do they agree or disagree?. REBSE 07 - Workshop on
Realising Evidence Based Software Engineering. Satellite workhop at ICSE 2007.
Sele
Seleo de Estudos Prim
Primrios
Processo de Seleo
Processo Iterativo
o Inicialmente liberal
No exclua baseado no resumo (abstract) ou ttulo a no
ser que seja claramente irrelevante para a reviso
o Deciso final de incluso/excluso

Manter lista de estudos excludos e as razes de porque
foram excludos
o Processo
Qualidade do Estudo
Importante avaliar a qualidade dos estudos
primrios, permitindo:
Refinar os critrios de incluso/excluso
Investigar se as diferenas de qualidade explicam resultados
diferentes nos estudos
Balancear a importncia de diferentes estudos
Guiar a interpretao de achados e determinar a
abrangncia das inferncias
Guiar recomendaes para pesquisas futuras
Dois ou mais pesquisadores lem o texto completo

Qualquer discordncia entre os pesquisadores deve ser
resolvida
Qualidade do Estudo
O que qualidade?
No contexto mdico est relacionada ao procedimento
experimental
o Estende-se para os estudos primrios
Reduza o vis
Tendncia a produzir resultados que se separam
sistematicamente dos resultados verdadeiros
Maximize a validade interna
Estender para que arranjos & conduo dos Experimentos
previnam erros sistemticos
Maximize a validade externa
Estender para os resultados que sejam aplicveis fora do
contexto de estudo
No existe ainda viso clara do que fazer quando os estudos

primrios so no-experimentais

Sistemtica:
Fase de Execu
Execuo
Conduo da Reviso:
Fonte: (fonte na qual a busca foi conduzida)
Data de busca:
Palavras-chave utilizadas:
Strings de busca utilizadas: (combinao de palavras-chave
utilizadas)
Lista de artigos encontrados: (Referncias dos artigos
encontrados pela busca)
Lista dos artigos includos
o Nome do artigo:
Autores, Data de publicao, Veculo de publicao
o Critrios de Incluso e Excluso
Critrios, Resultados, Justificativa: (comentrios do pesquisador sobre sua

escolha)
Lista dos artigos excludos
o Nome do artigo:
Autores, Data de publicao, Veculo de publicao
o Critrios de Incluso e Excluso
Critrios, Resultados, Justificativa: (comentrios do pesquisador sobre sua

escolha)
Qualidade do Estudo
Critrio de qualidade usualmente inclui avaliao
do tipo de estudo
E.G. Centro para Revises e Disseminaes
o Nvel 1: Estudos Experimentais
I.e. Ensaios Controlados Randomizados com alocao em
cego
o Nvel 2: Estudos quasi-experimentais

I.e. estudos que no possuem alocao randomizada para
grupos de interveno
o Nvel 3: Estudos de Observao Controlados

Nvel 3a Estudos de coorte
Nvel 3b Estudos de caso-controle
o Nvel 4: Estudos de observao sem grupos de controle

o Nvel 5: opinio de especialista baseada em teoria,
pesquisa de laboratrio ou consenso
Qualidade do Estudo
Problema para Engenharia de Software
Ensaio Controlado Randomizado (RCT)
Ensaio de uma interveno
Com pacientes reais sob condies clnicas normais
Experimentos em ES se parecem mais como

experimentos de laboratrio
Materiais e tarefas artificiais
Geralmente os participantes so estudantes
Como ns poderamos classificar experimentos

em ES?

Sistemtica:
Fase de Execu
Execuo
Seleo de Estudos:
Nome do artigo:
Autores:
Data de publicao:
Veculo de publicao:
Fonte: (fonte na qual o artigo foi obtido)
Situao: (includo ou excludo)
Critrios de Incluso e Excluso
Extra
Extrao de Dados
Preparar os formulrios para extrao de dados
Registrar todos os dados necessrios para cada estudo
o Detalhes de referncias
o Informaes para tratar a questo de pesquisa
o Qualidade do dado
Identifique e trate mltiplas publicaes
Identifique e trate dados no publicados, dados faltando e
dados que necessitam manipulao
Realize uma avaliao piloto dos formulrios para extrao
de dados enquanto estiver construindo o protocolo
Vrios pesquisadores deveriam extrair os dados

de cada estudo
Discordncias devem ser resolvidas

Sistemtica:
Fase de Execu
Execuo
Extra
Extrao de Dados
Extrao de Dados:
Nome do Artigo:
Autores:
Data de Publicao:
Veculo de Publicao:
Fonte:
Abstract:
Resumo: (o artigo deve ser resumido pelo pesquisador)
Estudo
Local:
Tipo: (estudo experimental, estudo de caso, etc.)
Descrio:
Hipteses avaliadas
Variveis independentes
Variveis dependentes
Participantes
Material
Projeto do estudo
Ameaas validade
Resultados
Comentrios adicionais (comentrios do pesquisador acerca do estudo)
Referncias relevantes (lista das referncias relevantes e o porqu que tais
referncias so relevantes)
Utilize alguma ferramenta para apoiar a extrao e registro

dos dados
Gerenciador de Referncias bibliogrficas
o Data de execuo:
o JabRef (http://jabref.sourceforge.net/)
Verso beta corrente: 2.3

ltima Verso estvel: 2.2
Cdigo Aberto
Permite customizao e adaptao para seu protocolo
Facilidades de importao/exportao de dados
Multi-plataforma
Sntese dos Dados

Tabule as informaes dos estudos
De acordo com as questes de pesquisa
Estruture as tabelas para realar as similaridades
e diferenas entre estudos
Para indicar as possveis causas de diferena
(e.g. critrio de qualidade)
Se dados quantitativos esto disponveis

Considere meta-anlise
Meta An
Anlise
Meta An
Anlise
Definio
Uma forma de estudo secundrio onde a sntese da pesquisa

produzida a partir da aplicao de mtodos estatsticos quantitativos
Sntese Quantitativa
Dados quantitativos devem ser apresentados em forma tabular, o que

inclui:
Tamanho da amostra para cada interveno
Estimativas do efeito de tamanho para cada interveno com os erros
padres para cada efeito
Diferena entre os valores mdios para cada interveno, e o valor do
intervalo de confiana para a diferena
Unidades usadas para medio do efeito
o Entretanto, para realizar a sntese de resultados

quantitativos de diferentes estudos, os resultados dos
estudos devem ser apresentados em formato comparvel.
EBSE (2007). Guidelines for performing Systematic Literature Reviews in Software
Engineering (EBSE Technical Report EBSE-2007-001) Disponvel em
http://www.dur.ac.uk/ebse/Systematic-reviews-5-8.pdf
Sadas binrias (sim/no; sucesso/falha; ...) podem ser medidas de diferentes formas:
Chance (Odds): a razo do nmero de participantes num grupo com um evento em relao ao nmero
de participantes no grupo sem o evento. Ento, se 20 projetos num grupo de 100 falharam em atingir
o oramento, ento a chance de falha seria de 25% (20/80).
Risco(proporo, probabilidade, taxa): a proporo de participantes num grupo observado em ter um

evento. Ento, se 20 de 100 projetos falharam em cumprir o oramento, o risco seria de 20/100 ou
20%.
Razo da Chance (Odds ratio). A razo das chances de um evento no grupo experimental (ou
interveno) para as chances de ocorrncia do evento no grupo de controle. Uma razo da chance
igual a 1 indica que no existe diferena entre o grupo de controle e o grupo de interveno. Para
resultados indesejveis um valor menor que 1 indica que a interveno teve 35% de sucesso em
reduzir riscos, para um resultado desejado um valor maior que 1 indica que a interveno teve sucesso
em reduzir o risco.
Risco Relativo (Relative risk) (risk ratio, rate ratio). A razo do risco em um grupo de interveno para
risco no grupo de controle. Um risco relativo igual a 1 indica que no existe diferena na comparao
entre os grupos. Para resultados no desejveis um Risco relativo menor que 1 indica que a
interveno foi um sucesso. Para eventos desejveis, um risco relativo maior que 1 indica que a
interveno foi um sucesso.
Reduo de Risco Absoluto (Absolute risk reduction - risk difference, rate difference). A diferena
absoluta entre a taxa de eventos entre grupos de comparao. Uma diferena igual a 0 indica que no
existe diferena entre os grupos. Para um resultado no desejvel uma Reduo de Risco Absoluto
menor que 0 indica uma interveno de sucesso. Para um resultado desejvel uma Reduo de Risco
Absoluto maior que 0 indica uma interveno de sucesso.
EBSE (2007). Guidelines for performing Systematic Literature Reviews in Software Engineering (EBSE
Technical Report EBSE-2007-001) Disponvel em http://www.dur.ac.uk/ebse/Systematic-reviews-58.pdf
MetaMeta-An
Anlise
Meta An
Anlise
Sadas contnuas: Medidas de Efeito para dados contnuos incluem:
Diferena da Mdia (Mean difference). A diferena entre as mdias de cada grupo

(grupos de controle e interveno)
Diferena da Mdia Ponderada (Weighted mean difference- WMD). Quando estudos

tem medida a diferena na mesma escala, o peso dado para cada estudo
usualmente o inverso da varincia do estudo
Diferena da Mdia Padronizada (Standardised mean difference - SMD). Um problema

comum quando sumarizando resultados e que os resultados so geralmente medidos
de diferentes formas, por exemplo, produtividade pode ser medida em pontos por
funo por hora ou linhas de cdigo por dia:
Apresentao dos resultados quantitativos: Forest Plot

Um Grfico Floresta (Forest Plot) apresenta as mdias e varincias da diferena para cada
estudo. A linha representa o erro padro da diferena, a caixa representa a diferena mdia e
seu tamanho proporcional ao nmero de participantes do estudo. Um grfico Forest pode
tambm ser anotado com informao numrica indicando o nmero de participantes em cada
grupo, a diferena mdia e o intervalo de confiana para a mdia. Se uma meta-anlise formal
realizada, a entrada de baixo no grfico ser o sumrio da estimativa da diferena do
tratamento e o intervalo de confiana para o sumrio da diferena.
E s tu d o 1
o Qualidade deve ser medida como a probabilidade de exibir uma ou

mais faltas ou o nmero de faltas observadas.
o Quando estudos utilizam diferentes escalas, a mdia da diferena deve
ser dividida por uma estimativa do desvio padro dos grupos para
produzir uma valor padronizado sem qualquer unidade. Entretanto, a
Diferena Mdia Padronizada somente vlida se a diferena nos
desvios padres reflete as diferenas na escala de medio, e no
diferenas reais entre as populaes utilizadas nas rodadas do estudo.
E stud o 2
E s tu d o 3
- 0 .2
- 0 .1
F a v o r e c i m e n to d o
C o n tr o le
Technical Report EBSE-2007-001) Disponvel em http://www.dur.ac.uk/ebse/Systematic-reviews-58.pdf
0 .1
0 .2
F a v o r e c im e n to d a
I n te r v e n o
Technical Report EBSE-2007-001) Disponvel em http://www.dur.ac.uk/ebse/Systematic-reviews-5-8.pdf
Meta An
Anlise
Meta An
Anlise
Grfico Funil Para identificar vis de publicao

Grficos Funil (Funnel plots) so usados para avaliar se a Reviso Sistemtica
pode estar ou no vulnervel a vis de publicao. Grficos Funil plotam o efeito
do tratamento (i.e., diferena da mdia entre o grupo de interveno e o controle)
contra o inverso da varincia ou tamanho da amostra. Uma Reviso Sistemtica
que exibe o formato do grfico abaixo deveria ser considerada em no apresentar
evidncia com vis de publicao.
1/varincia
Anlise de Sensibilidade
Re-anlise nos subconjuntos
o Somente estudos primrios de alta qualidade
o Estudos de um tipo em particular
o Estudos onde os dados esto bem definidos (ou no)
Procure por consistncia
Heterogeneidade
Re-anlise nos subconjuntos
Procure por explicaes para as diferenas
Efeito do Tratamento

Sistemtica:
Fase de Execu
Execuo
Verso simplificada:
Nome do Artigo:
Autores:
Data de Publicao:
Veculo de Publicao:
Fonte:
Abstract:
Resumo: (o artigo deve ser resumido pelo pesquisador)
Estudo
Local:
Tipo: (estudo experimental, estudo de caso, etc.)
Descrio:
Hipteses avaliadas
Variveis independentes
Variveis dependentes
Participantes
Material
Projeto do estudo
Ameaas validade
Resultados
Comentrios adicionais (comentrios do pesquisador acerca do estudo)
Referncias relevantes (lista das referncias relevantes e o porqu que tais
referncias so relevantes)
Planning

Execution
Result Analisys
Packaging
o Data de execuo:
Agenda

Realizao de Reviso
Sistem

Concluses
Fase Anlise de Resultados:

Dados dos estudos so extrados e sintetizados
Resultados devem ser sumarizados e analisados, utilizando os
mtodos estatsticos definidos durante a fase de planejamento
Atividades de Empacotamento:
Resultados obtidos das fases anteriores devem ser armazenados
Devem ser executadas durante todo o processo
Escrever Relat
Relatrio
Escrever Relatrio da Reviso Sistemtica
Avaliar Relatrio
Relat
Relatrio da Reviso Sistem
Sistemtica
Relat
Sistemtica
Contedo (continuao)
Contedo
Ttulo, autores
Sumrio executivo ou resumo estruturado
Background
o Por qu a reviso necessria?
Estudos includos e excludos

Resultados
o Achados e anlise de sensibilidade
Discusso
o Principais achados
o Fortalezas e Fraquezas
Mtodos de reviso
o Fontes de dados e estratgias de busca
o Seleo de estudos
o Avaliao da qualidade dos estudos
o Extrao de dados
o Sntese dos dados
Relat
Sistemtica
Concluses e recomendaes
Reconhecimentos
Conflitos de interesse
Referncias e apndices
2004 ACM-IEEE INTERNATIONAL SYMPOSIUM ON

EMPIRICAL SOFTWARE ENGINEERING
Relatrio da Reviso Sistemtica deve ser revisado

Painel de especialistas se possvel
Deveria estabelecer meios para publicao dos resultados

Artigos em peridicos
Publicao na WEB
Experincias executando Revises

Sistem
Sistemticas
Deveria possuir mecanismos que permitam responder a

comentrios
Exemplos concretos de RS:
Mendes 2005; Dyba et al. 2005; Conte et al. 2005, Mafra and
Travassos 2005; Barcelos and Travassos 2006, Kitchenham et al.
2007...
Veja um relatrio completo em:

Dias Neto, A.C.; Subramnayan, R.; Vieira, M.E.R. e Travassos, G.H. (2007).
Characterization of Model-based Software Testing Approaches. Relatrio Tcnico ES713/07. PESC/COPPE/UFRJ. Disponvel em
http://www.cos.ufrj.br/uploadfiles/1188491168.pdf
Grupo de Engenharia de Software Experimental
Experincia do grupo ESE em

Revises Sistem
Sistemticas
Agenda
Systematic Review Average Effort

35,00
30,00
25,00
hours
Revises Sistemticas permitem a

identificao, seleo e produo
de evidncias relacionadas a um
tpico de pesquisa em particular
Conduzir uma Reviso Sistemtica
uma tarefa complexa que requer
planejamento e controle cuidadoso
20,00
15,00
10,00
5,00
0,00
Planning
Evaluation
Creating
Versions
Execution
Studies
Evaluation
Studies Selection Methods

100

Concluses
Percent
75
50
25
0
Reading Abstract
Reading Introduction Reading Full Article

Tools
Dificuldades e Li
Lies aprendidas
Dificuldades e Li
Lies Aprendidas
Restries das mquinas de busca
Processo de aprendizado em Revises

Sistemticas
Pesquisadores frequentemente executam revises informais da
literatura
RS enfatiza a grande importncia da fase do planejamento da reviso
Definio detalhada de todos os itens de informao pode ajudar a
construir o protocolo
Exemplos de Revises Sistemticas ou possveis alternativas para
todos os itens do protocolo podem ajudar na fase de planejamento
Algumas mquinas de busca ocultam ou mesmo impedem a

execuo de strings de busca mais complexas: procedimentos de
ajustes para a mquina em questo comprometem a
repetibilidade do estudo
Grande nmero de artigos recuperados que no so relevantes
para a pesquisa: avaliar a eficincia de recuperao da
informao das mquinas de busca
Execute uma pr-pesquisa nas fontes selecionadas
Defina sinnimos para os termos que compem a string de
busca: pode ser necessrio consultar especialistas na rea para
revisar o protocolo e sugerir termos relacionados
Trabalhos em andamento e
necessidades
Dificuldades e Li
Lies Aprendidas
Esforo de Execuo de Reviso Sistemtica
O rigor metodolgico da aplicao de Reviso Sistemtica
maior que quando realizando uma reviso informal da
literatura
Necessria uma documentao mais explcita e detalhada de
todos os resultados produzidos, em todas as fases da Reviso
Sistemtica: planejamento da pesquisa e projeto do protocolo
para busca de dados, coleo, recuperao e anlise dos dados
A utilizao de uma ferramenta pode ajudar (O grupo ESE tem
estendido a ferramenta JabRef para tratar Revises
Sistemticas)
Processo de Realizao de Reviso Sistemtica

Modelo do Protocolo de Reviso Sistemtica
Reviso Sistemtica requer um esforo adicional
de conduo:
Planejamento e Documentao
Gargalo: Execuo da busca e recuperao
Mecanismos de busca existentes ainda no apiam

adequadamente Revises Sistemticas em ES
Trabalhos em andamento e
necessidades
Muitos servios abstratos que fornecem acesso a
artigos em ES
No existe fonte de informao central para evidncias
Artigos no so pblicos
Completude pode ser comprometida
Falta de representao padro para contedo de

informao de artigos cientficos em ES
Taxonomia de classificao de artigos
Agenda

Concluses
Mquinas de busca na Web

Limitaes comprometem a repetibilidade de uma RS e conseqente
comensurabilidade da evidncia
Concluses
Proposta de um modelo do protocolo e um processo para
realizao da Reviso Sistemtica
Ambos, modelo e processo, podem ser usados para
executar Revises Sistemticas para diferentes tpicos de
pesquisa em Engenharia de Software
Revises Sistemticas requerem um esforo adicional de
conduo quando comparadas com revises no
sistemticas
Entretanto, a maioria dos esforos se concentra nas atividades

de busca e recuperao
Ns acreditamos que as pesquisas em Engenharia de

Software poderiam se beneficiar de uma infra-estrutura
computacional que apie o processo de RS e seu
empacotamento
Concluses
Outras disciplinas utilizam Revises Sistemticas como uma
poderosa ferramenta
Medicina
Cincias Sociais
Sistemas de Informao
Revises Sistemticas
Mais rigorosas que os relatrios narrativos do estado-da-arte
Mais difceis e com maior consumo de tempo
Em nossa viso, pesquisa em ES necessita aprimorar sua

abordagem convencional em realizar revises de literatura
Os padres existentes oferecem um ponto de partida til
Concluses
Um desafio chave para a conduo de Revises Sistemticas em ES
incluir evidncia de uma variedade de perspectivas e mtodos de
pesquisa.
Embora diretrizes explcitas estejam disponveis em como conduzir
revises de pesquisas baseadas em mtodos quantitativos, existe
muito menos orientao em como conduzir revises incorporando os
qualitativos ou abordagens multi-mtodo.
Incorporar pesquisa qualitativa particularmente difcil na atividade
de avaliao de qualidade.
Isto no porque pesquisa qualitativa perde relevncia ou rigor (embora

claramente em alguns casos perde ambos),
Mas est muito mais relacionado forma como estudos qualitativos so
relatados e apresentados.
Nosso estudo indicou que pesquisadores em ES precisam detalhar

seus mtodos e modelos de anlise mais cuidadosamente e melhorar
a qualidade de seus resumos, ttulos e palavras-chave para permitir
que sua pesquisa seja rapidamente localizada, altamente
considerada e incorporada na prtica baseada em evidncia
Referncias
Diretrizes e Defini
Definies
Kitchenham, B. (2004). Procedures for Performing Systematic Reviews, Joint Technical
Report, Keele University TR/SE-0401 and NICTA 0400011T.1, July.
Mendes, E. and Kitchenham, B. (2004) "Protocol for Systematic Review, Disponvel em
http://www.cs.auckland.ac.nz/emilia/srspp.pdf
Biolchini, J., Mian, P.G., Natali, A.C. and Travassos, G.H. (2005) Systematic Review in
Software Engineering: Relevance and Utility, Technical Report ES67905, PESC COPPE/UFRJ. Disponvel em http://cronos.cos.ufrj.br/publicacoes/reltec/es67905.pdf
Mian, P.; Natali, A.C.C.; Biolchini, J., Travassos, G.H., Conte, T.U. (2005) A Systematic
Review Process for Software Engineering. In: 3rd ESELAW - Experimental Software
Engineering Latin American Workshop, 2005, Uberlndia.
Mafra, S. N. e Travassos, G.H. (2006) Estudos Primrios e Secundrios apoiando a busca por
Evidncia em Engenharia de Software. Relatrio Tcnico ES-687/06 PESC/COPPE/UFRJ. Disponvel em http://www.cos.ufrj.br/uploadfiles/1149103120.pdf
Biolchini, J. ; Mian, P. ; Conte, T. U. ; Natali, A.C.C. ; Travassos, G. H. (2007) . Scientific
research ontology to support systematic review in Software Engineering. Advanced
Engineering Informatics, v. 21, p. 133-151.
Malheiros, V.; Hhn, E.; Pinho, R.; Mendona, M.; Maldonado, J.C. (2007). A Visual Text
Mining approach for Systematic Reviews. ACM/IEEE First International Symposium on
Empirical Software Engineering and Measurement. DOI 10.1109/ESEM.2007.21
ESE (2007). Experimental Software Engineering: Glossary of Terms. LENS/PESC/COPPE.
Disponvel em http://lens-ese.cos.ufrj.br/wikiese
Referncias
Alguns Exemplos de Revises Sistem

Sistemticas
Magne Jrgensen (2004). A Review of Studies on Expert Estimation of Software Development Effort.
Journal Systems and Software, Vol 70, Issues 1-2, pp 37-60.
Magne Jrgensen and Kjetil Molkken (2004). How large are Software Cost Overruns? Critical Comments
on the Standish Groups CHAOS Reports,
http://www.simula.no/publication_one.php?publication_id=711.
Conte, T.U.; Mendes, E.; Travassos, G.H. (2005). Processos de Desenvolvimento para Aplicaes Web:
Uma Reviso Sistemtica.. In: XI Simpsio Brasileiro de Sistemas Multimdia e Web (WebMedia 2005),
Poos de Caldas.
Dyba, T.; Kampenes, V.; Sjoberg, D. (2005). A Systematic Review of Statistical Power in Software
Engineering Experiments. Information and Software Technology. Elsevier.
Mafra, S. N.; Travassos, G.H. (2005). Tcnicas de Leitura de Software: Uma Reviso Sistemtica. In: Anais
do 19o SBES - Simpsio Brasileiro de Engenharia de Software. p. 72-87.
Mendes, E. (2005). A Systematic Review of Web Engineering Research. ACM/IEEE International
Symposium on Empirical Software Engineering ISESE. Austrlia.
Barcelos, R.F. ; Travassos, G. H. (2006). Evaluation Approaches for Software Architectural Documents: A
Systematic Review. In: Ideas 2006 - 9o Workshop Iberoamericano de Ingenieria de Requisitos y
Ambientes de Software, 2006, La Plata.: Clei,. v. 1. p. 433-446.
Kitchenham, B. ; Mendes, E. ; Travassos, G. H. (2007). Cross versus within-company cost estimation
studies: A systematic review. IEEE Transactions on Software Engineering, v. 33, p. 316-329.
Spinola, R,; Silva, J. M.; Travassos, G.H. (2007). Checklist to Characterize Ubiquitous Software Projects. In:
Proceedings of XXI Simpsio Brasileiro de Engenharia de Software. Joo Pessoa.

www.cos.ufrj.br/~ght
Referncias
Material Adicional
Australian National Health and Medical Research Council. How to review the evidence: systematic
identification and review of the scientific literature, 2000. IBSN 186-4960329 .
Australian National Health and Medical Research Council. How to use the evidence: assessment and
application of scientific evidence. February 2000, ISBN 0 642 43295 2.
Cochrane Collaboration. Cochrane Reviewers Handbook. Version 4.2.1. December 2003.
Glass, R.L., Vessey, I., Ramesh, V. Research in software engineering: an analysis of the literature. IST 44,
2002, pp491-506
Khan, Khalid, S., ter Riet, Gerben., Glanville, Julia., Sowden, Amanda, J. and Kleijnen, Jo. (eds) Undertaking
Systematic Review of Research on Effectiveness. CRDs Guidance for those Carrying Out or
Commissioning Reviews. CRD Report Number 4 (2nd Edition), NHS Centre for Reviews and
Dissemination, University of York, IBSN 1 900640 20 1, March 2001.
Mian, P., Conte, T., Natali, A., Biolchini, J., Mendes, E. and Travassos, G. (2005) Lessons Learned on
Applying Systematic Reviews to Software Engineering, In Proc. of the 3rd International Workshop
Guidelines For Empirical Work in the Workshop Series on Empirical Software Engineering
(WSESE2005), Finland.
Brereton, P. , Kitchenham, B. A., Budgen, D., Turner, M. and Khalil, M. (2007). Lessons from applying the
systematic literature review process within the software engineering domain. Journal of System and
Software 80, 2007, pp 571-583.
Mafra, S.N.; Barcelos, R.F. ; Travassos, G.H. (2006). Aplicando uma Metodologia Baseada em Evidncia na
Definio de Novas Tecnologias de Software. Anais do XX Simpsio Brasileiro de Engenharia de
Software. Florianpolis : Sociedade Brasileira de Computao. v. 1. p. 239-254.
Tore Dyb, Barbara Kitchenham, and Magne Jrgensen. (2005). Evidence-based Software Engineering for
Practitioners, IEEE Software, Volume 22 (1) January, pp58-65.
Sackett, D.L., Straus, S.E., Richardson, W.S., Rosenberg, W., and Haynes, R.B. Evidence-Based Medicine:
How to Practice and Teach EBM, Second Edition, Churchill Livingstone: Edinburgh, 2000.
ESE uma das reas de pesquisa e desenvolvimento do LENS

Laboratrio de Engenharia de Software do Programa de
Engenharia de Sistemas e Computao (PESC) da COPPE/UFRJ. Seu
objetivo o aprimoramento da Engenharia de Software a partir da
aplicao da abordagem cientfica (experimentao) na construo
de novos mtodos e tcnicas para apoio aos processos de software.
Alm disto, se preocupa tambm com o avano da rea, estudando
e pesquisando novos modelos para o planejamento, execuo e
empacotamento de estudos primrios e secundrios relacionados
Engenharia de Software. Estas atividades so fundamentais para
que a Engenharia de Software incorpore cada vez mais os princpios
do mtodo cientfico e da Engenharia clssica.
ESE: Equipe Atual
Professor Responsvel
Pesquisadores Visitantes:
Posio em aberto para ps-doutorado
Colaboradores
Ana Regina Cavalcanti da Rocha (COPPE/UFRJ)
Cludia Maria Lima Werner (COPPE/UFRJ)
Mrcio de Oliveira Barros (UNIRIO)
Jorge Biolchini, DSc. (PUC rea Mdica)
Apoio Administrativo
Tasa Guidini Gonalves
(10/2007)
Alunos de Doutorado
Ana Cndida Cruz Natali
Arilo Cludio Dias Neto
Gleison Santos
Jobson Luiz Massollar da Silva
Rodrigo Spnola
Jos Fortuna Abrantes
Marco Antnio Arajo
Marcos Kalinowski
Paula Gomes Mian
Tayana Ucha Conte
Parcerias em P&D:
Emlia Mendes (University of Auckland/NZ)
Barbara Kitchenham (Keele University/UK)
Giovanni Cantone (Universidade de Roma/IT)
Alunos de Mestrado
Jos Carlos Maldonado (USP/So Carlos)
Carlos Roberto Melo Jr.
Manoel Mendona (UNIFACS/Salvador)
Felipe R. Pinto
Sandra Fabbri (UFSCar/So Carlos)
Paulo Srgio Medeiros dos Santos
Oscar Pastor (Universidade de Valencia/ES)
Vitor Pires Lopes
Marcello Visconti (UTFSM/CH)
Hernan Astudillo (UTFSM/CH)
Alunos de Graduao (IC)
Marlon Vieira (Siemens Corporate Research/USA)
Vincius Bravo
Forrest Shull (Fraunhofer/USA)
Artur Souza
Jeffrey Carver (Mississippi State University/USA)
Carlos Eduardo Calvente
Vic Basili (University of Maryland)
Natalia Juristo (Universidad Politecnica de Madrid/ES)
Dietmar Pfhal (University of Calgary/CAN)
Pesquisa e Desenvolvimento:
Experimentao em Engenharia de Software:
Ambientes e Ferramentas
Processos de Experimentao e Empacotamento
Revises Sistemticas
Planejamento e Execuo de Estudos Experimentais
Reviso e Inspeo de Software
Tcnicas de Leitura para Software Orientado a Objetos
Tcnicas de Leitura para Requisitos de Software
Verificao de Modelos Arquiteturais
Inspeo de Projeto de Aplicao Web
Melhoria de Processos de Software Orientado a Objetos:
Desenvolvimento
Reviso e Inspeo
Testes
Manuteno Evolutiva
Infra-estrutura para e-Cincia:
Engenharia de Aplicaes Web
Gerncia de Conhecimento
Ubiqidade Computacional
Workflow Cientfico
Quer participar em nossos projetos de pesquisa?

O Grupo ESE atualmente recebe apoio, atravs de bolsas e
financiamento das atividades de pesquisa, dos seguintes
organismos:
CNPq
CAPES
FAPERJ (Rio de Janeiro)
FAPEAM (Amazonas)
Fundao COPPETEC
Siemens Corporate Research/USA
O Programa de Engenharia de Sistemas e Computao

abriu as inscries para candidatos a realizar os Cursos de
Mestrado e Doutorado a partir de 2008.
O prazo final para os candidatos se inscreverem 5
de novembro de 2007.
O Grupo ESE estar oferecendo vagas de mestrado e
doutorado! Bem com a linha de Engenharia de Software e
as outras linhas de Pesquisa do PESC!
Mais informaes podem ser obtidas no "PORTAL DE
SELEO DE CANDIDATOS DO PESC". (www.cos.ufrj.br)
Pensando num estgio de ps-doutorado nesta rea?
Entre em contato!
OBRIGADO!!!
Perguntas??

Sbes2007 Revisaosistematica

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Sbes2007 Revisaosistematica

Încărcat de

Drepturi de autor:

Formate disponibile

2004 ACM-IEEE INTERNATIONAL SYMPOSIUM ON

EMPIRICAL SOFTWARE ENGINEERING

Tutorial SBES 2007

Introduo: Engenharia de Software e Experimentao

o O engenheiro de software precisa compreender melhor como construir

Engenharia de Software Experimental

Engenharia de Software Experimental

Prope uma teoria formal ou um conjunto de axiomas

o Observa o mundo (ou solues existentes)

Projeto do estudo experimental

Engenharia de Software Experimental

Observao natural e no controlada

o O comportamento do ambiente nos quais os indivduos interagem

Dependem dos resultados dos estudos primrios para serem

o Exemplos de estudos secundrios

Tambm chamados de Reviso Terciria

Introduo: Engenharia de Software e Experimentao

Uma reviso de literatura usualmente representa uma

Revises Sistemticas (RS) podem representar uma

Razes para Realizar Revises

Ferramenta bsica do paradigma baseado em evidncia

Padro metodolgico existente

Mesmo que o paradigma baseado em evidncia no seja

Sumarizar evidncias existentes sobre um

Razes para Realizar Revises

Nosso grupo de pesquisa tem conduzido algumas

Incompatvel quando se tem como requisito

Meta-anlise pode ser possvel quando se tratando

Valor das Revises

Jrgensen e Molkken revisaram pesquisas sobre projetos

Jrgensen revisou evidncia sobre a opinio de especialistas

o No existe apoio consistente para afirmar que modelos de estimativa

Kitchenham, Mendes e Travassos revisaram evidncias sobre a

Introduo: Engenharia de Software e Experimentao

Um engenheiro de software est trabalhando na rea de

Processo para Realiza

O processo de RS no puramente seqencial, podendo

Processo para Realiza

[ protocol plan disapproved ]

Definir um protocolo de pesquisa: Boa prtica para

Ponto de partida de qualquer reviso sistemtica

Razo para a pesquisa

Elemento crtico a ser definido antes de se iniciar qualquer busca

o processo de busca, que deve identificar os estudos

A questo que voc quer responder descrita em

Identificar fatores de custo e risco

Questes de pesquisa (formato estruturado)

Questo Principal: O uso de inspees de software em processos

Para a questo principal: processos de desenvolvimento que

String de Busca := P .AND. I .AND. C .AND. O

Custo, qualidade, disponibilidade para o mercado,

Palavras-chave e Sinnimos (em ingls, por ser a lngua utilizada nas

Questo Secundria: Se sim, qual a proporo de defeitos

Software application, system, program;

P := (software project <or> software development <or> software engineering

Palavras-chave e Sinnimos (em ingls, por ser a lngua utilizada

Palavras-chave e Sinnimos (em ingls, por ser a lngua utilizada

Software application, system, program;

I:= (software inspection <or> software review <or> software reading

Defect detection fault detection, error detection, failure

O:=(defect detection <or> fault detection <or> error detection <or>

String de busca - Questo principal:

String de busca para questo secundria: