A Import ancia da Experimentac ao na Engenharia de

Software
Ariel G. Zuquello, Romulo A. Beninca, Yoji Massago
Universidade Estadual de Maring a
Departamento de Inform atica
Av. Colombo, 5.790 Jd. Universit ario Maring a/PR, Brasil
arielzuquello, rbeninca, yojimassago {@gmail.com}
ResumoExperimento (de experi encia) signica observar ou
fazer alguma coisa sob determinada condic ao, o que resultar a
em um resultado ou estado nal de acontecimentos que n ao
s ao totalmente previsveis. A pesquisa utilizada para o trabalho
foi pesquisa bibliogr aca na pr atica de revis ao sistem atica.
Destacam-se nessa pesquisa do ponto de vista dos autores:
conceitos, estudos de caso, t ecnicas, m etodos e modelos de
experimentac ao na Engenharia de Software, e tamb em, estudos
empricos qualitativos e quantitativos. As conclus oes retratam o
qu ao importante e indispens avel e a utilizac ao de experimentos
que possam ser replicados e para confrontar as ideias com a re-
alidade para assim formalizar teorias utilizando-se de evid encias
tanto na area de Engenharia de Software como nas demais areas
da ci encia.
Palavras-chaves: Experimento, Engenharia de Sofware,
Empricos, Qualitativos e Quantitativos.
I. INTRODUC AO
O presente trabalho busca apresentar um ponto de vista
comum dos autores com relac ao ` a import ancia das t ecnicas
investigativas empricas(experimento) na ES(Engenharia de
Software), bem como as diculdades encontradas pelos pes-
quisadores para adoc ao de t ecnicas de pesquisa baseadas em
evid encias. Ao nal de cada sec ao os autores exp oem o
coment ario crtico explanando o seu ponto de vista com relac ao
ao tema abordado.
A discuss ao sobre a necessidade de experimentac ao na
ES e antiga: h a mais de uma d ecada trabalhos questionam a
qualidade e validade das pesquisas de ES, que s ao aceitas ou
refutadas com base na intuic ao dos pesquisadores, sem nenhum
tipo de experimentac ao que possa validar os resultados. Para
que um conhecimento cientico seja aceito como v alido deve
ser possvel confronta-lo com a realidade[1].
No contexto atual do mercado globalizado e crescente
demanda por software, os engenheiros de software, buscam
exaustivamente novas t ecnicas, processos e modelos. Diversas
dessas propostas prometem reduc ao de custos, al em de garan-
tirem melhorias no processo de desenvolvimento e reduc oes
de custo, sendo assim estas s ao ofertadas ao mercado sem
qualquer validac ao emprica(experimentac ao) dos seus be-
nefcios, tendo em seu amparo apenas a intuic ao de seus
criadores[2][3][4] ou ainda na f e em seu brilhantismo[3].

E evidente que a experimentac ao na ES apresenta diversos

obst aculos, sendo que todos os trabalhos apresentam em co-
mum as seguintes diculdades: fator humanos envolvidos al em
de outras vari aveis de difcil controle do ambiente, os quais
podem fazer com que esses experimentos sejam muito caros e
demorados [1][3][4][5].
A aus encia de resultados empricos, faz com que a credibi-
lidade dos resultados seja prejudicada, atrasando a aceitac ao do
mercado ou levando o mercado a experiencias frustrantes[4].

E importante frisar que experimentos por si s o n ao pro-

vam nada: e verdade que nenhum experimento oferece prova
sucientes para armar com certeza absoluta uma teoria. Os
experimentos vericam as previs oes te orica de encontro com
a realidade. A comunidade aceita uma teoria, se todos os
fatos conhecidos dentro de seu domnio possam ser deduzidos
da teoria, possuirem uma vericac ao experimental extensa e
predizerem o novo fen omeno corretamente [1].
Este trabalho est a estruturado da seguinte forma: a sec ao
II apresenta a Revis ao Bibliogr aca onde e feito um estudo
aprofundado relacionado ao assunto em quest ao: ideias e
experimentos, metodologias, aspectos sociais da ES, ciclo
de aprendizagem(exemplos), concepc ao experimental, m etodos
cientcos e o que o experimento precisa para ser replicado,
lembrando que ao nal de cada sec ao os autores fazem um
coment ario no ponto de vista dos pr oprios com relac ao ao
tema em quest ao. Por m, as Conclus oes s ao apresentadas na
sec ao III.
II. REVIS AO BIBLIOGR AFICA
O presente trabalha apresenta uma metodologia de pesquisa
denotada Pesquisa Bibliogr aca utilizando a pr atica de Revis ao
Sistem atica.
A. Ideias e Experimentos
Atualmente as teorias v alidas se distinguem das falsas
crencas atrav es de aplicac oes do teste ao longo do tempo.
A certeza que se tem e: julgar se as pessoas v ao utilizar
ou n ao essa ideia. Se muitas pessoas utilizam a ideia, ela e
caracterizada como correta e funcional, caso contr ario, err onea
e pouco eciente [5].
Existem alguns exemplos de modelos te oricos na Ci encia
da Computac ao que n ao foram testados: programac ao funci-
onal, programac ao orientada a objetos e m etodos formais.
A validade dos modelos s ao baseados na aceitac ao des-
tes ao longo dos anos, mas sem nenhuma fundamentac ao
cientica.[5]
Apesar de existirem estudos experimentais exaustivos na
literatura da ci encia da computac ao, a utilizac ao destes n ao
e uma regra geral, principalmente na ES. A busca pela rigo-
rosidade nos experimentos em ES e recorrente entre autores
como [6] e [7]. Segundo [6] mais de 30% dos artigos publica-
dos em peri odicos software-oriented n ao possuem qualquer
validac ao experiemental. E apenas 10% dos artigos que apre-
sentam algum tipo de experimentac ao seguem a abordagem
formal da experimentac ao.[8]
O estudo realizado por [7] mostra que: (1) apenas 8% dos
artigos publicados incluiu uma avaliac ao quantitativa consi-
der avel (pelo menos dois est agios) das abordagens propostas, e
(2) nenhuma dessas avaliac oes foram realizadas formalmente,
isto e, atrav es da criac ao de uma s erie de hip oteses e experi-
mentos repetitveis.[8]
No campo da ci encia da computac ao, este fato e par-
ticularmente uma patenteno campo da ES. Uma pesquisa
realizada por [7] em 400 artigos de pesquisa em ES mostrou
que daqueles que necessitam de validac ao experimental, 40%
n ao tinha nenhum, comparado a 15% em outras disciplinas.
R eplica dos autores: Ao sintetizarmos esta sec ao perce-
bemos at e mesmo um descaso ou algo cultural dos pr oprios
pesquisadores da ES onde se acostumaram a fazer suas pesqui-
sas e publicac oes com nada ou quase nada de experimento.
Utilizam-se de uma determinada ideia se ela e mutuamente
utilizada, sem nenhuma preocupac ao se ela tr as evid encias
de veracidade. Entre outras coisas, essas informac oes s ao
preocupantes.
Segundo [5], cientistas da computac ao e prossionais da
ind ustria de TI defendem a falta de experimentac ao com
base em v arios argumentos como, por exemplo, de que a
experimentac ao e: inapropriada, muito difcil de ser realizada,
in util e perigosa. Alguns outros argumentos utilizados pelos
prossionais na area de ES para a n ao realizac ao de experi-
mentos s ao citados por [5]:
O m etodos tradicional cientco n ao e aplic avel;
Existe uma barreira pelo fato do sujeito em quest ao
ser a informac ao, no campo da ci encia da computac ao,
em vez de energia ou mat eria. Para entender a natureza
dos processos de informac ao, cientistas da computac ao
devem: observar fen omenos, formular explicac oes e
teorias e test a-las. As ci encias tradicionais usam teste
de teoria e explorac ao iterativa, pois, as observac oes
ajudam a formular novas teorias que podem ser poste-
riormente validadas. Assim, um requisito fundamental
para qualquer experimento e a repetitividade, que
garante que os resultados podem ser vericados in-
dependentemente, fornecendo conanca a esses;
R eplica dos autores: Ao nosso ver a repetitividade na
experimentac ao e fundamental, n ao conseguimos ver algo
concreto se n ao tiver uma repetitividade e uma consist encia
nos dados obtidos. Mesmo o sujeito em quest ao sendo
a informac ao e n ao mat eria, faz-se necess ario o uso de
experimentac ao.
O nvel atual de experimentac ao e suciente;
Com relac ao a outras ci encias, os dados dos estu-
dos de Tichy(1995) e Zelkovitz(1995) mostram que
cientistas da computac ao validam uma porcentagem
menor de suas pesquisas e dizem que o nvel atual de
experimentac ao n ao precisa mudar, precisa se basear
na suposic ao de que os cientistas da computac ao
conhecem o que est ao fazendo.
R eplica dos autores: Essa armac ao dos cientistas da
computac ao e descabida no que tange ` a criac ao e invoac ao da
ci encia, mesmo sendo mais difcil e demorado os expeirmentos,
n ao posso me basear somente em suposic oes. Acontecesse
isso em todas as areas, estaramos repletos de suposic oes
sustentando nossa ci encia, por em, com nada evidenciado e
provado.
Experimentos custam muito caro;
Obviamente experimentos exigem mais recursos do
que somente a proposic ao de ideias(teoria). Alguns
defensores dessa fal acia defendem que realizar um
experimento pode car incrivelmente caro! Ou para
realizar um experimento, ser a necess ario centenas de
participantes, trabalhando por anos sem publicac oes e
gastando uma quantia enorme de dinheiro. Ou ent ao
experimentos signicativos podem encaixar em peque-
nos orcamentos se tudo depender de analisar bem a
quest ao de pesquisa que ser a respondida. Experimen-
tos caros podem ser bem piores que os seus custos;
R eplica dos autores: Em algumas situac oes experimentos
custam muito caro sim, no entanto, hoje em dia o apoio ` a
ci encia s ao fomentadas por diversas organizac oes que t em
interesse na criac ao e desenvolvimento da ci encia. Todavia,
podemos fazer alguns experimentos sem muito custo ou custo
muito baixo e conseguir resultados de extrema import ancia.
Podemos ver isso na pr atica em outras areas do conhecimento,
al em do que uma teoria que n ao foi devidamente testada pode
causar prejuzos e investimento desnecess ario
Demonstrac oes s ao sucientes;
Segundo Harmans(1994), demos podem fornecer pro-
vas de conceito ou incentivar o estudo aprofundado
de uma quest ao de pesquisa. Por em muitas vezes
demos meramente ilustram o potencial de algo. Os
demos dependem diretamente do poder da imaginac ao
dos observadores e da capacidade de extrapolar n ao
produzindo, normalmente, evid encias s olidas;
R eplica dos autores: Acreditamos que a utilizac ao de
demonstrac oes propiciam aos pesquisadores como guia frente
a escurid ao do desconhecido, servindo apenas para orient a-los
em casos e situac oes especcas. De modo geral demostrac oes
s ao feitas sobre ambientes controlados, desprezando diversas
vari aveis do ambiente, n ao permitindo a extrapolac ao do
conhecimento gerado por esta.
D a muito trabalho;
Felizmente, existem v arios benchmarks prontos que
ajudam a simplicar experimentos que repetem muito,
al em de serem estruturados, s ao baratos e normal-
mente n ao custam nada. Exemplos de uso de ben-
chmarks em experimentos: reconhecimento de voz,
recuperac ao da informac ao, reutilizac ao de software,
compress ao de dados, etc;
R eplica dos autores: Essa fal acia e muito interessante, pois
hoje na area de ci encia da computac ao, mais precisamente na
area de arquitetura de computadores por exemplo, n ao temos
como fazer todos os experimentos sicamente, pois alguns
equipamentos custam muito caro e n ao temos como adquiri-
los. Por isso utilizamos dos benchmarks para fazer simulac oes
e as repetic oes necess arias, tendo assim uma forma de fazer
mensurac oes em ambiente simulado.
Experimentac ao atrasa o progresso;
Alguns pesquisadores argumentam que tudo deve ter
suporte experimental antes de ser publicado. Conse-
quentemente a experimentac ao ir a atrasar o progresso
da ci encia que no campo da ci encia da computac ao,
existem muitas ideias em discuss ao e esse n umero
deve ser levado em considerac ao. Aumentando o
n umero de artigos com signicativa validac ao tem
uma boa chance de na verdade acelerar o progresso.
Pesquisadores devem concentrar mais suas energias
em experimentos para validac ao de ideias promissoras;
R eplica dos autores: com certeza todos os pesquisadores n ao
s o da ci encia da computac ao mas em todas outras areas devem
usarem de experimentos, aumentando assim as evid encias,
resultando em maior n umero de publicac oes com relev ancia
cientca, consequentemente contribuindo assim para o pro-
gresso da ci encia
Tecnologia muda muito r apido;
Mudge arma que: a taxa de mudanca na computac ao
e t ao alta que assim que resultados s ao conrmados,
eles podem n ao serem mais relevantes. Pode-se dizer
o mesmo sobre software? Qu ao bom e o experimento
quando o seu tempo de durac ao e maior que o tempo
de vida util do objeto experimental? Segundo Tichy,
se uma quest ao de pesquisa se torna irrelevante rapi-
damente, e porque talvez ela tenha sido mal elaborada
e n ao vale a pena investir relavantes esforcos;
R eplica dos autores: Em nosso ponto de vista n ao temos como
mudar ou impedir a constante evoluc ao tecnol ogica, por em,
mesmo que demore e preferivel contribuir signicativamente
(fortes evid encias) com pequenas contriuic oes para a ci encia
do que publicar hip oteses/ideias desargumentadas. E sobre o
coment ario de Tichy acreditamos que ele tenha raz ao nessa
frase, no entanto, como pesquisadores temos o dever de
planejar e elaborar pesquisas s olidas para os resultados serem
relevantes contribuindo com o desenvolvimento da ci encia.
Dicilmente ser a publicado;
Alguns peri odicos relevantes na area da computac ao
tem diculdade de encontrar editores e revisores capa-
zes de avaliarem trabalhos empricos. Segundo Tichy,
publicar resultados experimentais n ao e difcil, desde
que se escolha um local apropriado. Passos pequenos
ainda valem mais a pena de serem publicados, pois
eles provam nosso entendimento e apresentam novos
questionamentos.
R eplica dos autores: Com certeza, devemos ter em mente
que pequenas descobertas, positivas ou negativas devem sere
publicadas sim. Pois se o resultado for positivo, ir a contribuir
para a ci encia. Caso contr ario, tamb em contribuir a pois
evitar a que novos estudos sejam feitos nessa area desnecessa-
riamente.
B. Metodologias
Segundo [9], o conhecimento em Ci encia da Computac ao
pode ser obtido atrav es do uso de 4 grandes metodologias,
sendo que estas est ao descritas em seu artigo:
pesquisa analtica - A pesquisa analtica faz algumas
pressuposic oes sobre os dados do programa ou sobre
a m aquina onde o programa vai ser executado, e
prova matematicamente que o programa tem algumas
propriedades interessantes.
pesquisa quantitativa - A pesquisa quantitativa e
baseada na medida (normalmente num erica) de pou-
cas vari aveis objetivas, na enfase em comparac ao de
resultados e no uso intensivo de t ecnicas estatsticas.
pesquisa qualitativa - A pesquisa qualitativa baseia-
se na observac ao cuidadosa dos ambientes onde o
sistema est a sendo usado ou onde ser a usado, do
entendimento das v arias perspectivas dos usu arios ou
potenciais usu arios do sistema.
pesquisa bibliogr aca - Na qual existem duas
pr aticas: Revis ao sistem atica e meta-an alises: A re-
vis ao sistem atica termina em uma avaliac ao qualitativa
e quantitativa desses v arios resultados (por exem-
plo distribuic ao e homogeneidade dos resultados),
enquanto que meta-an alise usa t ecnicas estatsticas
avancadas para agregar os v arios resultados experi-
mentais num unico n umero.
Destes, A pesquisa quantitativa e a qualitativa s ao cole-
tivamente chamadas de pesquisa emprica.[9].
A ess encia da pesquisa quantitativa em ci encia da
computac ao e vericar o qu ao melhor e usar um pro-
grama/sistema novo frente ` a(s) alternativa(s).[9].
Sobre a an alise qualitativa, temos que: Numa primeira
denic ao, m etodos qualitativos diferem de m etodos quantitati-
vos porque se ocupam de vari aveis que n ao podem ser medidas
numericamente, apenas observadas. [9].
R eplica dos autores: Destacamos a pesquisa quantitativa
e qualitativa que s ao baseadas em dados empricos, pois em
nosso ponto de vistas esse tipo de fundamentac ao emprica nos
permite evidenciar novas ideias e teorias tendo como ponto de
partida o conhecimento j a existente. Tamb em compreendemos
que esses resultados s ao mais relevantes para a ci encia
pois fornecem resultados s olidos, visto que s ao conhecimento
inferido de observac ao de resultados e n ao apenas ideias sem
qualquer tipo de validac ao .
C. Aspectos Sociais da ES
O fator humano no desenvolvimento de software e de
extrema import ancia, todavia, nas outras disciplinas lidam com
as leis das ci encias naturais que s ao independentes de quem
e que os manipula: o que signica que as leis da fsica n ao
diferem se forem usados por um novato ou um perito, e o
mesmo vale para uma reac ao qumica.[8]
Processos naturais diferem dos processos sociais, que s ao
o produto de uma intenc ao ou consci encia humana. Neste
sentido, ES pode ser considerada como um processo social
em que os artefatos (m etodos/ferramentas/paradigmas) a serem
utilizados s ao afetados pela experi encia, conhecimento e capa-
cidade do utilizador. Assim, uma diferenca importante entre ES
e outras disciplinas de engenharia e a import ancia do elemento
humano.[8]
Al em disso, descobrimos que a ES discorre em um con-
texto social e, como tal, e inuenciado por relacionamentos
entre as pessoas (equipe do projeto, os gestores, os usu arios,
etc) e o contexto social (cultura corporativa, procedimentos
organizacionais, etc.[8]
R eplica dos autores: O fator humano inerente a engenharia
de software e motivador para experimentac ao, pois os aspectos
sociais das relac oes humanas s ao de difcil controle podendo
impactar diretamente sobre a validade de uma hip otese e
teorias, pode se dizer que ` a veem encia dos aspectos sociais
da ES faz com que teorias que n ao s ao validadas com
experimentos sejam ignoradas ou obtenham fracas evid encias
conclusivas.
D. Ciclo de Aprendizagem
Existem tr es modos de raciocnio para chegar a uma
hip otese: elas s ao deduc ao, induc ao e abduc ao.
Deduc ao prova que algo deve ser, a induc ao mostra que
alguma coisa est a realmente operacional e abduc ao se limita
a sugerir que alguma coisa poderia ser.
Assim, por meio de um processo de retenc ao, uma hip otese
preliminar sobre um fen omeno leva a consequ encias particula-
res, que podem ser comparados com os dados obtidos a partir
de realidade. Quando as consequ encias da teoria e os dados
reais n ao coincidirem, a discrep ancia pode levar, por meio de
um processo de induc ao e abduc ao, para a hip otese de ser
modicado. Um segundo ciclo de iterac ao, ent ao comeca.[8]
As consequ encias da hip otese modicada s ao deduzidas e,
novamente, em comparac ao com os dados, o que pode levar
a novas modicac oes e um novo aquisic ao de conhecimento.
Os dados podem ser coletados por diferentes meios: atrav es
da experimentac ao cientca, desenterrando informac oes exis-
tentes em uma biblioteca ou atrav es da observac ao.[8]
R eplica dos autores: Em nossa vis ao as etapas do ciclo
de aprendizagem fornecem uma maneira sistem atica para os
experimentos, o ponto essencial dessa abordagem se da no
confronto com a realidade. Sendo de extrema import ancia para
o desenvolveimento dos experimentos.
E. Concepc ao Experimental
A experimentac ao e uma abordagem disciplinada e con-
trolada para avaliac ao de tecnologias. Estudos experimentais
contribuem fornecendo justicativas para o uso ou n ao de
tecnologias, baseadas em indicac oes sobre a efetividade destas
tecnologias na melhoria de sua qualidade[10].
Note-se que esta abordagem de pesquisa n ao assume que s o
existe uma maneira de resolver o problema. Confrontado com o
mesmo problema, dois pesquisadores igualmente bem quali-
cados geralmente comecam em pontos diferentes, avancam por
caminhos diferentes e podem, mesmo assim, chegar ` a mesma
soluc ao. O que estamos procurando e a converg encia ao inv es
de uniformidade.[8]
No entanto, e melhor que o pesquisador se utilize de
m etodos de experimentac ao. Induc ao da realidade adequada
para sistemas complexos e muito difcil, mesmo que os dados
cientcos n ao contenham nenhum rudo (isto e, n ao est ao
sujeitos a qualquer dist urbio causado pelo controle incompleto
do meio experimental ou devido a erros de medic ao). [8]
Isto e ainda mais difcil se houver erros experimentais.
Nestas circunst ancias, os pesquisadores podem colocar as suas
intelig encias e conhecimentos do assunto para uma melhor
utilizac ao se eles podem usar ferramentas estatsticas para
interpretar os dados coletados nos experimentos.[8]
R eplica dos autores: Eis a import ancia de uma boa
descric ao no decorrer dos experimentos, isto possibilita ` a
outro pesquisador replicar esse mesmo experimento e chegar
` as mesmas conclus oes. Ou at e mesmo, utilizar do mesmo ex-
perimento para que com algumas pequenas alterac oes chegue
em outro objetivo por ele tracado.
F. M etodos Cientcos
Embora existam muitos m etodos de pesquisa cientcas ,
toda investigac ao tem certas caractersticas comuns no que diz
respeito ` a maneira de alcancar novos conhecimentos. Esses
fatores comuns s ao a ess encia do m etodo cientco. [8]
As atividades que comp oem a espinha dorsal de qualquer
pesquisa cientca s ao: proposta de um modelo te orico e
interac ao com a realidade, a especulac ao intelectual e ve-
ricando os resultados de especulac ao contra a realidade.
Estas atividades n ao necessariamente precis ao ser feitas
na ordem descrita a seguir, o investigadores podem denir
a ordem que seja mais adequada para o trabalho realizado.
A primeira tarefa de interagir com a realidade pode ser
realizada por meio de duas atividades diferentes: observac ao
e experimentac ao.[8]
Interac ao por meio de observac ao: os pesquisadores
simplesmente perceber os fatos a partir de fora, isto e,
perceber as coisas como elas s ao no mundo exterior, e
n ao h a nenhuma interfer encia dos pesquisadores com
o mundo (exceto qualquer provocada pela observac ao
de si mesmo). Os pesquisadores n ao t em controle
sobre a realidade durante a observac ao, pois este est a
em seu estado natural.[8]
Interac ao por meio de experimentac ao: os pesquisado-
res n ao s ao meros receptores, eles entram em di alogo
com o objeto em estudo. Este di alogo consiste em
submeter o objeto a novas condic oes e observar as
reac oes. Neste caso, os investigadores interferem no
mundo exterior e as suas observac oes s ao o resultado
de tais interfer encias. Os pesquisadores t em controle
sobre a realidade durante a experimentac ao, como o
experimento e uma situac ao provocada pelos pesquisa-
dores, e portanto possuem o controle (at e certo ponto,
pelo menos).[8]
Na verdade n ao h a linha divis oria clara entre a observac ao
e a experimentac ao, exceto pelo fato de que a observac ao
e passiva e descontrolada, j a a experimentac ao e ativa e
controlada. Assim, a observac ao e a experimentac ao s ao dois
meios estreitamente relacionados aos pesquisadores para obter
experi encias/fatos/impress oes do mundo exterior. Estritamente
falando, os experimentos n ao podem provar qualquer teoria,
eles s o podem deixar de falsic a-la.[8][8]
No entanto, isto n ao impede que o conhecimento que est a
sendo utilizado seja considerado verdadeiro, desde que as
precauc oes impostas pelo falsicabilidade sejam levadas em
conta. Al em disso, a falsicac ao tem um papel diferente na
pesquisa tecnol ogica.[8]
Pode-se dizer com seguranca que a experimentac ao e a
etapa que mais agrega valor cientco ` a pesquisa, como as
etapas de interac ao com a realidade e especulac ao ocorrer
em outras disciplinas intelectuais longe de ser considerada
cientca, por exemplo, losoa, teologia ou poltica.[8].
Antes das experi encias anteriores serem consideradas fatos,
eles tamb em devem oferecer ` a comunidade os dados por meio
do qual outros pesquisadores possam repetir os experimentos
originais.[8]
R eplica dos autores: Em nossa vis ao a utilizac ao das
metodologias cienticas para experimentac ao s ao mecanismos
j a testados e amplamente utilizados em outras areas. A falta
da utilizac ao de rigor experimental atrasa a evoluc ao do
conhecimento, pois cria incerteza ou at e falsas verdades, sobre
um conhecimento que n ao foi devidamente confrontado com a
realidade por um processo e experimentac ao adequado. Por
isso devemos utilizar de muito rigor no desenvovimento de
nossos expeimentos.
G. O que o experimento precisa para ser replicado
Um ramo do conhecimento humano pode ser dito que
atingiu o estado da ci encia, quando o conhecimento acima
e veric avel e, portanto, v alido. A este respeito, Popper diz:
N os n ao levamos ainda as nossas pr oprias observac oes muito
a s erio, ou aceitamo-as como observac oes cientcas, at e que
tenhamos repetido e testado.[8].
Essas ideias s ao suportados pela ideologia cientca mo-
derna, que chamam-se tamb em resultados experimentais para
ser reprodutvel por um agente externo. Por exemplo, Lewis
et al. arma: O uso de experimentos precisos e repetitveis
s ao a marca de uma disciplina cientca ou de engenharia que
amadureceu [11].
Assim, uma ci encia pode ser considerado como tal, quando
se baseia no m etodo cientco, isto e, cada novo item de co-
nhecimento e conrmada por meio de experi encias totalmente
denidas, tais que podem ser repetidos por outros cientistas,
que podem ent ao vericar os resultados. Essa possibilidade
de outros cientistas poderem reproduzir os resultados e ex-
tremamente importante, pois e o que (provisoriamente) rotula
uma nova ideia como verdadeira. Frases do estilo: armac ao
infundada, experi encias n ao cientcas, realmente n ao
comprovado e con avel descreditam qualquer contribuic ao
por um pesquisador que n ao pode ser provada por outros
pesquisadores. Por outro lado, uma ideia conrmada por meio
de experimentac ao reproduzvel e geralmente qualicado como
prova evidente.[8]
R eplica dos autores: Percebemos que um experimento que
n ao possa ser replicado pode levantar d uvidas sobre a sua
veracidade, conhecimento gerado e sobre os procedimentos
utilizados no experimento, com sorte apenas invalidando a
experimentac ao. Esse tipo de experimentac ao que n ao pode ser
replicada pode atrasar o desenvolvimento da ci encia, fazendo
com que pesquisadores trilhem por caminhos infrutferos de
ideias e pesquisas baseadas em conhecimentos incertos.
III. CONCLUS AO
Embasados nas pesquisa realizada utilizando de refer encias
renomadas na area de experimento em ES conclui-se de
forma qualitativa a import ancia da experimentac ao nas mais
diversas areas da ci encia e principalmente na area de ES.
A ES necessita de experimento para que suas teorias sejam
concretamente provadas com evid encias.

E un anime as teorias
sobre experimentac ao em ES, todos evidenciam a pr atica de
experimentos e replicac oes para se chegar numa contribuic ao
cientca fundamentada. Portanto, quem desejar contribuir com
a ci encia hoje e futuramente, deve estar ciente que precisa
de experimentos e replicac oes para comprovar ` as suas ideia e
suposic oes.
AGRADECIMENTOS
Os autores agradecem ` a Capes e ao CNPq pelo apoio
nanceiro, ao professor Dr. Edson Alves de Oliveira Junior
pela oportunidade de desenvolver este trabalho, e a Univer-
sidade Estadual de Maring a pela disponibilizac ao do espaco
para realizac ao do mesmo.
REFER ENCIAS
[1] T. G. H. Mafra, S. Nogueira, Estudos prim arios e secund arios apoiando
a busca por evid encia em engenharia de software, Programa de
Engenharia de Sistemas e Computac ao, vol. 1, marco 2006.
[2] J. Audy and R. Prikladnicki, Desenvolvimento Distribudo de Software.
[3] N. Fenton, S. L. Peeger, and R. L. Glass, Science and substance:
A challenge to software engineers, IEEE Softw., vol. 11, no. 4, pp.
8695, 1994. [Online]. Available: http://dx.doi.org/10.1109/52.300094
[4] N. Juristo and A. M. Moreno, BASICS OF SOFTWARE ENGINEERING
EXPERIMENTATION. Universidad Polit encnica de Madrid Spain,
2010, vol. 1.
[5] W. Tichy, Should computer scientists experiment more?
IEEE Journals & Magazines, 1998. [Online]. Available:
http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=675631
[6] M. Zelkowitz and D. Wallace, Experimental models for
validating technology, IEEE Journals & Magazines, vol. 31,
no. 5, pp. 2331, Maio 1998. [Online]. Available:
http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=675630
[7] T. W. F. title =.
[8] N. Juristo and A. M. Moreno, Basics of Software Engineering Experi-
mentation, 1st ed. Springer Publishing Company, Incorporated, 2010.
[9] J. Wainer, M etodos de pesquisa quantitativa e qualitativa para
a ci encia computac ao. Sociedade Brasileira de Computac ao e
Editora PUC-Rio, 2007, in Tomasz Kowaltowski and Karin Breitman.
(Org.). Atualizac ao em inform atica 2007. [Online]. Available:
http://www.ic.unicamp.br/ wainer/papers/metod07.pdf
[10] V. P. Lopes and G. H. Travassos, Infra-estrutura conceitual para ambi-
entes de experimentac ao em engenharia de software, in Experimental
Software Engineering Latin American Workshop (ESELAW08), Brasil,
2008.
[11] L. J., An empirical study of the object-oriented paradigm
and software reuse, vol. IEEE Transactions on Software
Engineering,, 1986. [Online]. Available: http://www.cs.umd.edu/ ba-
sili/publications/journals/J29.pdf