Estudo de Caso:

Projeto Ideias Incontidas

Parte II – Aula 3

2. Histórico e Desenho

O processo de seleção dos beneficiários do Ideias Incontidas é feito em algumas etapas.

Primeiramente, são selecionadas escolas públicas de Ensino Fundamental na proximidade da ONG
EMCANTAR que tenham interesse em divulgar a iniciativa e apoiar a participação dos seus alunos no
projeto. Uma vez definidas as escolas parceiras, o projeto é divulgado nessas instituições com o
intuito de verificar o interesse e demanda por parte dos pais/ responsáveis pelos alunos. Por fim, após
um período de cadastramento dos candidatos e validação de pré-requisitos, é convocada uma
reunião com os responsáveis que desejam inserir seus filhos no projeto, para alinhamentos gerais e
confirmação da inscrição. A intenção é de que os alunos selecionados frequentem o projeto durante 1
(um) ano letivo, sem possibilidade de prorrogação, para que a experiência possa ser levada a um
maior número de crianças e jovens.

No primeiro ano de implementação do Ideias Incontidas, a ONG EMCANTAR disponibilizou 50 vagas

para o projeto em duas escolas parceiras, que puderam ser preenchidas com o público desejado,
mas sem que houvesse um excesso de demanda significativo. Essa primeira aplicação do projeto
representou um momento importante para ajustes e alterações no modelo da intervenção. Por
exemplo, as ações do projeto eram realizadas no mesmo turno escolar, e, já no ano seguinte, passou
ao formato atual, com oficinas que ocorrem no contraturno.

Já no segundo ano de implementação, a ONG EMCANTAR optou por ampliar tanto o número de
vagas oferecidas quanto o número de escolas parceiras. Foram abertas 200 vagas para 10 escolas
da região. Mesmo com o aumento do número de atendimentos, devido à intensificação das ações de
divulgação do projeto e ao boca-a-boca entre os alunos, foram identificados 387 alunos interessados
e com o perfil desejado. Como não havia sido previamente definido nenhum critério de desempate
entre os candidatos, a equipe gestora do projeto escolheu sortear as duzentas vagas oferecidas entre
esses 387 inscritos. Ao final do ano, entretanto, observou-se que nem todos os alunos sorteados
haviam frequentado o programa até o final: apenas 174 mantiveram-se no projeto ao longo de todo o
ano letivo.

No ano seguinte, diante da grande demanda observada e da impossibilidade estrutural de seguir

expandindo o projeto naquele momento, a ONG EMCANTAR optou por restringir a oferta do
programa às 6 escolas parceiras mais próximas das suas instalações. Essa decisão teve como
principal objetivo facilitar a frequência dos alunos às oficinas e, assim, reduzir ao máximo a taxa de
abandono ao longo da execução do projeto. Além da dificuldade de acesso, observou-se também que
a natureza multicultural das oficinas do projeto (que inclui, por exemplo, o estudo de danças e
práticas de origem africana) acarretava em certo desconforto para participantes oriundos de algumas
vertentes religiosas. Assim, para evitar novos conflitos nesse sentido, passou-se a fornecer uma
descrição mais detalhada das atividades propostas já na reunião de apresentação do programa junto
aos responsáveis, a fim de garantir que o projeto é adequado à criança e não gerará incômodo a ela.

Atualmente, em sua quarta edição, o projeto segue nesse mesmo formato, com o oferecimento de
200 vagas para 6 escolas públicas do Setor Leste de Uberlândia. Em caso da necessidade de
desempate entre os inscritos, é dada preferência aos alunos mais novos, do Ensino Fundamental I,
pois acredita-se que, os impactos da intervenção possam ser ainda maiores nessa faixa etária.

Assim, considerando os objetivos e estratégias desenvolvidas pelo programa, e tendo em vista seu
histórico de implementação até aqui, tem-se o desafio de responder a seguinte pergunta: o projeto
causou mudanças significativas na vida dos alunos participantes? O que teria acontecido com os
participantes do projeto Ideias Incontidas caso os mesmos não tivessem participado?
A
Para responder a esta questão, é necessário eleger os indicadores culturais e educacionais
desejados (e factíveis) e verificar como foi o desempenho dos indivíduos que participaram das
atividades oferecidas (grupo tratado) vis a vis aqueles que não tiveram contato com o projeto, mas
são semelhantes aos participantes nos demais aspectos relevantes (grupo controle).

QUESTÕES PARA DISCUSSÃO

A partir do texto acima e dos conceitos vistos em aula, responda:

Qual poderia ser o grupo de tratamento utilizado na Avaliação de Impacto? Ao que se

deve a sua escolha?
Qual poderia ser um grupo de controle adequado para a Avaliação de Impacto nesse
caso? Por quê?
Comente as possíveis fontes de viés de seleção – A) no grupo de tratamento; B) no grupo
de controle.
QUESTÕES PARA DISCUSSÃO _ GABARITO AULA 3

A partir do texto acima e dos conceitos vistos em aula, responda:

1.a Como é atualmente selecionado o grupo de tratamento utilizado na Avaliação de

Impacto?

RESPOSTA: o grupo de beneficiários (tratamento) é escolhido por sorteio, dentre indivíduos

que tenham as seguintes características e que formam o público-alvo: sejam alunos de 6
escolas do Setor Leste de Uberlândia, parceiras da ONG EMCANTAR, que tenham
manifestado o interesse no projeto, cujos pais tenham participado da reunião de
apresentação e tenham manifestado consentimento à participação da criança no projeto. São
ofertadas 200 vagas e são considerados “tratados” os alunos que participaram do projeto até
o fim, por um ano.

1.b Como a instituição definiu que esse seria o método de seleção?

3. RESPOSTA: Escolheu-se a quantidade de vagas a partir da capacidade de atendimento da

instituição. O histórico do projeto também foi importante para definir a quantidade de escolas
parceiras e detalhes importantes para o consentimento dos pais.
4.
2.a Como é escolhido o grupo de controle para a Avaliação de Impacto?

RESPOSTA: o grupo de alunos do público-alvo que não foram sorteados para o grupo de
tratamento. A quantidade de pessoas no grupo controle varia de acordo com a quantidade de
pessoas interessadas em participar do projeto. Em uma das edições mencionadas, houve 187
(387-200) pessoas no grupo de controle.

2.b Por quê esse é um bom grupo de controle?

RESPOSTA: porque são pessoas que tem características semelhantes ao grupo tratado,
oferecem um bom contrafactual.

5. Comente as possíveis fontes de viés de seleção

É importante mencionar de início que o método de aleatorização utilizado (o sorteio)

justamente é aplicado para evitar os problemas de viés. Das possibilidades de viés relatadas
abaixo, apenas as mencionadas para o grupo controle são difíceis de corrigir pelo sorteio,
uma vez que ocorrem quando o projeto está em andamento (após o sorteio). Existe sempre a
necessidade de verificar se aquela situação está ocorrendo.

A) no grupo de tratamento;
RESPOSTA A: o viés pode ocorrer quando em alguma etapa da seleção, o grupo
tratamento diferencia-se “da média” dos demais indivíduos do público-alvo por algum
motivo. Algumas possibilidades seriam:
(i) (1) viés positivo – alunos muito interessados (acima da média) ou com pais mais
exigentes (acima da média). É possível que a fonte do viés (o que causa os alunos
serem mais interessados) esteja nas escolas, nas famílias ou nos próprios alunos. Se
for ignorado esse viés poderemos encontrar um impacto positivo do projeto, que na
verdade não existe. Na verdade, os alunos que participaram do projeto já eram muito
bons e o projeto agregou pouco.
(ii) (2) Uma possibilidade de viés em sentido negativo pode ocorrer, por exemplo, se os
alunos selecionados tiverem em geral desempenho muito baixo (menor que a média)
em Língua Portuguesa, alvo do trabalho do projeto. É mais provável que viés ocorra
na etapa de seleção das escolas; essas podem aderir ao projeto justamente porque
sabem da maior dificuldade dos seus alunos em Português. Assim, se ignorado esse
viés, após o projeto, é possível verificar que o desempenho ficou pior que ao dos
 alunos do grupo controle. No entanto, esse pode também ser um resultado enganoso
do impacto. Os alunos já tinham pior desempenho; o projeto pode ter reduzido a
distância entre eles, mas sem contabilizar a diferença inicial ou o viés, é impossível
realizar o cálculo adequado do impacto.
B) no grupo de controle.
RESPOSTA B: os alunos do grupo de controle podem mudar o seu comportamento porque o
projeto começou na escola: talvez observam os colegas que participam do projeto e imitam
seu comportamento. Pode ser inclusive, que as crianças não selecionadas busquem outros
projetos parecidos. Nesse caso, essas mudanças reduzirão o impacto do projeto, pois o
grupo controle está mais parecido com o grupo tratamento.