Un anlisis de la investigacin basada en la

ciencia ciudadana: usos y patrones de

publicacinhttp://journals.plos.org/plosone/article?i
d=10.1371/journal.pone.0143687
Ria Follett ,
Vladimir Strezov

Publicada: 23 de Noviembre de 2015

https://doi.org/10.1371/journal.pone.0143687

Artculo
Autores
Mtrica
Comentarios
contenido relacionado

Abstracto
Introduccin
Mtodos
Resultados y discusiones
Conclusin
informacin de soporte
Contribuciones de autor
Referencias

Comentarios del lector (0)

Cobertura de Medios (4)
Figuras

Abstracto
El uso de la ciencia ciudadana para el descubrimiento cientfico se basa en la aceptacin de
este mtodo por parte de la comunidad cientfica. Utilizando la Web of Science y Scopus
como fuente de artculos revisados por pares, un anlisis de todos los artculos publicados
sobre "ciencia ciudadana" confirm su crecimiento y encontr que una investigacin
significativa sobre metodologa y tcnicas de validacin precedi al rpido aumento de
publicaciones sobre resultados de investigacin basado en mtodos cientficos de la
ciudadana. Es de gran inters el creciente nmero de estudios que se basan en la
reutilizacin de conjuntos de datos recopilados de proyectos de investigacin cientfica, que
utilizaron datos de proyectos cientficos individuales o mltiples para nuevos
descubrimientos, como la investigacin sobre el cambio climtico. La medida en que la
ciencia ciudadana ha sido utilizada en descubrimientos cientficos demuestra su
importancia como enfoque de investigacin. Este amplio anlisis de documentos cientficos
sobre la ciencia ciudadana, que inclua no slo proyectos de ciencia ciudadana, sino
tambin la teora y los mtodos desarrollados para sustentar la investigacin, pone de
relieve la amplitud y profundidad del enfoque cientfico ciudadano y fomenta la
fertilizacin cruzada entre las diferentes disciplinas.

Figuras
Cita: Follett R, Strezov V (2015) Un anlisis de la investigacin basada en la ciencia
ciudadana: uso y patrones de publicacin. PLoS UNO 10 (11):
e0143687. https://doi.org/10.1371/journal.pone.0143687
Editor: Stefano Goffredo, Universidad de Bolonia, ITALIA
Recibido: 5 de marzo de 2015; Aceptado: 9 de noviembre de 2015; Publicada: 23 de
Noviembre de 2015
Copyright: 2015 Follett, Strezov. Se trata de un artculo de acceso abierto distribuido
bajo los trminos de la Licencia de Atribucin de Creative Commons , que permite el uso,
distribucin y reproduccin sin restricciones en cualquier medio, siempre que se acredite el
autor original y la fuente
Disponibilidad de datos: Los datos de origen fueron de Web of Science y Scopus, y los
archivos csv de estas fuentes que formaron la base de este anlisis se incluyen como datos
complementarios.
Financiamiento: Los autores no tienen apoyo ni fondos para reportar.
Intereses en competencia: Los autores han declarado que no existen intereses en conflicto.

Introduccin
La participacin pblica en el descubrimiento cientfico puede ser rastreada a travs de la
historia registrada [ 1 ] con los primeros registros que datan de 1.910 aos para los brotes
de langostas en China [ 2 ]. Recientemente ha habido un aumento significativo en la
participacin pblica en la investigacin cientfica, ahora conocida como "Ciencia
Ciudadana". Alan Irwin [ 3] fue uno de los primeros en usar el trmino "Ciencia
Ciudadana" en 1994 en el contexto de describir la experiencia de los laicos. Este trmino
fue pronto modificado para describir una tcnica de investigacin utilizando miembros del
pblico para recopilar o analizar datos cientficos [ 4].]. Ciencia ciudadana se define en el
Libro Verde de la Comisin Europea como compromiso pblico en general en las
actividades de investigacin cientfica donde los ciudadanos contribuyen activamente a la
ciencia ya sea con su esfuerzo intelectual o conocimientos que rodean, o sus herramientas y
recursos [ 5 ].

La ciencia ciudadana involucra al pblico en proyectos cientficos que son difciles de

realizar nicamente por cientficos que carecen de los recursos para recopilar o analizar
datos a gran escala [ 6 ]. La ciencia ciudadana involucra a voluntarios interesados en una
amplia variedad de proyectos, incluyendo el seguimiento de la vida silvestre [ 7 , 8 ] y el
medio ambiente [ 9 ], as como la clasificacin de las imgenes [ 10 - 12 ], la transcripcin
de registros antiguos [ 11 , 13 ] y anotar imgenes de pasado colecciones de biodiversidad
[ 14]. Los objetivos del proyecto van desde el apoyo a las investigaciones cientficas dentro
de las instituciones acadmicas hasta el aumento del inters y el conocimiento de la
poblacin en general sobre la ciencia [ 15 ].

Los proyectos de ciencia ciudadana se pueden clasificar de varias maneras diferentes. Una
clasificacin inicial para estos proyectos se bas en el tipo de participacin voluntaria,
dividindolos en [ 4 , 12 , 13 ]:

Contributivo, donde los participantes contribuyen a la recoleccin de datos, ya

veces ayudan a analizar los datos y difundir los resultados.
Colaborativa, donde los ciudadanos tambin analizan muestras, datos ya veces
ayudan a disear el estudio, interpretar los datos, sacar conclusiones y difundir los
resultados.
Co-creado, donde los ciudadanos participan en todas las etapas del proyecto,
incluyendo la definicin de las preguntas, el desarrollo de las hiptesis, hasta la
discusin de los resultados y responder a nuevas preguntas.

Wiggins y Crowston [ 16 ] sugirieron una clasificacin alternativa para proyectos

especficos de ciencia ciudadana que se basa en los objetivos del estudio e identific los
siguientes cinco tipos de proyectos mutuamente excluyentes y exhaustivos:

Los proyectos de accin son iniciados por voluntarios diseados para fomentar la
intervencin en las preocupaciones locales, tales como mejorar la calidad del agua
en su arroyo local [ 17 ].
Los proyectos de conservacin se ocupan de los objetivos de ordenacin de los
recursos naturales, por ejemplo, un proyecto para vigilar el tipo y la abundancia de
arena de playa [ 18 ].
Los proyectos de investigacin se centran en los objetivos de la investigacin
cientfica en un entorno fsico, por ejemplo, un estudio detallado de la nutricin de
la nutria en California [ 19 ].
Proyectos virtuales tambin se centran en los objetivos de investigacin cientfica,
sino que se basan exclusivamente en tecnologa de la informacin con toda la
interaccin que ocurre voluntarios en lnea como en el Galaxy Zoo, donde los
voluntarios y clasificar las galaxias [ 20 ].
Proyectos de educacin que a menudo se realizan en el aula o en los terrenos de la
escuela como parte del plan de estudios de ciencias, por ejemplo, un estudio de
monitoreo de mariposas y ardillas terrestres [ 21 ].
Una forma adicional de clasificar los proyectos cientficos de los ciudadanos se bas en el
tema que se estaba estudiando, por ejemplo la astronoma, la arqueologa y la biologa
[ 16 ].

Las investigaciones sobre el mtodo cientfico ciudadano que sustentan los proyectos de
ciencia ciudadana incluyen la investigacin sobre la teora de la ciencia ciudadana
[ 22 , 23 ] y los mtodos aplicables a los proyectos cientficos ciudadanos [ 24 , 25 ], as
como las tcnicas de validacin [ 26 , 27 ] motivando a los voluntarios [ 28 , 29 ] y ms
general revisin y artculos de visin general [ 30 , 31 ].

Recientemente se ha argumentado que la Ciencia Ciudadana ha surgido como un campo de

investigacin distinto, cubriendo no slo los proyectos cientficos de los ciudadanos, sino
tambin la disciplina de la ciencia ciudadana [ 23 ]. Neiln y Wu [ 32 ] afirman que el
medio ms importante de la comunicacin cientfica hoy es a travs de publicaciones
cientficas. Un anlisis de documentos revisados por pares demuestra el crecimiento de la
ciencia ciudadana en la literatura cientfica y las reas a las que se aplic la ciencia
ciudadana. Tanto Web of Science como Scopus son bases de datos utilizadas para buscar
artculos revisados por pares. Google Scholar es tambin una base de datos que contiene
artculos revisados por pares, pero tambin contiene publicaciones no revisadas por pares, o
"literatura cientfica popular e informes no publicados o materiales de apoyo a la
enseanza" tal como lo califica Aquillo [33 ]. Por esta razn, un anlisis de artculos en las
bases de datos Web of Science y Scopus es una base de referencia recomendada para la
bsqueda de artculos publicados revisados por pares, aunque en el caso de las
publicaciones cientficas ciudadanas el alcance real de estas publicaciones sera mayor
como muchos otros los estudios se publican en fuentes de la literatura no revisada por pares
y no sera referenciado en estas dos bases de datos [ 34 ].

El objetivo de este trabajo fue resaltar el amplio panorama de la ciencia ciudadana mediante
el monitoreo del uso del trmino "ciencia ciudadana" en documentos publicados por pares
revisados en la Web de la Ciencia y bases de datos de Scopus. Este enfoque no slo puso de
relieve la diversidad de proyectos de investigacin utilizando la ciencia ciudadana y los
cambios que se haban producido a lo largo del tiempo, sino tambin el aumento
significativo de la investigacin sobre los mtodos que sustentan la ciencia ciudadana.

Mtodos
Esta investigacin se basa en una revisin de artculos revisados por pares recopilados en la
Web of Science [ 35 ] y Scopus [ 36 ]. Todos los artculos con "ciencia ciudadana" en el
tema se extrajeron en archivos csv durante aos hasta 2014 inclusive utilizando las
herramientas de exportacin disponibles en Web of Science ( S1 File ) y Scopus ( S2 File )
y combinados en una sola lista. La informacin incluida en la lista combinada fue el
nombre de los autores, el ttulo del artculo, el ttulo de la fuente, el resumen y el ao de
publicacin. Google scholar es otra fuente de artculos, pero no se incluy en este anlisis,
ya que esta fuente incluye tanto peer-reviewed y no revisados artculos tales como informes
tcnicos y borradores [ 37 ].
El segundo paso ( Fig. 1 ) era asegurar que la lista combinada de referencias no contena
duplicados y estuviesen sobre el tema de la ciencia ciudadana tal como se define en el Libro
Verde de la Comisin Europea [ 5 ]. Los artculos con el mismo ttulo y autores fueron
considerados duplicados y excluidos del anlisis posterior. El ttulo y los resmenes de
estos artculos fueron examinados, y artculos que no satisfacen la definicin de la ciencia
ciudadana, tales como financiacin crowdsourced, encuesta a los ciudadanos para
proporcionar aportaciones para la investigacin, educacin cientfica para los ciudadanos,
ciencias polticas y gobierno, jurado ciudadano, herramientas cientficas tiles para los
ciudadanos y la informacin tweeting de la ciencia a los ciudadanos fue excluida de un
anlisis ms a fondo. La lista resultante se convirti en la lista maestra para el anlisis.

Descargar:
PPT
Diapositiva de PowerPoint
PNG
Ampliar imagen
PELEA
imagen original
Fig. 1. Clasificacin de las publicaciones extradas en varias categoras.
https://doi.org/10.1371/journal.pone.0143687.g001

El tercer paso fue examinar los ttulos y resmenes de los artculos de la lista maestra
producida anteriormente para determinar qu artculos describan proyectos cientficos
especficos de los ciudadanos. Los trabajos fuera de la categora de proyectos describieron
la ciencia ciudadana de manera ms general y aspectos de la ciencia ciudadana, como la
teora, la metodologa, las tcnicas de validacin y los beneficios para los participantes. En
este trabajo se clasificaron las publicaciones fuera de la categora de proyecto: i) artculos
que investigan y proponen metodologa cientfica ciudadana o que discuten la teora de la
ciencia ciudadana, ii) artculos que investigan y proponen tcnicas de validacin, iii)
artculos que exploran la motivacin de participantes y los efectos de la participacin y (iv)
artculos generales sobre ciencia ciudadana. Cada artculo se clasific en estas reas de
enfoque utilizando los criterios definidos enTabla S1 .

El cuarto paso fue clasificar los proyectos cientficos ciudadanos de acuerdo con la
tipologa desarrollada por Wiggins y Crowston [ 16 ], en los cinco tipos: accin,
conservacin, investigacin, virtual o educacin, como se describe con ms detalle en
la Tabla S1 . La codificacin de cada artculo fue realizada por un solo investigador basado
en el contenido del resumen. Una seleccin aleatoria de 60 artculos fue codificada
independientemente por un segundo investigador para determinar el nivel de concordancia
y se utiliz como medida de la fiabilidad del proceso de clasificacin, que mostr una
discrepancia de 4% en el proceso de codificacin.

El quinto paso fue la clasificacin de los proyectos cientficos ciudadanos en las reas
temticas ms amplias de la astronoma, el medio ambiente, la biologa y la medicina ( Fig.
2 ). Los temas que no fueron cubiertos en estos encabezados se colocaron en la categora
"otros" temas. Como el componente biolgico era significativo, esta categora se dividi en
los siguientes grupos: invertebrados aviares, terrestres, organismos marinos, herpetologa
(anfibios y reptiles), mamferos y plantas. Este grupo se desvi de los grupos de animales
estndar mediante la incorporacin de invertebrados marinos bajo "organismos marinos"
como proyectos marinos a menudo se incorporan a los dos. Los estudios genricos de
animales tales como los estudios de roadkill se clasificaron en la categora de "otros
animales".

Descargar:
PPT
Diapositiva de PowerPoint
PNG
Ampliar imagen
PELEA
imagen original
Fig. 2. Categorizacin de proyectos de ciencia ciudadana en temas.
https://doi.org/10.1371/journal.pone.0143687.g002

Adems, se identificaron los proyectos que indicaban que utilizaban datos de proyectos
cientficos antiguos. Esto se hizo marcando artculos que mencionaron especficamente
usando bases de datos que fueron obtenidas por ciencia ciudadana o programas de
monitoreo pblico como el "conteo de aves de Navidad".

Para cada uno de los tipos de clasificacin anteriores, el porcentaje y el nmero en cada una
de las categoras se calcularon y se compararon con el ao de publicacin para explorar los
cambios que ocurrieron con el tiempo.

El ltimo paso analiz las revistas donde se publicaron los artculos, para determinar las
revistas ms populares para las publicaciones cientficas ciudadanas y tambin la difusin
de artculos en estas revistas. Esto se hizo creando una lista de los nombres de diario nicos
de la lista maestra y luego contando el nmero de artculos que aparecen en cada una de
estas revistas para cada ao de publicacin.

Resultados y discusiones
Se extrajeron un total de 1656 artculos, 815 artculos de la Web of Science y 841 de
Scopus. Como se duplicaron 529 artculos, apareciendo tanto en la Web de la Ciencia como
en las colecciones Scopus o apareciendo dos veces en las colecciones de Web of Science o
Scopus, se identificaron 1127 artculos nicos. Despus de revisar los artculos en contra de
la definicin de ciencia ciudadana, esta lista se redujo a 888 formando la base para todo el
anlisis siguiente.

El anlisis de fechas publicadas mostr que, aunque la primera publicacin fue en 1997,
pocas publicaciones siguieron durante los prximos 10 aos. En 2007 se presentaron 6
ponencias en la Reunin de la Sociedad Ecolgica de Amrica, que incluy artculos y
proyectos generales sobre colibres y mariposas, y esta exposicin pudo haber contribuido a
un aumento sustancial de las publicaciones a partir de esa fecha, como se observa en
la Fig . 3 . Web of Science representa el 73% de los artculos extrados, mientras que
Scopus representa el 76% y el 49% de los artculos aparecen en ambos.

Descargar:
PPT
Diapositiva de PowerPoint
PNG
Ampliar imagen
PELEA
imagen original
Fig. 3. Crecimiento de artculos publicados publicados por pares sobre ciencia ciudadana.
https://doi.org/10.1371/journal.pone.0143687.g003
Los proyectos de Ciencia Ciudadana fueron el enfoque ms comn para los artculos
(47%). Los artculos generales que contenan reseas y reseas de la ciencia ciudadana
tambin fueron populares (29%), al igual que los artculos sobre metodologa (17%). El
enfoque en los estudios de validacin fue menor (3%), aunque debe tenerse en cuenta que
la mayora de los proyectos cientficos ciudadanos discutieron el mtodo que utilizaron para
su proyecto y cmo sus datos fueron validados y algunos de estos artculos sobre los
proyectos sugeran tcnicas de validacin aplicables a otros proyectos. La mezcla de
artculos ha cambiado con el tiempo. Inicialmente, todos los artculos eran artculos
generales sobre ciencia ciudadana o proyectos especficos. Artculos que se centran en la
metodologa y la validacin se hizo popular despus de 2003 como se muestra en la Tabla
1 y Fig 4A. Los estudios sobre la motivacin de los ciudadanos y el efecto sobre los
ciudadanos son ms recientes y menos numerosos.

Descargar:
PPT
Diapositiva de PowerPoint
PNG
Ampliar imagen
PELEA
imagen original
Fig. 4. Vista grfica de los cambios en las clasificaciones de artculos publicados de 1997 a
2014.
https://doi.org/10.1371/journal.pone.0143687.g004

Descargar:
PPT
Diapositiva de PowerPoint
PNG
Ampliar imagen
 PELEA
imagen original
Cuadro 1. El porcentaje de artculos publicados dividido en reas de enfoque de 1997 a
2014.
https://doi.org/10.1371/journal.pone.0143687.t001

La categora de metodologa incluy artculos sobre herramientas para facilitar la

investigacin cientfica ciudadana, como la usabilidad, la capacidad de adaptar
herramientas para uso individual sin reprogramacin, la incorporacin de tcnicas de
inteligencia artificial para mejorar tanto el rendimiento como la usabilidad, el diseo de
guas electrnicas para ayudar y mejorar la clasificacin de las especies y abordar los
problemas de seguridad y privacidad. Las publicaciones sobre metodologa tambin
abordaron la gestin de grandes datos, incluidos datos estructurados y no estructurados, y
mtodos para combinar diferentes conjuntos de datos para abordar cuestiones
mundiales. Tambin se asignaron a esta categora los mtodos utilizados para establecer y
gestionar proyectos cientficos ciudadanos, incluida la recopilacin de datos para cumplir
los objetivos del proyecto.

En la categora de validacin se incluyeron artculos en los que se inform sobre el efecto

de la capacitacin en la exactitud, cmo diversas caractersticas de los participantes
afectaron su exactitud, aspectos del diseo del proyecto en la precisin y el desarrollo de
marcos efectivos para eliminar el sesgo. Esta categora incluye comparaciones de
participantes con expertos y la validacin de resultados por mltiples observaciones
particularmente aplicables en proyectos virtuales.

Los proyectos de ciencia ciudadana se dividieron en su grupo tipolgico basado en sus

objetivos, definidos como accin, conservacin, investigacin, virtual y educacin
[ 16 ]. Slo se encontraron cuatro artculos que encajan en la categora de accin, donde los
proyectos son iniciados y dirigidos por el pblico y, como tal, generalmente no dan lugar a
publicaciones cientficas. El pblico prefiri publicar sus resultados en publicaciones de la
sociedad, tales como artculos periodsticos, televisin, presentacin, sitios web y medios
sociales, ya que estas fuentes estn ms fcilmente disponibles para el pblico ms amplio
[ 17 , 38 ]. La categora de investigacin represent ms de la mitad (61%) de los artculos
sobre proyectos, como se muestra en la Tabla 2 y la Figura 4B, que abarca artculos
centrados en el descubrimiento cientfico en un entorno fsico. La categora de
conservacin tambin fue popular con 18% centrndose en estudios fsicos con una gestin
de recursos, en lugar de enfoque cientfico. Esto incluye, por ejemplo, el estudio reloj de
carreteras, que registr atropellos en Canad, abordar las preocupaciones tanto desde una
perspectiva de seguridad y de conservacin de la vida silvestre humanos con el objeto de
mitigar los efectos de la ampliacin de la carretera [ 39 ]. Cabe sealar que muchos de los
artculos en la categora de investigacin tambin abord las cuestiones de conservacin,
por ejemplo, estudios que investigaron el declive de una especie en particular con el
objetivo de descubrir las causas subyacentes de esta disminucin puede dar lugar a mejores
mtodos de conservacin [ 40]. La principal diferencia entre la conservacin y la
investigacin fue que las investigaciones suelen ser iniciadas y dirigidas por los cientficos,
y se centran en la obtencin de datos cientficamente vlidos para la investigacin. Con la
popularidad de Galaxy Zoo como resultado de numerosas publicaciones, es sorprendente
que los proyectos virtuales comprendieran slo el 12% de todos los proyectos. Esta fraccin
baja puede deberse a que los proyectos cientficos de los ciudadanos no siempre mencionan
los orgenes de sus datos. Por ejemplo Galaxy Zoo public una lista de 48 publicaciones
(hasta finales de 2014) basadas en datos obtenidos por sus cientficos ciudadanos
[ 41]. Slo 4 se incluyeron en la lista analizada, donde el tema est restringido a aquellos
que se refieren a "ciencia ciudadana". Los artculos faltantes discutieron los
descubrimientos generados usando datos del "zoolgico de la galaxia", ms bien que
reconociendo las contribuciones de los ciudadanos que crearon estos datos. Esto indica que
la contribucin de la ciencia ciudadana a la ciencia en general es significativamente mayor
de lo que se desprende de la literatura sobre ciencia ciudadana. Es probable que los
proyectos virtuales crezcan con proyectos recientes basados en el uso de fuentes de datos
disponibles pblicamente, como Google Earth, que se utiliza para proyectos como el
descubrimiento de nuevos yacimientos arqueolgicos [ 42 ] y archivos de imagen
disponibles pblicamente para descubrir y rastrear especies como la ballena-tiburn
[ 43]. La categora de educacin no estaba representada de manera significativa (7%) y
consisti principalmente en proyectos llevados a cabo en los terrenos de la escuela o aula a
menudo como parte de un plan de estudios de la ciencia, tales como las mariposas y el
seguimiento de proyectos ardilla de tierra [ 21 ].

Descargar:
PPT
Diapositiva de PowerPoint
PNG
Ampliar imagen
PELEA
imagen original
Cuadro 2. El nmero de artculos sobre proyectos cvicos cientficos divididos en sus
grupos de tipologas de 1997 a 2014.
https://doi.org/10.1371/journal.pone.0143687.t002

La biologa domin los temas de los proyectos de ciencia ciudadana, con el 72% de los
proyectos de esta categora ( Tabla 3 y Fig. 4C ). Adems de ser el tema ms dominante, ha
sido el rea con el crecimiento ms rpido y reciente con el objetivo ms comn de estudiar
la diversidad y distribucin de las especies [ 44 ]. Este dominio puede atribuirse al
Laboratorio de Ornitologa de la Universidad de Cornell, sentando las bases para la
aplicacin de esta metodologa y apuntando a los campos de monitoreo de la biodiversidad
e investigacin biolgica [ 4 ]. Los otros proyectos se extendieron entre la Astronoma y el
Medio Ambiente como se ve en la Tabla 3 y Fig. 4C. La categora otros contena diversos
temas que no encajan en los temas anteriores, como la transcripcin de los registros
histricos del tiempo de los registros de envo para la investigacin sobre el cambio
climtico [ 45 ], recuperacin de desastres y de evaluacin de riesgos [ 46 datos de
automviles] y anlisis para la vigilancia del trfico [ 47 ]. Un nuevo rea emergente para la
ciencia ciudadana es la investigacin mdica, tal como un proyecto en el que los
ciudadanos alinean mltiples secuencias de ADN jugando juegos [ 48 ]. El primer estudio
mdico apareci en la lista analizada en 2012.
Descargar:
PPT
Diapositiva de PowerPoint
PNG
Ampliar imagen
PELEA
imagen original
Cuadro 3. Nmero de proyectos de ciencia ciudadana para cada tema de 1997 a 2014.
https://doi.org/10.1371/journal.pone.0143687.t003

Las aves fueron las primeras especies registradas en la lista [ 49 ] y siguen siendo el tema
de investigacin dominante (24%). Los invertebrados terrestres fueron la segunda categora
ms comn (18%), con el 80% de los estudios en esta rea en mariposas o polillas. El
siguiente tema ms popular fue el de estudios marinos (12%), que demostr los diversos
mtodos de involucrar al pblico [ 50 ]. Observaciones registradas por los buceadores
deportivos y pescadores [ 51 ] fueron la base de 24% de los estudios marinos, seguido de
actividades basadas turismo (14%), tales como la observacin de ballenas [ 52 ] y estudios
de agua intermareales y poco profundas [ 53 ]. Anlisis de imgenes disponibles, por
ejemplo de tiburones [ 43] tambin se utilizaron en la categora marina. Los murcilagos
[ 54 ] fueron los mamferos ms comunes estudiados en una categora diversa que incluye
coyotes [ 55 ], ardillas [ 56 ], nutrias [ 19 ] y koalas [ 57 ]. Los estudios sobre plantas
representaron el 7% de los estudios.

Varios artculos tambin se enfocaron en mltiples especies, como pjaros e insectos,

pjaros y flores, y ardillas y mariposas. Estos estudios se incluyeron en ambos temas en la
tabla anterior.

Un nmero cada vez mayor de artculos reutiliz los datos de estudios cientficos anteriores
[ 58 ] para nuevos objetivos de investigacin. Aunque los ciudadanos no hayan participado
directamente en estos nuevos proyectos, no podran haberse realizado sin los proyectos
cientficos anteriores. Las aves aparecieron en la lista maestra como el tema ms comn en
la investigacin basada en proyectos anteriores (41%) como se ve en la Tabla 4 y
la Fig . 4D . El principal motor de esta reutilizacin son los datos libremente disponibles
del proyecto eBird [ 59 ], que contiene ms de medio billn de registros. El sitio web de
eBird [ 60] afirm que ms de 120 publicaciones revisadas por pares han utilizado sus
datos, y que ha habido ms de 6.500 solicitudes de descarga en un perodo de 18
meses. Slo 29 artculos aparecieron en la lista analizada, que se restringi a aquellos con
"ciencia ciudadana" en su tema, resumen o palabras clave. La dificultad de descubrir
papeles que reutilizan datos de la ciencia ciudadana fue resaltada por un anlisis reciente
[ 61 ] de los trabajos de investigacin utilizados por un artculo sobre el cambio climtico
usando datos de migracin aviar [ 62 ] .], que encontr que 85 de los 171 artculos
referenciados en ese estudio se basaban en la ciencia ciudadana, pero el trmino ciencia
ciudadana nunca apareci en ninguno de estos documentos de referencia, basndose en el
conocimiento del investigador de nombres de programas especficos para identificar la
fuente de los datos. Los invertebrados terrestres aparecen en la lista principal como un tema
con el mayor porcentaje (24%) de artculos basados en datos reutilizados y, de stos, las
mariposas eran el tema ms comn. La disponibilidad de bases de datos pblicas a largo
plazo, como la base de datos de la Asociacin Norteamericana de Mariposas, cada vez ms
usada por los cientficos para estudiar las tendencias de poblacin [ 63 ], es un factor
importante para la reutilizacin de datos cientficos ciudadanos.

Descargar:
PPT
Diapositiva de PowerPoint
PNG
Ampliar imagen
PELEA
imagen original
Cuadro 4. El nmero de artculos que reconocen el uso de datos cientficos de ciudadanos
de proyectos anteriores agrupados por temas de 1997 a 2014.
https://doi.org/10.1371/journal.pone.0143687.t004

La investigacin sobre el cambio climtico es un ejemplo en el que se utilizan cada vez ms

datos sobre la ciencia ciudadana [ 64 ], ya menudo combinan datos de mltiples proyectos
diferentes. Agregacin de datos de diversos conjuntos de datos requiere la investigacin
tanto en la calidad de los datos [ 65 ], as como tcnicas para combinar los datos de los
estudios recogidos y generados a partir de diversos conjuntos de datos [ 66 ].

Los artculos de la ciencia ciudadana se dispersaron en muchas publicaciones diferentes con

los 888 artculos analizados aqu apareciendo en 479 diferentes fuentes de publicacin. El
setenta por ciento de estos artculos aparecieron en fuentes de publicacin que slo han
publicado uno o dos artculos sobre ciencia ciudadana. PLOS One (25 artculos), Fronteras
en Ecologa y Medio Ambiente (19 artculos) y Conservacin Biolgica (14 artculos)
fueron las fuentes ms prolficas de artculos sobre ciencia ciudadana. Una publicacin
especial sobre ciencia ciudadana en Fronteras en Ecologa y Medio Ambiente contribuy a
la importancia de esta revista.

La comprensin de la difusin de los artculos anima a los investigadores a buscar ms

ampliamente la informacin que pueden aplicar a su propia investigacin, y puede
aumentar la fertilizacin cruzada de las ideas. El inminente Citizen Science Journal [ 67 ]
tambin proporcionar un enfoque en los artculos cientficos de la ciudadana.

Conclusin
El trmino "ciencia ciudadana" est apareciendo cada vez ms en revistas revisadas por
pares, lo que indica un mayor uso y aceptacin de este trmino.

Adems de describir los proyectos y sus resultados, el nmero de artculos que abordan la
metodologa y la validacin indic que los cientficos estn abordando las preocupaciones
de que los datos recopilados o analizados puedan contener errores resultantes de la
utilizacin de ciudadanos no capacitados. Estos artculos discutieron las causas y cmo
disear proyectos que mitiguen estos errores. Los trabajos de investigacin que utilizaron y
combinaron conjuntos de datos disponibles de proyectos cientficos anteriores indicaron
que, al menos en algunas reas, los cientficos consideraban que los conjuntos de datos eran
de calidad suficiente para futuras investigaciones.

Los artculos de la ciencia del ciudadano aparecieron en una amplia gama de las
publicaciones que reflejan la gama de disciplinas que utilizan la ciencia del ciudadano. Los
autores esperan que este amplio anlisis aliente a los investigadores a aprender de la
investigacin cientfica ciudadana en otras disciplinas que podran mejorar sus propios
proyectos. Esto es particularmente aplicable a las reas emergentes de la ciencia ciudadana,
como la medicina.

La investigacin de la Ciencia Ciudadana tambin incluy investigacin sobre los

ciudadanos que participan, por qu toman parte y qu beneficios obtuvieron. La
participacin directa del pblico en los proyectos de investigacin asegura que estn menos
preocupados por los resultados y el propsito de la ciencia, adems de exponerlos al
proceso cientfico. Esto tiene el potencial para combatir el escepticismo pblico de la
ciencia cuando se enfrenta a debates en reas como el cambio climtico. La retencin de
voluntarios es fundamental para asegurar la participacin continua a largo plazo y existe la
posibilidad de basarse en los estudios actuales en esta rea con ms investigaciones.

Con el crecimiento de la produccin publicada y la capacidad de aprender de la experiencia

pasada, se espera que la investigacin usando el mtodo de la ciencia ciudadana se
incremente y se expanda a nuevas reas.

informacin de soporte
S1_File.csv
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

n R

c C h

i a o
A
a l d
S
d i e M
S P I
P A o f G O Z T X Y Z P A Z S S B V E S A B E
1 E I
T U o P I I 2 I 1 1 1 N E 3 1 E S L S I M P P
R E Q
e r s
U
n n l
E
i a

L a n

e d

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

L U

i n

u
S
, e
A
n
L
H f
U
a o
D
i q

- u
A
Y e 1
2 J M
i 3
B
n c
I
g o
E
; n
N
c
T
K e
A
o p
L
b t

e u

r a
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

n l

s p

, a

M a

k u

e n

B b

r s

o e

d r

a v

y a

, t

D r
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

a i

v o

d d

; e

B c

a i

r u

t d

o a

n d

o a

v n

a o

, s

A -

e A
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

n p

a o

a
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

n
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

d
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

C A A

u n n

i l l

, i i

s s

N i i A

a s s v

t o
1
a c c c 3 9
3 J 2 2
l u u e 8 1
6
i a a t

n l l t

o i i a

; t t

a a

C t t

a i i

n v v

a o o
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

e y y

c c

E u u

m a a

a n n

n t t

u i i

e t t

l a a

a t t

i i

D v v

o o o

e d d

n e e

i l

c l l
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

a a a

a t

c i

t v

i i

v t

i a

a d

d I

s a

o n

n e

o l

r l

a a

e e
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

n n

S o

c e

i n

i S

a i

e i

n l

1 a

9 n

8 e

- l

0 p
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

1 e

3 r

.
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

D E C
3 3 3
4 J a L a
9 2 5
v n
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

e P b

y e

, J r

A r

C R a

h O

r B

i D i

s E r

; L d

E A N

y o

l O t

e a

s P s

, R

K Y

a E
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

t C

h T

y O

E
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

E
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

G
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

T N N

e U a

s E t

s V u

l A r

e S a

r l

, I i

N s 2 2
9
5 J D S t 3 5 6
5
F P a 1 3

; E

C d

S C e

n I l

i O

v N n

e E o

l S r
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

y o

, S e

O s

M B t

L R e

; E

G L

o A

t D

h I

a S

r T

d R

t I

, B

T C

A I
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

L
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

E
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

O
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

U
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

.
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

G E A

o f C

o e T

d c A

e t 1 1
4
6 J n o O 2 5 7
9
o s R 7 3

u N

g d I

h e T

, l H
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

A h L

n O

n b G

e i I

t C

E a A

. t

x
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

n
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

a
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

l
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

o
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

o
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

a
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

s
 d

c
1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2
1 2 3 4 5 6 7 8 9 i
0 1 2 3 4 5 7 8 9 0 1 2 3 4 5 6 7
s

2527096.csv

La figura Compartir

1/3

descargar
La lista de publicaciones con "ciencia ciudadana" en el tema de la Web of Science al 1 de julio de
2015.

Archivo S1. Publicaciones de Web of Science.

La lista de publicaciones con "ciencia ciudadana" en el tema de la Web of Science al 1 de

julio de 2015.
https://doi.org/10.1371/journal.pone.0143687.s001
(CSV)

Archivo S2. Publicaciones de Scopus.

La lista de Publicaciones con "ciencia ciudadana" en el tema de Scopus al 1 de julio de

2015.
https://doi.org/10.1371/journal.pone.0143687.s002
(CSV)
Tabla S1. Criterios utilizados en los artculos de codificacin.

Una tabla que define los criterios utilizados para codificar los artculos en sus categoras.
https://doi.org/10.1371/journal.pone.0143687.s003
(DOCX)

Contribuciones de autor
Concebido y diseado los experimentos: RF. Se analizaron los datos: RF VS. Escribi el
artculo: RF VS.

Referencias
1. 1.Miller-Rushing A, R Primack, Bonney R. La historia de la participacin pblica
en la investigacin ecolgica. Fronteras en Ecologa y Medio Ambiente. 2012; 10
(6): 285 - 90.
o Ver artculo
PubMed / NCBI
Google Acadmico
2. 2.Tian HD, Stige LC, Cazelles B, Kausrud KL, Svarverud R, Stenseth NC, y col. La
reconstruccin de una serie de langostas de 1.910 aos de largo revela asociaciones
consistentes con las fluctuaciones climticas en China. Actas de la Academia
Nacional de Ciencias de los Estados Unidos de Amrica. 2011; 108 (35): 14521-
6. pmid: 21876131
Ver artculo
PubMed / NCBI
Google Acadmico
3. 3.Irwin A, Georg S, Vergragt P. EL GESTIN SOCIAL DEL CAMBIO
AMBIENTAL. Futuros. 1994; 26 (3): 323 - 34.
Ver artculo
PubMed / NCBI
Google Acadmico
4. 4.Bonney R, Cooper CB, Dickinson J, Kelling S, Phillips TB, Rosenberg KV, et
al. Ciencia ciudadana: una herramienta en desarrollo para ampliar el conocimiento
cientfico y la alfabetizacin cientfica. Biociencia. 2009; 59 (11): 977-84.
Ver artculo
PubMed / NCBI
Google Acadmico
5. 5.Comisin Europea. Libro Verde sobre la Ciencia Ciudadana. 2013.
6. 6.Willett KW, CJ Lintott, Bamford SP, Masters KL, Simmons BD, Casteels KRV,
et al. Galaxy Zoo 2: clasificaciones morfolgicas detalladas para 304 122 galaxias
de la Sloan Digital Sky Survey. Avisos mensuales de la Royal Astronomical
Society. 2013; 435 (4): 2835 - 60.
Ver artculo
PubMed / NCBI
Google Acadmico
7. 7.Wiersma YF. Birding 2.0: Ciencia Ciudadana y Monitoreo Efectivo en el Mundo
Web 2.0. Conservacin y Ecologa Avcola. 2010; 5 (2).
Ver artculo
PubMed / NCBI
Google Acadmico
8. 8.Howard E, Aschen H, Davis, AK. Observaciones cientficas ciudadanas de la
mariposa monarca que invernan en el sur de los Estados Unidos. Psique: Un Diario
de Entomologa. 2010; 2010.
Ver artculo
PubMed / NCBI
Google Acadmico
9. 9.Hoyer MV, Wellendorf N, Frydenborg R, Bartlett D, Canfield, DE. Una
comparacin entre profesionales (Departamento de Proteccin Ambiental de la
Florida) y voluntarios (Florida LAKEWATCH) recolect datos de qumica trfica
del estado en Florida. Manejo del lago y del embalse. 2012; 28 (4): 277-81.
Ver artculo
PubMed / NCBI
Google Acadmico
10. 10.Smith AM, Lynn S, Sullivan M, Lintott CJ, Nugent PE, Botyanszki J, y
col. Galaxy Zoo Supernovae estrellas. Avisos mensuales de la Royal Astronomical
Society. 2011; 412 (2): 1309 - 19.
Ver artculo
PubMed / NCBI
Google Acadmico
11. 11.Williams AC, Wallin JF, Haoyu Y, Perale M, Carroll HD, Lamblin AF, y
col. Una tubera computacional para transcripciones crowdsourced de fragmentos
del papiro griego clsico. 2014 IEEE Conferencia Internacional sobre Datos
Grandes (Big Data). 2014: 100-5.
12. 12.Faridani S, Lee B, Glasscock S, Rappole J, Cancin D, Goldberg K, editores. Un
observatorio telerobtico en red para la observacin remota colaborativa de
actividad aviar y cambio de rango. Proceedings of the 2009 IFAC Workshop on
Robotics en Red (Moore KL, Ed) Federacin Internacional de Control Automtico
Elsevier, Oxford, Reino Unido Citeseer; 2009.
13. 13.Hill A, Guralnick R, Smith A, Sallans A, Gillespie R, Denslow M, et al. Las
notas de la herramienta de la naturaleza para desbloquear los registros de
biodiversidad de los registros del museo a travs de la ciencia
ciudadana. ZooKeys. 2012; 209: 219 - 33. pmid: 22859890
Ver artculo
PubMed / NCBI
Google Acadmico
14. 14.Tschope O, Macklin JA, Morris RA, Suhrbier L, Berendsohn WG. Anotar datos
de biodiversidad a travs de Internet. Taxn. 2013; 62 (6): 1248-58.
Ver artculo
PubMed / NCBI
Google Acadmico
15. 15.Toomey AH, Domroese MC. Puede la ciencia ciudadana conducir a actitudes y
comportamientos positivos de conservacin? Revisin de Ecologa Humana. 2013;
20 (1): 50-62.
Ver artculo
PubMed / NCBI
Google Acadmico
16. diecisis.Wiggins A, Crowston K. De la conservacin a crowdsourcing: una
tipologa de la ciencia ciudadana. Actas de la 44 Conferencia Internacional de
Hawaii sobre Ciencias del Sistema (HICSS 2011). 2011: 10 pp.- pp.
17. 17.Programa de Monitoreo de la Cuenca de Shermans Creek 2008 [Accedido el 11
de noviembre de 2014]. Disponible: http://www.shermanscreek.org/about-us.html .
18. 18.Rosevelt C, Los Huertos M, Garza C, Nevins HM. Desechos marinos en el
centro de California: cuantificacin del tipo y abundancia de arena de playa en
Monterey Bay, CA. Boletn de la contaminacin marina. 2013; 71 (1-2): 299 -
306. pmid: 23499538
Ver artculo
PubMed / NCBI
Google Acadmico
19. 19.Brzeski KE, Gunther MS, JM Negro. Evaluacin de la demografa de la nutria de
ro usando mtodos genticos no invasivos. Diario de Gestin de Vida
Silvestre. 2013; 77 (8): 1523 - 31.
Ver artculo
PubMed / NCBI
Google Acadmico
20. 20.Clery D. Galaxy Zoo Voluntarios Compartir El dolor y la gloria de la
investigacin. Ciencia. 2011; 333 (6039): 173-5. pmid: 21737731
Ver artculo
PubMed / NCBI
Google Acadmico
21. 21.Kelemen-Finan J, Knoll C, Proebstl-Haider U. Ciudadano Ciencia-realmente
fresco o simplemente estpido? El monitoreo laico como contribucin a la
educacin ambiental de los jvenes. Naturschutz und Landschaftsplanung. 2013; 45
(6): 171-6.
Ver artculo
PubMed / NCBI
Google Acadmico
22. 22.Suomela TE. Ciencia Ciudadana: Enmarcando al Pblico, Intercambio de
Informacin y Comunicacin en la Ciencia de Crowdsourced. 2014.
23. 23.Jordania R, Crall A, S gris, Phillips T, Mellor D. La ciencia del ciudadano como
campo de investigacin distinto. Biociencia. 2015; 65 (2): 208-11.
Ver artculo
PubMed / NCBI
Google Acadmico
24. 24.Jun Y, Weng-Keen W, Hutchinson RA. Modelizacin de expertos y novatos en
datos de ciencia ciudadana para modelizacin de distribucin de especies. Actas
2010 10 Conferencia Internacional IEEE sobre Minera de Datos (ICDM
2010). 2010: 1157-62.
25. 25.Shirk JL, Ballard HL, Wilderman CC, Phillips T, Wiggins A, Jordan R, et
al. Participacin del pblico en la investigacin cientfica: un marco para el diseo
deliberado. Ecologa y Sociedad. 2012; 17 (2).
Ver artculo
PubMed / NCBI
Google Acadmico
26. 26.Wiggins A, Newman G., Stevenson RD, Crowston K. Mecanismos para la
calidad de los datos y la validacin en la ciencia ciudadana. Actas de la Sptima
Conferencia Internacional IEEE sobre Talleres de Ciencia Electrnica (eScienceW
2011). 2011: 14-9.
27. 27.Crowston K, Prestopnik NR. Motivacin y calidad de los datos en un juego de
ciencia ciudadana: una evaluacin de la ciencia del diseo. Actas de la 46
Conferencia Internacional de Hawaii sobre Ciencias del Sistema (HICSS
2013). 2013: 450-9.
28. 28.Rotman D, Hamaca J, Preece J, Hansen D, Boston C, Bowser A, et
al. Motivaciones que afectan a la participacin inicial ya largo plazo en proyectos de
ciencia ciudadana en tres pases. 2014.
29. 29.Lin HS, Lawrenz F, Lin SF, Hong ZR. Relaciones entre factores afectivos y
participacin preferida en actividades relacionadas con la ciencia. Public Underst
Sci. 2013; 22 (8): 941 - 54. pmid: 24151085
Ver artculo
PubMed / NCBI
Google Acadmico
30. 30.Gura T. Ciencia ciudadana: expertos aficionados. Naturaleza. 2013; 496 (7444):
259 - 61. pmid: 23586092
Ver artculo
PubMed / NCBI
Google Acadmico
31. 31.Silvertown J. Un nuevo amanecer para la ciencia ciudadana. Tendencias en
Ecologa y Evolucin. 2009; 24 (9): 467-71. pmid: 19586682
Ver artculo
PubMed / NCBI
Google Acadmico
32. 32.Neylon C, Wu S. Artculo de nivel mtricas y la evolucin del impacto
cientfico. PLoS biologa. 2009; 7 (11): 2459.
Ver artculo
PubMed / NCBI
Google Acadmico
33. 33.Aguillo IF. Es til Google Scholar para la bibliometra? Un anlisis
webomtrico. Scientometrics. 2012; 91 (2): 343-51.
Ver artculo
PubMed / NCBI
Google Acadmico
34. 34.Theobald E, Ettinger A, Burgess H, DeBey L, Schmidt N, Froehlich H, et
al. Cambio global y soluciones locales: Aprovechar el potencial no realizado de la
ciencia ciudadana para la investigacin sobre la biodiversidad. Conservacin
Biolgica. 2015, 181: 236 - 44.
 Ver artculo
PubMed / NCBI
Google Acadmico
35. 35.Hladka B, Uresova Z y Bemova A. Web of Science. 2012.
36. 36.Scopus: Elsevier; [Consultado el 1 de julio de
2015]. Disponible: http://www.scopus.com/ .
37. 37.Google. Google Scholar Inclusion 2015 [Accedido el 2 de marzo de
2015]. Disponible: https://scholar.google.com.au/intl/en/scholar/inclusion.html#ove
rview .
38. 38.van Vliet AJH, Bron WA, Mulder S. El cmo y por qu de las publicaciones de
la sociedad para los proyectos cientficos de la ciudad y los cientficos. Revista
Internacional de Biometeorologa. 2014; 58 (4): 565 - 77. pmid: 24705824
Ver artculo
PubMed / NCBI
Google Acadmico
39. 39.Lee T, Quinn MS, Duke D. Ciudadano, ciencia, carreteras y vida silvestre:
usando un SIG basado en la web para involucrar a los ciudadanos en la recoleccin
de informacin sobre vida silvestre. Ecologa y Sociedad. 2006; 11 (1): 11.
Ver artculo
PubMed / NCBI
Google Acadmico
40. 40.Bates AJ, Sadler JP, Grundy D, Lowe N, Davis G, Baker D, y col. Jardn y
escala del paisaje correlatos de polillas de diferentes estados de conservacin:
efectos significativos de la urbanizacin y la diversidad del hbitat. 2014.
41. 41.Zoouniverse. Publicaciones. 2015 [Accedido el 27 de febrero de
2015]. Disponible: https://www.zooniverse.org/publications .
42. 42.Lin AY-M, Huynh A, Barrington L, Lanckriet G. Bsqueda y descubrimiento a
travs de la computacin humana. Manual de Computacin Humana:
Springer; 2013. p. 171-86.
43. 43.Davies TK, Stevens G, Meekan MG, Struve J, Rowcliffe JM. Puede la ciencia
ciudadana monitorizar las agregaciones de tiburones ballena? Investigar el sesgo en
el modelado de marcas y recapturas utilizando fotografas de identificacin
obtenidas del pblico. Investigacin de la fauna. 2012; 39 (8): 696-704.
Ver artculo
PubMed / NCBI
Google Acadmico
44. 44.Donnelly A, Crowe O, Regan E, Begley S, Caffarra A. El papel de la ciencia
ciudadana en el monitoreo de la biodiversidad en Irlanda. Revista Internacional de
Biometeorologa. 2014; 58 (6): 1237-49. pmid: 23975107
Ver artculo
PubMed / NCBI
Google Acadmico
45. 45.Brohan P, Allan R, Freeman JE, Waple AM, Wheeler D, Wilkinson C, y
col. OBSERVACIONES MARINAS DEL TIEMPO VIEJO. Boletn de la Sociedad
Meteorolgica Americana. 2009; 90 (2): 219 - +.
Ver artculo
PubMed / NCBI
 Google Acadmico
46. 46.McCormick S. Despus del Cap: Evaluacin del Riesgo, Ciencia Ciudadana y
Recuperacin de Desastres. Ecologa y Sociedad. 2012; 17 (4).
Ver artculo
PubMed / NCBI
Google Acadmico
47. 47.Simon Jirka D, Remke A, Brring A. enviroCar-Crowd Sourced Traffic and
Environment Data for Sustainable Mobility.
48. 48.Kawrykow A, Roumanis G, Kam A, Kwak D, Leung C, Wu C, et al. Phylo: Un
enfoque de la ciencia ciudadana para mejorar la alineacin de secuencias
mltiples. Ms uno. 2012; 7 (3). pmid: 22412834
Ver artculo
PubMed / NCBI
Google Acadmico
49. 49.Dhondt AA, Bonney RE Jr. Tomando la investigacin de aves en el aula. AAAS
Annual Meeting y Science Innovation Exposition. 1997; 163 (0): A18 - A.
Ver artculo
PubMed / NCBI
Google Acadmico
50. 50.CIUDADES CIUDADANAS Y INVESTIGACIN MARINA:
PARTICIPANTES VOLUNTARIOS, SUS CONTRIBUCIONES Y
PROYECCIN PARA EL FUTURO. Oceanogr Mar Biol. 2014; 52: 257 - 314.
Ver artculo
PubMed / NCBI
Google Acadmico
51. 51.Bulleri F, Benedetti-Cecchi L. Bsqueda de peces y datos de captura: videos
recreativos de pesca submarina como herramienta para evaluar la estructura de las
agrupaciones de peces en los arrecifes rocosos poco profundos. Serie del progreso
de la ecologa marina. 2014; 506: 255 - U569.
Ver artculo
PubMed / NCBI
Google Acadmico
52. 52.Patrones de distribucin de ballenas jorobadas migratorias (Megaptera
novaeangliae) en Jervis Bay, Australia: un anlisis espacial utilizando datos
cientficos de ciudadanos geogrficos. Geografa Aplicada. 2014; 54: 83-95.
Ver artculo
PubMed / NCBI
Google Acadmico
53. 53.Cox TE, Philippoff J, Baumgartner E, Smith CM. La variabilidad de expertos
proporciona una perspectiva de las fortalezas y debilidades del programa de
monitoreo intermareal impulsado por los ciudadanos. Aplicaciones
Ecolgicas. 2012; 22 (4): 1201-12. pmid: 22827128
Ver artculo
PubMed / NCBI
Google Acadmico
54. 54.Fahr J. AfriBats, un proyecto de ciencia ciudadana que documenta las
distribuciones de murcilagos en frica y las islas circundantes. Noticias africanas
de la conservacin del murcilago. 2013; 30: 2.
Ver artculo
PubMed / NCBI
Google Acadmico
55. 55.Weckel ME, Mack D, Nagy C., Christie R, Wincorn A. Uso de la Ciencia
Ciudadana para hacer un mapa de la interaccin humano-coyote en los suburbios de
Nueva York, Estados Unidos. Diario de Gestin de Vida Silvestre. 2010; 74 (5):
1163 - 71.
Ver artculo
PubMed / NCBI
Google Acadmico
56. 56.Mori E, Menchetti M. "A veces vuelven": la ciencia ciudadana revela la
presencia de la ardilla roja italiana en Campania. Quaderni del Museo Civico di
Storia Naturale di Ferrara. 2014, 2: 91 - 4.
Ver artculo
PubMed / NCBI
Google Acadmico
57. 57.Sequeira AMM, PEP de Roetman, Daniels CB, Baker AK, Bradshaw
CJA. Modelos de distribucin de koalas en el sur de Australia utilizando datos
cientficos recogidos por la ciudadana. Ecologa y Evolucin. 2014; 4 (11): 2103 -
14. pmid: 25360252
Ver artculo
PubMed / NCBI
Google Acadmico
58. 58.Bonney R, Shirk JL, Phillips TB, Wiggins A, Ballard HL, Miller-Rushing AJ, y
col. Prximos Pasos para la Ciencia Ciudadana. Ciencia. 2014; 343 (6178): 1436-
7. pmid: 24675940
Ver artculo
PubMed / NCBI
Google Acadmico
59. 59.Sullivan BL, Aycrigg JL, Barry JH, Bonney RE, Bruns N, Cooper CB, et al. La
empresa eBird: Un enfoque integrado para el desarrollo y la aplicacin de la ciencia
ciudadana. Conservacin Biolgica. 2014; 169: 31 - 40.
Ver artculo
PubMed / NCBI
Google Acadmico
60. 60.eBird. ltimas Noticias [Internet]: ebird.org . 2014. [Consultado el 8 de octubre
de 2014]. Disponible: http://ebird.org/content/ebird/news/gbif/ .
61. 61.Cooper CB, Shirk J, Zuckerberg B. La prevalencia invisible de la ciencia
ciudadana en la investigacin global: las aves migratorias y el cambio
climtico. Ms uno. 2014; 9 (9): e106508. pmid: 25184755
Ver artculo
PubMed / NCBI
Google Acadmico
62. 62.Knudsen E, Linden A, ambos C, Jonzen N, Pulido F, Saino N, y
col. Reivindicaciones desafiantes en el estudio de las aves migratorias y el cambio
climtico. Revisiones Biolgicas. 2011; 86 (4): 928-46. pmid: 21489123
Ver artculo
PubMed / NCBI
Google Acadmico
63. 63.Meehan TD, Glassberg J, Gratton C. Estructura de la comunidad de mariposas y
composicin del paisaje en paisajes agrcolas del centro de los Estados
Unidos. Revista de Conservacin de Insectos. 2013; 17 (2): 411-9.
Ver artculo
PubMed / NCBI
Google Acadmico
64. 64.Hurlbert AH, Liang Z. Variacin espaciotemporal en la migracin aviar
Fenologa: La ciencia ciudadana revela los efectos del cambio climtico. Ms
uno. 2012; 7 (2). pmid: 22384050
Ver artculo
PubMed / NCBI
Google Acadmico
65. sesenta y cinco.Michener WK, Jones MB. Ecoinformtica: Apoyo a la ecologa
como ciencia de datos intensivos. Tendencias en ecologa y evolucin. 2012; 27 (2):
85-93. pmid: 22240191
Ver artculo
PubMed / NCBI
Google Acadmico
66. 66.Jun Y, Kelling S, Gerbracht J, Weng-Keen W. Automatizacin de la verificacin
de datos en un proyecto de ciencia ciudadana a gran escala: un estudio de
caso. 2012 IEEE 8 Conferencia Internacional sobre E-Science (e-Science). 2012: 8
pp.- pp.
67. 67.Asociacin Ciudadana de Ciencia. Ciencia Ciudadana: Teora y Prctica 2015
[Accedido el 4 de marzo de
2015]. Disponible: http://theoryandpractice.citizenscienceassociation.org/ .