Pgina 1

Medicin de la comprensin lectora

La medicin de la comprensin lectora

La medicin de la comprensin lectora a travs de los instrumentos elaborados por la DGE tiene lugar en el rico escenario descrito anteriormente. Aunque esto ha significado contar con numerosos elementos tericos para el diseo de las pruebas, ha implicado tambin adoptar una posicin ante el tema de la comprensin lectora, desde la cual se puedan articular los elementos tcnicos suficientes para sustentar la medicin. Por eso, la unidad de diagnstico llamada "Habilidad verbal" (en lo sucesivo HV), represent un reto de mucho inters desde 1983, cuando se elabor la primera batera para medir la variable aptitud general en los aspirantes a ingresar al bachillerato pedaggico y a las licenciaturas en educacin normal. Gradualmente y en la medida que el marco terico de la comprensin lectora fue aclarndose como resultado de: A) la investigacin en el campo; B) la traduccin al espaol de obras tericas; y C) la distribucin de dichas obras en el mercado nacional , la DGE fue siendo capaz de afinar su propio marco de referencia, dando mayor sentido y utilidad a la medicin de las habilidades para la comprensin lectora. Al mismo tiempo, el anlisis de los instrumentos elaborados ao con ao fue capitalizado como una fuente de informacin importante respecto a qu estrategias para la comprensin lectora pueden ser medidas a travs de instrumentos "cerrados", y cul es la mejor manera de hacerlo. La conjugacin de estos dos factores ha permitido que las preguntas de HV sean cada vez ms slidas, desde el punto de vista de qu miden, cmo lo miden y qu informacin aportan sobre las condiciones de los estudiantes. Lo anterior no debe interpretarse como un elogio a los instrumentos; es, sencillamente, una declaracin de su estado actual tras un proceso continuo de depuracin, que no obvia el hecho de que son perfectibles. En 1989, cuando se inicia la elaboracin del IDANIS, la construccin del marco referencial necesario para sustentar la medicin de las habilidades lectoras tena un avance significativo para su momento. Por ejemplo, se haban excluido de dicho marco algunos elementos de cuo psicomtrico, presentes en las versiones de 1983 a 1989, y comenzaban a incorporarse conceptos enraizados en las teoras del procesamiento de la informacin, lo cual pona a la DGE al encuentro de las aportaciones de van Dijk y Kintsch. A partir de los aos 90, la reflexin relativa a cmo medir las habilidades verbales, permiti seguir avanzando en el afinamiento del marco referencial correspondiente, mismo que alcanz su direccin definitiva entre 1996 y 1998. En 1998, la incorporacin de los modelos de van Dijk y Kintsch era plena, si bien el diseo de algunas preguntas es objeto de estudio todava a la fecha. Para entender por qu el diseo de HV es producto de un proceso, resulta importante hacer notar que la elaboracin de la unidad se fundamenta en los modelos tericos reseados en el captulo

anterior, pero requiere trasladar los constructos propuestos en el plano de la teora, al nivel de la aplicacin concreta. Es decir, se requiere convertir la teora en tecnologa; o sea, en recursos para medir la comprensin lectora. Por eso, independientemente de las experiencias obtenidas en ese sentido por otras naciones, como Espaa, los Estados Unidos, Holanda y Francia, la propia DGE auspici tentativas de operacionalizar los modelos tericos en el marco de la medicin. Al respecto, cabe sealar que el proceso de diseo de HV se encuentra inacabado, en el sentido de que los modelos tericos sobre comprensin lectora son replanteados por sus autores, como ocurre con todas las teoras, y en la medida que la operacionalizacin es corregida de acuerdo con los datos arrojados por cada experimentacin realizada justamente con ese propsito. Asimismo, se encuentra por concluir puesto que recientemente se han venido agregando los aportes de la investigacin en medicin del aprendizaje, vigorosamente impulsados por modelos matemticos.

Al igual que las unidades de "Habilidad matemtica" y "Razonamiento formal", la de HV est integrada por preguntas de opcin mltiple. Aunque muchos miembros de la comunidad educativa nacional cuestionan dicho tipo de preguntas, stas constituyen un valioso medio para obtener informacin, incluso preferible a otros en circunstancias determinadas. Las crticas a las pruebas de opcin mltiple se basan en su origen asociado a la tecnologa educativa de corte conductista, o magnifican sus limitaciones, derivadas de su alto grado de estructuracin. Quienes sustentan la primera objecin suponen que cuando una teora es superada, se relegan todos sus principios, conceptos y aplicaciones sin excepcin. Es decir, sostienen que una teora desaparece sin dejar aportaciones. Sin embargo, esta concepcin es errnea, pues desconoce que el progreso de las diferentes teoras en los diversos campos del conocimiento tiene lugar gracias a un proceso dialctico. Ciertamente, tal proceso implica una confrontacin entre dos paradigmas, pero sta tiene entre sus resultados la apropiacin de ideas, conceptos y aplicaciones del paradigma precedente, tras una revisin y recontextualizacin. As, aun en los casos de ruptura ms radical, un cuerpo de conocimientos deja una huella en el subsiguiente. Por su parte, quienes acusan limitaciones en las pruebas de opcin mltiple, pierden de vista que ningn instrumento permitira recabar el cmulo de informacin deseable para interpretar incluso un solo aspecto del fenmeno educativo. En rigor, el amplio elenco de instrumentos de medicin y observacin que se han allegado los educadores (acudiendo al subsidio de diversas disciplinas como la Sociologa, la Psicologa y la Antropologa, entre otras) responde a la conciencia de que ningn instrumento por s solo permitira reunir las evidencias necesarias para describir, comprender o explicar la compleja red que constituye el acto educativo. En este sentido, es una verdad inobjetable que las pruebas de opcin mltiple presentan limitaciones de principio, pero en esto no se diferencian de otros instrumentos. Por ejemplo, aquellos que rescatan la perspectiva del observador en virtud de sus bases epistemolgicas, renuncian a la posibilidad de generalizar sus resultados; aquellos que exploran la ejecucin concreta de una tarea por parte del sujeto, por as

convenir a su planteamiento metodolgico, obvian la posibilidad de realizar mediciones a gran escala. En efecto, las pruebas de opcin mltiple alcanzaron su mayor definicin en el seno de la tecnologa educativa de los aos 50, pero han trascendido al conductismo no slo por las numerosas ventajas que ofrecen, sino porque ms all de su forma, lo relevante es el marco
referencial en el cual se interpreta la informacin que permiten recabar. En el caso especfico del IDANIS, este marco se encuentra enraizado en el cognoscitivismo, como se ha venido reiterando, lo cual significa que las preguntas representan una exploracin de las estrategias cognitivas empleadas por los alumnos para resolver una situacin-problema, al tiempo que permiten una revisin de la eficiencia con que las utilizan. Asimismo, es verdad que el alto grado de estructuracin de las preguntas excluye la ejecucin real de los alumnos, pues quedan sujetos al universo de las opciones presentadas en cada pregunta; pero, en cambio, se delimita sin ambigedad la situacin-problema y se precisa en las opciones el tipo de procedimientos susceptibles de anlisis, lo cual se traduce en condiciones de equidad para los sustentantes. Por lo dems, en este caso la ejecucin real no es ms ilustrativa que la ejecucin virtual registrada mediante un instrumento de opcin mltiple, porque las habilidades lectoras slo

se observan de manera indirecta a travs de los productos que presenta el sujeto. No se entienda, por lo anterior, que el total de pruebas de opcin mltiple utilizadas en el mbito educativo son siempre pertinentes: de hecho, la existencia de instrumentos deficientes, lo mismo que su empleo inadecuado son, probablemente, otras de las razones que explican la crtica a las pruebas de opcin mltiple. La experiencia de la DGE al respecto es que numerosos instrumentos existentes en el medio presentan fallas de distinta magnitud en su elaboracin o en su marco de referencia. En ocasiones, esas pruebas han sido elaboradas por cuerpos colegiados; en otras, se encuentran disponibles en el mercado; y, en otras ms, se presentan como "ejercicios de autoevaluacin" en libros destinados a los alumnos. Las deficiencias que muestran instrumentos como los aludidos invalidan en menor o mayor medida las conclusiones que se pretende puedan arrojar. Por supuesto, esta no es la situacin del IDANIS, cuyo proceso de elaboracin se ha venido acreditando en este documento y en los pasados manuales para la interpretacin de los resultados. Si el IDANIS es un instrumento de opcin mltiple es porque una serie de consideraciones de tipo tcnico, de logstica y prctico llev a los responsables de su confeccin a la toma de esa decisin de manera razonada. La serie de hallazgos que ha permitido la prueba muestran que se procedi adecuadamente. No obstante, la prueba ha sido puesta a consideracin de la comunidad educativa en varios foros, lo cual ha constituido un ejercicio interesante, pues numerosos comentarios han permitido mejorar el instrumento al incluir en ste un aporte fundamental: la percepcin del magisterio nacional acerca de los intereses y usos lingsticos de los alumnos que ingresan a secundaria. En otras palabras: dado que los responsables de la elaboracin del IDANIS realizan sus actividades principalmente en gabinete, no tienen la misma claridad acerca del estudiante concreto que las
profesoras y profesores del pas, pese a los numerosos esfuerzos que hacen al respecto, nutrindose de algunas experiencias en campo, analizando los materiales utilizados en el aula y explotando estudios sobre la poblacin escolar realizados desde diferentes perspectivas.

La unidad HV est integrada por tres secciones, que en conjunto suman 24 preguntas, equivalentes al 40% de la prueba. Otro 40% corresponde a "Habilidad matemtica" y el 20% restante. Como puede observarse, existe equilibrio entre las dos unidades correspondientes a lenguajes codificados. Cabe agregar que la cantidad de preguntas por unidad fue establecida considerando dos cuestiones: A) no rebasar una extensin mxima de 60 preguntas en el instrumento, cifra que resulta de controlar factores como fatiga y velocidad de respuesta; y B) contar con una cantidad de preguntas aceptable para explorar el nivel de desarrollo de habilidades mostrada por un alumno en la situacin de examen y describir su desempeo.
La primera seccin de HV presenta una serie de preguntas del tipo cloze; la segunda, una narracin; y la tercera, un texto expositivo. La siguiente tabla presenta la distribucin de las preguntas: ESTRUCTURA DE HV (Versin 2000)

I) Primera seccin: cloze

Desde el punto de vista de su estructura, las preguntas de la seccin 1 consisten en una clusula en la cual se suprimen una o varias palabras, las cuales debe agregar el sustentante del examen para completar el texto, de tal modo que restaure su sentido. Este tipo de preguntas ideadas por Wilson L. Taylor se han usado desde los 50 para medir la comprensin lectora. En el largo periodo de su utilizacin han llegado a ser objeto de cuestionamiento, pero las evidencias experimentales recabadas acreditan su utilidad. Incluso es interesante advertir que han sido sostenidas desde diferentes perspectivas tericas, entre las que se cuentan la Gestalt, las teoras de la comunicacin y, ms recientemente, el cognoscitivismo. Condemarn escribe al respecto: Cuando se le presenta al lector un texto al cual se le han omitido palabras que debe reconstruir, se presume que l utilizar las mismas destrezas [habilidades] de lenguaje que usa cuando lee un mensaje intacto. Su conocimiento pragmtico del contenido y de las redundancias y restricciones del lenguaje le permitirn ir directamente al significado, pese a las omisiones ...el cloze constituye un excelente medio para promover el intercambio de estrategias de lectura de "arriba hacia abajo" y de "abajo hacia arriba". El estudiante se forma hiptesis sobre la palabra omitida y la predice. Estas hiptesis y predicciones se relacionan con sus esquemas, es decir, con sus conjuntos de conocimientos estructurados relevantes para el tpico del texto. Simultneamente, l utiliza los datos especficos aportados por el contexto para confirmar, rechazar o modificar sus hiptesis. Este uso de las claves aportadas por el pasaje [clusula] es un proceso de "abajo hacia arriba".(1)
Cabe indicar que las palabras suprimidas en el IDANIS son verbos, sustantivos, adjetivos o nexos, los cuales portan significados clave en relacin con la clusula correspondiente.

Por otro lado, esta seccin cumple la funcin de prueba testigo al interior de HV, pues se ha incluido, con algunas variaciones y las sustituciones convenientes, desde 1989.

II) Segunda seccin: texto narrativo La segunda seccin presenta una narracin, cuya superestructura inicial, de acuerdo con el modelo de van Dijk y Kintsch, es la siguiente: SUCESO Complicacin + Resolucin

Recordemos que "una superestructura es un tipo de esquema abstracto que establece el orden global de un texto y que se compone de una serie de categoras, cuyas posibilidades de combinacin se basan en reglas convencionales".(2)Es decir, que si bien las superestructuras tienen un orden cannico, ste es susceptible de modificacin, pero no arbitraria e ilimitada sino constreida a una gama previsible y aceptada. Gracias a esta "rigidez" los sujetos pueden seguir reconociendo una narracin como narracin, una conferencia como conferencia, un anuncio como anuncio... En el caso del texto incluido en el IDANIS, las categoras son Complicacin y Resolucin, que juntas integran un ncleo denominado Suceso; de aqu el esquema que se present arriba. Para van Dijk y Kintsch, a estos elementos seagregando otros ms. Por ejemplo, las diversas circunstancias de tiempo y espacio en que tiene lugar el Suceso constituyen el Marco y juntos Suceso y Marco integran el Episodio. Una serie de episodios componen la Trama. Estas categoras tienen un referente en las acciones de la narracin, pero la superestructura comprende tres elementos ms: el Anuncio, el Eplogo y la Evaluacin. Segn los tericos mencionados, los dos primeros elementos son de naturaleza pragmtica, ms que semntica, mientras que el ltimo se basa en una apreciacin del narrador sobre los hechos. Es importante reiterar que la superestructura es definida en trminos semnticos y no literarios, por eso representa un soporte de primera importancia en la toma de decisiones tcnicas para el diseo

del IDANIS, dado que la prueba pretende explorar la comprensin lectora, no la aplicacin de categoras provenientes de una teora literaria. Pero esto no significa que se hayan soslayado los atributos estticos del texto; por el contrario, en la seleccin del mismo se consideraron sus cualidades literarias, porque stas se relacionan con el inters que puede despertar en el lector, as como con la amenidad que puede presentar. Es oportuno dar a conocer los criterios para la seleccin del texto:

CRITERIOS PARA LA SELECCIN DEL TEXTO NARRATIVO

La principal razn para introducir un texto narrativo en HV es el postulado terico de que este tipo de superestructura es la ms conocida por los sujetos, debido a que las situaciones comunicativas le demandan constantemente producir/recibir narraciones orales, que no difieren del texto narrativo en cuanto a la superestructura: lo diferente es el grado de elaboracin del contenido. As, los giros lingsticos asociados a las diferentes categoras resultan ms familiares que las de otros tipos de textos. Por ejemplo, el Marco es introducido por expresiones como "Haba una vez...", "En un

lejano pas..."; la Complicacin est marcada por frases como "Y sucedi que un da...", "Mas, de repente..."; mientras que la Resolucin es introducida por expresiones del tipo de "As fue cmo...", "X no tuvo ms remedio que...". La importancia cognitiva de frmulas lingsticas como las anteriores es que el lector las asume como convenciones que en el momento de la comprensin le facilitan: A) la identificacin de la informacin relevante; y B) la elaboracin de proposiciones inferenciales y macroproposiciones. O sea: la aplicacin de las macrorreglas. En otro sentido, le facilitan la estrategia de anticipacin, ligada al

modelo de los esquemas mentales, como se recordar. Con base en todo lo anterior, las preguntas de la segunda seccin permiten averiguar cmo realiza el sujeto los microprocesos y los macroprocesos. En cuanto a los primeros, el inters del IDANIS se centra en medir las relaciones intratextuales, concretamente las de referencia lxico-semntica y las de correferencia semntica, lo cual implica abordar la atribucin de significados y la forma en que el sustentante elabora parte de la linealidad del texto: aquella que supone identificar correferentes. En cuanto a los macroprocesos, el inters se encuentra centrado en la aplicacin de las macrorreglas de omitir, seleccionar, generalizar, construir e integrar, en los trminos definidos en el apartado 3.5. Al disear HV se supone que el procesamiento del texto narrativo resultar ms accesible que el del texto expositivo incluido en la tercera seccin, debido justamente a los argumentos precedentes. Los hechos han corroborado el supuesto, si bien al interior de la narracin se presentan diferentes niveles de desarrollo de habilidades como es de esperarse, pues la aplicacin de las macrorreglas ms complejas (construir e integrar) es accesible a menos sustentantes.

III) Tercera seccin: texto expositivo

La tercera seccin presenta un texto expositivo. Por la superestructura que presenta, el texto es argumentativo. De modo anlogo al de la narracin, este tipo de superestructura posee una serie de categoras distintivas, las cuales fueron presentadas en la pgina 60 de este trabajo. Desde luego, al seleccionar el texto se tuvo en cuenta que la superestructura se mostrara con claridad y que existieran algunos giros cannicos para introducir sus categoras, sin desconocer que en el caso de la superestructura argumentativa es frecuente la omisin de frases introductorias. Esta circunstancia obliga al lector a elaborar ms inferencias que en la narracin. Lgicamente, la pertinencia de las inferencias creadas por los alumnos es explorada en el IDANIS. Esta vertiente reviste un gran inters y se presenta como un campo de investigacin muy fecundo, ya que demanda generar los recursos tcnicos para trabajar con informacin implcita. Por lo dems, las otras preguntas de la seccin miden tambin el nivel de desarrollo de habilidades para ejecutar los microprocesos y los macroprocesos implicados en la comprensin lectora, dado que son comunes a los diferentes tipos de texto. Aunque bajo esta perspectiva las preguntas del examen son similares, la expectativa de los responsables de HV es que el procesamiento de la informacin argumentativa ser menos accesible que la del texto narrativo, a causa de la menor familiaridad del lector con tal superestructura, as como la mayor formalidad de su registro

lingstico. En la prctica el supuesto se ha probado, pero ao con ao se cierra la diferencia entre los resultados de ambas secciones, lo cual puede significar que los alumnos de educacin primaria se estn familiarizando con el texto expositivo. Sin embargo, lo importante en cuanto a la seccin tres es que, adems de los criterios de seleccin sealados a propsito del texto narrativo, para elegir el texto argumentativo se introdujo un criterio ms: la existencia real del texto. Por qu se habla ahora de la existencia real del texto? El texto
narrativo no lo era? Cuando se habla de la existencia real del texto como criterio, se quiere decir que ste sera tomado en su textualidad, asumiendo tanto las discrepancias que tuviera respecto al llamado uso "ejemplar" de la lengua, como posibles inconsistencias del discurso con la realidad o con su coherencia interna.(3)De

hecho, algunas de las posibles discrepancias de este tipo podran asimilarse a las caractersticas de estilo. En otras palabras: el texto debera provenir de una publicacin de distribucin social, desde donde se tomara sin enmiendas, ediciones o adecuaciones que atentaran contra su presentacin real. La problemtica anterior es mucho menos frecuente en el caso del texto narrativo ya que, generalmente, ste difiere poco del uso ejemplar de la lengua, debido a la relacin de vasos comunicantes que se ha dado entre la lengua literaria y el uso "ejemplar". El sentido de las "licencias literarias", por ejemplo, apunta a evidenciar que las discrepancias del discurso literario con el uso ejemplar de la lengua no se consideran punibles porque atienden a razones expresivas. De igual modo, la falta de correspondencia estricta entre el texto narrativo y la realidad es un asunto concedido por el lector, en virtud del empleo de la ficcin. En esencia, aplicar el criterio de existencia real del texto deriva de la siguiente conviccin: el lector
competente el que se ha propuesto formar la escuela contempornea aborda textos reales, no ideales. En los medios de socializacin de la lectura, particularmente los de aparicin peridica, como

revistas, suplementos y diarios, es comn que los textos arrastren inconsistencias, explicables por las condiciones en que se escriben. Al margen de la voluntad de los escritores, durante su produccin y edicin, los textos socializados se encuentran expuestos a las deficiencias que acarrea la premura y a los accidentes editoriales. La expresin "el duende de las erratas" hace referencia a estos hechos. Los textos literarios no sufren tan a menudo las situaciones, ni an cuando se publiquen en revistas, suplementos o diarios, pues el halo de "cultura" que los envuelve exige siempre un mayor cuidado editorial. En varios instrumentos para la medicin de la comprensin lectora a los que han tenido acceso los responsables del IDANIS, se llega a incluir textos expositivos escritos ex profeso o manipulados con la intencin de limar las inconsistencias del discurso, explicitar sus relaciones lgicas o facilitar el uso de la lengua. Al proceder as, se incurre en el problema de la artificialidad (por eso enunciamos el criterio como existencia real del texto), que por un lado se contrapone con la tnica de la lectura en
la propuesta curricular del 93 y, por otra, altera la medicin misma de las habilidades lectoras. Lo anterior no significa que la seleccin del texto consisti en la bsqueda de un texto inconsistente, de ninguna manera; significa, tan slo, que se contempl la alta probabilidad de que los textos

disponibles presentaran algn atributo que los alejara de la idealidad. De hecho, el texto seleccionado rene un conjunto de cualidades que se explotaron en las preguntas

LA PAUTA DE EVALUACIN

Tal como ya se indic, el propsito central de este trabajo es determinar un conjunto de criterios tiles que, desde una ptica eminentemente textual y cognitiva, permita llegar a un registro cuantitativo de la calidad de los procesos generadores del producto escrito. Con esto, no negamos la posibilidad de que este registro cuantitativo tenga utilidad para replantear o guiar el proceso de correccin y revisin del texto escrito; es ms, creemos que puede constituir un importante soporte tanto para el maestro como para el alumno en su trabajo conjunto en el desarrollo de esta habilidad por parte del aprendiente. Cabe destacar que la pauta en cuestin enfoca el proceso de evaluacin desde una ptica organizacional, es decir, pretende evaluar el desempeo del escritor para organizar y producir textos coherentes y cohesivos de tipo argumentativo. Con ello queremos sealar que esta evaluacin no considera en forma directa el anlisis de los rasgos de ndole formal. Estos ltimos, tradicionalmente denominados como ortografa acentual, puntual y literal -de suyo importantes en el desarrollo del discurso escrito- no constituyen parte de los criterios evaluativos centrales, sino que algunos de ellos han sido considerados globalmente dentro del anlisis de los diversos factores. En sntesis, la evaluacin de la habilidad para generar y organizar la informacin en textos argumentativos coherentes y cohesivos se orienta bsicamente hacia el empleo de destrezas tales como: el desarrollo de un razonamiento adecuado, la formulacin de ideas pertinentes a la tarea y audiencia asignada, la organizacin de las ideas en un texto coherente a nivel tanto micro como macroestructural y la orientacin adecuada, en funcin de la estructura retrica argumentativa. A continuacin, se propone la pauta general para la evaluacin de algunos factores de cohesin y coherencia tanto a nivel local como global del texto escrito, as como de la estructura tipolgica en cuestin. Una versin ms afinada y con mayores detalles de la misma se presenta en el Anexo 1.

Anlisis de los factores intervinientes En lo que sigue se comentan los sustentos tericos de base que justifica la seleccin de los factores considerados en cada nivel textual. Nivel microestructural En el nivel microestructural o local del texto argumentativo hemos decidido concentrarnos en tres

componentes esenciales: correferencia nominal, correferencia verbal y conexiones interoracionales de tipo causa-efecto. a) Correferencia:

La progresin temtica es un mecanismo de textualizacin del que dispone el escritor para incorporar informacin nueva en un texto, ya sea incluyendo informacin acerca de referentes ya mencionados o introduciendo referentes distintos en el texto. En pocas palabras, las proposiciones subyacentes a cada oracin deben mencionar temas conocidos, o que se dan por conocidos y, a la vez, hacer referencia a informacin nueva. De esta manera, la coherencia textual se construye como un tejido en el cual los mecanismos de correferencia nominal y verbal se constituyen en soporte de base fundamental para el establecimiento de la progresin temtica. Un texto construido adecuadamente exige de parte del escritor la capacidad para establecer un equilibrio entre la informacin nueva y vieja, de lo contrario, se produce un quiebre en la coherencia textual. En este sentido, las mximas del principio cooperativo de Grice (1975) encuentran total aplicacin, pues un texto que explicite todo el conocimiento necesario para llegar a su comprensin plena podra convertirse en una unidad incoherente que podra cansar y, hasta, molestar al lector. Un texto as violara la mxima de la cantidad, que sugiere que los aportes comunicativos otorguen tanta informacin como la requerida por la situacin, pero no ms de ella; en efecto, de producirse un quiebre por exceso de informacin explcita, ese texto sera una unidad supracompleta (van Dijk, 1980). Junto a lo anterior, algunas otras posibles causas que podran producir quiebres en la progresin temtica son: el exceso de informacin nueva por desconocimiento de los saberes que posee el lector, la ausencia o insuficiencia de pistas textuales para relacionar esta informacin con la informacin vieja, la introduccin brusca de un nuevo referente, etc.
b) Relaciones Interoracionales (causa-efecto)

Para que un texto est bien construido y sean una unidad con sentido, las microproposiciones que lo conforman deben estar relacionadas coherentemente entre s, es decir, se deben cumplir ciertas reglas de conexin (van Dijk, 1977, 1983). La semntica del discurso ha llegado a establecer que para que las relaciones entre oraciones contiguas existan, es posible que su ligazn no se manifieste en forma explcita, o sea, a travs de un conector lingistico. Sin embargo, todo texto que se evale como una unidad completa debe presentar un equilibrio entre la ausencia de enlaces, ya sea de tipo conectivo (conjunciones) o de conocimientos previos (informacin que se da por supuesta de acuerdo al bagaje de mundo y el contexto situacional) y la posibilidad de construir la coherencia textual por parte del lector. En este sentido, las relaciones entre las oraciones son coherentes si el escritor y lector comparten un marco comn de conocimientos. Estos saberes, como se ha sealado en varios estudios, pueden ser conocimientos compartidos acerca del mundo y, por lo tanto, no es indispensable o necesario que un escritor los explicite para establecer la coherencia entre las oraciones.

De lo anterior se deduce que un criterio para evaluar la coherencia entre las relaciones interoracionales es considerar si las claves lingsticas y semnticas que presenta un texto son suficientes; en otras palabras, el evaluador debe considerar si los hechos textuales estn implicados semnticamente dentro de un texto y si la informacin vieja y nueva opera dentro de ciertas restricciones. En consecuencia, es posible que un texto resulte total o parcialmente incoherente si en el nivel microestructural se produce uno o ms quiebres entre las relaciones oracionales, ya sea por el exceso de informacin implcita para establecer conexiones entre ellas, el exceso de informacin explcita, el inadecuado orden lgico, la repeticin excesiva de un conector, el uso inadecuado de conectores. Dada la tipologa seleccionada para este estudio, se decidi optar por las relaciones de causa-efecto como el factor a ser considerado central en el desarrollo de la trama argumentativa.
Nivel macroestructural

El escritor, junto con construir el texto en un nivel microestructural, efecta un proceso paralelo mediante el cual, por medio de estrategias globales, construye el texto como una totalidad coherente. De esta manera, haciendo uso de diferentes mecanismos, organiza la informacin por medio de una jerarquizacin de las ideas principales, secundarias y detalles, permitiendo que el lector pueda ser capaz de (re)construir la macroestructura o informacin central del texto (van Dijk & Kintsch,1983; Cunningham y Moore, 1990). En este nivel, se ha optado por el mantenimiento y desarrollo armnico del tpico y por la necesaria construccin de ideas centrales o macroproposiciones.
a) Tpico

El tpico es la idea ms general en la que es posible englobar la informacin contenida en un texto de acuerdo a la tarea entregada y la audiencia especificada. En algunos textos es posible encontrar el tema explicitado en el ttulo o al comienzo del texto; sin embargo, en otros casos, el escritor slo entrega una serie de pistas para que el lector lo infiera. En un texto bien construido debe, por un lado, desarrollarse un tema acorde a la situacin comunicativa, es decir, el escritor debe tener presente quin ser el lector y cul es la intencin o tarea al momento de escribirlo y, por otro, existir un tema principal que sirva como eje de la estructura textual. Si estas condiciones no se presentan, es posible que se produzca un quiebre en la coherencia textual.
b) Nmero de macroproposiciones:

Tal como se mencion anteriormente, el escritor dispone de una serie de mecanismos para jerarquizar la informacin, por ejemplo, en un texto puede explicitarse una macroproposicin a travs de una oracin o, simplemente, dejarse implcita. En el primer caso el lector puede seleccionarla desde la informacin entregada en el texto (Parodi y Nez, 1993). El segundo caso resulta ms difcil, pues exige su construccin por parte del lector, a partir de la informacin dada y

del aporte de su conocimiento previo, a travs de diferentes mecanismos inferenciales. Con respecto al texto argumentativo, es muy importante que el escritor ordene la informacin de acuerdo a su funcin central, esto es, persuadir o influir en su destinatario. Aunque existen diversos mecanismos de persuasin, desde nuestra perspectiva, el carcter argumentativo de una informacin se logra, principalmente, por medio de razones. En este sentido, las macroproposiciones que cumplen la funcin de argumento resultan esenciales y, por lo tanto, deben ser presentadas por el escritor de manera explcita dentro de la jerarqua semntica. De acuerdo al estudio realizado por nuestro equipo y considerando el nivel escolar de los sujetos evaluados, se determin que la pauta de evaluacin incluyera un mnimo de dos macroproposiciones para alcanzar el puntaje mximo en este item. Se estima que ellas son la base mnima para elaborar una argumentacin coherente.
Nivel superestructural La superestructura ha sido definida como una estructura esquemtica, independiente del contenido semntico de cada texto, pero que puede actualizarse en l. As, en la produccin de un texto escrito argumentativo un escritor debe organizar toda la informacin textual segn cnones establecidos dentro de una tipologa textual, es decir, segn un esquema cuyos componentes esenciales son una tesis y una serie de argumentos que lo apoyan. En varias modalidades de textos argumentativos, existe un tercer componente, ste es la conclusin. a) Tesis

En todo texto argumentativo debe existir un tema respecto del cual se dan puntos de vista. La tesis resulta ser la posicin del escritor respecto del tema o problemtica en cuestin. En este sentido, un texto argumentativo bien construido debe poseer una tesis directamente relacionada con la situacin comunicativa y expresada de manera clara y precisa. Si bien es cierto que existen textos argumentativos en los cuales la tesis se encuentra implcita y, por lo tanto, debe inferirse, la superestructura del texto argumentativo que se ensea a nivel escolar se caracteriza por la explicitacin de sus componentes.
b) Argumentacin

Tal como lo menciona van Dijk (1983), en la constitucin de un argumento participan una serie de hechos y circunstancias que deben cumplir con ciertas condiciones para estar en funcin de la argumentacin. As, un escritor puede construir una estructura argumentativa incorrecta si, por ejemplo, omite circunstancias que puedan influir negativamente sobre la conclusin final, no garantiza la validez general de una justificacin, o si un argumento resulta irrelevante debido a la ausencia de un refuerzo especial que lo fortalezca. En la pauta de evaluacin propuesta, se ha otorgado el puntaje mximo a aquel texto que contiene, a lo menos, un argumento con solidez interna, es decir, con uno o ms hechos que lo

apoyen de modo que el razonamiento resulte fortalecido.

c) Conclusin En el texto argumentativo, la conclusin puede cumplir la funcin de entregar una nueva informacin a partir de la cadena de argumentos o, simplemente, parafrasear la tesis, generalmente, al final del texto. Uno de los posibles quiebres en la coherencia global tiene relacin con la presentacin de una conclusin que no se derive de la informacin anterior, ya sea porque es necesario un nmero mayor de argumentos o de hechos que los apoyen, o, simplemente, porque se encuentra en contradiccin con parte del texto. LA INVESTIGACIN Los resultados que presentamos y comentamos ms adelante se han obtenido a partir de la aplicacin de dos pruebas de produccin textual a un grupo de 239 sujetos que cursan 8 grado de Enseanza Bsica en seis colegios subvencionados de la ciudad de Valparaso. Los instrumentos

Es sabido que el diseo y elaboracin de instrumentos vlidos y confiables que aborden produccin textual desde una lnea cognitivo/textual enfrenta una serie de importantes etapas. En este aspecto, todo instrumento debe ser evaluado para establecer su grado de eficacia, es decir, para medir aquello para lo cual fue diseado. Una etapa importante en la elaboracin de los instrumentos la constituy la triangulacin de las pruebas, ella ayud a superar, de cierta forma, las complejidades inherentes al diseo mismo. Para ello se recurri a la opinin de cinco jueces expertos respecto tanto de la tarea de escritura como de la pauta de evaluacin, evitando as cualquier distorsin proveniente de la revisin por parte del equipo a cargo. El anlisis experto de los pares arroj importantes sugerencias que ayudaron a mejorar la propuesta y concluy con un acuerdo sobre el 80%. El anlisis estadstico de los datos recogidos revel que la confiabilidad de las dos pruebas de produccin, tomadas como un solo test, fue de 0,9129; esto quiere decir, sobre el tradicional ndice del 0,5.
Resultados generales A continuacin, se presentan en el grfico 1 los resultados generales, organizados en forma de porcentajes:

Estos resultados generales indican que, de los tres niveles discursivos considerados, los sujetos de

la muestra presentan mejor manejo en los recursos microestructurales, demostrando mayor dificultad en el empleo de macroestrategias, as como en su dominio de la superestructura argumentativa. Todo ello evidencia un logro relativo en el establecimiento de la coherencia local, es decir, que existe un cierto dominio, en cuanto a destrezas que permiten a los sujetos establecer diversas relaciones entre oraciones contiguas y que podra calificarse de relativamente aceptable (69%). No obstante, cuando se requiere de una coherencia transprrafo, se nota una menor capacidad para mantener activo en la memoria las ideas previamente abordadas para, de este modo, seguir manteniendo relaciones pertinentes y organizar la informacin en torno a la superestructura del texto argumentativo. Todo ello dara cuenta de un tipo de escritura ms bien centrada en las palabras y en el nivel sintctico en la cual el escritor da forma a su composicin no como un constructo jerrquico de significados, sino como una reproduccin "frase a frase" en que cada eslabn de la cadena va siendo producido en el momento y slo se alcanza a pensar y retener, en la memoria de corto plazo, las palabras o la oracin anterior. Este tipo de escritura ha sido llamada como "de segmento a segmento" (bed to bed writing) por Scardamalia y Bereiter
(1982), la que se caracteriza por un listado de estructuras textuales ligadas entre s, pero carente de organizacin mayor. A continuacin, en el Grfico 2 se muestran pormenorizadamente los resultados obtenidos por los sujetos en el rea microestuctural:

Como se puede observar, en el Grfico 2 se aprecia la misma tendencia que en el grfico anterior, esto es, el progresivo descenso de los ndices entre los factores en anlisis. Se hace evidente que para los sujetos de la muestra el establecimiento de relaciones de correferencialidad resulta mucho ms fcil que la conexin adecuada de relaciones causa-efecto. En todo caso, si se considera que la muestra esta conformada por alumnos de nivel secundario terminal, su rendimiento en este campo no deja de ser relativo, pues slo se est evaluando un manejo de recursos discursivos muy elemental que debera evidenciar un dominio muy temprano; por lo tanto, podra esperarse que su logro superara el 69% promedio alcanzado. En el siguiente grfico se entregan los rendimientos promedio en el nivel macroestructural, separados en los tres mbitos en estudio:

Resulta interesante comprobar que los resultados muestran una clara separacin entre dos grupos: el que dice relacin con el mantenimiento del tema y el que se refiere a las relaciones entre los componentes de la macroestructura textual. Segn se aprecia, los escritos de los alumnos evidencian un marcado dominio de macroestrategias especializadas en el desarrollo y

mantenimiento del tpico (74%); no obstante, cabe destacar que en escritos de escasa longitud -no ms all de una pgina en la mayora de los casos- el porcentaje de logro alcanzado en este mbito debera ser superior, ya que no se esperara que alumnos de esta edad y nivel escolar fallen en mantener la temtica tratada, dentro de unos pocos prrafos o que aborden y desarrollen temas no pertinentes a la tarea asignada. De cualquier modo, no cabe duda que el estudio del proceso de produccin textual pone de manifiesto su inherente complejidad, hecho que suele llevar a lo que se ha denominado "sobrecarga cognitiva". El trabajo de redactar un tpico, idealmente, obliga al escritor a activar de su memoria semntica los contenidos seleccionados para luego organizarlos de acuerdo a su planificacin y llevarlos a un cdigo lingstico lineal (tomando en cuenta todos los niveles discursivos, entre otros, lxicos, ortogrficos, gramaticales). Todo ello mientras, al mismo tiempo, se mantienen activo en la mente del escritor las condiciones de la tarea, tales como la audiencia implicada y las intenciones y objetivos de escritura. Como se comprende, llegar a ser un escritor maduro en el mbito macroestructural significa ser capaz de responder a la vez a mltiples exigencias, que darn forma a un texto escrito final con alto grado de coherencia y cohesin. Ahora bien, escaso es el logro que se observa en los dos subniveles siguientes, con resultados inferiores al 50%. Al parecer, mayor dificultad han encontrado estos alumnos para disponer y aplicar estrategias que les permitan producir textos en que se logren dar forma organizada y jerarquizada a los componentes macroestructurales del texto, generando ideas nucleares en torno a las cuales se articule el resto de los elementos textuales. En este ltimo grfico, se visualizan los resultados porcentuales en cuanto al desempeo en tres subreas de la superestructura argumentativa:

Estas cifras, comparadas con las de los grficos anteriores, resultan ser las de mayor variabilidad intragrupal en el sentido que no se observa la tradicional curva descendente. El logro ms alto (61%) -aunque relativo dado el nivel escolar de los sujetos- se observa en la construccin de un argumento slido, bien estructurado, con hechos y circunstancias que lo apoyen y presenten una clara coherencia entre ellos. Aun considerando que son alumnos terminales del sistema escolar, comparativamente, se detecta un bajo grado de dominio estratgico cuando se trata de enunciar la tesis argumentativa (49%), notndose una tendencia a dejar sta en forma semi explcita, no plantearla definitivamente o a exponer una tesis absolutamente desajustada con la tarea planteada. Por ltimo, el logro ms escaso se aprecia en el conocimiento y produccin de la categora superestructural de conclusin (39 %). Si bien es cierto que la conclusin es una categora argumentativa no siempre esencial dentro de esta superestructura, es importante resaltar que los alumnos de la muestra evidencian una carencia en lo que respecta al manejo de tcnicas para abordar el cierre final con que concluye el discurso persuasivo. La mayora de los trabajos

manifiestan una ausencia de conclusin o intentan finalizar la exposicin argumentativa con una conclusin parcialmente derivada de las premisas o, simplemente, llenan esta categora con una conclusin no pertinente a los argumentos y la tesis central.
Comentario Final

En resumen, en trminos generales, es posible sugerir que un nmero importante de los sujetos de la muestra no alcanza lo que podramos denominar como competencia madura para la produccin de textos escritos. Los antecedentes presentados permiten concluir que un grupo de ellos carece de los rasgos que caracterizan este tipo de conocimiento experto y se les debe considerar, ms bien, como escritores inmaduros que no logran abordar la tarea de escritura en forma eficiente. Muchos de los bajos logros evidenciados por estos sujetos demuestran escaso dominio de estrategias discursivas apropiadas que les permitan construir macroestructuras adecuadas para textos argumentativos, relacionando elementos textuales y permitiendo las ligazones inferenciales adecuadas. En este sentido, los datos empricos obtenidos pueden resultar inquietantes si se toma en consideracin que los sujetos escritores cursan el ltimo grado de educacin Bsica formal. No cabe duda de que muchos de ellos culminarn en esta etapa su educacin sistemtica y, de acuerdo a las cifras presentadas, es evidente que estos sujetos ostentan escasos logros en aspectos relevantes de una habilidad como es la de componer por escrito. Por otra parte, la pauta propuesta pretende ser una contribucin a investigadores y educadores interesados en mejorar las actuales prcticas educativas y evaluativas en el mbito de la produccin escrita. Se ofrece como una herramienta exploratoria en bsqueda de alternativas renovadas que acojan los aportes de la psicologa cognitiva y la lingstica textual. Posteriores investigaciones habrn de corregir sus errores y profundizar y mejorar en sus aciertos

Bloque 1. Cloze 2. Texto narrativo 3. Texto expositivo

Cantidad de preguntas 12 5 7 24

Ponderacin al interior de HV 50% 20.9% 29.1% 100%

Criterio

Caracterizacin

La superestructura que presenta el texto correspondiente Claridad de la superestructura directamente a la planteada en el modelo terico o responde a un ordenamiento convencional.

El texto presenta una cantidad suficiente de proporciones Cantidad de proporciones explcitas, de tal modo que es posible derivar las preguntas de la seccin. La informacin relevante puede identificarse a partir del principio de redundancia. Existe mayor probabilidad de que le escenario, el tipo de Grado de accesibilidad temtica conflicto y los valores presentados en el texto sean familiares al alumno, como resultado de sus conocimientos previos. El texto aparece inicialmente en una fuente bibliogrfica Calidad de la fuente cuyo prestigio es aceptado en el mbito acadmico-educativo. Existe mayor probabilidad de que los usos estilsticos del Cualidades de estilo texto sean familiares para el alumno, como resultado de sus conocimientos previos. Existe mayor probabilidad de que el texto no haya sido Novedad incluido en algn material destinado a la educacin primaria ni haya sido abordado con anterioridad en el aula. El texto contiene el mnimo de situaciones de contenido o lxico que pueden afectar a algn sector de la poblacin. La narracin presenta un lxico equiparable al de los libros Lxico de texto de 5 grado de educacin primaria, pero plantea problemas de polisemia. El texto tiene una extensin de entre 1 1/2 y 2 1/2 Extensin cuartillas, medidas con parmetros mecanogrficos, o 22 500 bytes.
CRITERIO CORREF. NOMINAL CORREF. VERBAL CAUSA EFECTO RANGO DE PUNTAJE 5 5 5 TOTAL 3 3 3 1 1 1 15

Grado de redundancia

Pertinencia tica

NIVEL MICROESTRUCTURA

MACROESTRUCTURA

TPICO MACROPROPOSICIN 1 MACROPROPOSICIN 2

9 9

5 5

1 1

27

9 9 9 9

5 5 5 5

1 1 1 1 27

SUPERESTRUCTURA

TESIS ARGUMENTOS CONCLUSIN 69

Cuadro 1. Pauta General de Evaluacin del texto argumentativo escrito.

Pgina 17 Pgina 17 Pgina 17 Pgina 17 Pgina 17 Pgina 17 Pgina 17 Pgina 17 Pgina 17 Pgina 17

Pgina 18 Pgina 18 Pgina 18 Pgina 18 Pgina 18 Pgina 18 Pgina 18 Pgina 18 Pgina 18 Pgina 18