Resmenesautomticos:

Enfoqueextractivoyevaluacin.

Vctor Mrquez Gil, victor.marquez@estudiante.uam.es

Escuela Politcnica Superior, Universidad Autnoma de Madrid.

ndice
1.Introduccin
2.Tiposderesmenes
3.Enfoquedeextraccin
3.1.Orgenes
3.2.Mtodosestadsticos
3.3.Mtodosdeaprendizajesupervisado(obasadosencorpus)
3.4.Mtodosdeaprendizajenosupervisado
3.5.Extraccindehechos
3.6.Ventajaseinconvenientes
3.7.Revisin

4.Evaluacin
4.1.Orgenes
4.2.Clasificacindelosmtodosdeevaluacin
4.3.Programasyconcursos

5.Trabajofuturo
6.Conclusiones
7.Referenciasbibliogrficas

2
5
7
7
7
8
9
10
11
11

13
13
13
15

17
18
19

Resumen.Enestetrabajosepresentanelestadoactualdelacuestinylaevolucindelossistemasde
resmenes automtico. Se hace especial hincapi en los mtodos de generacin extractivos y en la
evaluacin de la produccin final de los mismos, desde los orgenes hasta el presente. Tambin se
presentandistintasclasificacionesderesmenesylosfactoresatenerencuentaalahoradediseare
implementarunsistemadeestascaractersticas.Finalmenteseplanteaeltrabajofuturoaseguireneste
readeinvestigacin,sugiriendolaincorporacindebasesdeconocimientolingsticoyconceptosde
estructuradeldiscurso.

Mrquez,V.Resmenesautomticos:enfoqueextractivoyevaluacin.

1.Introduccin
Elobjetivodeestetrabajoesdaraconocerelestadodelartedelosmtodosextractivosyde
la evaluacin delosresmenesautomticosdndetantoeldocumentofuentecomoelresumen
estnenformatodetexto.
Resumir automticamente implica que un artefacto software tome una fuente de infor
macin,extraigaelcontenidomsrelevanteyselopresentealdestinatario(yaseaunusuariouotro
artefactosoftware)demaneracondensadadetalformaquesatisfagalasnecesidadesdelusuarioo
delaaplicacin(Mani,2001).Paraelobjetivoquenosatae,sedefinelaaccinderesumircomo
unatransformacindereduccindeltextofuentealtextoresumidopormediodeseleccindeloque
esimportanteenlafuente(SparkJones,2007a).
Esdifcilimaginarlavidadiariasinalgntipoderesumen.Lostitularesdenoticias,el
trailerdeunapelcula,losresmenesdelacontraportadadeloslibrosoalprincipiodelosartculos
cientficotcnicos,inclusolaprogramacindelatelevisinenelteletexto,elmapadeunaciudad,
uncatlogodeproductosoelresultadodeunencuentrodeportivosonresmenes.Comosepuede
apreciar,elmediodelafuentearesumirpuedesermuyvariado,ascomoeldelresumenens.Esta
revisin del estado del arte se centrar en tcnicas cuyas fuentes a resumir y sus versiones
condensadasseantextuales.
VivimosenlaSociedaddelaInformacinyelConocimiento:cadavezhaymsinformacin
accesibleenInternet.Laredderedescrecedemaneravertiginosaentodotipodecontenidos.Esta
explosindeinformacinconllevaunproblema:lasobrecarga.Nohaytiempoparaleerlotodo,sin
embargo es necesario tomar decisiones crticas basadas en la informacin disponible. En este
contextosurgelanecesidaddedesarrollarsistemasqueresumanautomticamenteloscontenidosy
porconsiguientedefomentarlainversineninvestigacinenestedominiodelProcesamientodel
LenguajeNatural(PLN).
Actualmente,lainvestigacinenestecampodelPLNesmuyactivagraciasaprogramasy
concursoscomoSUMMAC,NTCIR,DUC(Overetal.,2007)oTAC(Louis,2008)yestemparen
tadaconladeotroscampos(Mani,2001)como:
Compresindetexto:elobjetivotambinescrearunaversincondensadadedocu
mentofuenteperoconelfindeseralmacenadoytransmitidodemaneraeficienteynopara
elconsumohumano.
Indexacin:elobjetivoes laidentificacindetrminosrelevantes deundocu
mento,normalmenteparafacilitarlarecuperacindeinformacin.Sepuedeconcebirla
indexacincomouncasoparticularderesumenautomtico,peroalsersupropsitoeldela
recuperacindeinformacinynoelderesumirlodejamoscomocampoaparte.
Mineradetextos:setratadeunprocesocuyoobjetivoesladeteccindeinfor
macinnuevaoanmalaengrandesrepositoriosdetextos.Surelacinconlosresmenes
automticosesquelasalidaesunaversinreducidadelaentrada,ladiferenciaesquela
mineradetextosnosecentraencondensarelcontenidodelafuentesinoencaracterizar
singularidadesdelosdatos.
2

Mrquez,V.Resmenesautomticos:enfoqueextractivoyevaluacin.

Lossistemasquegeneranresmenesautomticamentepueden clasificarse endosgrandes

grupossegnla estrategia decondensacin:losqueconstruyenresmenespor extraccin (osis
temasextractivos)ylosquelohacenporabstraccin(osistemasnoextractivos).Tambinpueden
considerarselossistemas hbridos queaunanambastcnicas.Acontinuacinsedefinendichas
estrategias:
Estrategiaextractiva:elresumengeneradoconstanicamentedematerialcopiado
literalmentedeldocumentofuente.
Estrategianoextractiva o abstractiva:almenospartedelmaterialpresenteenel
resumennoseencuentraeneldocumentofuente.
Laarquitecturaabstractadelossistemasqueproducenresmenesautomticosessiemprela
misma(Fig.1)yconstadetresprocesos(Hahn&Mani,2000;SparkJones,2007a):interpretacin
o anlisis, transformacin y generacin o sntesis.Convienecomentarqueestaesunaestructura
lgicadealtonivel,porloquelosmdulosyprocesosdeimplementacionesconcretasnotienen
porquresponderaesteesquema.Ladescripcindecadaunodelosprocesoseslasiguiente:
Interpretacin o anlisis: se analiza el documento fuente y se construye una
representacininternadelmismo.
Transformacin:setransformalarepresentacininternadeldocumentoenunare
presentacininternadelresumen.Estafaseessobretodoaplicableasistemasabstractivos
quesebasanentcnicasdePLNparagenerarresmenes.
Generacinosntesis:setomalarepresentacininternadelresumenyseconstruye
elmismoenlenguajenatural.

Figura1:Arquitecturadealtoniveldelossistemasderesmenesautomticos.
[AdaptadodeMani(2000)ySparkJones(2007a)]

Paraelcasoparticulardelossistemasbasadosenextraccin,losprocesosdeinterpretacin
ytransformacinsefusionancomosemuestraenlaFigura2.
Laeleccindecentrarseenlosresmenesautomticosbasadosentcnicasextractivasnoes
trivial.Elcostecomputacionalesmenor,suimplementacinesmsfcil,ysuelendarmejores
resultadosquelosbasadosentcnicasabstractivasquerequierenrecursosdeconocimientolings
ticos(Mani,2001).Losacercamientosquepersiguenobjetivosmsgenricossuelenbasarseen
mtodosdeextraccinpuramenteestadsticosyofrecennormalmenteresultadosaceptablesinde
3

Mrquez,V.Resmenesautomticos:enfoqueextractivoyevaluacin.

pendientementedelidioma,delgneroydelpropsitofinal(SparkJones2007).Adems,elmayor
empujequeharecibidolainvestigacinenelcampodelosresmenesautomticoshasidoporparte
deestomtodos,juntoconmtodoshbridosquecombinantcnicasestadsticasysimblicas.Esto
contrastaconelintersmostradoporpartedelacomunidaddelalingsticacomputacionalhacia
herramientasderepresentacindelsignificadodeltexto.

Figura2:Arquitecturadealtoniveldelossistemasderesmenesautomticosextractivos.
[AdaptadodeMani(2000)]

Enlaseccin2exploraremoslasdiferentesclasificacionesderesmenesmsaceptadasen
laliteratura.Enlaseccin3describiremoslosorgenesyelprogresodelossistemasextractivosas
como los distintos mtodos usados en ellos y sus ventajas e inconvenientes. En la seccin 4
inspeccionaremos los comienzos, evolucin y diferentes clasificaciones de la evaluacin de
resmenes generados automticamente. Finalizaremos con el trabajo futuro de esta rama de la
investigacin del PLN y las conclusiones que se pueden arrojar del trabajo realizado en las
secciones5y6respectivamente.

Mrquez,V.Resmenesautomticos:enfoqueextractivoyevaluacin.

2.Tiposderesmenes
Como hemos visto, los resmenes pueden diferenciarse por la estrategia empleada al
generarlos:porextraccinoporabstraccin.Otraformadeclasificarloseshaciendoladistincin
entreresmenesindicativos,informativosycrticos(Hahn&Mani,2000):
Indicativos:estosresmenessiguenelacercamientoclsicodelarecuperacinde
lainformacin,suministranelcontenidosuficienteparaquelosusuariospuedanhacerseuna
ideadelosconceptosclavequeseencuentraneneldocumentofuenteparaquedecidansi
leerelcontenidocompletomsendetalle.
Informativos:enestecasolosresmenessirvencomosubstitutosdeldocumento
fuente,elprocesodecrearestosresmenesconsisteprincipalmenteenrecopilarinformacin
relevantedemaneraestructurada.
Crticos:apartedeserinformativos,incorporanlaopinindelescritordelresumen
comovaloraadido,aportandosuexperiencialacualnoestreflejadaeneldocumento
fuente.
Tambinsepuedenclasificarlosresmenesentrminosdelpropsitofinaldelosmismos.
Losresmenespuedensergenricosuorientadosalusuario(Mani,2001).
Genricos: estos resmenes no estn hechos a medida de ninguna audiencia o
propsitoenparticular.Lahistoriadelainvestigacinsobreresmenesautomticosseha
concentradoprincipalmenteenlaproduccindeestetipoderesmenes(Overetal.,2007).
Laideadegenerarresmenesautomticosdeunnicodocumentofueelprimerimpulsode
lainvestigacinenestecampo.
Orientadosalusuario:estosresmenesseadaptanalasnecesidadesdeunusuario
ogrupodeusuariosparaunatareaconcreta(Mani,2001).Estosignificaqueelsistematiene
encuentadealgunamaneraunarepresentacindelosinteresesdelosusuariosmediante
algunatcnicademodeladodeusuarioobienconunsimplecampodeformulariopara
ejecutarunaconsulta.Uncasoparticulardeestossistemassonlosqueelusuariointroduce
unapreguntayelsistemadevuelveunresumenqueintentaresponderla.
Otra posibilidad para diferenciar los resmenes es segn el tipo de entrada. Desde los
orgenesdelainvestigacinenestecampoelfocohasidocrearresmenesdeunsolodocumento
fuente.PeroapartirdelfinaldelaltimadcadadelsigloXX,graciasalempujedelosprogramas
deevaluacinycomorespuestaalademandadequerersaberdeunvistazocualeseltemadeuna
coleccin de documentos, naci la idea de los sistemas de resumen automtico de mltiples
documentos.Elobjetivodeestosltimosesquepartiendodeunaseriededocumentosrelacionados,
seobtengaunresumenquecontieneelcontenidomsrelevanteeliminandolaredundanciaque
existaentrelosdocumentosfuente(Mani,2001).Losprimerostrabajossobresistemasderesmenes
automticosmultidocumentosondeSaltonetal.(1997)yMani&Bloedorn(1999).

Mrquez,V.Resmenesautomticos:enfoqueextractivoyevaluacin.

Msrecientementetodava,sehaempezadoamanejarelconceptoderesmenesdefuentes
multimedia. Se trata no slo de resumir textos sino tambin vdeos (Mani, 2001), imgenes
(Simakov, 2008),grabaciones deaudiodereuniones (Mani etal.,2000)odiagramas(Frutelle,
1999)ycombinacionesdeestoselementoscomoporejemploeltrabajode Merlino&Maybury
(1999)connoticiasdeinformativosdetelevisin.

Mrquez,V.Resmenesautomticos:enfoqueextractivoyevaluacin.

3.Enfoquedeextraccin
3.1.Orgenes
ProbablementeelprimertrabajosobreresmenesautomticosseaeldeLuhn(1958).Enl
sedescribeunasimpletcnicaparagenerarresmenesgenricosextractivosdeunslodocumento
fuente.Estaconsisteenusarfrecuenciasdetrminosparadarpesosalasfrasesqueposteriormente
seseleccionanparaaparecerenelresumen.Elprocesoconsisteenlosiguiente:primerosefiltran
palabras comoartculos,pronombresypreposiciones;acontinuacin senormalizanlostrminos
parareducirlosasulexema;posteriormenteseagreganlaspalabrasconlamismarazysecalculan
las frecuencias de los trminos agregados descartando los que tengan menores frecuencias;
finalmente,apartirdelosresultadosdelpasoanteriorseledaunpesoacadaoracinylasfrases
conmayorpesoseseleccionanparaelresumenfinal.
Otro avance importante de los orgenes de los resmenes automticos fue el trabajo de
Edmundson(1969).Enlseaadentresnuevas caractersticas alahoraderesumirautomtica
menteapartedelafrecuenciadetrminos:
Expresionesclavequeaumentanodisminuyenlapuntuacindelafraseenlaque
seencuentran,algunosejemplosson:significante,imposibleodifcilmente.
Palabrasquesiaparecenenelttulooenlossubttulosaumentanlapuntuacinde
lafrase.
La posicin de la frase dentro del documento oprrafo ysu cercana con los
subttulostambinmodificalavaloracindelaoracinalahoradetenerlaencuentaparael
resumen.
Al estudiar los resmenes generados, Edmundson (1969) descubri que estas tres
caractersticas,cadaunaporseparado,dabamejoresresultadosqueelacercamientodeLuhn(1958).
Tambinseencontrconquelamejorcombinacindecaractersticaseraladeexpresionesclave,
ttulosyposicin.Adems,lacaractersticaaisladaqueproporcionabamejoresresmeneseralade
posicin,ylaqueproporcionabalospeoreseraladefrecuenciadetrminos.
3.2.Mtodosestadsticos
LosmtodosestadsticossimplessuelenseguirelacercamientodeLuhn(1958).Que,como
hemosvisto,consisteenpuntuarlasoracionessegnelpesodelostrminosqueaparecenenella.
Despusdefiltrarylanormalizarlostrminos,seextraenlasoracionesenelmismoordenque
aparecenenlafuente.Porltimo,seseleccionanlasnoracionesmejorpuntuadassegnlatasade
compresinquesequieraalcanzar.Tambinhemosvistocmosepuedenaadircaractersticas
comolasdepalabrasclavettuloposicinalasfrecuenciasdetrminosconelacercamientode
Edmundson(1969).
Unadelasmayoreslneasdeinvestigacinenestecampohasidolaelaboracindenuevas
caractersticas de las oraciones. Tambin se ha explorado la puntuacin de unidades ms
7

Mrquez,V.Resmenesautomticos:enfoqueextractivoyevaluacin.

elementalesquelaoracin:unidadeslxicascomosintagmas,ngramasuotrasventanasdetexto
(SparkJones,2007a).
Elavancedelastcnicas,mtodosyherramientasdePLNhanmotivadoquelaextraccin
puedatenerunabaselingsticautilizandorelacionesderedessemnticascomoWordNetpara,por
ejemplo,agruparconceptosporsinonimia(Bellare etal.);otesaurosparageneralizarconceptos
(McCargar,2004).

3.3.Mtodosdeaprendizajesupervisado(obasadosencorpus)
Hemosvistocmociertascaractersticasayudanadescubrirloqueesrelevanteenuntexto
fuenteyportantodebeextraerseparaelresumen.Elproblemaconsisteahoraendeterminarla
contribucin de cada una de las caractersticas para generar resmenes lo ms cercanos a los
modelos producidos por humanos. La solucin a este problema no es trivial y, de hecho, es
sumamentedependientedelgnerodeldocumentofuente.Porejemplo,lacaractersticadeposicin
ennoticiasdeprensaescritaharqueseextraigaeltitularylaentradaocopetedelanoticia,yaque
en estas partes se resume la misma; sin embargo, en un artculo cientficotcnico, esta
caracterstica debera dar ms peso a oraciones pertenecientes al resumen, la introduccin, la
conclusinylasprimerasfrasestraslossubttulos.
Ladeterminacindelaimportanciadelascaractersticaspuedehacersemedianteelusode
uncorpusdetextosdelmismognero,dndeestnemparejadoseldocumentofuenteyelresumen
realizado por un humano. El uso del corpus tambin le permite al sistema aprender
automticamente nuevas reglas tiles para la generacin de resmenes automticos (Many &
Maybury,1999).
Unodelosprimerostrabajosqueintrodujeronelusodecorpusparaelentrenamientode
sistemasderesmenesautomticosfueelde Kupiec etal. (1995).Enlseusanlos resmenes
modeloparaetiquetarvectoresdelasoracionesdelosdocumentosfuentecomoejemplarespositivos
onegativosindicandosisoncandidatosparaapareceronoenelresumen.Elcorpusconstade188
pares documento fuente/resumen pertenecientes a 21 colecciones de documentos cientficos. El
procesoeselquesigue:unalgoritmodeclasificacinBayesianotomacadaoracindelconjuntode
test y calcula una probabilidad de estarincluida en el resumen basndose en la frecuencia de
caractersticasenlosvectoresdeldocumentofuenteylasetiquetasdelosvectores(1sideberaser
incluida en el resumen, 0 en cualquier otro caso); finalmente se extraen las n oraciones ms
probablesdeaparecerenelresumen,dependiendodelatasadereduccin.EnlaFigura3seilustra
laestructuradelsistema.Lascaractersticasusadasenestetrabajoson:lalongituddelasoraciones,
presenciadeexpresionesclave,posicindelasfrasesdentrodelosprrafosdeldocumentofuente,y
presenciadenombrespropios.
Eltrabajode Kupiec etal. (1995) inspira Myaeng&Jang(1999).Estosltimos,ensu
varianteaplicadaaartculostcnicosenCoreano,consideranelmaterialdelaIntroduccinyla
Conclusin y etiquetan las oraciones manualmente si representan los antecedentes, algn tema
principal,ladescripcindelaestructuradeldocumentooladescripcindeltrabajofuturo.Tambin
seetiquetanlasfrasescandidatasaaparecerenunresumenrealizadoporunhumano.Sumtodode
entrenamientoutilizaprimerounclasificadorBayesianoparadeterminarsilaoracinconsiderada
perteneceaalgntemaprincipal,yacontinuacincombinalosindiciosdemltiplesclasificadores
decaractersticasBayesianos paradeterminarsilaoracinseaadealresumen.Finalmente se
8

Mrquez,V.Resmenesautomticos:enfoqueextractivoyevaluacin.

aplicaunfiltroparaeliminarfrasesredundantes.Losautoresdescubrieronque,consusdatos,usar
unacombinacindepalabrasclave,posicin,ypresenciaenlaoracindepalabrasdelttulo,daba
losmejoresresultados.
Aoneetal.(1999)utilizanunacercamientosimilarperousandoconceptoscomofamiliasde
sinnimos y en Hovy & Lin (1999) se describen diferentes tcnicas para generar resmenes
automticosbasadasencorpus.

Figura3:MetodologadelsistemadeKupiecetal.(1995).
[AdaptadodeMani&Maybury(1999)]

3.4.Mtodosdeaprendizajenosupervisado
Alfonseca & Rodrguez (2003) proponen un procedimiento de generacin de resmenes
automticosbasadoenalgoritmosgenticos.Elgenotipodeunresumeneslalistadeoracionesque
aparecern en l. Definen una funcin de ajuste basada en caractersticas de los resmenes
informativosynoencaractersticasdelasoracionescomohemosvistoenejemplosanteriores.
Dichascaractersticasson:
Longituddelresumen:losresmenesquecontienenoracioneslargassonmejores
quelosquetienenoracionescortas.
Posicin:losresmenesquecontienenoracionesdelprincipiodelosprrafosdel
documentofuentesonmejoresquelosquecontienenoracionesdecualquierotrapartedelos
prrafos.
Ordendelasoraciones:losresmenesquetienensusoracionesenelmismoorden
queeneldocumentofuentesonmejoresquelosquetienenlasoracionesenotroorden.
Losresmenes quecontienen frasesdetodoslosprrafos deltextofuenteson
mejoresquelosgeneradoenlasituacincontraria.
9

Mrquez,V.Resmenesautomticos:enfoqueextractivoyevaluacin.

Losresmenesquecontienenoracionesrelacionadasconelperfildelusuarioson
mejoresquelosquenolascontienen.
Sielusuarioespecificaunaconsulta,losresmenesquecontienenpalabrasdela
consultasonmejoresquelosquenolascontienen.
Losresmenesquecontienenoracionescompletas,esdecir,consujetoyverbo,son
mejoresquelosquenocontienenalgunodeestoselementos.
Las preguntas son pocoinformativas,porloquesepenalizasupresenciaenel
resumen.
Elprocesoseguidoeselsiguiente:separtedeunapoblacininicialaleatoriaderesmenes
(oindividuos);despus,encadageneracin,losdosindividuosmenosadaptadosmuerenylosdos
mejor adaptados tienen descendencia; los individuos se alteran por mutacin, cambiando una
oracinporotra,yporcrossover,dndedosindividuosintercambianunaporcinaleatoriadesus
genotipos.ComosepuedeobservarenlaTabla1,elvalordelafuncindeajustevaaumentandoen
elresumenconmejorpuntuacindediferentesgeneraciones.

Tabla1:Resumenconlamejorpuntuacinendiferentesgeneraciones.
[AdaptadodeAlfonseca&Rodrguez(2003)]

EneltrabajodeSillaetal.(2004)seplantealageneracinautomticaderesmenescomo
unproblemadeclasificacin:elsistemaextraelasoracionesindividualesdeldocumentofuente,a
cadaoracinseleasociaunvectordeatributoscuyosvaloressederivandelcontenidodelamisma
yfinalmenteseclasificalaoracinendosclasesdependiendodesientrarenelresumenono.
3.5.Extraccindehechos
SparkJones(1998)definelaextraccindehechosencontraposicinalaextraccindetexto.
Conlaextraccindetexto,loquevesesloqueobtienes,esdecir,partedeloqueseveenel
documentofuentesetransfierealresumengenerado.Elenfoquedelaextraccinesdiferenteyaque
loquesabesesloqueobtienes,esdecir,sedecideaprioriquetipodecontenidosevaabuscaren
lafuente.
Laextraccindetextoesunenfoqueabiertoenelquesedejaemergerelcontenidorelevante
delafuente.Mientrasquelaextraccindehechosesunenfoquecerradoenelqueeltextofuenteno
proporciona ms que alguna instanciacin de requisitos de contenidos genricos previamente
establecidos,porloquesolamentepermiteunanicopuntodevistadeloqueesrelevantedel
documentooriginal.
La extraccindehechos consisteenunprocesadodeltextofuenteenbuscadeconceptos
preestablecidos para rellanar algn tipo de plantilla con mayor o menos modificacin de la
expresinoriginal.UnejemplodesistemaqueutilizaestemtodoeseldeYoung&Hayes(1985)
10

Mrquez,V.Resmenesautomticos:enfoqueextractivoyevaluacin.

quetrabajacontelegramasbancarios.

3.6.Ventajaseinconvenientes
Lasventajasdelenfoqueextractivoson:
Suimplementacinessencilla.
Subajocosteenesfuerzohumano,econmico,computacionalytemporal(Mani&
Maybury,1999).
Es consistente yevitalasubjetividaddelosredactoresderesmeneshumanos
(Luhn,1958;Rathetal.,1961).
Suelendarmejoresresultadosquelastcnicasabstractivas(Mani,2001).
Ysusinconvenientessonlossiguientes(Mani,2001):
Lafaltadecoherenciadelresumengenerado.
Laredundanciadelcontenidoportratarlasoracionesdemaneraindependiente.

3.7.Revisin
Cuandoseextraenoracionesdeldocumentofuente,seleccionaroracionesindependientes
fuera de contexto aparecen los problemas que acabamos de mencionar: la incoherencia y la
redundancia. Existen tcnicas para mitigar el impacto de estos inconvenientes. A continuacin
veremosafondoenqueconsistenestosproblemasycomopaliarlos.
Laincoherenciaenlosresmenessedaporalgunosdelossiguientesmotivos(Mani,2001):
Anforas no resueltas: se extrae, por ejemplo, una oracin que contiene un
pronombre que hace referencia a un antecedente que se encuentra en otra oracin no
seleccionadaparaserextrada.
Lagunas:normalmentelostextosestnescritos detalmaneraquelas ideas se
conectanentres,enuntextoenelqueseextraendemaneraindependientelasoraciones
puedenperdersealgunasdeestasconexiones.
Entornos estructurados: elementos de los textos como listas o tablas crean
problemasalahoraderesumirautomticamente,siseextrajesedeuntextounaoracin
comoLastrespartesdelsistemason:ynoseextraenlostreselementosquecomponenla
lista,osiseextraealgunadelaspartesynosudescripcinsepierdeelcontextoysegenera
elproblemadelaincoherencia.
Lasolucinconsisteenel suavizadosuperficialdecoherencia queconsisteenidentificar
cuandounaanforaquedasinantecedenterequiereencontrareneltextoexpresionesqueserefieran
adichoantecedente,estonoesfcilyaquesenecesitaconocimientolingsticoyconocimiento
especficodedominio.Lasolucinmsfcilesexcluirtodaslasoracionesquecontengananforas
(Brandow et al., 1995). Otra estrategia ms sofisticada sera incluir una ventana de oraciones
anterioresesperandoqueelantecedenteestenellas(Mani,2001).Otrosistemasmsavanzados
intentanlocalizarelantecedentecomoeneltrabajodePaice(1990).Paratratarlaslagunassehan
utilizadomtodosmuysimples,unejemploseencuentraeneltrabajodeBrandowetal.,(1995),en
11

Mrquez,V.Resmenesautomticos:enfoqueextractivoyevaluacin.

elqueincluyeenelresumenfrasesnoseleccionadasparaserextradasentredosquesisehan
seleccionado; osiseseleccionaeincluyelansimaoracindeunprrafo,incluirtambin la
primera.Enelcasodelosentornosestructuradosesmuydifcilanalizarlaestructuradelentorno,
porloquelasolucinmsfcilesidentificardichaestructurayexcluirla;dadoelaugedelXML,
otraideaserautilizarlosmetadatosparaintentarresumirlaestructura.
Paramermarelefectonegativodelaredundancia,sepuedeaplicarunmtodoconocido
comoRelevanciaMximaMarginal(MMR:MaximalMarginalRelevance),suusorequiereuna
representacin ms rica de la fuente que registre las palabras de las oraciones. Carbonell &
Goldstein(1998)aplicanestemtodo:sloseaadenlasoracionesalaseleccinsidifierendelas
extradaspreviamente.

12

Mrquez,V.Resmenesautomticos:enfoqueextractivoyevaluacin.

4.Evaluacin
Laevaluacinesunaparteesencialdeunadisciplinaprcticacomoladelageneracinde
resmenesautomticos.Dehecholaevaluacinespartedeloqueseacuacomomtodocientfico;
lahabilidaddedisearexperimentosyevaluarlosresultadosobtenidos,puedeayudaraconstruirun
argumento cientfico a favor o en contra de una teora o un mtodo. Se puede considerar la
evaluacindesdeelpuntodevistadeladesarrollodeteoras;as,laevaluacinproporcionauna
pruebaparaconfirmarorefutarunahiptesisounconjuntodeellas.Dehecho,laevaluacinpuede
darlugaranuevashiptesis,porloqueproporcionaunaestrategiadeinvestigacinyunmarco
tericoparavariasetapasdeldesarrollo(Mani,2001).
Lageneracinderesmenesestodavauncampodeinvestigacinprctico,noexistetodava
unmarcotericoconelquetrabajo.Poreso,sehacenecesarioquediferentesmtodospuedanser
comparadosparaquesusventajasydesventajasparticularespuedansermejorcomprendidas.

4.1.Orgenes
Enlosalboresdelainvestigacinenelcampodelosresmenesautomticosyaseidearon
tanto mtodos informales de evaluacin (Pollock & Zamora, 1975), estudios ms organizados
(Edmundson,1969),comparativascontraotrossistemasycontralneasbase(Brandowetal.,1995).
Afinalesdelos90empezaronasurgirprogramascomoSUMMAC(Mani etal.,1999)oDUC
(Baldwinetal.,2000;Overetal.,2007)parajuzgarsistemasquegeneranresmenesautomticos.

4.2.Clasificacindelosmtodosdeevaluacin
Enelterrenodela evaluacin sesuelehacerladistincinentreevaluacin intrnseca y
evaluacinextrnseca(Mani,2001):
Intrnseca: evaluacin cuyo nfasis se centra directamente en la calidad del
resumencreado.
Extrnseca:evaluacincuyonfasissecentraencuanbienayudaelresumena
realizarunatareaconunpropsitoespecifico.
Losatributosmshabitualmenteevaluadosdemaneraintrnsecasonlacalidaddelasalida
generada y lo informativo quees elresumengenerado.Estosjuicios sonsubjetivosyaque los
realizanhumanos,ylosjuecespuedendisentir.Siladiferenciaentrelasposturasdedichosjueceses
demasiadogrande,laevaluacinpuedellegaranosertilentretantodesacuerdo.
Paramedirlacalidad Minel etal. (1997) lossujetosdebanvalorarla legibilidad delos
resmenes generados,ypuntuarlosbasndoseenlapresenciade anforas sinresolver,falta de
conservacin de la integridad de los entornos estructurados como listas o tablas,presencia de
afirmacionestautolgicascomoPredecirelfuturoesdifcil,etc.
Paramedircuan informativo esunresumengeneradoautomticamentesepuedecomparar
13

Mrquez,V.Resmenesautomticos:enfoqueextractivoyevaluacin.

contramodelosescritosporhumanoscomohace Edmundson(1969) ensutrabajo.Tambin se

puedevalorarlafidelidadaldocumentofuentecomoeselcasodeBrandowetal.(1995).

Laideadeevaluacinextrnsecadelosresmenescreadosautomticamenteesdeterminarel
efectodelarealizacindelresumenenalgunaotratarea.Losmtodosdeestetipodeevaluacin
sonlosquesiguen:
Valoracinde la relevancia: hanhabidomuchos acercamientos extrnsecos de
evaluacinparalavaloracindelarelevancia,estosueleconsistirenqueaunsujetosele
presentauntemayundocumento.Acontinuacin,selespidedeterminarlarelevanciadeun
tema con respecto al documento. Finalmente, se estudia la influencia de la sntesis de
resmenes automticos sobre la precisin de valoracin de la relevancia y el tiempo
empleadopararealizarlatarea.UnejemploeseltrabajodeTombros&Sanderson(1998),
enelqueselespedaalossujetosqueencontrasentantosdocumentosrelevantescomoles
fueseposibleenuntiempodecincominutos,losresultadosindicaronquelosresmenes
orientadosalusuario proporcionabanmejoresresultadosenlaprecisinytiempodela
valoracindelarelevancia.
Comprensin delalectura:entareasdestinadasavalorarlacomprensindela
lectura,elsujetohumanoleebieneldocumentooelresumengenerado;acontinuacin,
debe contestar una serie de preguntas multirespuesta; los resultados del test son
almacenadosporelsistemacomounporcentajedepreguntascontestadascorrectamente.De
esta manera se puede valorar objetivamente la comprensin y comparar los resultados
obtenidosconelresumenyeldocumentooriginal.Elrazonamientoesquesiconlalectura
del resumenseobtienenresultadossimilares queconladeldocumentofuente,elvalor
informativodelresumenesalto.UnejemploeseltrabajodeMorrisetal.(1992)dondese
evalaelimpactodelaaccinderesumirenunatareaderespuestasapreguntas.
Otras valoraciones extrnsecas sonlas de estrategias depresentacin, especial
mentetilesparalaevaluacindesistemasderesmenes multimedia;yla evaluacinde
sistemas maduros, que se hace til cuando el sistema de generacin de resmenes
automticoseslosuficientementemadurocomoparatenerusuariosfinales(Mani etal.,
2001).
Porotraparte, SparkJones(2007a)estableceungradienteclasificandolosmtodosdeeva
luacinenfocadosalpropsitodelresumenquevade semiorientadoalpropsito,pasandopor
quasiorientadoalpropsitoypseudoorientadoalpropsitohastallegaraltotalmenteorientadoal
propsito (Fig. 4). El orden de esta clasificacin, tal y como ha sido anteriormente expuesto
correspondeconungradientedeintrnsecoaextrnseco.Laautoraafirmaqueesimposibleevaluar
resmenes si no se conoce para que son. Tambin distingue dos tipos de evaluaciones: por
comparacin con el texto fuente y por comparacin con modelos de resmenes escritos por
humanos. Finalmente propone que la direccin a tomar en la evaluacin de resmenes debe
orientarsealatomadedecisiones,esdecir,cuantomsayudeelresumenatomarunadecisin
correcta,mejorresumenser.

14

Mrquez,V.Resmenesautomticos:enfoqueextractivoyevaluacin.

Figura4:Gradientedelaevaluacinrelacionadaconelcontextodelatarea.
[AdaptadodeSparkJones(2007b)]

4.3.Programasyconcursos
En los ltimos hahabidoungranintersenlaevaluacindeprototipos desistemas de
sntesisderesmenesautomticos(Overetal.,2007).Enestaseccindescribiremosbrevementelos
programasdeevaluacinmsimportantesdelasltimasdosdcadas.Estosprogramasson:
SUMMAC (Summarization Evaluation Conference): fue una evaluacin a gran
escaladesistemasderesmenesautomticosdetextoquetuvolugaren1998comopartedel
programa TIPSTER de la Administracin de Proyectos Avanzados de Investigacin de
Defensa (Defense Advanced Research Projects Administration [DARPA]) (Mani et al.,
1999).Participaron16sistemasteniendoencuentalaevaluacinextrnsecadedostareasdel
mundoreal.Laprimeraconsistaenprocesarunalistadedocumentosparaencontrarlos
relevantes.Lasegundaeraunatareadecategorizacinenlaque,porejemplo,sepresentaba
unconjuntode1000documentosquedebanseragrupadosen10clases.
NTCIR(NationalInstituteforInformaticsTestCollectionforIR):tuvolugaren
2000,2002y2004enJapn.Cadaaosepresentaban10sistemasquetrabajabanendos
tareas de generacin de resmenes. En el 2000 (NTCIR2, 2001) se utiliz la tcnica
extrnseca de valoracin de la relevancia, as como evaluacin intrnseca que para los
sistemas extractivos consista en medir el nmero de correspondencias entre oraciones
seleccionadasporhumanosylasextradasporlossistemas.EnOveretal.(2005)sehaceun
resumendelrestodetcnicasusadasenotrosaosenlosqueelprogramatuvolugarhasta
2007.
DUC(DocumentUnderstandingCongerence):comenzcomounproyectopiloto
enel2000ylaprimeraevaluacinafondofueen2001.Lahojaderutaensusprincipio
sugera una forma de evaluacin intrnseca, que ms adelante se fuesen introduciendo
mtodos extrnsecos. Se han considerado tanto resmenes de un solo documento como
resmenesmultidocumento,ascomogenricosyorientadosalusuario.Hoyendaeste
programa,seconocecomoTAC(TAC,2010).
15

Mrquez,V.Resmenesautomticos:enfoqueextractivoyevaluacin.

TAC(TextAnalysisConference):desdeel2008DUCseconocecomoTAC.Parael
2010seproponendostareas:creacinderesmenesdirigidosyevaluacinautomticade
resmenes por parejas (Automatically Evaluating Summaries Of Peers [AESOP]). La
creacinderesmenesdirigidosconsisteenhacerunresumendenomsde100palabrasde
un conjunto de 10 documentos de un determinado tema y cada tema pertenece a una
categora determinada, cada categora cubre varios aspectos y dichos aspectos deben
encontrarseenelresumen(TAC,2010).EnelcasodeAESOP,latareaconsisteenvalorar
automticamente resmenes para una mtrica dada. Para obtener ms informacin al
respectoconsltese(TAC,2010).Paralaevaluacindelosresmenesdirigidos,elInstituto
Nacional de Estndares y Tecnologa (National Institute of Standards ant Technology
[NIST])valoramanualmenteelcontenidosiguiendoelmtodopiramidal1delaUniversidad
deColumbia,lalegibilidadylafluidez,ysensibilidadglobaldelresumen.

Unapirmideesunmodeloqueprediceladistribucindelcontenidodelainformacinenlosresmenestalycomo
sereflejaenlosresmenesescritosporhumanos.Paramsinformacinconslteselasiguientereferencia:
http://www1.cs.columbia.edu/~becky/DUC2006/bibliography.html

16

Mrquez,V.Resmenesautomticos:enfoqueextractivoyevaluacin.

5.Trabajofuturo
Yadesdesutrabajode1998,SparkJones(1998)estableceunmarcoparaelestudiodelos
factoresqueintervienenalahoradegenerarunresumen.Insisteen,yrevisa,dichosfactoresensu
trabajode2007(SparkJones,2007a).Anadadehoy,muchosdelosprototiposysistemasque
venlaluznotienenencuentatodosestosfactores,aunquealgunosdeellossiqueincorporan
algunosendiferentesetapasdelageneracindelosresmenes,perodemaneramuylimitada.Se
considerantresgrandesfamiliasdefactoresdecontexto:deentrada,depropsitoydesalida:

Factoresdeentrada:
Forma
Idioma
Registro
Medio
Estructura
Gnero
Extensin
Temtica
Unidades
Autor
Metadatos

Factoresdepropsito
Uso
Audiencia
Envoltura
Momento
Ubicacin
Formalidad
Destinatario

Factoresdesalida
Material
Cobertura
Condensacin
Derivacin
Especialidad
Estilo
Forma
Idioma
Registro
Medio
Estructura
Gnero

Estosfactoreshandetenerseencuentaenunfuturocercanotantoenlosmtodospara
resumirautomticamentecomoenlaevaluacindelosmismos.
Es posible que los mtodos estadsticos estn llegando al punto en el que se requiere
demasiadoesfuerzoparaobtenermejorasnimiasenlosresultados.Losmtodoshbridosqueaunan
mtodosestadsticosysimblicosdanmejoresresultados.Estopareceindicarqueserequieredela
incorporacindeanlisislingsticosmsprofundos.Sedebeportantoavanzarhaciaestrategias
msambiciosasqueexplotenlainformacinsemnticaydeldiscurso.
Hastaelmomentolosmtodosabstractivosnohantenidogranxitodebidoasuspobres
resultados.Estonoquieredecirquehayaqueabandonarestalneadeinvestigacin.Elavanceen
tcnicasdecomprensindeltextoseguramenteinfluyasignificativamenteenelprogresodeestas
tcnicasalargoplazo.
Demomento,dadoelaugedelastcnicasextractivasehbridas,parecerazonablehacer
especialhincapienlarevisindelresumengeneradousandotcnicasquetenganencuentael
contexto para mejorar la coherencia. En este momento estas tcnicas son mayoritariamente
superficiales, habra que aprovechar ms los recursos semnticos que nos ofrecen las bases de
conocimientolingisticocomoWordNetoEuroWordNet.

17

Mrquez,V.Resmenesautomticos:enfoqueextractivoyevaluacin.

6.Conclusiones
Serainteresantehacerunaclasificacinordenadadelastcnicasdeextraccin.Peroantela
multitud de criterios a valorar, los diferentes mtodos de evaluacin y todos los factores que
influyenalahoradegenerarunresumenautomtico,estosehaceimposible.AnasMani(2001)
haceunarevisindelasventajasydebilidadesdecadaunadelastcnicasextractivas.
Comoyasehamencionado,losmtodosextractivosofrecenresultadosaceptablescuandola
utilidaddelresumengeneradoesgenrica.Sonfcilesdeimplementarysucosteesmuyasumible,
tanto computacional como econmicamente. Las caractersticas de ubicacin y palabras clave
parecenserengenerallasmsefectivas.Otrascaractersticastambinlosoncuandonoscentramos
enungeneroespecfico,perocongranvariabilidadendiferentesdominios.
Cuando se compara la extraccin y la abstraccin, ms all de que en los mtodos
abstractivossemodifiquedealgunamaneraeltextofuente,loimportanteesquellevanacabouna
elaboracindetalladayorganizadadelosconceptosdeldocumentofuente.Estorequiereunnivelde
entendimiento del texto que de momento no ha dado buenos resultados. Pero esta linea de
investigacinparecelamsprometedoraalargoplazo.
Encuantoalaevaluacinsepuededecirquehasidolaimpulsoradelosavancesenel
campodelosresmenesautomticos.Esms,hajugadounpapelfundamentalenelvertiginoso
progresodelastecnologasdeanlisisdellenguaje.Aunqueexistennuevasreasdelageneracin
deresmenesautomticosquerequierendenuevosmtodosdeevaluacincomo:resmenespara
dispositivos mviles o resmenes usados como consultas para la recuperacin de documentos
relevantes.

18

Mrquez,V.Resmenesautomticos:enfoqueextractivoyevaluacin.

7.Referenciasbibliogrficas
Alfonseca,E.&RodrguezP.(2003)."GeneratingExtractswithGeneticAlgorithms",AdvancesIn
InformationRetrieval,vol.2633,pp.511519.
Aone, C.;Gorlinsky,J.;Bjornar,L.&Okurowski,M.E.(1999)."ATrainableSummarizerwith
Knowledge Aquired from Robust NLP Techniques", en Mani, I. & Maybury, M., editors,
AdvancesinAutomaticTextSummarization,pp.7280,CambridgeMA:MITPress,1999.
Baldwin,B.;Donaway,R.;Hovy,E.;Liddy,E.;Mani,I.;Marcu,D.;McKeown,K.;Mittal,V.;
Moens,M.;Radev,D.;SparckJones,K.;Sundheim,B.;Teufel,S.;Weischedel,R.&White,
M.(2000)."AnEvaluationRoadMapforSummarizationResearch"http://wwwnlpir.nist.gov/
projects/duc/papers/summarization.roadmap.doc(ltimoacceso:19demayode2010)
Bellare, K.; Das Sarma, A.; Das Sarma, A.; Loiwal, N.; Mehta, V.; Ramakrishnan, G. &
Bhattacharya, P. "Generic Text Summarization using WordNet, http://i.stanford.edu/
~anishds/publications/lrec04/lrec04.ps

(ltimoacceso:16demayode2010).
Brandow,R.;Mitze,K.&Ray,L.(1995)."AutomaticCondensationofElectronicPublicationsby
SentenceSelection",InformationProcessing&Management,vol.31,no.5,pp675685.
Carbonell, J. & Goldstein, J. (1998). "The Use of MMR and Diversitybased Reranking for
Reordering Documents and Producing Summaries", Proceeding of the 21st Annual
InternationalACMSIGIRconferenceonResearchandDevelopmentinInformationRetrieval
(SIGIR2001),pp.335336.
Edmundson,H.P.(1969)."NewMethodsinAutomaticExtracting",JournaloftheAssociationfor
ComputingMachinery,vol.16,no.2,pp264285.
Fattah,M.A.&Ren,F.(2008)."AutomaticTextSummarization",ProceedingsOfWorldAcademy
OfScience,EngineeringAndTechnology,vol.27,pp.192195.
Frutelle,R.P.(1999)."SummarizationofDiagramsinDocuments",enMani,I.&Maybury,M.,
editors,AdvancesinAutomaticTextSummarization,pp.403421,CambridgeMA:MITPress,
1999.
Hahn,U.&Mani,I.(2000)."TheChallengesofAutomaticSummarization",IEEEComputer,vol.
33,no.11,pp.2936.
Hovy,E.& Lin,C.Y.(1999)."AutomatedTextSummarizationinSUMMARIST", enMani,I.&
Maybury,M.,editors, AdvancesinAutomaticTextSummarization,pp.403421,Cambridge
MA:MITPress,1999.
Kupiec,J.;Pedersen,J.&Vhen,F.(1995)."ATrainableDocumentSummarizer",Proceedingsof
the18thACMSIGIRConference,pp.6873.
Louis,A.&Nenkova,A.(2008)."AutomaticSummaryEvaluationwithoutHumanModels",Note
bookPapersandResultsoftheTextAnalysisConference(TAC2008).
Luhn,H.P.(1958)."TheAutomaticCreationofLiteratureAbstracts", IBMJournalofResearch
19

Mrquez,V.Resmenesautomticos:enfoqueextractivoyevaluacin.

Development,vol.2,no.2,pp.159165.(Reimpresoen Mani,I.&Maybury,M.,editors,
AdvancesinAutomaticTextSummarization,pp.1521,CambridgeMA:MITPress,1999)
Mani, I. & Bloedorn, E. (1999). "Summarizing Similarities and Differences Among Related
Documents",InformationRetrieval,vol.1,no.1,pp.123.
Mani,I.;House,D.;Klein,G.;Hirschman,L.;Firmin,T.&Sundheim,B.(1999)."TheTIPSTER
SUMMAC Text Summarization Evaluation", Proceedings of the Ninth Conference on
EuropeanChapteroftheAssociationForComputationalLinguistics,pp.7785.
Mani,I.&Maybury,M.editors(1999)."AdvancesinAutomaticTextSummarization",Cambridge:
Massachusetts:MITPress.
Mani,I;Concepcion,K&VanGuilder,L.(2000)."UsingSummarizationforAutomaticBriefing
Generation",EnProceedingsoftheWorkshoponAutomaticSummarization,pp.98108.New
Brunswick,NewJersey:AssociationforComputationalLinguistics.
Mani,I.(2001)."AutomaticSummarization",Amsterdam:JohnBenjaminsPublishing.
McCargar,V.(2004)."StatisticalApproachestoAutomaticTextSummarization", Bulletinofthe
AmericanSocietyforInformationScienceandTechnology.
Merlino, A. & Maybury, M. (1999). "An Empirical Study of the Optimal Presentation of
MultimediaSummariesofBroadcastNews",enMani,I.&Maybury,M.,editors,Advancesin
AutomaticTextSummarization,pp.391401,CambridgeMA:MITPress,1999.
Minel, J.L.; Nugier, S. & Piat, G. (1997). "How to Appreciate the Quality of Automatic Text
Summarization", Proceedings of the ACL/EACL'97 Workshop on Intelligent Scalable Text
Summarization, pp. 2530. New Brunswick, New Jersey: Association for Computational
Linguistics.
Morris, A.; Kasper, G. & Adams, D. (1992). "The Effects and Limitations of Automatic Text
CondensingonReadingComprehensionPerformance",InformationSystemsResearch,vol.3,
no.1,pp.1735.
Myaeng, S.H. & Jang, D.H. (1999). "Development and Evaluation of a StatisticallyBased
Document Summarization System", en Mani, I. & Maybury, M., editors, Advances in
AutomaticTextSummarization,pp.6170,CambridgeMA:MITPress,1999.
NTCIR2. Proceedings oftheSecondNTCIRWorkshopMeetingonEvaluationofChinese and
Japanese Text Retrieval and Text Summarization. (2001) http://research.nii.ac.jp/ntcir/ntcir
ws2/wsen.html(ltimoacceso:20demayode2010)
Over, P.; Dang, H. & Harman D. (2007). "DUC in Context", Information Processing &
Management,vol.43,no.6,pp.1506.
Paice, C.D. (1990)."ConstructingLiteratureAbstracts byComputer:TechniquesandPropects",
InformationProcessing&Management,vol.26,no.1,pp.171186.
Pollock, J.J. & Zamora, A. (1975). "Automatic Abstracting Research at Chemical Abstracts
Service",JournalofChemicalInformationandComputerSciences,vol.14,no.4,pp.226232.
20

Mrquez,V.Resmenesautomticos:enfoqueextractivoyevaluacin.

Rath,G.J.;Resnick,A.&Savage,T.R.(1961)."TheFormationofAbstractsbytheSelectionof
Sentences",AmericanDocumentation,vol.2,no.2,pp.139143,(actualmentetituladoJournal
oftheAmericanSocietyforInformationScience).
Salton, G.; Singhal, A.; Mitra M. & Buckley C. (1997). "Automatic Text Structuring and
Summarization",InformationProcessing&Management,vol.33,no.2,pp.193207.
Silla,C.N.;Pappa,G.L.;Freitas,A.A.&Kaestner,C.A.A.(2004)."AutomaticTextSummarization
withGeneticAlgorithmBasedAttributeSelection",LectureNotesinComputerScience, vol.
3315.
Simakov, D.; Caspi, Y.; Shechtman, E. & Irani, M. (2008). "Summarizing Visual Data Using
BidirectionalSimilarity",enCVPR,IEEEComputerSociety.
Sparck Jones, K. (1998). "Automatic Summarizing: Factors and Directions", en Mani, I. &
Maybury,M.,editors,AdvancesinAutomaticTextSummarization,pp.112,CambridgeMA:
MITPress,1999.
SparckJones,K.(2007)."AutomaticSummarising:TheStateoftheArt",InformationProcessing
&Management,vol.43,no.6,pp.1449.(2007a)
SparckJones,K.(2007)."AutomaticSummarising:AReviewandDiscussionoftheStateofthe
Art",TechnicalReport679,ComputerLaboratory,UniversityofCambridge.(2007b)
TAC(2010)."TAC2010SummarizationTrack",TextAnalysisConference.http://www.nist.gov/tac/
2010/Summarization/index.html

Tombros,A.&Sanderson,M.(1998)."AdvantagesofQueryBiasedSummariesInInformation
Retrieval",Proceedingsofthe21stInternationalConferenceonResearchandDevelopmentin
InformationRetrieval(SIGIR'98),pp.210.NewYork:AssociationforComputingMachinery.
Young, S.R. & Hayes, P.J. (1985). "Automatic Classification and Summarisation of Banking
Telexes",Proceedings,SecondConferenceonArtificialIntelligenceApplications,pp.402408.
NewYork,NY:InstituteofElectricalandElectronicsEngineers,1985.

21