Explorando grandes colecciones de imgenes de histolog a a a travs de factores latentes e

Santiago A. Prez R.a,, Juan S. Otlora M.a , Jorge E. Camargoa , Fabio A. e a Gonzleza a
a

Departamento de ingenier de Sistemas e Industrial - Universidad Nacional de a Colombia - Bogot a

Resumen En este art culo se describe una novedosa estrategia basada en factores latentes para encontrar automticamente categor de una coleccin de imgenes a as o a de histolog Para sto, se utiliz una tcnica basada en factorizacin no a. e o e o negativa de matrices que permite fusionar en un mismo espacio de representacin tanto texto como informacin visual. Se construy un prototipo o o o usuando Microsoft PivotViewer para visualizar y explorar la coleccin de o imgenes haciendo uso de los factores latentes obtenidos. a Palabras clave: medical Image exploration, NMF-summarization, Zentity, PivotViewer 1. Introduccin o

Un repositorio de imgenes de histolog es una fuente fundamental de a a conocimiento para el entrenamiento de estudiantes de medicina, apoyo en actividades de investigacin y apoyo al diagnstico en la prctica mdica. Deo o a e bido a la gran cantidad de informacin (tanto expl o cita como impl cita) que dichos repositorios contienen, es necesario desarrollar mecanismos computacionales que permitan automticamente encontrar patrones y relaciones a que puedan ser utilizados para acceder de manera efectiva, eciente e intuitiva estos grandes repositorios de informacin. Para poder interactuar con o la informacin del repositorio, especialmente imgenes y texto, se necesitan o a

Santiago Alonso Prez R.: saperezru@unal.edu.co e Juan Sebastian Otlora M.: jsotaloram@unal.edu.co a Jorge E. Camargo: jecamargom@unal.edu.co Fabio A. Gonzlez: fagonzalezo@unal.edu.co a

VII Seminario Internacional de Procesamiento y Anlisis de Imgenes Mdicas a a e

SIPAIM 2011

de mecanismos que permitan la exploracin de manera global y particular. o Un sistema que permita visualizar y explorar colecciones de imgenes mdia e cas, en donde el usuario pueda ir desde lo general a lo particular explorando las relaciones existentes en el repositorio, permitir que el usuario detecte a patrones y relaciones que no son evidentes a primera vista. Microsoft PivotViewer [1] es una tecnolog de Microsoft desarrollada en Silverlight que a permite interactuar con cantidades masivas de datos de una forma interactiva y ayuda al usuario a detectar patrones y regularidades en los datos que pudiesen estar ocultas al observarlos individualmente. Esta tecnolog a ha sido utilizada en contextos en los que los usuarios tienen que interactuar con grandes volmenes de informacin. Por ejemplo, en Pivot Vew of Netu o ix Instant Watch Movies 1 se hace uso de PivotViewer para interactuar con una coleccin de alrededor de 3000 peliculas disponibles en Netix. En 2 , o se puede acceder a una coleccin de imgenes de histolog tomadas de la o a a Mouse Brain Library. En3 se utiliza PivotViewer para visualizar y explorar la coleccin de trabajos de grado en biolog marina de la universidad Jorge o a Tadeo Lozano. Una caracter stica comn encontrada en estas aplicaciones u consiste en que ellas cuentan con un conjunto predenido de categor Sin as. embargo, en muchas colecciones de imgenes mdicas no se cuenta con dia e cha informacin, por lo que no es claro cmo particionar la informacin bajo o o o algn criterio. En este art u culo presentamos una estrategia basada en [2], en la que se combinan tanto caracteristicas visuales como textuales de imgea nes de histolog en un mismo espacio de representacin latente, con el n a o de encontrar automticamente un conjunto de categor Esas categor a as. as, tanto textuales como visuales, son utilizadas por PivotViewer para permitir la exploracin del repositorio. El sistema construido en este art o culo puede ser utilizado en los siguientes contextos: (1) Entrenamiento, en donde los estudiantes de patolog pueden encontrar imgenes similares a un caso a a particular dado; y (2) Investigacin, en donde los investigadores pueden ino teractuar con la coleccin para encontrar patrones y relaciones, las cuales no o son evidentes y que pueden ser clave para la caracterizacin de colecciones o de imgenes mdicas. a e

Figura 1: Representacin de imgenes siguiendo un enfoque de bolsa de caracter o a sticas

2. 2.1.

Descripcin del sistema o Extraccion de caracter sticas

Para representar el contenido visual de las imgenes se sigui una aproa o ximacin conocida como bolsa de caracter o sticas (BdC) [4]. El proceso de extraccin de BdC consta de tres pasos: (1) Deteccin y descripcin de carao o o ter sticas, en el que se extraen pequeos parches de cada una de las imgenes n a de la coleccin y a cada parche se le extrae un descriptor local; (2) Conso truccin de un diccionario de trminos visuales aplicando un algoritmo de o e agrupamiento para seleccionar los k parches ms representativos; (3) Reprea sentacin BdC, el cual consiste en representar cada imagen de la coleccin o o como un histograma de 1000 bins. Cada bin del histograma representa la cantidad de parches ms cercanos a cada trmino visual del diccionario prea e sentes en la imagen. Finalmente, se construye una matriz Xv que contiene todos los histogramas de las imgenes de la coleccin. a o Por otra parte, la representacin textual de la coleccin tiene en cuenta o o que el contenido de cada imagen de la coleccin es descrito por anotacioo nes realizadas por expertos. Para indexar esta informacin, se seleccionaron o los trminos con ms de 5 ocurrencias en toda la coleccin y se eliminaron e a o stop-words y palabras frecuentes del espaol. Se utiliz el modelo de espacio n o vectorial en el que cada imagen es representada por un vector en el que se indexa de manera binaria (1 0) dependiendo de la presencia o no de o
1 2

http://netflixpivot.cloudapp.net/ http://mbl.pivotcollections.org/collection.html 3 http://www.utadeo.edu.co/programas/ceri/rita.html

un trmino en las anotaciones de la imagen. Finalmente, se construye una e matriz Xt que contiene todos los histogramas de las imgenes de la coleccin. a o 2.2. La factorizacin no-negativa de matrices como tcnica de fuzzy-clustering o e El mtodo de clustering utilizado para encontrar los factores latentes e est basado en la factorizacin de matrices (NMF) [5] Xt y Xv as a o : Xt = Ft Ht = Xt Wt Ht , (1)

en donde Xt Rnl , Wt Rlr y Ht Rrl , n es el nmero de trminos u e textuales, y l el nmero de documentos. En esta factorizacin Ht es la base u o del espacio latente en el que el texto es representado como una combinacin o lineal de r columnas de Ft y los correpondientes coecientes de la combinacin son codicados en las columnas de Ht . o Luego se ja Ht y se factoriza Xv as : Xv = Fv Ht = Xv Wv Ht , (2)

en donde Xv Rml , Wv Rlr y Fv Rmr , siendo m el nmero de u trminos visuales. Esta factorizacin permite fusionar tanto la representae o cin textual como visual en un mismo espacio latente de menor dimensionao lidad. Esta factorizacin produce un agrupamiento de las imgenes basada o a en texto (temas latentes textuales); cada columna de W representa el i-sie mo grupo y en cada columna de H se encuentra el grado de membres de a cada imagen a cada uno de los r grupos. Utilizar Xv para denir la base del espacio induce temas latentes visuales. Ft se usa siempre para resumir en trminos textuales los temas latentes. En [2] se discute en mas detalle cmo e o esta tcnica es util para realizar un resumen multimodal de la coleccin. e o 2.3. Visualizacin y exploracin usando PivotViewer o o Pivot Viewer (PV) facilita la visualizacin y exploracin de grandes o o colecciones de imgenes a travs de una interfaz intuitiva que permite al a e usuario: Hacer zoom-in y zoom-out, ltrar por carater sticas asociadas a las imgenes (o facet categories) y sus posibles valores (o facets), llevar un a historial de ltrado, pedir detalles espec cos bajo demanda, ordenar imgea nes linealmente en una malla de acuerdo con una caracter stica numrica o e textual, y dividir visualmente un grupo de imgenes de acuerdo con una caa racter stica. La Figura 2 muestra los controles de cada una de estas opciones. Todo sto hace de PivotViewer una herramienta muy bien equipada tanto e para la visualizacin como para la exploracin, dado que por un lado cumo o ple con las premisas establecidas por Shneiderman [6] en la construccin de o 4

sistemas de visualizacin de informacin, y por otro, aprovecha las ventajas o o de los sistemas de recuperacin de informacin. Aqu se intenta aprovechar o o todas estas carater sticas para facilitar la exploracin de imgenes de hiso a tolog apoyndose en los resultados obtenidos en [2]. All se describe una a a tcnica de fuzzy-clustering basada en la factorizacin no negativa de matrie o ces que tiene en cuenta la multimodalidad de la informacin disponible y o permite interpretar cada cluster como un tema latente. Los temas latentes (multimodales) dan la oportunidad al usuario de reconocer patrones latentes inducidos ya sea por categor de datos impl as citas en la coleccin o por o relaciones impl citas entre modalidades.

Figura 2: Distribucin grca de los controles de PivotViewer o a

2.4.

Diseo de la exploracin n o

Los temas latentes obtenidos en la anterior seccin son utilizados para o explorar lo coleccin de imgenes dentro de PV. A cada imagen se le asigna o a una caracter stica numrica por cada tema latente, el cual indica su grado de e pertenencia al mismo. Para cada imagen se selecciona el tema que tenga el

mayor grado de pertenecia. De esta manera se est induciendo una particin a o del espacio a partir de un agrupamiento difuso. Esto permite no slo ltrar o sino tambin dividir colecciones de objetos de acuerdo con su pertenencia e a los temas latentes de cierta modalidad. Adems de estas carater a sticas, se proporcionaron otras bsicas que buscan facilitar la experiencia de exa ploracin. Algunas de ellas son: (1) Una caracter o stica booleana por cada etiqueta importante en los resmenes textuales de cada tema latente. Esta u propiedad permitir al usuario encontrar imgenes en un tema latente que a a no contienen expl citamente determinada palabra dentro de sus anotaciones. Por ejemplo, se podr encontrar imgenes en un tema latente nervioso an a aunque dichas imgenes no tengan dentro de sus anotaciones dicha palabra; a y (2) El nombre que se da a la imagen en la coleccin. o 3. Resultados

3.1. Dataset de imgenes de histolog a a Se utiliz una seleccin aleatoria de 5,000 imgenes de una coleccin de o o a o 20,000 imgenes de histolog adquiridas para el estudio de los cuatro tejidos a a biolgicos fundamentales [7]. Estas imgenes fueron anotadas por bilogos o a o de la Universidad Nacional de Colombia utilizando una herramienta desarrollada para tal n. El nmero de imgenes seleccionadas para el experimento u a est limitado por la eciencia computacional de PivotViewer. La Figura 3 a ilustra el proceso de exploracin de la coleccin de imgenes de histolog o o a a. La exploracin inicia con una visualizacin de la coleccin completa, luego o o o se realiza un ltro por el factor latente textual conectivo, la herramienta visualiza los factores latentes visuales presentes, y nalmente se muestra el detalle de dos de los factores latentes visuales. Note cmo la herramienta o particiona las imgenes en grupos que son al mismo tiempo similares por su a contenido textual y visual. Es interesante notar que algunos factores latentes visuales corresponden con la tincin utilizada en el proceso de adquisicin o o de las imgenes. El tipo de tincin utilizado le permite al bilogo resaltar a o o las estructuras biolgicas en las que est interesado. o e 4. Conclusiones y trabajo futuro

La principal contribucin de este art o culo es una estrategia automtica a para la denicin de categor de visualizacin en una coleccin de imgeo as o o a nes de histolog que permite su fcil navegacin utilizando un sistema como a a o PivotViewer. En este art culo hemos ilustrado el apoyo que presta la factorizacin no negativa de matrices a la exploracin a travs de una herramienta o o e 6

Figura 3: Interaccin y exploracin de la coleccin con PivotViewer. o o o

de visualizacin particular. Se observ que existen relaciones entre temas o o latentes visuales y temas latentes textuales que deben ser investigadas para mejorar la exploracin de la coleccin. Por otra parte se considera imporo o tante aprovechar las capacidades de resumir temas latentes en trminos de e documentos mediante el enfoque de factorizacin de matrices a travs de o e visualizacin basada en grafos y otra de las herramientas que provee Zeno tity (Visual Explorer). En el futuro se desea encontrar automticamente el a nmero de factores latentes, dado que juega un papel importante como reguu lador entre calidad de reconstruccin de la matriz original y la complejidad o computacional. Adems, se desea evaluar el sistema con usuarios reales para a medir la ecacia y eciencia del mismo. Agradecimientos Este trabajo fue parcialmente nanciado por el proyecto Anotacin Auo tomtica y Recuperacin por Contenido de Imgenes Radiolgicas usando a o a o Semntica Latente nmero 110152128803, por el proyecto proyecto Sistema a u 7

para la Recuperacin de Imgenes Mdicas utilizando Indexacin Multimoo a e o dal nmero 110152128767 de la Convocatoria Colciencias 521 de 2010 y por u la empresa de telecomunicaciones Avantel S.A.S. Referencias [1] Microsoft-Research, PivotViewer, http://www.microsoft.com/ silverlight/pivotviewer/, [Online; seen on November - 2011] (2011). [2] J. Camargo, F. Gonzalez., Multimodal image collection summarization using non-negative matrix factorization, 6th Colombian Computing Congress (CCC) . (2011) 6. [3] Microsoft-Research, Zentity - a research output repository platform, http://research.microsoft.com/en-us/projects/zentity/, [Online; seen on November - 2011] (2011). [4] F.-F. Li, P. Perona, A bayesian hierarchical model for learning natural scene categories, in: CVPR 05: Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR05) - Volume 2, Vol. 2, IEEE Computer Society, Washington, DC, USA, 2005, pp. 524531. doi:10.1109/CVPR.2005.16. URL http://dx.doi.org/10.1109/CVPR.2005.16 [5] D. D. Lee, H. S. Seung., Algorithms for non-negative matrix factorization, Advances in neural information processing systems-NIPS 2001 (2001) 7. [6] B. Shneiderman, The eyes have it: A task by data type taxonomy for information visualizations, in: Proceedings of the 1996 IEEE Symposium on Visual Languages, IEEE Computer Society, Washington, DC, USA, 1996, pp. 336. [7] F. Gonzalez, J. Caicedo, A. Cruz, J. Camargo, E. Romero, C. Spinel, N. Revelo, D. Seligmann, J. Forero, A web-based system for biomedical image storage, annotation, content-based retrieval and exploration, Microsoft eScience Workshop (2009).