Revista Colombiana de Fsica, Vol.XX, No.XX de 20XX.

Detecci n Y Seguimiento De Eventos De Interacci n Por Toques o o En Supercies Planas Aplicados Al Desarrollo De Plataformas Multit ctiles De Tipo Optico a
Detection And Tracking Of Touch Event Interaction On Flat Surface Applied To The Development Of Multitouch Optical Platforms D. Ferrin-Bola os a n
a Grupo

F. Buchelly-Imbach a , L. Pencue-Fierro a .

de Optica y L ser - GOL. Universidad del Cauca. Popay n, Colombia. a a Recibido xxxx; Aceptado xxxx; Publicado en lnea xxxx.

Resumen Se presenta el desarrollo de dos sistemas de visi n articial para detectar y seguir toques en supercies o planas, aplicados a la construcci n de plataformas multit ctiles de tipo de optico de bajo costo. El primer o a sistema conocido como proyecci n de sombras, hace uso de una sola c mara, mientras que el segundo o a esquema hace uso de la triangulacion con dos c maras. Se utiliza la integral proyectiva como t cnica de a e detecci n y la t cnica de vecinos m s cercanos para el seguimiento. Ambas t cnicas fueron optimizadas o e a e para obtener resultados de tiempo real. Este trabajo muestra una alternativa viable para que estas tecnologas lleguen a amplios sectores y potencializar los procesos educativos. Entre los resultados m s destacables se a encuentra que ambos sistemas muestran ser robustos frente al ruido y a cambios de iluminaci n, la latencia o no es detectable en las aplicaciones y presenta robustez en la detecci n y funcionamiento general. El error o m ximo en la determinaci n de posici n fue de 10 mm, con lo que es posible interactuar de manera natural a o o con aplicaciones conteniendo elementos gr cos desplegados en 2D y 3D. a Palabras Claves: Interfaces Computacionales, Procesamiento de Im genes, Velocidad. a Abstract This paper presents the development of two computer vision systems to detect and track touches on at surfaces, applied to the construction of inexpensive optical multitouch platforms. The rst system known as shadow projection uses a single camera, while the second scheme makes use of two cameras and thus performs a triangulation. Projective integral is used as detection technique and nearest neighbors as the technique to track. Both techniques were optimized for real-time results. This paper shows a viable alternative for these technologies to reach broad sectors and empower the educational process. Among the most notable is that both systems are shown to be robust against noise and lighting changes, the lag of the system is not detectable in the applications and provides robustness in the detection and overall performance. The maximum error in determining position was 10 mm, which permits natural interaction with applications containing 2D and 3D graphics. Keywords: Computer Interfaces, Image Processing, Velocity. PACS: 07.05.Wr; 07.05.Pj; 07.05.Mh; 07.05.Bx; 06.30.Gv. c 2009. Revista Colombiana de Fsica. Todos los derechos reservados.

cdfbdex@gmail.com

Rev.Col.Fis, Vol.XX, No.XX de 20XX. 1. Introducci n o El desarrollo de nuevas interfaces de interacci n o humano-computador es un reto de gran importancia para la sociedad tecn logica actual, a tal punto, que muo chos centros de investigaci n y empresas a nivel mundio al asumen en su organizaci n. La interacci n humanoo o computador es la disciplina que estudia el intercambio de informaci n entre las personas y los computadores. o Esta se encarga del dise o, evaluaci n e implementaci n n o o de los aparatos tecnol gicos interactivos, estudiando el o mayor n mero de casos que les pueda llegar a afectar. En u este campo convergen disciplinas como la fsica, la in form tica y las ciencias sociales, etc. El objetivo es que a el intercambio sea m s eciente: minimizar errores, ina crementar la satisfacci n, disminuir la frustraci n y, en o o denitiva, hacer m s productivas las tareas que rodean a a las personas y los computadores. La tecnologa Multi toque es una interesante forma de interacci n humanoo computador a trav s del uso del sentido del tacto. El e t rmino Multitoque, se reere a la capacidad de reconoe cer la presencia de dos o m s puntos de contacto sobre a una supercie [1]. Y aunque los primeros prototipos de esta tecnologa fueron desarrollados en 1982 en la Uni versdidad de Toronto, su desarrollo, en principio, fue meramente electr nico. o Con el aumento en las capacidades de procesamiento de los computadores personales, PC, los enfoques opticos han cobrado importancia. Es as como Jeff Han en 2006 apareci en el mercado con su reconocida Percepo tivepixel [2], que utiliza un fen meno optico llamado o reexi n total interna frustrada. En respuesta Microsoft o en 2008 lanza su Microsoft-Surface [3] que utiliza la iluminaci n difusa como principio optico detr s de su o a prototipo. Aunque en la actualidad los precios han bajado considerablemente con respecto a sus precios de lanzamiento, no dejan de ser de difcil acceso. A con tinuaci n se describe el dise o e implementaci n de dos o n o prototipos opticos multitoque de bajo costo, desarrolla dos en el Laboratorio de optica y L ser de la Universia dad del Cauca. 2. Multitoque Optico Cuando el elemento sensor es un sistema formador de imagen, como es el caso de las c maras, es necesario a adecuar, un sistema de visi n articial que incluye tanto o la ubicaci n m s apropiada para los componentes optio a cos y la c mara, como tambi n el dise o de los algoa e n ritmos ecientes, r pidos y robustos de procesamiento a digital de im genes o se ales en general [4]. La gua n 2 ra 1 muestra el diagrama de ujo tpico de un sistema multit ctil que utiliza visi n por computador [3]. Su a o funcionamiento es el siguiente: se captura una imagen (o im genes dependiendo del caso) la cual inicialmente a es corregida geom tricamente debido a las aberracioe nes opticas que pueda tener el elemento sensor; despu s pasa por una etapa de preprocesamiento en el cual e se prepara la imagen para ser analizada. Uno de estos an lisis consiste en la detecci n de toques, que como a o objetivo nal informa de cada una de los lugares donde hubieron toques en el sistema coordenado de la pantalla. Despu s de esto, y con el n de hacer distinguibles los e toques realizados por diferentes usuarios, se compara informaci n pasada con la actual de toques detectados o con el n de establecer las mejores correspondencias, este an lisis se denomina seguimiento, y como resultaa do se tienen un conjunto de trayectorias distinguibles (leyes de movimiento discretizadas) de cada intenci n o de toque; con esta informaci n se puede empezar a ideno ticar patrones de comportamiento de las trayectorias en forma separada (identicaci n de gestos) para luego o codicar ordenes al sistema operativo o hacia aplicaciones especcas. Como puede verse en el diagrama de ujo, muchas de estas etapas dependen de condiciones obvias como por ejemplo el hecho que debe existir una imagen para procesar, que deben haber toques detectados para poder pasar a la etapa de seguimiento, etc. 3. Diseno e implementaci n de plataformas o multitoque opticas En las gura 2(a) y (b) se pueden observar de forma simplicada los esquemas propuestos, a saber, proyecci n de sombras y triangulaci n con dos c maras, reso o a pectivamente. El esquema de proyecci n de sombras es adecuado o para volver multit ctil pantallas LCD o LED que iniciala mente no lo son. Para lograr esto se ubican dos l mparas a uorescentes delgadas ubicadas al lado izquierdo y abajo de la pantalla. Los ujos luminosos cuasi-paralelos a esta ultima, son reejados por dos espejos rect ngua lares ubicados en los lados opuestos a las l mparas y a tienen como n redireccionarlos hacia un espejo (espejo colector) ubicado en la parte trasera de la pantalla que a su vez reeja el ujo hacia la c mara, ubicada entre a la pantalla y el espejo colector, para obtener una imagen como la de la gura 3(a). Cada vez que hay toque la continuidad de los patrones de iluminaci n formados o en la imagen es interrumpida, este es el hecho que se utiliza despu s para la detecci n. e o El esquema de triangulaci n con dos c maras es adeo a

D. Ferrin-Bola os et al.: Detecci n Y Seguimiento De Eventos De Interacci n Por Toques En Supercies Planas n o o Aplicados Al Desarrollo De Plataformas Multit ctiles De Tipo Optico. a

Figura 1. Diagrama de ujo del funcionamiento de un sistema multitoque utilizando visi n por computador. o

Figura 2. Disposici n geom trica de los diferentes elementos opticos en el esquema de (a) Proyecci n de Sombras y (b) Triangulaci n con o e o o dos c maras. a

cuado para volver multit ctil una regi n cuadrangular a o de la imagen formada por un proyector sobre una una supercie plana (por ejemplo sobre un tablero). Para lograr esto se ubican dos c maras en las esquinas supea riores, ver gura 2(b), de tal forma que las diagonales principales del tablero se formen en un eje que pase por el centro de la imagen y paralela al eje X de la misma, en ambas c maras, ver guras 4(a) y (c). De esta forma a 3

se aprovecha todo el ancho de la imagen y se obtendr un mejor rango din mico. Para controlar cambios de a a iluminaci n se ubican tiras de un material negro en los o bordes del tablero dado que este es el que menos cambio de tonalidad sufre a diferentes niveles de intensidad de luz. Cada vez que hay un toque en la imagen ocurre un cambio de contraste signicativo entre el toque y el fondo que queda denido por el material.

Rev.Col.Fis, Vol.XX, No.XX de 20XX.

Figura 3. Detecci n en el esquema de proyecci n de sombras: (a)Imagen capturada por la c mara. (b) Gr ca de las integrales proyectivas o o a a verticales cuando hay toque y cuando no lo hay; yt es la altura a la que ocurre el toque. (c) Gr ca de las integrales proyectivas horizontales a cuando hay toque y cuando no lo hay; xt es la distancia longitudinal a la que ocurre el toque.

Figura 4. Detecci n en el esquema de triangulaci n con dos c maras: (a) Secci n de la imagen capturada por la c mara izquierda donde o o a o a se ve una intenci n de toque sobre el tablero. (b) Gr cas de las integrales proyectivas horizontales cuando hay toque y cuando no lo hay; o a x1 es la distancia a la que ocurre el toque en la imagen de la c mara izquierda. (c) Secci n de la imagen capturada por la c mara derecha a o a donde se ve una intenci n de toque sobre el tablero. (d) Gr cas de las integrales proyectivas cuando hay toque y cuando no lo hay; x2 es o a la distancia a la que ocurre el toque en la imagen de la c mara derecha. a

En ambos esquemas, el sistema de visi n a implemeno tar debe detectar, seguir e identicar gestos mediante las intenciones de toque realizadas sobre las supercies planas. La detecci n es el unico proceso diferente en o ambos casos, ya que el seguimiento y la identicaci n o de gestos son iguales para ambos.

3.1. Detecci n o Para ambos esquema se hizo uso de la integral proyectiva [5] como m todo de detecci n. De esta manera el e o problema se reduce al an lisis de se ales unidimensioa n nales. La proyecci n vertical de una regi n R denida o o por [xmin , xmax ] y [ymin , ymax ], en una imagen I es una se al unidimensional de variable y = y ymin tal n que (0 y ymax ymin ), queda denida por:

D. Ferrin-Bola os et al.: Detecci n Y Seguimiento De Eventos De Interacci n Por Toques En Supercies Planas n o o Aplicados Al Desarrollo De Plataformas Multit ctiles De Tipo Optico. a P VR =
max 1 I(x, y +ymin ) (1) xmax xmin + 1 x=x min

Similarmente, para la misma regi n R, se dene la ino tegral proyectiva horizontal con variable x = x xmin tal que (0 x xmax xmin ), como: 1 ymax ymin + 1 y=y
ymax

P HR =

I(x + xmin , y)
min

(2) 3.1.1. Detecci n de coordenadas: Proyecci n de o o Sombras Cuando se presentan toques sobre la pantalla, las lneas luminosas pierden continuidad en uno o varios puntos debido a que un dedo produce sombra sobre los patrones de iluminaci n, tanto en el horizontal como o en el vertical. Antes de utilizar el sistema es necesario hacer una calibraci n previa del mismo. Esta consta de o dos partes: seleccionar las regiones de inter s de la imae gen, correspondientes a los lugares donde se visualizan las l mparas con el n de determinar los umbrales de la a detecci n; y posteriormente ejecutar un algoritmo que o determina la matriz de correspondencia entre la posici n real del objeto medida en milmetros y las coordeo nas en la imagen, medidas en pxeles. El m todo que se e describe a continuaci n se representa en la gura 3. En o la etapa de determinaci n del umbral inicial para cada o patr n de luz se hace uso de integrales poryectivas soo bre las dos regiones seleccionadas (ecuaciones 1 y 2), con el n de obtener la distribuci n de iluminaci n en o o cada eje cuando no hay toques. Lo mencionado anteriormente se realiza de la siguiente forma: sean (x0 , y0 ), (x1 , y1 ) las coordenadas que denen el rect ngulo de a la regi n Rh (esquina superior izquierda y esquina ino ferior derecha, respectivamente) y de la misma forma (x2 , y2 ), (x3 , y3 ) son las que denen la regi n vertical o Rv . Para la regi n Rh se c lcula la proyecci n horizono a o tal (ecuaci n 2) Ux , y para la regi n Rv se calcula la o o proyecci n vertical (ecuaci n 1) Uy , como se muestra o o en las siguiente ecuaciones: Ux = (ux0 , ux0 +1 , ..., ux1 ) Uy = (uy2 , uy2 +1 , ..., uy3 ) uxk = 1 I(xk , y) y1 y0 + 1 y=y
0 3 1 I(x, yr ) x3 x2 + 1 x=x 2

Para evitar la inuencia de las uctuaciones temporales debidades a los cambios en la luz emitida por las l mparas y la del ambiente, a cada componente de Ux a y Uy se resta un valor de ajuste uniforme, lo sucientemente grande para estar fuera del alcance del ruido y lo sucientemente peque o comparado con los cambios n de iluminaci n en las zonas de toque. Se encontr expeo o rimentalmente que este valor de ajuste debe estar comprendido entre 10 y 20 niveles de gris. Despu s de la e calibraci n, cuando el sistema est en uso, se hace un o a muestreo permanente de im genes a trav s del tiempo a e para determinar c mo cambia la iluminaci n de las reo o giones y vericar si se ha tocado la pantalla. Para tal n, se obtiene las integrales proyectivas de los dos patrones Px y Py de la mimsa forma como se encontr para las o se ales unidmensionales Ux y Uy en las ecuaciones 3 n a 6. Posteriormente se comparan las se ales obtenidas n con las del fondo y se decide que hay un punto de toque donde los valores de la proyecci n actual sean menores o que el umbral tanto para el patr n horizontal como para o el vertical, es decir, en las regiones donde porducen discontinuidades. Si no las hay, signica que se tiene un fondo reciente y se descartan los umbrales almacenados para actualizarlos por las nuevas se ales. n Detectando los puntos de corte xt y yt respectiva mente en ambos casos y con base en el modelo optico geom trico del sistema, ver gura 5(a), se llega a las e siguiente ecuaciones de las coordenas de toque: xd = yd = c11 xt + c12 yt + c13 c31 xt + c32 yt + c33 (7)

c21 xt + c22 yt + c23 (8) c31 xt + c32 yt + c33 donde cij (con i, j = 1, 2, 3) son los coecientes de la matriz de transformaci n de perspectiva Q, calcuo lada a partir del proceso de calibraci n mediante cuao tro puntos, mencionado arriba. Esta matriz transforma un cuadril tero con sus cuatro puntos conocidos en un a trapezoide. 3.1.2. Detecci n de coordenadas: Triangulaci n con o o dos c maras a Para este caso se aplican las mismas ideas de detecci n, mencionadas en la subsecci n anterior, utilizando o o integrales proyectivas. En este caso y de acuerdo a las guras 4 (b) y (d) se calculan en ambos casos integrales proyectivas horizontales. Una vez calculadas x1 y x2 con base en el modelo optico geom trico de la gura 5 e (b) se obtiene que las coordenas de toque x y y vienen dadas por las siguiente ecuaciones:

(3) (4) (5)

y1

uyr =

(6) 5

Rev.Col.Fis, Vol.XX, No.XX de 20XX.

Figura 5. Modelo optico geom trico (a) Proyecci n de Sombras y (b) Triangulaci n con dos c maras. e o o a

x=

T tan(2 ) x tan(2 ) tan(1 ) T tan(2 )tan(1 ) x tan(2 ) tan(1 )

(9)

y=

(10)

donde x, T , 1 y 2 vienen dados por el siguiente conjunto de ecuaciones: x = L 1 ( 1) 2 tan( ) 2 L tan( ) 2

W 2

(11) (12)

T =

1 =

(x1 + 4 W

(13)

(x2 W ) 2 (14) W 4 En las ecuaciones 13 y 14, W es el ancho de la imagen capturada en ambas c maras cuya resoluci n de a o debe ser la misma. 2 = 3.2. Seguimiento El problema general que intenta solucionar las diferentes t cnicas relacionadas con seguimiento de objee tos (en este caso toques), es identicar y determinar la trayectoria de varios puntos indistinguibles. Para atacar este problema los diferentes enfoques usan todas o algunas de las siguientes suposiciones: La ubicaci n de un objeto cambia suavemente en el o tiempo. 6

La velocidad de un objeto cambia suavemente en el tiempo: esto incluye tanto la magnitud como la direcci n. o Un objeto puede estar en una unica posici n en la o imagen en un instante de tiempo dado. Dos objetos no pueden ocupar la misma posici n al o mismo tiempo. Para distinguir un toque y diferenciarlo de los dem s a se utiliza una etiqueta n merica que se conserva y lo u acompa a durante todo su tiempo de existencia y su n trayectoria. Para determinar la posici n de cada toque o en el siguiente instante de tiempo, despu s que ha aparee cido por primer vez (en cuyo caso se incializa con una etiqueta cuyo n mero es el m s peque o que no haya u a n sido asociado a algun toque), mediante el m todo de e los primeros vecinos. Esta aproximaci n compara las o coordenadas de los puntos de un conjunto con los de otro conjunto y los asocia creando correspondencias, a menudo mediante distancias euclideanas. Cuando se hayan calculado todas las posibles distancias entre un punto ya identicado y etiquetado en el instante t t (frame anterior) y sus primeros vecinos en t (frame actual) se establece que dicho objeto corresponde a un objeto en el instante actual, si la distancia entre ellos es la mnima de todas las que se calcularon. A esto se le denomina criterio de la mnima distancia [6]. 3.3. Identicaci n de Gestos o La identicaci n de un gesto consiste en la clasio caci n de una trayectoria ri en una de seis clases, a o saber: Espiral, Flecha, Letra S, Omega, Tri ngulo o Lea tra Z.

D. Ferrin-Bola os et al.: Detecci n Y Seguimiento De Eventos De Interacci n Por Toques En Supercies Planas n o o Aplicados Al Desarrollo De Plataformas Multit ctiles De Tipo Optico. a Se trabaj con doce muestras de cada clase y las caro actersticas utilizadas para el entrenamiento del clasi cador fueron los siguientes: Numero de puntos de inexi n: se hallan todos los o puntos para los cuales se obtiene un cambio en el signo de la curvatura de la trayectoria vista como una funci n vectorial cuyas componentes x, y deo penden de la variable t, correspondiente al instante en que ocurre cada toque. Se espera que las espirales y omegas no posean puntos de inexi n, las letras o s y las zetas posean un solo punto de inexi n, las o echas y los tri ngulos un n mero indeterminado de a u puntos de inexi n. o Factor de forma: equivalente al area de la regi n que o forma la trayectoria con sus extremos unidos por una recta, dividida sobre el cuadrado del permetro que encierra dicha area. Para cada gura se espera que hayan intervalos distintos de factor de forma, aunque algunos casos es posible que coincidan. Relaci n ancho-altura: se obtiene la elipse inscrita o a la trayectoria, es decir la mnima elipse que con tiene todos los puntos en su interior. Posteriormente se hace la divisi n entre la longitud de su eje mayor o y la longitud de su eje menor. Par metro especial de pendiente: se calcula el cena tro de masa equivalente para los puntos de la trayectoria. Luego se calculan las distancias entre el centro de masa y cada punto. Finalmente en la gr ca de a distancia contra tiempo de ocurrencia discreto (determinado por un ndice entero) se calcula la pendiente de la recta que une el punto que presenta mayor distancia con que el presenta menor distancia. Para que esta pendiente sea invariante al tama o de la gura n se normaliza diviendo entre la m xima distancia. a Distancia entre los extremos: es la resta entre la distancia del punto nal al centro de masa y la distancia del puno inicial al centro de masa. Se normaliza dividiendo el resultado entre la distancia maxima de todos los puntos. Esto sirve para diferenciar las guras cerradas de la abiertas, especicamente para identicar los tri ngulos. a Intervalo de curvatura normalizada: es la resta entre la m xima curvatura de la trayecotria menos la a mnima curvatura y el resultado se divide entre el mayor valor absoluto de las curvaturas. Intervalo de angulos: es la resta entre el mayor y el menor angulo de giro de toda la trayectoria. Sirve para diferenciar las curvas con picos m s agudos de a las curvas suaves, por ejemplo, para diferenciar las letras s de las zetas. Como clasicador estadstico se utiliza una Red Neu ronal [7,8] de siete neuronas de entrada, dos capas ocul7 tas de cien neuronas cada una y una capa de salida de seis neuronas correspondiente al n mero de clases u a identicar. Las neuronas cuentan con una funci n de o activaci n sigmoidea. o

3.4. Interconectividad Con el n de hacer extendible las capacidades de los sistemas de visi n, se utiliz el protocolo o o TUIO(Tangible-top User Interface) [9]. Este protocolo que en el fondo hace uso de los conocidos protocolos TCP/IP y UDP/IP, permite que el sistema de visi n aro ticial se independice totalmente del aplicativo gr co a sobre el que se va a intereactuar. Es asi como dicho sistema queda ejecut ndose como una aplicaci n servia o dor que emite mensajes TUIO (toques). El aplicativo gr co es una aplicaci n cliente TUIO que es capaz de a o entender y procesar tales mensajes. Es decir, el sistema multitoque total queda distribuido en una arquitectura cliente-servidor.

3.5. Detalles de Implementaci n o Se utilizan c maras web convencionales para la ima plementaci n de ambos esquemas. Estas c maras capo a turan a una resoluci n de 640X480, 1 canal, 8 bits de o profundidad y tienen una apertura de 60o , y se conectan via USB a un PC que tiene un procesador Intel Pentium 4 de 2.4 GHz, 512 MB de RAM, tarjeta de red PCI de 100 Mb/s y con un sistema operativo Windows XP Home Edition de 32 bits. En el caso del esquema de proyecci n de sombras se implementa un prototipo con o una patntalla LCD de 12 pulgadas. Se utilizan l mparas a de 30 cm de largo; se obtiene que el prototipo nal tiene un volumen aproximado de 40 cm3 . Para el esquema de triangulaci n con dos c maras se dene una regi n o a o cuadrada de 80 cm de largo (es decir L = 80 cm); con base en la ecuaci n 12 se tiene que la separaci n, T , o o entre las c maras debe ser de 138.6 cm. a Con el objetivo de alcanzar tiempos de procesamiento peque os, toda la implementaci n de los algoritn o mos de captura, preprocesamiento, calibraci n, deteco ci n, seguimiento, identicaci n de gestos y la aplio o caci n servidor TUIO como tal, se hace utilizando el o lenguaje de programaci n C++; muchas rutinas, como o por ejemplo la integral proyectiva, son optimizadas con SSE (Streaming SIMD Extensions) [10] para procesadores Intel alcanzando paralelismo en c lculos donde a sea posible.

Rev.Col.Fis, Vol.XX, No.XX de 20XX.

Figura 6. (a) Prototipo del esquema por proyecci n de sombras. (b) Prototipo del esquema por triangulaci n de c maras. o o a

4. Resultados En la gura 6 se pueden ver los dos sistemas implementados y puestos a prueba. Al trabajar con integrales proyectivas, los sistemas de visi n se hacen robustos frente al ruido blanco ya que el o an lisis de las im genes se reduce de dos dimensiones a a a una. Un aspecto a destacar y que constituye un aporte signicativo de este trabajo es que los umbrales de detecci n para ambos casos se actualizan din micamente, o a esto permite que los sistemas sean robustos a cambios de iluminacion suave, lo que puede ocurrir, por ejemplo, durante el da, siempre y cuando las fuentes de luz par sita no sature los sensores. a Dado que la captura desde dos c maras conectadas a a un mismo PC consume mayores recursos computacionales que una sola, el sistema de triangulaci n preo senta un tiempo de procesamiento m s alto que el de a proyecci n de sombras. En la tabla 1, se compara los o esquemas multitoque de Jeff Han, Microsoft y los dos propuestos en este trabajo. Como se puede ver en esta misma tabla, aunque los sistemas aqu desarrollados presentan problemas de ambig edades que a n deben u u resolverse en la detecci n para el caso de tres toques o o m s, la actualizaci n din mica de los umbrales de a o a detecci n garantiza robustez a cambios de iluminaci n o o suave, algo que la Microsoft-Surface y la Perceptivepixel no tienen en cuenta y entonces deben imponer restricciones de iluminaci n que el usuario debe controlar. o En cuanto a los resultados de la red neuronal para los prop sitos de identicaci n de gestos, se obtuvo o o una conabilidad de aproximadamente 80 %. El cual 8

est dentro de los m rgenes de aceptaci n. a a o La latencia del sistema distribuido es de 70 microsegundos y est dentro del rango reportado por los desara rolladores del protocolo TUIO. Esta latencia fue calculada via software, encontrando la diferencia entre el instante de tiempo en que son enviados los mensajes de toque, por parte del servidor, y el instante de tiempo en que llegan estos a la aplicaci n cliente. Este retardo no o afecta mucho el tiempo total de procesamiento de los sistemas. Tabla 1. Comparaci n de los esquemas o Multitoque: PP (Jeff Han PerceptivePixel), MS (Microsoft-Surface), PS (Proyecci n de o Sombras) y TC (Triangulaci n con dos c maras). o a Caracterstica
Posee algoritmo de conguraci n. o Tiempo de detecci n o por ciclo en (ms). Actualizaci n o din mica de a fondo y umbral. Soporta uno o m s toques a Presencia de ambig edades para u resolver en la detecci n o

PP NO

MS NO

PS SI

TC NO

50

90

80

200

NO SI

NO SI

SI SI

SI SI

NO

NO

SI

SI

D. Ferrin-Bola os et al.: Detecci n Y Seguimiento De Eventos De Interacci n Por Toques En Supercies Planas n o o Aplicados Al Desarrollo De Plataformas Multit ctiles De Tipo Optico. a El error m ximo en la determinaci n de posici n de a o o los toques fue de 10 mm. Para determinarlo se realizaron medidas directas de posici n sobre la pantalla y o se compararon con las calculadas por los sitemas de visi n. Con este error obtenido es posible interactuar o de manera natural con aplicaciones que contengan elementos gr cos desplegados en 2D y 3D cuyas are s a a sean mayores a 2 cm2 , que, con pantallas amplias no van a interferir con la visualizaci n. o A la fecha, las alternativas propuestas, en este trabajo, se pueden estimar en un 15 % del valor de las alternativas comerciales nombradas, a saber, la Microsoft Surface y la Perceptivepixel, lo que constituyen opciones de bajo costo accesibles para pases en va de desarrollo. 5. Conclusiones Se dise aron e implementaron dos esquemas opticos n de multitoque y para cada uno de ellos se desarroll un o sistema de visi n articial robusto al ruido y a cambios o de iluminaci n. Se establecieron consideraciones de diso posici n geom trica que permitieron establecer formas o e ecientes de detecci n y seguimiento de intenciones de o toque. La cinem tica aplicada al seguimiento arroj rea o sultados que permitieron interactuar t ctilmente de una a manera uida y natural sobre la pantalla. Dado el enfoque mediante sistema distribuido y la optimizaci n o por SSE de los algoritmos implementados, estos sistemas son escalables y f cilmente recongurables, con a lo que es factible agregar nuevas funciones y utilidades. Es posible el desempe o en tiempo real con el hardware n existente actualmente para adaptarlo de forma directa a nuevas plataformas y obtener el m ximo provecho sin a modicaci n en la conguraci n b sica. De esta manera o o a se han establecido opciones ecientes y de bajo costo para la interacci n natural con los computadores, aplio cables a procesos educativos, publicidad, alimentaci n o de sistemas de informaci n y areas anes. o 6. Agradecimientos A la Vicerrectora de Investigaciones de la Universi dad del Cauca y a Sintevsa Ltda, por el apoyo brindado para desarrollar este trabajo. Referencias
[1] Multitouch. Pagina: www.en.wikipedia.org/wiki/ Multi-touch. Citado el 01 de enero de 2009. [2] Pixel Perceptive by Jeff Hann. www.perceptivepixel.com. Citado el 30 de mayo de 2010. [3] Microsoft-Surface by Microsoft. www.microsoft.com/ surface/. Citado el 01 de junio de 2010. [4] Nui Groups. Book: MultiTouch Technologies. First Edition may 2009. [5] Gines Garca. Procesamiento de caras humanas mediante integrales proyectivas. Tesis Doctoral, Universidad de Murcia 2007. p. 33 - 79. [6] F. Buchelly, D. Bravo, L. Pencue y D. Ferrin. Sistema de seguimiento bidimensional mediante t cnicas de control digital e y vision computacional. Revista Colombiana de Fsica Vol 43, No 1, 1996, p. 81 - 84. [7] Introducci n a las redes neuronales: http://www.iac.es/ o sieinvens/SINFIN/Sie_Courses_PDFs/NNets/ confiac.pdf. Citado el 01 de agosto de 2010. [8] Machine learning using OpenCV: www.opencv. willowgarage.com/wiki/MachineLearning. Citado 15 de Diciembre de 2010. [9] Kaltenbrunner, M., Bovermann, T., Bencina, R., Costanza, E. TUIO - A Protocol for Table Based Tangible User Interfaces. Proceedings of the 6th International Workshop on Gesture in Human-Computer Interaction and Simulation (GW 2005), Vannes, France, 2005. [10] SSE (Streaming SIMD Extension): http://es.wikipedia.org/wiki/SSE. Citado el 08 de noviembre de 2010.