REVISÃO BIBLIOGRÁFICA

Dados a respeito da localização dos olhos e detalhes a respeito de seus movimentos

possuem inúmeras aplicações e são essenciais para detecção facial, identificação
biométrica e tarefas com interações homem-máquina.

A detecção ocular (eye detection) é geralmente a primeira e uma das mais importantes
etapas para muitas aplicações em computadores que utilizam a visão, como
reconhecimento facial, análise de expressões faciais assim como a detecção e o
reconhecimento da íris. A precisão da detecção dos olhos afeta diretamente os processos
subsequentes em todas essas aplicações citadas. Além disso, a recuperação automática da
posição anterior dos olhos e o status destes (fechados ou abertos) em uma sequência de
imagens ou vídeo é um dos pontos mais importantes para o modelo-base de aplicações de
detecção de fadiga de motoristas [1].

Já o rastreamento do olhar (gaze tracking) oferece uma ferramenta poderosa para o estudo
de processos cognitivos e transferência de informações em tempo real. As aplicações
nessa área se subdividem em dois principais campos de aplicações, chamadas de
diagnósticas e interativas [2].

Rastreadores oculares diagnósticos proporcionam um método objetivo e quantitativo para

gravar o ponto de vista de um espectador. Essa informação é útil na análise de pessoas
assistindo comerciais, utilizando instrumentos na cabine de uma aeronave, interagindo
com interfaces de usuários e na análise e entendimento do comportamento de atenção
humano [3], [4], [5], [6].

Em contraste, em aplicações interativas esses dispositivos utilizam o olhar do usuário

como uma entrada de controle ou como base para um sistema “dependente” do olhar [7],
[8], [9], [10], [11]. Um sistema ser dependente do olhar significa que o sistema está atento
ao olhar do usuário e vai adaptar seu comportamento baseado na atenção visual do
usuário, por exemplo no monitoramento de vigilância humano. Assim, o sistema tende a
adaptar-se de acordo com a entrada, ou seja, o olhar, o que reflete a vontade da pessoa
[2], [12], [13], [14], [15], [22].

Essas propriedades dos movimentos dos olhos, assim como as facilidades que o
rastreamento do olhar proporciona como as interações sem a necessidade de utilizar as
mãos ou outras partes do corpo (mínimo esforço físico), faz com que esse tipo sistema
seja uma ferramenta única e efetiva para pessoas debilitadas ou deficientes, onde o
movimento dos olhos pode ser o único meio possível para exercer alguma forma de
comunicação e interação com um computador ou outras pessoas [16], [17], [18]. Mais
especificamente, os primeiros trabalhos na área de detecção e rastreamento ocular foram
focados em pessoas com deficiências, assim as primeiras aplicações eram sistemas para
digitação com o olhar, onde o usuário poderia produzir textos a partir do olhar [19].

Mas a tendência atual é o desenvolvimento de aplicações baseadas na detecção e

rastreamento ocular para o benefício de todos. Por exemplo, uma pessoa lendo um texto
em uma língua estrangeira poderia receber sugestões de palavras e sentenças baseadas
nos padrões do movimento dos olhos enquanto ela lê [20]. Esse campo de pesquisa
também tem ganhado o interesse da indústria automotiva para vigilância e segurança do
motorista [14]. Outra aplicação importante, mas ainda não muito investigada envolve
utilizar os movimentos dos olhos para perceber as formas como as pessoas veem imagens
sintetizadas e animações, com o propósito de otimizar a qualidade percebida e
desenvolver algoritmos mais eficientes [21]

Nos últimos anos o raio de aplicação estendeu-se também ao comportamento do

consumidor, possibilitando aos profissionais de marketing entender para que informações
e aspectos visuais os consumidores direcionam o seu olhar. A partir destes dados, é
possível elaborar uma avaliação comportamental implícita já que grande parte dos
movimentos dos olhos não resultam da vontade própria do indivíduo, mas sim das
características dos estímulos externos que podem captar a atenção pela sua saliência
visual ou pela sua componente emocional.

Mas apesar do avanço nas pesquisas e do progresso significante nos últimos 30 anos, a
detecção e rastreamento dos olhos (eye tracking and detection) permanecem como um
grande desafio devido à individualidade dos olhos, à oclusão, à variação de escala, à
localização e às condições de luminosidade.

Pesquisas em detecção e rastreamento ocular focam em duas áreas principais: a

localização do olho na imagem e a estimativa do olhar, ou seja, estimativa de para onde
o olhar está voltado [1].
Existem três aspectos nessa área de pesquisa. O primeiro é detectar a existência dos olhos,
em seguida é interpretar precisamente as posições deles nas imagens e, por fim, após
detectados, são rastreados frames por frames.

O rastreador de olhar (eye tracker) é um dispositivo que analisa o movimento dos olhos.
Enquanto o olho varre o ambiente ou fixa em um objeto em particular, o rastreador de
olhar simultaneamente localiza a posição do olho na imagem e rastreia seu movimento
para determinar a direção do olhar. A posição dos olhos é comumente medida utilizando
o centro da íris ou pupila.

É importante ressaltar que a detecção ocular e o rastreamento ocular são termos

diferentes. Onde este representa a estimativa da posição que a pessoa está olhando e
aquele representa a localização dos olhos na imagem.

A figura 1 representa uma visão geral dos componentes de um sistema de detecção e

rastreamento ocular.

Observa-se que o processo de detecção propriamente dito não é um dos pontos mais
complexos, pois depende basicamente de qualidade da câmera e da luz incidente. Já o
processo da estimativa da direção do olhar é extremamente mais complexo pois lida com
mais variáveis.

Para realizar essa estimativa é necessário, além da própria informação obtida no passo da
detecção, o processo do rastreamento dos olhos, frames por frames, em um processamento
em tempo real e a posição da cabeça do usuário do sistema. A partir daí, ao se juntar todas
essas informações de forma precisa e em tempo hábil o suficiente, é possível a utilização
dessas informações para aplicações, estas sim as mais diversas possíveis.

Ao se conhecer o processo básico da lógica de funcionamento da detecção e rastreamento

dos olhos, pode-se destrinchar os processos, produtos e tecnologias já desenvolvidas
nessa área, com foco em conhecer o estado da arte a respeito do tema em estudo. A seguir
tem-se uma lista com os principais tópicos e aplicações no campo de estudo em análise
com as respectivas referências bibliográficas.
 Figura 1: Visão geral de um sistema de detecção e rastreamento do olhar

1. Métodos e modelos para detecção dos olhos: baseados na forma, baseados na

aparência e híbridos [34], [35], [36], [37], [38], [39], [43] [41], [44], [45], [42], [46], [47],
[40], [57];
2. Estimação da direção do olhar: modelo geométrico e modelo por regressão (estimativa)
[23], [50], [49], [48], [24], [14], [51], [52], [53], [54], [55], [56], [57];
3. Detector de sonolência por vídeo em simulação de direção [22];
4. Algoritmo para detecção dos olhos em tempo real em imagens faciais [23];
5. Digitação com os olhos utilizando modelos ativos [24], [31];
6. Detecção facial automática em sequências de vídeo [25], [28];
7. Rastreamento ocular portátil como base para o controle em tempo real de uma
câmera fixada na cabeça baseada no olhar [26];
8. Detecção facial multiforme para comunicações de vídeo [27];
9. Comunicação através da piscada dos olhos: Análise da detecção e duração em
tempo real [29];
10. Monitoramento da atenção dos pilotos durante os procedimentos de aproximação
e pouso em simulador através do rastreamento ocular [30], [32];
11. Estudo dos efeitos da mudança de carga de trabalho em ambientes com altos níveis
de estresse como no controle de tráfego aéreo [33];
 12. Estudos para diagnóstico e controle de doenças ou exames na área da saúde [58],
[59].

A partir desses tópicos e referências objetiva-se detalhar os métodos, modelos e avanços

já obtidos em detecção e rastreamento ocular até chegar no estágio atual.

REFERÊNCIAS BIBLIOGRÁFICAS

[1] Witzner H. D. and Qiang Ji. “In the Eye of the Beholder: A Survey of Models for Eyes and
Gaze”. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 32, no. 3, Março
2010.

[2] A. Duchowski, Eye Tracking Methodology: Theory and Practice. Springer-Verlag, 2003.

[3] G. Anders, “Pilot’s Attention Allocation during Approach and Landing—Eye- and Head-
Tracking Research,” Proc. 11th Int’l Symp. Aviation Psychology, 2001.

[4] J.H. Goldberg and A.M. Wichansky, Eye Tracking in Usability Evaluation: A Practitioner’s
Guide. Elsevier Science, 2003

[5] K. Rayner, C. Rotello, C. Steward, A. Keir, and A. Duffy, “When Looking at Print
Advertisements,” J. Experimental Psychology: Applied, vol. 7, no. 3, 2001.

[6] M. Wedel and R. Peiters, “Eye Fixations on Advertisements and Memory for Brands: A Model
and Findings,” Marketing Science, vol. 19, no. 4, 2000.

[7] P. Baudisch, D.D. Andrew, T. Duchowski, and W.S. Geisler, “Focusing on the Essential:
Considering Attention in Display Design,” Comm. ACM, vol. 46, no. 3, 2003.

[8] R. Bolt, “Gaze-Orchestrated Dynamic Windows,” Proc. ACM SIGGRAPH, 1981.

[9] J.P. Hansen, K. Itoh, A.S. Johansen, K. Tørning, and A. Hirotaka, “Gaze Typing Compared
with Input by Head and Hand,” Proc. Eye Tracking Research and Applications Symp. 2004.

[10] C. Lankford, “Effective Eye-Gaze Input into Windows,” Proc. Eye Tracking Research and
Applications Symp. 2000.

[11] D.J. Ward and D.J.C. MacKay, “Fast Hands-Free Writing by Gaze Direction,” Nature, vol.
418, no. 6900, 2002.
[12] A. Hyrskykari, P. Majaranta, and K.-J. Ra¨iha¨, “From Gaze Control to Attentive Interfaces,”
Proc. 11th Int’l Conf. Human-Computer Interaction, 2005.

[13] A. Hyrskykari, P. Majaranta, and K.-J. Ra¨iha¨, “Proactive Response to Eye Movements,”
Proc. IFIP TC13 Int’l Conf. Human-Computer Interaction, M. Rauterberg, M. Menozzi, and J.
Wesson, eds., 2003.

[14] Q. Ji and X. Yang, “Real-Time Eye, Gaze, and Face Pose Tracking for Monitoring Driver
Vigilance,” Real-Time Imaging, vol. 8, no. 5, 2002.

[15] R. Vertegaal, I. Weevers, and C. Sohn, “GAZE-2: An Attentive Video Conferencing

System,” Proc. CHI ’02: Extended Abstracts on Human Factors in Computing Systems, 2002.

[16] T.E. Hutchinson, “Human-Computer Interaction Using Eye-Gaze Input,” IEEE Transactions.
Systems, Man, and Cybernetics, vol. 19, no. 6, Nov./Dec. 1989.

[17] J.L. Levine, “An Eye-Controlled Computer,” Technical Report RC- 8857, IBM T.J. Watson
Research Center, 1982.

[18] J.H. Ten Kate, E.E.E. Frietman, W. Willems, B.M. Ter Haar Romeny, and E. Tenkink, “Eye-
Switch Controlled Communication Aids,” Proc. 12th Int’l Conf. Medical and Biological Eng.,
1979.

[19] P. Majaranta and K.-J. Ra¨iha¨, “Twenty Years of Eye Typing: Systems and Design Issues,”
Proc. Symp. Eye Tracking Research and Applications, 2002.

[20] A. Hyrskykari, P. Majaranta, A. Aaltonen, and K.-J. Ra¨iha¨, “Design Issues of iDict: A
Gaze-Assisted Translation Aid,” Proc. Symp. Eye Tracking Research and Applications 2000.

[21] T. Ohno, N. Mukawa, and A. Yoshikawa, “Freegaze: A Gaze Tracking System for Everyday
Gaze Interaction,” Proc. Eye Tracking Research Applications Symp., 2002.

[22] García, I., Bronte, S., Bergasa, L.M., Hernandez, N., Delgado, B., Sevillano, M. “Video-
based Drowsiness Detector for a Realistic Driving Simulator”. 13th International IEEE
Conference of Intelligent Transportation Systems. Portugal, 2010.

[23] D. Tweed and T. Vilis, “Geometric Relations of Eye Position and Velocity Vectors during
Saccades,” Vision Research, vol. 30, no. 1, 1990

[24] D. Witzner Hansen, J.P. Hansen, M. Nielsen, A.S. Johansen, and M.B. Stegmann, “Eye
Typing Using Markov and Active Appearance Models,” Proc. IEEE Workshop Applications on
Computer Vision, 2003.
[25] L.-P. Bala, K. Talmi, and J. Liu, “Automatic Detection and Tracking of Faces and Facial
Features in Video Sequences,” Proc. Picture Coding Symp., Set. 1997

[26] G. Boening, K. Bartl, T. Dera, S. Bardins, E. Schneider, and T. Brandt, “Mobile Eye Tracking
as a Basis for Real-Time Control of a Gaze Driven Head-Mounted Video Camera,” Proc. 2006
Symp. Eye Tracking Research and Applications, 2006.

[27] J.L. Crowley and F. Berard, “Multi-Modal Tracking of Faces for Video Communications,”
Proc. 1997 IEEE CS Conf. Computer Vision and Pattern Recognition, 1997.

[28] R.S. Feris, T.E. de Campos, and R.M. Cesar Jr., “Detection and Tracking of Facial Features
in Video Sequences,” Proc. Conf. Medical Image Computing and Computer-Assisted
Intervention, 2000.

[29] K. Grauman, M. Betke, J. Gips, and G.R. Bradski, “Communication via Eye Blinks:
Detection and Duration Analysis in Real Time,” Proc. IEEE Conf. Computer Vision and Pattern
Recognition, vol. 1, 2001.

[30] Anders, G. (2001). Pilot’s attention allocation during approach and landing–eye- and head-
tracking research in an A330 full flight simulator. In Proceedings of the 11th International
Symposium on Aviation Psychology.

[31] Majaranta, P., & Räihä, K.-J. (2002). Twenty years of eye typing: Systems and design issues.
In Eye tracking research & application: Proceedings of the symposium on ETRA 2002. New
York: ACM Press.

[32] Ottati, W. L., Hickox, J. C., & Richter, J. (1999). Eye scan patterns of experienced and novice
pilots during visual flight rules (VFR) navigation. In Proceedings of the Human Factors and
Ergonomics Society, 43rd annual meeting. Santa Monica, CA: Human Factors & Ergonomics
Society.

[33] Brookings, J. B., Wilson, G. F., & Swain, C. R. (1996). Psychophysiological responses to
changes in workload during simulated air traffic control. Biological Psychology, 1996.

[34] Y. Tian, T. Kanade, and J.F. Cohn, “Dual-State Parametric Eye Tracking,” Proc. Fourth
IEEE Int’l Conf. Automatic Face and Gesture Recognition, 2000.

[35] D.W. Hansen and A.E.C. Pece, “Eye Tracking in the Wild,” Computer Vision and Image
Understanding, vol. 98, no. 1, Apr. 2005.

[36] K. Lam and H. Yan, “Locating and Extracting the Eye in Human Face Images,” Pattern
Recognition, vol. 29, 1996.
[37] G.C. Feng and P.C. Yuen, “Multi-Cues Eye Detection on Gray Intensity Image,” Pattern
Recognition, vol. 34, 2001.

[38] S. Kawato and J. Ohya, “Two-Step Approach for Real-Time Eye Tracking with a New
Filtering Technique,” Proc. Int’l Conf. System, Man and Cybernetics, 2000.

[39] S. Kawato and N. Tetsutani, “Detection and Tracking of Eyes for Gaze-Camera Control,”
Proc. 15th Int’l Conf. Vision Interface, 2002.

[40] Z. Zhu, Q. Ji, and K. Fujimura, “Combining Kalman Filtering and Mean Shift for Real Time
Eye Tracking” Proc. Int’l Conf. Pattern Recognition, vol. 4, 2002.

[41] S.A. Sirohey and A. Rosenfeld, “Eye Detection in a Face Image Using Linear and Nonlinear
Filters,” Pattern Recognition, vol. 34, 2001.

[42] Y. Matsumoto and A. Zelinsky, “An Algorithm for Real-Time Stereo Vision Implementation
of Head Pose and Gaze Direction Measurement,” Proc. Int’l Conf. Automatic Face and Gesture
Recognition, 2000.

[43] S. Sirohey, A. Rosenfeld, and Z. Duric, “A Method of Detecting and Tracking Irises and
Eyelids in Video,” Pattern Recognition, vol. 35, no. 6, June 2002.

[44] W.M. Huang and R. Mariani, “Face Detection and Precise Eyes Location,” Proc. Int’l Conf.
Pattern Recognition, 2000.

[45] J. Huang and H. Wechsler, “Eye Detection Using Optimal Wavelet Packets and Radial Basis
Functions (RBFs),” Int’l J. Pattern Recognition and Artificial Intelligence, vol. 13, no. 7, 1999.

[46] X. Xie, R. Sudhakar, and H. Zhuang, “On Improving Eye FeatureExtraction Using
Deformable Templates,” Pattern Recognition, vol. 27, no. 6, June 1994.

[47] D.W. Hansen and J.P. Hansen, “Robustifying Eye Interaction,” Proc. Conf. Vision for
Human Computer Interaction, 2006.

[48] I.R. Fasel, B. Fortenberry, and J.R. Movellan, “A Generative Framework for Real Time
Object Detection and Classification,” Computer Vision and Image Understanding, vol. 98, no. 1,
Apr. 2005

[49] X.L.C. Brolly and J.B. Mulligan, “Implicit Calibration of a Remote Gaze Tracker,” Proc.
2004 Conf. Computer Vision and Pattern Recognition Workshop, vol. 8, 2004.

[50] J.G. Wang, E. Sung, and R. Venkateswarlu, “Estimating the Eye Gaze from One Eye,”
Computer Vision and Image Understanding, vol. 98, no. 1, Apr. 2005.
[51] C.H. Morimoto and M.R.M. Mimica, “Eye Gaze Tracking Techniques for Interactive
Applications,” Computer Vision and Image Understanding, vol. 98, no. 1, Apr. 2005

[52] T. Ohno and N. Mukawa, “A Free-Head, Simple Calibration, Gaze Tracking System That
Enables Gaze-Based Interaction,” Proc. Eye Tracking Research and Applications Symp. 2004,
2004.

[53] A. Villanueva, R. Cabeza, and S. Porta, “Eye Tracking: Pupil Orientation Geometrical
Modeling,” Image and Vision Computing, vol. 24, no. 7, July 2006.

[54] A. Meyer, M. Bo¨hme, T. Martinetz, and E. Barth, “A SingleCamera Remote Eye Tracker,”
Perception and Interactive Technologies, Springer, 2006.

[55] J.G. Wang, E. Sung, and R. Venkateswarlu, “Estimating the Eye Gaze from One Eye,”
Computer Vision and Image Understanding, vol. 98, no. 1, Apr. 2005.

[56] D. Beymer and M. Flickner, “Eye Gaze Tracking Using an Active Stereo Head,” Proc. IEEE
Conf. Computer Vision and Pattern Recognition, vol. 2, 2003.

[57] Gabriel M. Araujo, Felipe M. L. Ribeiro; Waldir S. S. Júnior, Eduardo A. B. da Silva, Siome
K. Goldenstein. “Weak Classifier for Density Estimation in Eye Localization and Tracking”.
IEEE Transactions on Image Processing, vol 26, 2017.

[58] Yang C., Miura S., Yo K., Kazuya K., Shigeki S., Masakatsu G. Fujie. “Pupil Variation
Applied to the Eye Tracking Control of na Endoscopic Manipulator”. IEEE Robotics and
Automation Letters, vol 1, 2016.

[59] Oslosky J., Itoh Y., Ranchet M., Kiyokawa K., Morgan J., Devos H. “Emulation of Physician
Tasks in Eye-Tracked Virtual Reality for Remote Diagnosis of Neurodegenerative Disease”.
IEEE Transactions on Visualization and Computer Graphics, vol. 23, 2017.