REDES NEURONALES CONVOLUCIONALES

Sketch Based Image Retrieval

José M. Saavedra R.

CC6204 José M. Saavedra

Sketch Based Image Retrieval

CC6204 José M. Saavedra

 SBIR: Métodos Tradicionales
-Características de bajo nivel-
(a nivel de pixel)

Number of regions (BxB)

Number of cells (WxW) Number of orientation bins (K) SHELO_descriptor

Cell Orientation Local Histogram SHELO Squared Root

Estimation Computation Composition Normalization

[histograma de orientaciones]

CC6204 José M. Saavedra

Jose M. Saavedra. RST-SHELO: Sketch-based
image retrieval using sketch tokens and square
root normalization Multimedia Tools and
Applications, Springer, 2015
SBIR: Métodos Tradicionales

vector de características
[feature vector]

Comparación entre vectores de características

CC6204 José M. Saavedra

 SBIR: Métodos Tradicionales

distancia = disimilitud

x1

x2

Para comparar vectores, usamos una función

de distancia. Mientras menor sea la distancia,
más similares serán los objetos subyacentes.

CC6204 José M. Saavedra

 Funciones de Distancia
●
Métricas para espacios vectoriales:
– Distancias de Minkowski:

Manhattan (p=1)

Euclidiana (p=2)

Máximo (p=inf)

CC6204 José M. Saavedra

 Funciones de Distancia
●
Métricas para espacios vectoriales:
– Bursting Effect: Grandes diferencias en muy pocas dimensiones
producen un gran diferencia entre dos vectores.
– Solución Práctica: Square-Root Normalization

CC6204 José M. Saavedra

 SBIR: Métodos Tradicionales
-Características de más alto nivel-
KEYSHAPES

Jose M. Saavedra, Juan Manuel Barrios. Sketch based Image Retrieval using
Learned KeyShapes (LKS) . In the proceedings of the 26th British Machine Vision
Conference (BMVC), Swansea, UK, 2015 CC6204 José M. Saavedra
 SBIR: Métodos Tradicionales
-Características de más alto nivel-
KEYSHAPES

Un conjunto de seis KEYSHAPES básicos

Jose M. Saavedra, Benjamin Bustos. Sketch-Based Image

Retrieval using Keyshapes. Multimedia Tools and
Applications, Springer (2013)
CC6204 José M. Saavedra
 SBIR: Métodos Tradicionales
LKS
¿Cuáles son los KEYSHAPES?

~ 1 millón de patches

CC6204 José M. Saavedra

 SBIR: Métodos Tradicionales
LKS
Clustering sobre los patches (e.g. K = 150)

CC6204 José M. Saavedra

 SBIR: Métodos Tradicionales
LKS
Representación

S I
Y
DA

CC6204 José M. Saavedra

 SBIR: Métodos Tradicionales
Evaluación

- Using two different datasets

● Saavedra (1326 images, 53 queries)

● Flickr 15K (14660 images, 330 queries)

- Evaluation Metrics
●
mAP: Mean Average Precision
● Recall-Precision Graphic

CC6204 José M. Saavedra

 SBIR: Métodos Tradicionales
Mean Average Precision mAP

q search I

R r1 r2 r3 r4 r5 r6 r7 r8 r9 r10 r11 r12

CC6204 José M. Saavedra

 SBIR: Métodos Tradicionales
Mean Average Precision mAP

Función característica, x es relevante para q

Precisión
Precisión indica pureza, varía entre 0 y
1 indicando mínima y máxima pureza,
respectivamente.

CC6204 José M. Saavedra

precisión se mide
solamente en relevantes
 SBIR: Métodos Tradicionales
Mean Average Precision mAP

Precisión promedio dada una consulta q

mean Average Precision

CC6204 José M. Saavedra

 SBIR: Métodos Tradicionales
Mean Average Precision mAP

R r1 r2 r3 r4 r5 r6 r7 r8 r9 r10 r11 r12

¿Precisión Promedio?

CC6204 José M. Saavedra

Mean Average Precisión para LKS

CC6204 José M. Saavedra

Recall-Precision

CC6204 José M. Saavedra

 LKS
Resultados

CC6204 José M. Saavedra

 SBIR: Deep Features
[dejemos que las características sean aprendidas]

CC6204 José M. Saavedra

 SBIR: Deep Features

Jose M. Saavedra, Camila Alvarez. DeepSBIR:

Sketch Based Image Retrieval using Deep Features.
In DLPR-ICPR, 2016

CC6204 José M. Saavedra

 SBIR: Deep Features

conv conv conv conv fc

conv conv conv conv fc

max-pool max-pool max-pool max-pool fc

softmax

CC6204 José M. Saavedra

 SBIR: Deep Features

20.000 imágenes/250 clases

conv conv conv conv fc
Mathias Eitz, James Hays, and Marc Alexa. How do humans
conv conv conv conv fc
sketch objects
max-pool max-pool max-pool max-pool fc

CC6204 José M. Saavedra

 SBIR: Deep Features
Visualización de filtros luego de entrenar en el contexto de sketches

x|

CC6204 José M. Saavedra

 Dataset and Estimators
●
Datasets [módulo tf.data]
image_01 1 procesar
procesar
image_02 20
image_03 11
image_04 10
serializar
serializar
image_05 8
image_06 1
image_07 30 tfRecord
image_08 12 dataset = tf.data.TFRecordDataset(filename)
dataset = dataset.map(fn)
image_09 5 dataset = dataset.batch(batch_size)   
image_10 7 dataset = dataset.shuffle(buffer_size)
dataset = dataset.repeat(n_epochs)            
...

lista de imágenes a procesar

CC6204 José M. Saavedra

 Dataset and Estimators
●
Datasets [módulo tf.data]

CC6204 José M. Saavedra

 Dataset and Estimators
●
Estimators
Permite relizar entrenamiento y pruebas en base a un modelo
definido por el usuario.

arquitectura/optimizador/salidas data model_dir/checkpoints

modelo config

ESTIMATOR
predict
eval
train

CC6204 José M. Saavedra

 Dataset and Estimators
●
Definir un modelo
– Aquí se definen la arquitectura y el modelo de optimización

CC6204 José M. Saavedra

 Dataset and Estimators
●
Definir un modelo

CC6204 José M. Saavedra

 Dataset and Estimators
●
Entrenar y Evaluar

CC6204 José M. Saavedra

 Dataset and Estimators
●
Predicción

CC6204 José M. Saavedra