Institut de la Francophonie pour l'informatique Traitement d'images TP 4 : Segmentation couleur en rgions

Date de remise : lundi 7 mai 8h30 Remise par courriel alain.boucher(arobase)auf.org Remise des TP : http://www2.ifi.auf.org/personnel/Alain.Boucher/cours/tp/remisetp.html

Segmentation couleur en rgions

Aujourd'hui, votre travail faire consiste comparer diffrents algorithmes de segmentation en rgions en utilisant diffrents espaces couleurs.. Plusieurs algorithmes de segmentation existent dans OpenCV dont : Ligne de partage des eaux (cvWatershed), Mean-shift (cvMeanShift), segmentation pyramidale (cvPyrSegmentation), segmentation mean-shift pyramidale (cvPyrMeanShiftFiltering), K-moyennes (cvKMeans2) et quelques autres fonctions qu'on peut adapter ou trouver sur Internet. De mme, il existe dans OpenCV les trois principaux espaces couleurs vu en classe : RGB, HSV et LAB. Nous avons dj tudi certains de ces algorithmes en classes, et pour tous ces algorithmes, vous pouvez trouver une documentation abondante dans les rfrences d'OpenCV ou ailleurs sur Internet.

Comparaison des algorithmes de segmentation et des espaces couleurs

(a) Protocole d'exprimentation Pour ce tp, vous allez utiliser : 2 mthodes de segmentation en rgions de votre choix 4 images diffrentes avec vrit terrain (rfrence manuelle) : 2 images seront segmentes avec la premire mthode de segmentation et les 2 autres avec la deuxime mthode de segmentation 3 espaces couleurs : RGB, HSV et LAB. Au total, vous avez 12 tests effectuer : 2 images x 3 espaces couleurs pour chacune des 2 mthodes de segmentation. Remarque : La majorit des mthodes de segmentation ont des paramtres. Les valeurs par dfaut ne sont pas forcment les bonnes valeurs. Modifiez les paramtres de chaque mthode pour obtenir une bonne segmentation de chaque image (les paramtres peuvent tre diffrent pour chaque image et pour chaque espace couleur). Attention : Les mthodes de segmentation sont souvent bien programmes pour fonctionner avec l'espace couleur RGB. Vous devrez peut-tre adapter la mthode de segmentation pour fonctionner correctement avec les autres espaces couleurs.

Rapport : Dans votre rapport, expliquez bien les mthode de segmentation choisie, et comment vous les utilisez avec chacun des espaces couleurs. Pour chaque test, expliquez ce que vous faites et quels paramtres vous utilisez. (b) Construction des images de rfrences de segmentation pour la comparaison Avec la base d'images de Berkeley, il y a des segmentations manuelles (appeles vrit terrain ). Les images de rfrences que vous avez sont en format texte, et non pas en format image que vous pouvez visualiser. Il vous faut donc construire l'image partir des donnes texte. Regardez la description du format dans le fichier : http://www.eecs.berkeley.edu/Research/Projects/CS/vision/grouping/segbench/seg-format.txt En utilisant cette description du format, il est facile de reconstruire les images rfrences pour chaque segmentation. Ecrivez une fonction permettant de gnrer une image (format PNG vitez JPEG ici cause de la compression avec perte des images) partir d'un fichier SEG. (c) Comparaison entre les images de segmentation et les images de rfrences La comparaison entre des rsultats de segmentation en rgions est plus difficile que pour la comparaison des contours (cela dpend aussi de la mthode utilise). Vous construirez une matrice de confusion montrant la comparaison entre les rsultats de segmentation et les images de segmentation. Il existe une matrice par segmentation (12 matrices au total dans votre rapport). Pour comprendre les matrices de confusion, lisez : http://fr.wikipedia.org/wiki/Matrice_de_confusion N'oubliez de donner et d'expliquer, pour chaque matrice, les paramtres des algorithmes utiliss, l'image orginale et l'image de segmentation obtenue. Vous n'aurez pas forcment le mme nombre de rgions dans votre rsultat de segmentation que dans l'image de rfrence. C'est normal et vous obtiendrez une matrice rectangle au lieu de carre. Par contre, choisissez vos paramtres de segmentation pour avoir un nombre limit de rgions (proche du nombre de rgions dans l'image de rfrence). Rapport : Dans le rapport, ne montrez les matrices de confusion que pour les rgions les plus importantes de l'image (avec le plus de pixels). Evitez de mettre de trop grandes matrices avec plein de petites rgions inutiles. Prsentez les matrices sous une forme lisible et facile comprendre. Conseil : Afin de bien voir les segmentation de vos programmes, utilisez des fausses couleurs (pseudo-couleurs) pour reprsenter chaque rgion. Par exemple, si votre programme montre une segmentation avec les couleurs moyennes <R,V,B> de chaque rgion, modifiez ces couleurs pour <255-R,V,255-B> par exemple. Il sera beaucoup plus facile visuellement de voir les rgions de segmentation en utilisant ces fausses couleurs.

Analyse des rsultats

La dernire partie de votre travail sera consacre l'analyse des rsultats. Pour vous y aider, voici des exemples de questions que vous pouvez rpondre : D'aprs vos tests, est-ce qu'une mthode de segmentation semble la meilleure ? Si oui, laquelle et pourquoi et si non, pourquoi ? D'aprs vos tests, est-ce qu'un espace de couleur semble mieux fonctionner que les autres ?

Si oui, lequel et pourquoi et si non, pourquoi ? Est-ce que vos rsultats (meilleure mthode/meilleur espace couleur, moins bien, ...) sont les mmes pour toutes les images ou non ? Est-ce que vos rsultats (meilleure mthode/meilleur espace couleur, moins bien, ...) sont les mmes pour toutes les rgions des images ou non ? Si non, quelles types de rgions par mthode donnent les meilleurs rsultats ? Est-ce que les images de rfrences utilises sont bonnes pour ce genre de comparaison ? Est-ce que le choix des paramtres influence les rsultats obtenus ? Si oui, comment ? (Expliquez) Est-ce qu'il faut changer un peu ou beaucoup les paramtres selon les espaces couleurs utiliss ? Si oui, comment ? (Expliquez) Est-ce que les mthodes de segmentation utilises donnent une sous-segmentation (pas assez de rgions) ou une sur-segmentation (trop de rgions) ? Laquelle de ces deux situations (sous-segmentation ou sur-segmentation) est la mieux ? Est-ce la mme chose pour les diffrents espaces couleurs. ... (ajoutez tous les critres d'analyse que vous pensez) ...

Ces questions ont pour but de vous aider dans votre analyse. Ajoutez toute information pertinente vous permettant de bien complter cette analyse. Important : Votre travail ne sera pas valu seulement sur la quantit de rsultats que vous donnez, mais sur la qualit des analyses que vous en faites !

Bon travail !