Christophe CUDEL, haute alsace university, mulhouse, france = ước lượng độ sâu của ảnh với camera plenoptique luận văn ths

UNIVERSITE NATIONALE DU VIETNAM, HANOI
INSTITUT FRANCOPHONE INTERNATIONAL

TRƯƠNG XUÂN HÀ

ESTIMATION DE PROFONDEURS
AVEC UNE CAMERA PLENOPTIQUE
ƯỚC LƯỢNG ĐỘ SÂU CỦA ẢNH VỚI
CAMERA PLENOPTIQUE

MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE
Spécialité: Les systèmes intelligents et Multimédias (SIM)
Code: Programme pilote

Sous la direction de: PhD. Christophe CUDEL - Maître de conférences,
HDR, Université de haute- Alsace, France

HÀ NỘI – 2015


ATTESTATION SUR L’HONNEUR
J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les
données et les résultats qui y sont présentés sont exacts et n’ont jamais été
publiés ailleurs. La source des informations citées dans ce mémoire a été bien
précisée.

LỜI CAM ĐOAN
Tôi cam đoan đây là công trình nghiên cứu của riêng tôi.
Các số liệu, kết quả nêu trong Luận văn là trung thực và chưa từng được
ai công bố trong bất kỳ công trình nào khác. Các thông tin trích dẫn trong Luận
văn đã được chỉ rõ nguồn gốc.

Fait à Mulhouse, le 30 Octobre 2014
Mulhouse, Ngày 30 tháng 10 năm 2014

TRUONG Xuan Ha

1


Table des matières
Table des matières ...................................................................................................................... 2
Remerciements ........................................................................................................................... 3
Résumé ....................................................................................................................................... 5
Table des figures ......................................................................................................................... 7
Table des tableaux ...................................................................................................................... 8
Introduction Générale .............................................................................................................. 9
Chapitre 1 – Contexte et Sujet............................................................................................... 11
1.1.

Introduction du laboratoire MIPS – Université de Haut-Alsace......................... 11

1.2.

Caméras 3D ou caméras RGB-D (Red, Green, Blue, Depth).............................. 12

1.3.

Description de sujet ................................................................................................. 13

Chapitre 2 – Caméra plénoptique ......................................................................................... 15

2.1.

Historique des caméras plénoptiques ..................................................................... 15

2.2.

Principe des caméras plénoptique .......................................................................... 17

2.2.1.

Introduction de la fonction plénoptique ........................................................... 17

2.2.2.

Fonction plénoptique : modèle de Ren Ng ....................................................... 18

2.2.3.

Modélisation des rayons : Approche de RenNg ................................................ 19

2.2.4.

Modélisation des rayons : Approche alternative de T. Georgiev ...................... 21

2.2.5.

Capture des rayons avec des microlentilles ...................................................... 23

2.2.6.

Les 2 vues déduites d’une image brute d’une caméra plénoptique 2.0 ........... 26

2.2.7.

Refocalisation avec une camera plénoptique 2.0 ............................................. 30

2.2.8.

Mesure de la profondeur avec une camera plénoptique 2.0 ............................ 31

Chapitre 3 – Mesure de la profondeur ................................................................................. 33
3.1.

Description de la camera plénoptique de Raytrix au laboratoire MIPS ............ 33

3.2.

Image virtuelle .......................................................................................................... 35

3.3.

Le principe de mesure de la profondeur ................................................................ 35

3.4.

Extension de la méthode d'estimation de la profondeur ...................................... 39

3.5.

Expérimentations ..................................................................................................... 41

3.5.1

Sélection des pics d’intensité ............................................................................. 43

3.5.2

Mise en correspondance .................................................................................... 44

3.5.3

Résultats ............................................................................................................. 45

Conclusion et Perspective ...................................................................................................... 50
REFERENCES ......................................................................................................................... 53

2


Remerciements
Je fais mon stage de fin d’études en France du Mai 2014 au Novembre 2014. Pendant six
mois, j’ai eu la chance de travailler dans un environnement de recherche professionnel et ouvert auquel j’ai retenu beaucoup de connaissances et de défis aussi. J’ai également eu des contacts avec des professeurs merveilleux et des jeunes chercheurs intelligents et très aimables.
J’ai eu la chance de rencontrer de nouveaux amis français et vietnamiens aussi. Grace à leur
soutien, j’ai pu passer les difficultés et continuer mon chemin de recherche
Je remercie Monsieur Christophe CUDEL, mon responsable de stage, Maître de conférences HdR à l’IUT de Mulhouse, pour les conseils qu’il m’apporté, pour sa disponibilité, ses
explications et sa patience.
Je remercie également le professeur Olivier HAEBERLE, directeur du MIPS, pour m’avoir
permis de faire mon stage au laboratoire. Merci aux autres professeurs, ingénieurs et thésards
qui travaillent au laboratoire, pour vos passions et humeurs, et votre accueil sympathique.
Je tiens à remercier Monsieur HO Tuong Vinh, le responsable de la spécialité SIM de

l’Institut de la Francophonie pour l’Informatique pour le suivi qu’il m’a accordé pendant ces
six mois et aussi pendant 2 ans des études à l’IFI.
Je remercie également les stagiaires de Master rencontrés durant ce stage : Rami, Jerry et la
thésarde Cécile RIOU, pour les discussions variées, les échanges à propos de nos stages et les
idées originales qu’ils m’ont donnés pendant mon stage et aussi les bons moments ensembles.
Enfin, un grand merci à mes parents et ma famille, qui me financent ces années de l’étude
en France, leur encouragement et leur soutien inconditionnel.

3


4


Résumé
L’estimation de la profondeur dans l’image est étudiée depuis longtemps en domaine de
vision par ordinateur, de nombreuses recherches se déroulent sur ce thème. Les caméras 3D
(ou camera RGB-D) peuvent se classifier en deux catégories, passives et actives. En général,
les cameras passives se basent sur la stéréovision et la mise en correspondance des pixels des
deux vues capturées, ce type de cameras permettent de calculer la carte de profondeur d’une
scène. Les cameras actives utilisent une source d’illumination permettant d’extraire une information 3D, cela permet de texturer des zones uniformes et ainsi faciliter la mise en correspondance entre des images obtenues (Kinect) ou d’estimer la profondeur en calculer le temps
de vol entre une onde incidente et une onde réfléchie.
En cadre de ce stage au laboratoire MIPS, je travaille sur un nouveau type de caméra RGBD : la camera plénoptique. En plaçant une grille des microlentilles entre la lentille principale
et le capteur image, ce type de camera peut capturer l’orientation de rayons passant par le
système optique (ou Light Field). Elle permet donc extraire des informations 3D de l’image
comme la profondeur. Dans ce rapport, je présente contexte de sujet, mon analyse sur le
travail réalisé, une méthode de mesure de la profondeur que nous avons développée en
utilisant des redondances capturées, la méthode de chercher les points correspondant et une
application industrielle en perspective.

5


Abstract
The depth estimation has been studied for a long time in computer vision, many researches
focus on this subject. 3D cameras can be classified into two categories, active and passive.
Passive cameras are generally used in stereovision to calculate a depth map (or disparity) of a
scene. This depth maps is obtained by matching the feature pixels of views given by acquisitions. This is a difficult step when images present many uniform areas. Active cameras use an
illumination to extract 3D information. Illumination can be used to texturize uniform areas
and then facilitate the matching between a reference image and the current image. They can
also measure the time of flight of modulated light to compute the depth of a scene.
During this internship, I have worked on a new type of RGB-D camera: Light field Camera
(plenoptic camera). By placing a micro-lens array between the main lens and photo sensor, the
direction of lights that pass through optic system can be recorded. So, 3D information can be
extracted like the depth. This text presents the context of research, our analyses of plenoptic
camera, the methods for obtaining the correspondence points and for depth estimation and we
have developed. In the experiments, we show a potential industrial application that can be
used in fact.

6


Table des figures
Figure 1. L’organisation actuelle du laboratoire MIPS – IUT – UHA .................................... 11
Figure 2. Les composants de la camera de Raytrix .................................................................. 13
Figure 3. Caméra Plénoptique de Raytrix au laboratoire MIPS ............................................... 14
Figure 4. Image brute et une partie capturées par la caméra de Raytrix .................................. 14
Figure 5. Capture de la fonction plénoptique par Lippmann en 1908 ...................................... 15
Figure 6. Les produits commerciaux de caméras plénoptiques ................................................ 16
Figure 7. Fonction plénoptique avec un vecteur 4D ................................................................. 17

Figure 8. Le trajet de rayon dans la camera se présente sur l’espace de rayon ........................ 18
Figure 9. Le trajet d’un cône des rayons dans la caméra correspond à un pixel ...................... 19
Figure 10. La projection de la fonction plénoptique est modifiée quand le plan de focalisation
change. ...................................................................................................................................... 20
Figure 11. Transformation de coordonnées dans l’espace de rayon ......................................... 21
Figure 12. Décomposition du parcours d’un rayon à travers une lentille pour le caractériser
sous forme matricielle .............................................................................................................. 22
Figure 13. Les versions 1.0 et 2.0 des caméras plénoptiques ................................................... 24
Figure 14. Image brute d'une caméra plénoptique 1.0.............................................................. 25
Figure 15. Image brute d’une caméra plénoptique 2.0 (réalisée au laboratoire) ...................... 25
Figure 16. Image brute d'une caméra 2.0. Localisation des espaces (u, v, x, y) ....................... 26
Figure 17 . Principe de la formation des images "sub-apertures" ............................................ 27
Figure 18.L’image de sous-apertures et la vue centrale synthétisées par la méthode de caméra
plénoptique de T.Geogiev. ........................................................................................................ 28
Figure 19. La méthode de calcul la carte de disparité de Todor Georgiev ............................... 28
Figure 20. Synthétisation de l’image épipolaire sur 3 lignes ................................................... 29
Figure 21. Transformation de radiance pour la re-focalisation ................................................ 30
Figure 22. La méthode de refocalisation de Geogiev ............................................................... 30
Figure 23. Les résultats de refocalisation par Geogiev ............................................................ 31
Figure 24. Estimation de la profondeur par la méthode de Bishop .......................................... 31
Figure 25. Estimation de la profondeur par les images épipolaires de Wanner ....................... 32
Figure 26. La grille hexagonale des 3 types de microlentilles ................................................. 33
Figure 27. L'effet des différentes focales des 3 types de microlentilles ................................... 34
Figure 28. Le processus de l’image dans une caméra plénoptique .......................................... 34
Figure 29. Le nombre de l’image d'un point de la scène situant aux profondeurs différentes . 35
7


Figure 30. La camera plénoptique de Funaki ........................................................................... 36
Figure 31. Le principe d’estimation de la profondeur .............................................................. 36

Figure 32. Le principe de recherche des points correspondants du point central de la
microlentille. ............................................................................................................................. 38
Figure 33. Résultats obtenus par la méthode de Funaki et Al .................................................. 39
Figure 34. Extension de la méthode de mesure de la profondeur............................................. 40
Figure 35. La projection de système sur le plan de la ligne épipolaire .................................... 41
Figure 36. Installation expérimentale ...................................................................................... 42
Figure 37. Image d’un spot capturée à une hauteur de 30 cm. La figure de droite montre les
centres des microlentilles (en rouge) et les max d’intensités détectés (en vert) ....................... 42
Figure 38. Modèle d'interpolation parabolique 2D................................................................... 43
Figure 39. Elimination des points maximaux erronés .............................................................. 45
Figure 40. Image brute capturée ............................................................................................... 45
Figure 41. Le nombre de pics détectés à 30 cm, 55 cm et 85 cm ............................................. 46
Figure 42. Histogrammes des distances |Δi − Δj| pour des acquisitions à 30 cm (a), 55 cm (b)
et 85 cm (c), calculées avec des microlentilles de type 1 ........................................................ 46
Figure 43. Histogrammes de distances pour toute la plage de mesures ................................... 47
Figure 44. Relation entre la distance et la profondeur (microlentilles de type 1) .................... 48
Figure 45. Ecart-type des distances |Δi − Δj| en fonction de la profondeur ............................ 49
Figure 46. 1 pic détectée à la plage de 30 cm, 55 cm et 80 cm ................................................ 49

Table des tableaux
Tableau 1. La distance et l'écart-type calculés à plages données............................................ 48

8


Introduction Générale
Dans le cadre de ce mon stage de fin d’études de Master 2 informatique, j’ai effectué un
stage dont le sujet était : « Estimation de profondeurs avec une camera plénoptique ». Ce
stage s’est déroulé au laboratoire MIPS (Modélisation – Intelligence – Processus – Systèmes,
EA2332) de l’Université de Haut-Alsace. C’est un laboratoire de recherche interdisciplinaire.

Il rassemble toute la recherche liée aux disciplines de l’électronique, électrotechnique,
automatique et informatique industrielle du secteur STIC de l’université Haute Alsace. Mon
stage s’est déroulé dans l’équipe IMTI (Imagerie Microscopique 3D et Traitement d’Image),
l’activité de cette équipe regroupe deux axes principaux : vision et microscope.
Le but de mon stage est d’étudier les principes d’une caméra plénoptique et ses capacités à
mesurer une profondeur dans une scène. Expérimentalement, j’ai utilisé une caméra de
marque Raytrix. Une caméra plénoptique a une constitution différente d’une caméra
classique, puisqu‘elle comprend une grille de microlentilles, placée derrière la lentille
principale. Le but de ces microlentilles, est de récupérer les informations plénoptiques,
appelée aussi Light-Field, c’est-à-dire l’orientation des rayons traversant le système optique.
Ce type de caméra permet de changer la focalisation de l’image, de changer le point de vue de
la scène observée et d’extraire des informations 3D à partir de redondances d’informations
capturées. Mon stage s’est déroulé en plusieurs étapes :
1. Dans un premier temps, je fais l’étude en détails les principes d’une caméra
plénoptique et plus particulièrement les techniques d’estimation de profondeur.
2. Dans un second temps, j’ai fait mener des expérimentations et étudié une méthode de
mesure de la profondeur basée sur le décalage de motifs dans les microlentilles.

Pour expliquer mon travail, ce rapport va débuter par une présentation du sujet et de la
caméra utilisée. Dans un second temps, je détaillerai le principe de la caméra plénoptique
ainsi que les approches différentes de l’extraction de l’information 3D pour les caméras
plénoptiques. Ensuite, un troisième chapitre traitera de la méthode de mesure de la profondeur
que nous avons développée. Le calibrage du système et les résultats expérimentaux seront
exposés dans ce chapitre. Pour terminer, je conclurai et présenterai les perspectives possibles
suite à mon travail.

9


10

Chapitre 1 – Contexte et Sujet
1.1.

Introduction du laboratoire MIPS – Université de Haut-Alsace

Le pole Sciences Pour l’Ingénieurs (SPI) de l’UHA est composé de 3 équipes de
recherches :


Le laboratoire MIPS (Modélisation, Intelligence, Processus, Systèmes)



Le laboratoire LMIA (Mathématiques, Informatique et Applications)



Le laboratoire LPMT (Laboratoire de Physique et Mécanique Textiles)

Ce pôle représente environs une centaine de chercheurs permanents et autant de doctorants
et post-doctorants. C’est au sein du MIPS que j’ai effectué mon stage de Master.
Le laboratoire MIPS (Modélisation, Intelligence, Processus et Systèmes) est une Equipe
d'Accueil (EA 2332) de l’Université de Haute Alsace. C’est un laboratoire de recherche
interdisciplinaire fédéré par les «structures et machines intelligentes». Il rassemble toute la
recherche du secteur des STIC (sciences et technologies de l’information et de la
communication) de l’Université de Haute Alsace.

Figure 1. L’organisation actuelle du laboratoire MIPS – IUT – UHA

Le laboratoire MIPS est donc la structure de recherche d'adossement de tout
l'enseignement dans le domaine lié à l'EEAII des STIC de l'Université de Haute Alsace.
Depuis sa création, les membres du laboratoire MIPS ont été très fortement impliqués dans la
11


définition des enseignements, ce qui a grandement contribué à renforcer les liens entre
l'enseignement et la recherche.
J’ai fait mon stage dans l’équipe IMTI. Cette équipe mène ses travaux de recherche en
microscopie 3D (Fluorescence et tomographique) ainsi qu’une vision 2D et 3D par ordinateur.
Mon stage s’effectue sous la direction de Christophe CUDEL, qui s’intéresse à la vision
par ordinateur, notamment dans les domaines de l’Eye Tracking et de la vision 3D. J’ai
travaillé sur l’un des dispositifs qui avait été imaginé pour extraire des informations 3D de
l’objet et qui ont l’ambition de s’appliquer dans les systèmes industriels.

1.2.

Caméras 3D ou caméras RGB-D (Red, Green, Blue, Depth)

Les caméras de profondeurs peuvent se classer en deux familles :


Les caméras dites « passives » :

Les systèmes de stéréovisions sont les exemples les plus connus, et s’ils sont correctement
calibrés, ils permettent d’estimer la profondeur d’une scène. Il faut avoir au minimum 2
images aux points de vue différentes. La profondeur est estimée en se basant sur les
informations de décalage entre deux ou plusieurs images. Donc, il est nécessaire d’avoir une
méthode pour mettre en correspondance les points d’intérêt des images. La carte de disparité

est construite. En se basant sur la carte de disparité, les informations 3D sont extraites. En
général, il est difficile de mettre en correspondance des pixels dans les zones homogènes.


Les caméras dites « actives » :

Ces caméras utilisent une source d’illumination permettant d’extraire une information 3D.
Un des exemples typiques sont les caméras de type «Kinect », qui illumine une scène d’une
mire de points placées aléatoirement. Cela permet de texturer des zones uniformes et ainsi
facilite la mise en correspondance entre une image de référence et l’image acquise. Il y a aussi
les caméras « Time Of Flight » qui mesurent un temps de vol entre une onde incidente et une
onde réfléchie. Ces caméras « actives » travaillent en général en illumination infrarouge, ce
qui rend leur utilisation parfois délicate en scène extérieure.
L’idée de mon stage est de se placer dans un contexte de caméras passives en étudiant un
nouveau type de la caméra 3D : la caméra plénoptique. Ces caméras sont organisées en
réseaux de caméras ou bien sont réalisées avec une grille de microlentilles placée entre la
lentille principale et le capteur image. Ce type de caméra est permet de changer la focalisation
de l’image, de changer le point de vue de la scène observée et aussi d’extraire des
12


informations 3D à partir de redondances d’informations capturées.
Dans le cadre de mon travail, j’ai utilisé la librairie openCV en utilisant le langage C++.
Initialement, cette bibliothèque a été développée Intel et elle est maintenant distribuée sous
licence BSD (Berkeley Software Distribution). Elle met à disposition de nombreuses
fonctionnalités permettant de bénéficier d’algorithmes de traitement d’images déjà
développés.

1.3.

Description de sujet

Le but de mon stage est d’étudier une caméra plénoptique pour estimer la profondeur de
l’image capturée. Cette caméra de marque Raytrix (Figure 3), utilise un capteur image CMOS
HXG40c de marque CMOSIS. La caméra est connectée au PC par une liaison GigaEthernet.
La résolution d'image complète est de 2048x2048 pixels. Cette caméra a 3 éléments
principaux : une lentille principale, une grille des microlentilles et un capteur image (Voir la
Figure 2). Cette caméra permet d’échantillonner l’orientation des rayons passant à travers
l’objectif. En échantillonnant les rayons optiques, ces caméras offrent la possibilité de
calculer des images refocalisées aussi bien sur l’avant ou que sur l’arrière d’une scène.
D’autre part, les angles d’incidences des rayons étant directement liés à la profondeur de la
source, on peut également extraire une information de profondeur. Aujourd’hui, comparées à
d’autres techniques, ces caméras peuvent être une alternative intéressante pour obtenir une
image ou une information 3D d’une scène. La Figure 4 montre une partie de l’image capturée
par la caméra plénoptique.

Capteur
image

Grille des
microlentilles

Lentille(s) principale(s)

Figure 2. Les composants de la camera de Raytrix
13


Figure 3. Caméra Plénoptique de Raytrix au laboratoire MIPS

Figure 4. Image brute et une partie capturées par la caméra de Raytrix

14


Chapitre 2 – Caméra plénoptique
2.1.

Historique des caméras plénoptiques

En 1908, Lippman a proposé un type de caméra qui est théoriquement capable
d’enregistrer toutes les informations de radiance possible en utilisant la technique de la
photographie intégrale (Figure 5).

Figure 5. Capture de la fonction plénoptique par Lippmann en 1908

En 1992, un prototype de ce type de caméra a été construit par Adelson et Wang, c'est la
caméra plénoptique 1.0. Cette version a pour caractéristique une grille de microlentilles située
sur le plan de focale de la lentille principale. La version 1.0 permet de reconstruire l'image
refocalisée, de changer la vue par changer l'angle de vue et d'estimer la profondeur de chaque
pixel dans l'image synthétique. Mais le point faible de cette version est que la résolution
spatiale est réduite. Elle utilise seulement 1 pixel/microlentille pour reconstruire une vue. Ren
Ng a rapporté dans sa thèse qu’avec une image de 300 x 300 pixels (0,09Mpix), il faut un
capteur de 4000 x 4000 pixels (16Mpix) [2]. La majeure partie de l'information capturée n’est
pas utilisée et pour augmenter la résolution dans l'image finale, il faut utiliser plus de
microlentilles.
Pour améliorer la résolution de l'image, Lumsdaine et T.Georgiev ont proposé en 2009 la
version 2.0 de la caméra plénoptique. Cette version est appelée : la caméra plénoptique
focalisée [3,4]. Dans cette version 2.0, la grille de microlentilles se situe avant ou après le
plan de focalisation de la lentille principale. Cette modification permet d'augmenter la

résolution de l'image finale. Pour chaque microlentille, nous pouvons extraire plusieurs pixels
en utilisant une résolution angulaire plus petite. Cependant, cette version a certains
15


inconvénients, notamment, si la taille de l’ouverture n'est pas bien choisie, des artefacts
indésirables apparaissent.
D’autres modèles ont également été proposés, notamment un modèle où un masque
imprimé remplace la grille de microlentilles [18]. Ce modèle permet d’améliorer certains
aspects des caméras plénoptiques en atténuant les aberrations chromatiques, en augmentant la
résolution et en utilisant toutes les informations disponibles (dans le cas d’autres caméras
plénoptiques, les pixels à la frontière ne sont pas utilisés). Mais, cette méthode a un
inconvénient, c'est que l’utilisation d’un masque réduit la lumière reçue par les microlentilles.
Aujourd’hui, Raytrix et Lytro ont développé des produits commerciaux de caméras
plénoptiques, qui restent encore peu répandus. Adobe a également proposé un type de caméra
plénoptique contenant seulement 19 lentilles pour reconstruire une image de 100 Mégapixels.
Chaque lentille capture une partie de la scène avec une résolution de 5.2 Mégapixels. La
société Pelican a développé un système intégrable dans un smartphone. Nokia pourrait sortir
un smartphone « plenoptique » en 2015 (Figure 6)

A. Caméra de Raytrix

B. Caméra de Lytro

C. Caméra d’Adobe

D.

Caméra de NOKIA

Figure 6. Les produits commerciaux de caméras plénoptiques

16


2.2.

Principe des caméras plénoptique

2.2.1. Introduction de la fonction plénoptique

Une caméra plénoptique capture la fonction plénoptique. Cette fonction représente un
rayon passant dans le système optique d’une caméra : f (, , , Vx, Vy, Vz, t), où :
-

 : longueur d’onde

-

,  : les angles d’orientations

-

Vx, Vy, Vz : les coordonnées d’un point sur l’axe optique

-

t : temps

Cette fonction peut aussi se traduire par un vecteur 4D, représentant les intersections du

rayon avec 2 plans parallèles : f= (u, v, x, y) :

P (u,v,x,y)

y

(x,y)

v
(u,v)
x
u

Figure 7. Fonction plénoptique avec un vecteur 4D

Afin de parvenir à caractériser les rayons issus de la source sous forme de vecteur comme
explicité sur la Figure 7, l’idée initiale de Lippman en 1908, est d’utiliser des pinholes placée
devant le plan image. Aujourd’hui, des microlentilles remplacent les pinholes, ce qui permet
de récupérer d’avantage de lumière.
L’intérêt pour une caméra de récupérer la fonction plénoptique, ou l’orientation des rayons
passant dans son système optique, est de pouvoir :
-

refocaliser en post traitement l’image. En effet, c’est le croisement de ces rayons sur

un plan image qui forme une image nette. Si on connait l’orientation des rayons, on peut
placer une image virtuelle dans le plan d’intersection de ces rayons.
-

soit extraire une information 3D, car l’orientation des rayons est directement liée à la

profondeur de la scène
17


2.2.2. Fonction plénoptique : modèle de Ren Ng

Nous allons reprendre le modèle de Ren Ng pour décrire la trajectoire des rayons dans un
système optique. Le plan (u,x) est important dans les caméras plénoptiques, car il caractérise
facilement si un point du plan image est focalisé ou non.
Pour paramétrer un rayon, 2 paramètres caractéristiques sont importants :


Sa position sur le plan de l’image



Son orientation

Dans la thèse de Ren Ng [2], le trajet des rayons qui traversent le système optique est
décrit dans la Figure 8 suivante.

Figure 8. Le trajet de rayon dans la camera se présente sur l’espace de rayon
Un rayon de la scène traverse le plan de l’objectif de la caméra en une position (u,v) et
traverse ensuite un plan image à la position (x,y). Les figures représentant ces rayons, sont
souvent vues en coupe, (2D). Dans la Figure 8, nous trouvons qu’un rayon peut se représenter
par un vecteur 2D de coordonnées (u, x).
En réalité, un point réel source émet des rayons dans toutes les directions du système optique
(loi Lambertienne). Donc, les rayons couvrent le plan (u, v) de l’objectif principal et
convergent en un point (x, y) du plan image, si on est focalisé. La fonction plénoptique dans

ce cas est une ligne verticale dans l’espace (u, x) (voir Figure 9).

18


Figure 9. Le trajet d’un cône des rayons dans la caméra correspond à un pixel
Dans le cas d’un point focalisé en dehors du plan image, nous sommes ramenés à la
configuration de la Figure 10, et dans ce cas, la fonction plénoptique dans l’espace (u, x) est
une droite inclinée. On peut noter que l’inclinaison est directement liée aux degrés de flou
dans l’image, mais aussi à la profondeur du point dans la scène.
2.2.3. Modélisation des rayons : Approche de RenNg
Dans sa thèse, Ren Ng propose l’équation de l’image pour calculer l’intensité d’un point
sur le plan de film :
1

I(x, y) = 𝐹2 ∬ 𝐿𝐹 (𝑥, 𝑦, 𝑢, 𝑣)𝑐𝑜𝑠 4 𝜃𝑑𝑢𝑑𝑣 (2.1) [2]
Avec F : la distance entre la lentille principale et le plan de film
𝐿𝐹 : La plénoptique se paramétré en distance de F
x, y : La position de point sur le plan de film
u, v : La position de point ou le rayon dépasse sur la lentille principale
𝜃 : L’angle entre le rayon (x, y, u, v) et le plan de film.

19


Figure 10. La projection de la fonction plénoptique est modifiée quand le plan de
focalisation change.

20

En modélisant la fonction plénoptique à travers les plans (u, v) et (x, y), on peut imaginer
que la focalisation se réalise dans un plan intermédiaire (x’, y’). De simples relations
géométrique permettent alors d’avoir l’expression du rayon traversant ce plan (x’, y’), comme
cela est illustré sur la Figure 11. Ici on considère une distance F’= 𝛼 F.

𝐿𝐹

′
′ (𝑥

𝑥′ − 𝑢
𝑦′ − 𝑣
, 𝑦 , 𝑢, 𝑣) = 𝐿𝐹 (𝑥, 𝑦, 𝑢, 𝑣) = 𝐿𝐹 ( 𝑢 +
,𝑣 +
, 𝑢, 𝑣)
𝛼
𝛼
′

1
𝑥′
1
𝑦′
= 𝐿𝐹 (𝑢 (1 − ) + , 𝑣 (1 − ) + , 𝑢, 𝑣)
𝛼
𝛼
𝛼
𝛼
Donc l’image formée dans le plan (x’, y’) est la somme de ces rayons :

1

1

I(x′, y′) = (𝛼𝐹)2 ∬ 𝐿𝐹 (𝑢 (1 − 𝛼) +

𝑥′
𝛼

1

, 𝑣 (1 − 𝛼) +

𝑦′
𝛼

, 𝑢, 𝑣)𝑐𝑜𝑠 4 𝜃𝑑𝑢𝑑𝑣 (2.2)

Figure 11. Transformation de coordonnées dans l’espace de rayon

2.2.4. Modélisation des rayons : Approche alternative de T. Georgiev
T. Georgiev a proposé une modélisation alternative en utilisant l’optique matricielle. Dans
cette présentation, un rayon se caractérisant par un vecteur (q, α), traduisant sa hauteur q et
21


son orientation α . Si α et inférieur à 10°, on considère que tan(α)= α = p, ce qui simplifie les
notations dans les matrices. Au travers des différents éléments optiques, le rayon est dévie.
Cette déviation s’exprime par des matrices propres à chaque élément. Dans le cadre de
cette étude nous utilisons deux types de matrices ; la matrice de translation et la matrice de

réfraction à travers une lentille mince. Ces matrices seront respectivement notées T et F.

Figure 12. Décomposition du parcours d’un rayon à travers une lentille pour le
caractériser sous forme matricielle

Sur la Figure 12, nous avons un point source S1 avec les composantes (q, p) qui sont respectivement la hauteur du point par rapport à l’axe (Ox) et son orientation, c'est-à-dire sa
pente qui est égale a tan(α).
Regardons à présent le chemin d’un rayon partant de S1 jusqu’a S1‘’.
Soit T1, T2 et F telles que :
1

1 𝑑1
= [
],
1

= [

1 𝑑
],
1

On peut écrire S1 :
1

= [ ]

22

= [

1

]= [
′ 1

1

1

]


Afin de trouver S1’, on multiplie la matrice T1, qui correspond à la translation de S1 vers
S1’, par les coordonnées d’origine de la translation : les coordonnées de S1.

′1 =

1

1

=[

1 𝑑1
][ ]
1

Si nous développons cette multiplication de matrice on obtient les relations suivantes :
{

′

=

+ 𝑑1
=

′

On constate que la hauteur x’ est bien différente de x et augmentée d’une hauteur de terme
𝑑1

par rapport à S1 et que la pente du point S1’ n’a pas changé. Il n’y a eu pour le moment

que translation et l’on ne se trouve pour le moment qu’en amont de la lentille. Si l’on regarde
le point S1’’, on trouve que p’’ différé de S1’ puisque le rayon redescend après la lentille. En
revanche la hauteur q’’ doit rester rigoureusement identique a q’.
En effet nous avons :

′′1 =

′1 = [

1

′

][
]

1 ′

En développant :
′′

{

′′

=

= ′
′

+ ′

L’optique matricielle permet donc d’obtenir très rapidement et simplement les
composantes de chaque point constituant un rayon traversant le système optique et de faciliter
des simulations.

2.2.5. Capture des rayons avec des microlentilles
Les caméras plénoptiques capturent les rayons traversant l’objectif principal au moyen de
microlentilles. La Figure 13 montre les versions 1.0 et 2.0 des caméras jusqu’à présent
proposées. Dans la première version, les microlentilles sont placées dans le plan focal de la
lentille principale. De ce fait, chaque microlentille contribue à sous-échantillonner la scène
capturée, comme cela est montré sur la Figure 14, où sous chaque microlentille représente une
portion moyennée de la scène. La Figure 13 montre que les rayons traversant le système
optique, sont alors représentés dans l’espace (u,x) par des segments horizontaux . En effet,
une lentille positionnée en ui, est traversée par plusieurs rayons projetés sur une partie du plan
23

image x.

x

u

x

u

Plan intermédiaire

u

u

u1

u1

x

x

Figure 13. Les versions 1.0 et 2.0 des caméras plénoptiques

Dans la version 2.0, les microlentilles sont placées dans un plan tel qu’elles puissent
focaliser la scène vue par chaque microlentille sur le capteur image. Cette approche différente

se traduit dans l’espace (u,x) de la Figure 13, par des segment verticaux. En effet, les rayons
focalisés sur le plan image x, traversent chacune des microlentilles.

24