Optimisation d'un système à multiples caméras monoculaires pour l'estimation de poses 3D

Master internship with Inria Auctus research team

  • Position type: Internship
  • Duration: 6 months - between January and August 2023
  • Status: inactive

Contexte

Dans le cadre des tâches de télérobotique et de collaboration homme-robot, il est essentiel de connaître à tout moment la position des objets dans l’environnement du robot. Cela peut être réalisé à l’aide de divers capteurs : parmi ceux-ci, les systèmes de motion capture constituent une option intéressante.

Figure 1. Représentation d'un système de motion capture

Figure 1. Représentation d'un système de motion capture

Ces systèmes correspondent à un ensemble de caméras infrarouges, capables de déterminer les poses 3D de corps rigides à haute fréquence. Cependant, l’estimation de ces poses peut être erronée ou impossible, principalement à cause d’une absence de visibilité de l’objet par un nombre suffisant de caméras. Assurer l’efficacité de ce système nécessite alors un positionnement optimisé des caméras dans l’espace devant être observé. [1]

Problématique et objectif

Compte tenu du coût de déploiement de tels systèmes, peu de littérature détaillée semble exister sur ce problème d’optimisation [2][3][4][5][6] ; et aucun logiciel open source ne semble disponible. Les principales solutions actuelles semblent plutôt dépendre soit d’une forte redondance des caméras (ce qui augmente encore le coût de déploiement), soit de certains principes de placement empiriques en fonction des cas de déploiement [7].

Pour cette raison, l’équipe Auctus d’Inria propose un stage de 6 mois concernant cette problématique. Après une première recherche bibliographique, l’objectif de ce stage sera de réimplémenter, évaluer et éventuellement améliorer les algorithmes existants concernant ce problème. Un point d’entrée pourrait être l’algorithme proposé par [5]. Dans un second temps, il pourrait être envisagé d’appliquer cet algorithme pour assister le placement de caméras à l’aide d’un casque de réalité augmentée (Hololens 2).

Figure 2. Exemple d'application de l'algorithme [5] pour l'optimisation du placement de caméras. Les points rouges indiquent une zone peu couverte; les points bleus indiquent une zone très couverte

Figure 2. Exemple d'application de l'algorithme [5] pour l'optimisation du placement de caméras. Les points rouges indiquent une zone peu couverte; les points bleus indiquent une zone très couverte

Travail demandé

En immersion au sein de l’équipe de recherche Auctus d’Inria sur le campus de l’Université de Bordeaux TALENCE (33), vous interagissez avec ses membres au quotidien pour comprendre les problématiques liées à l’optimisation du placement de caméras infrarouges pour le suivi d’objets dans un environnement 3D. Après l’acquisition d’une base de connaissance via des recherches bibliographiques, un premier démonstrateur pourra être implémenté et testé. Ce démonstrateur sera ensuite amélioré et testé tout au long du stage.

Au cours du développement de ce démonstrateur, vous réaliserez un ensemble de supports (documentation principalement) qui constitueront la matière principale de la transmission de savoir que vous réalisez avec l’équipe Auctus.

L’essentiel pour réussir

  • Se sentir à l’aise dans un environnement de dynamique scientifique, aimer apprendre et écouter sont des qualités essentielles pour réussir cette mission.
  • Capacité à proposer et réaliser des mises en oeuvre de référence, des prototypes et démonstrateurs : autonomie, créativité, veille proactive, écoute des besoins.
  • Capacité à comprendre les contextes et besoins scientifiques, et à les traduire dans des implémentations technologiques.
  • Savoir être : tenace, aimant l’effort au long terme, ouverture d’esprit, travail en équipe et en autonomie, rigueur.

Compétences requises

  • Connaissances théoriques (formation initiale) en vision et reconstitution 3D.
  • Intérêt pour les problémes d’optimisation (fonction de coût, descente de gradient, analyse par intervalles…).
  • Maîtrise des langages : C++, Python.
  • Connaissances solides en architecture logicielle et paradigmes de programmation, génie logiciel, bonnes pratiques et outils de développement logiciel (versionning, documentation, compilation, packaging, tests, CI, CD …).
  • Capacité à conduire une veille technologique et scientifique.
  • Capacité à rédiger, publier et présenter en français et en anglais.
  • Une première expérience avec Unity serait un plus, mais n’est pas du tout obligatoire.

A propos du centre ou de la direction fonctionnelle

Le centre Inria Bordeaux - Sud-Ouest est un des huit centres d’Inria et compte une vingtaine d’équipes de recherche. Le centre Inria est un acteur majeur et reconnu dans le domaine des sciences numériques. Il est au cœur d’un riche écosystème de R&D et d’innovation : PME fortement innovantes, grands groupes industriels, pôles de compétitivité, acteurs de la recherche et de l’enseignement supérieur, laboratoires d’excellence, institut de recherche technologique…

Contrat et Rémunération

Stage 6 mois, entre Janvier et Août 2023.

Rémunération : Gratification horaire minimale (568,75€ net / mois).

Pour postuler ou pour toute demande d’informations :

Contact par mail à erwann.landais@inria.fr (Erwann Landais) et david.daney@inria.fr (David Daney).

Références bibliographiques

[1] : “Quick Start Guide: Getting Started - NaturalPoint Product Documentation Ver 2.2.” Accessed September 16, 2022. https://v22.wiki.optitrack.com/index.php?title=Quick_Start_Guide:_Getting_Started.

[2] : Aissaoui, Azeddine, Z Baarir, Abdelkrim Ouafi, Philippe Pudlo, Abdelmalik taleb-ahmed, Christophe Gillet, and F Deraz. “Optimisation Technique of Camera Placement for Motion Capture Simulations.” Computer Methods in Biomechanics and Biomedical Engineering 17 Suppl 1 (August 1, 2014): 122–23. https://doi.org/10.1080/10255842.2014.931517.

[3] : Aissaoui, Azeddine, Philippe Pudlo, Imene Aloui, Abdelkrim Ouafi, and Abdelmalik taleb-ahmed. “Reducing the Number of Cameras and Increasing the Calibrated Volume for Motion Capture.” Computer Methods in Biomechanics and Biomedical Engineering 20 (October 30, 2017): 5–6. https://doi.org/10.1080/10255842.2017.1382833.

[4] : Olague, Gustavo, and Roger Mohr. “Optimal Camera Placement for Accurate Reconstruction.” Pattern Recognition 35 (April 1, 2002): 927–44. https://doi.org/10.1016/S0031-3203(01)00076-0.

[5] : Rahimian, Pooya, and Joseph Kearney. Optimal Camera Placement for Motion Capture Systems in the Presence of Dynamic Occlusion, 2015. https://doi.org/10.1145/2821592.2821596.

[6] : Dunn, Enrique, Gustavo Olague, and Evelyne Lutton. “Parisian Camera Placement for Vision Metrology.” Pattern Recognition Letters, Evolutionary Computer Vision and Image Understanding, 27, no. 11 (August 1, 2006): 1209–19. https://doi.org/10.1016/j.patrec.2005.07.019.

[7] : “Camera Placement - NaturalPoint Product Documentation Ver 2.2.” Accessed September 16, 2022. https://v22.wiki.optitrack.com/index.php?title=Camera_Placement.