La surveillance à bord des véhicules par imagerie 3D est désormais une réalité grâce à la technologie ToF

Bref aperçu de la technologie ToF (Time-of-Flight) - La technologie rend nos appareils plus interactifs de manière tridimensionnelle. Les systèmes de vision sont des outils clés à cet égard, car le fonctionnement en trois dimensions introduit la perception de profondeur, qui ajoute un énorme volume de données contextuelles à une scène.

Le monde animal repose en général sur la vision stéréoscopique pour fournir une perception de profondeur, mais s'agissant de la vision artificielle, les options offertes comprennent aussi la lumière structurée et la technologie ToF (Time-of-Flight ou temps de vol). La lumière structurée fonctionne en mesurant les déformations d'un motif connu, réfléchi par un objet se trouvant dans le champ de vision ; les ombres projetées par des bâtiments par une journée ensoleillée illustrent bien le concept, mais masquent la difficulté du traitement nécessaire pour interpréter les formes créées.

Le cerveau humain est particulièrement doué pour traiter les scènes contenant des motifs lumineux structurés, mais reproduire son fonctionnement dans le cadre d’un système de vision nécessite de formidables ressources de calcul. D'un autre côté, la technologie ToF est peut-être un peu plus difficile à appréhender, mais elle nécessite une puissance de traitement beaucoup plus faible pour être mise en œuvre dans un système de vision artificielle, ce qui rend cette technologie utilisable dans un plus grand nombre de cas.

La technologie ToF permet d'identifier et de suivre des objets en mouvement dans un champ de vision, avec un haut niveau de résolution et en 3D, ce qui rend cette technologie particulièrement adaptée à la détection des gestes de la main dans l'espace. Les constructeurs automobiles explorent actuellement ce concept pour proposer une interface homme-machine (IHM) sans contact aux conducteurs.

Le principe de la ToF consiste à mesurer le déphasage d'un signal modulé et, à cet égard, le comportement de la lumière est similaire à celui de toute forme d'onde du spectre RF dans le domaine temporel. Le temps nécessaire à une onde pour parcourir une certaine distance est prévisible, tout comme le déphasage qui se produit au cours de cette période ; cette information permet de calculer le déphasage d'un signal réfléchi. Cette mesure fournira la distance entre la source de lumière et le capteur. Ce type de mesure optique de distances est le même que celui utilisé par de nombreux appareils photo numériques pour la mise au point automatique, par exemple, mais la résolution des systèmes de mise au point automatique ne convient pas à la reconnaissance de gestes.

En utilisant une matrice de capteurs optiques pour capturer la lumière réfléchie par un objet, et un processeur pour la comparer au motif original, la technologie ToF fonctionne un peu comme l’autofocus d'un appareil photo, mais doit fournir une perception de profondeur avec une résolution élevée, plutôt qu'un simple contraste. Avec l'ajout d’une optique appropriée, la technologie ToF peut offrir un large champ de vision et fournir d'excellents résultats pour de nombreuses applications.

Maîtriser la technologie ToF
La technologie ToF est aujourd'hui utilisée par les constructeurs automobiles pour détecter et surveiller les occupants de manière discrète. L'un des prérequis de la ToF est une source de lumière modulée, qui doit émettre dans la partie non visible du spectre, ce qui suppose donc en général soit une LED IR, soit un laser VCSEL (Vertical Cavity Surface-Emitting Laser). En collaboration avec LUMILEDS et BECOM Bluetechnix, Melexis a développé un kit d'évaluation (EVK75024) complet pour solutions ToF, qui offre aux concepteurs la possibilité d'évaluer les performances et l'adéquation des technologies LED et VCSEL pour leur application.

Le kit d’évaluation s'appuie sur deux dispositifs clés : la matrice de capteurs ToF, MLX75024, et son circuit ToF compagnon, MLX75123BA. En résumé, le MLX75024 est un capteur d'images ToF offrant une définition QVGA (320 x 240 pixels) en boîtier WLP (Wafer-Level Package) à billes, qualifié AEC-Q100 (Classe 2). Il utilise la technologie de pixel DepthSense de Sony et convient à la surveillance dans l'habitacle, à la reconnaissance de gestes, et à la vision artificielle, ainsi qu'à d'autres applications. Le MLX75123BA est un circuit compagnon dédié à la matrice de capteurs ToF, qui intègre des CAN rapides pour fournir des données de capteur numérique via un port caméra parallèle. Il génère également le signal de commande servant à piloter la source lumineuse.

Utilisation pratique de la technologie ToF
Le choix de VCSEL ou de LED comme source lumineuse pour la détection ToF dépend de l'application. Dans certains cas, une source de lumière VCSEL, bien que plus chère, peut s'avérer nécessaire pour assurer une meilleure réjection de la lumière naturelle, grâce à une bande passante étroite qui permet d'utiliser un filtre. Si la réjection de la lumière naturelle n'est pas trop critique, des LED pourront être plus appropriées. La bande passante plus large des LED peut également fournir un niveau de rayonnement global plus élevé, qui peut être utile au récepteur.

Une autre différence essentielle est la différence des temps de montée et de descente entre les deux types de sources lumineuses. Les VCSEL ont des temps de montée et de descente plus courts que les LED, ce qui autorise une fréquence de modulation plus élevée. Avec des temps de montée et de descente naturellement plus longs, les LED sont plus limitées au niveau fréquence de modulation. Toutefois, en « sur-pilotant » les LED, on peut raccourcir leurs temps de montée et de descente, et ainsi augmenter leur fréquence de modulation, sans dégradation significative de l'amplitude de modulation. Le circuit compagnon ToF, MLX75123BA, tel qu'il est mis en œuvre dans le kit d’évaluation, autorise des fréquences de modulation comprises entre 12 MHz et 40 MHz.

Le kit EVK75024 permet aux ingénieurs de mieux comprendre les paramètres clés régissant la conception d'une application ToF basée sur le capteur Melexis et son circuit compagnon, que ce soit avec des LED IR ou avec des VCSEL. Le post-traitement des données d'images numériques fournies par le jeu de circuits est en grande partie effectué par le microprogramme du kit d’évaluation, qui tourne sur un processeur Quad-Core i.MX6, logé sur un circuit imprimé séparé et fourni avec le kit. Un schéma fonctionnel du kit est illustré en Figure 1.



Figure 1 : Schéma fonctionnel du kit EVK75024

Le kit d’évaluation s’utilise avec un logiciel compagnon tournant sur un PC connecté au kit. Ce logiciel fournit une interface graphique permettant de commander le kit et de visualiser les images qu'il produit, à la fois en temps réel et aussi avec la possibilité d'enregistrer et de relire des vidéos. L'interface graphique donne également accès aux paramètres servant à configurer le kit d'évaluation, dont le temps d'intégration du capteur (également appelé temps d'exposition) et la puissance de sortie des sources de lumière IR.

La combinaison de ces deux paramètres définit la performance du capteur pour une scène ou un environnement donné, en se basant en grande partie sur les dimensions de la scène. Par exemple, le temps d'intégration dépendra de la distance d'intérêt entre le capteur et l'objet détecté. Etant donné que toute la scène est capturée, quelle que soit sa distance par rapport au capteur, les objets se trouvant dans le champ de vision et correspondant aux paramètres définis sont détectés avec la plus grande précision en termes de résolution. Dans ce cas, la résolution fait référence à la distance plutôt qu'au contraste, mais elle est toujours représentée à l'aide d'un histogramme (Figure 2).



Figure 2 : Capture d'écran du logiciel de visualisation montrant l'intérieur d'une voiture. L’image est codée en couleur selon l’histogramme de distance au capteur

Plutôt que d'utiliser un temps d'intégration fixe, les ingénieurs utilisent le kit d'évaluation pour ajuster le temps d'intégration afin d'obtenir le meilleur rapport signal/bruit (SNR) en fonction du type d'objet détecté, de sa distance par rapport au capteur et des caractéristiques ambiantes. Ajuster le temps d'intégration est donc nécessaire pour chaque cas d'utilisation, et cela ne peut se faire que dans le cadre d'un scénario réel, en se servant du kit d'évaluation et du logiciel de visualisation.

Le temps d'intégration détermine la période pendant laquelle le capteur collecte la lumière IR dans son champ de vision. La quantité de lumière atteignant le capteur varie en fonction de l'absorption et de la réflectivité des objets présents dans la scène, mais elle est également atténuée en fonction du carré de la distance et filtrée par l'environnement qu'elle traverse, de sorte que le temps d'intégration ne dépend pas uniquement de la distance séparant les objets du capteur.

Le temps d'intégration doit également être équilibré en fonction de la puissance émise par les sources IR. Etant donné qu'un système ToF utilise une lumière constamment modulée, la puissance lumineuse émise est principalement fonction du courant qui passe dans les émetteurs. S'il est généralement vrai qu'une plus grande puissance atteignant le récepteur permet d'obtenir un meilleur rapport signal/bruit, il est aussi évident que trop d'énergie au niveau du capteur provoquera sa saturation. L'équilibre doit être atteint en jouant sur les deux paramètres, ce qui peut se faire en évaluant le signal reçu à l'aide du logiciel de visualisation et en ajustant les paramètres en fonction.

En général, on conseille aux ingénieurs de commencer par optimiser la puissance émise et de garder le temps d'intégration aussi court que possible, afin de réduire l'impact de la composante IR de la lumière ambiante sur le capteur.

Le kit d'évaluation se connecte au PC hôte au moyen d'une connexion Ethernet ou USB. Le logiciel Visualizer comprend plusieurs outils, dont l'outil Model3D, qui affiche un nuage de points 3D permettant de visualiser les données sous n'importe quel angle. Toutefois, le composant principal du logiciel est Visualizer lui-même, qui affiche les données image sous forme d'histogramme à code couleur ou échelle de gris, complété par une foule de données pouvant servir à développer une application finale (Figure 3).



Figure 3 : Capture d'écran de l'outil Visualizer montrant deux histogrammes de l'image capturée

Passer de l'évaluation à la conception
En termes de développement de produits, le kit d'évaluation est fourni avec une API que l'on peut intégrer dans une application écrite en C/C++, et qui permet à une application d'obtenir des images de l'EVK75024, mais aussi de lire et d'écrire dans les registres pour ajuster les paramètres, ainsi que d'effectuer des opérations mathématiques sur les données.

MATLAB est également pris en charge par le kit de développement logiciel (SDK) Matlab et par le kit d’évaluation Matlab Visualizer, qui contient des exemples de capture et d'affichage d'images dans l'environnement MATLAB. Le kit d'évaluation est disponible soit avec un éclairage à LED IR offrant un champ de vision de 80°, soit avec un éclairage VCSEL offrant un champ de vision de 110°. En tant que tel, le kit d'évaluation répond aux besoins de la plupart des applications d'imagerie et peut aussi être utilisé dans un produit final.

Comme le kit d'évaluation est fourni sous la forme d'une caméra complète dans un format comparable à celui d'un produit final, on peut l'utiliser pour caractériser complètement une application. Cependant, l'équipe de conception devra se concentrer sur la stabilité dans le temps et la température, lorsqu'elle passera du kit d'évaluation au produit final à déployer.

Il est dans la nature des LED IR de présenter une certaine dérive en fonction de la température, notamment au niveau des temps d'allumage et d'extinction. Dans la majorité des applications, cela peut ne pas poser de problème, mais dans un système de vision sophistiqué, reposant sur la mesure du déphasage entre un signal source et un signal reçu, les écarts de synchronisation deviennent clairement une source d'erreur.

La solution consiste à compenser la dérive en température, à l'aide d'un algorithme d'étalonnage tenant compte de ces variations de température ambiante et de température de fonctionnement, et d’utiliser ces informations pour retraiter la sortie du capteur. Cela peut se faire en effectuant un petit nombre de mesures sur un certain nombre de températures. Ces mesures peuvent ensuite servir à construire un modèle des LED et de la variation de leurs temps d'allumage et d'extinction, sur toute la plage de température opérationnelle.

Ce modèle peut ensuite être intégré au code de l'application pour compenser la dérive. Bien que cette technique soit parfaitement acceptable pour la plupart des applications, si une précision extrême est nécessaire sur toute la plage de température opérationnelle, il peut être nécessaire de caractériser les LED individuelles pour chaque produit, dans le cadre du processus de fabrication et de production.

Le microprogramme fourni avec le kit d'évaluation comprend un algorithme de compensation pour les LED utilisées dans le kit, et Melexis travaille actuellement au développement d'une version déployable de la pile logicielle permettant de modifier les paramètres de l'algorithme d'étalonnage. Le kit d'évaluation est fourni avec les fichiers d'implantation et les schémas de la carte capteurs, de la carte d'éclairage et de la carte d'interface. La nomenclature peut également être fournie.

Conclusion
Le principe du Time-of-Flight à lumière modulée pour créer des images 3D est désormais une technologie mature, pour laquelle Melexis est en mesure d'offrir une expertise particulière. Le kit EVK75024 offre un accès complet à cette technologie puissante, grâce au réseau de capteurs ToF QVGA, MLX75024, et à son circuit compagnon, MLX75123BA, associés à des LED IR LUXEON de LUMILEDS et à l'optique nécessaire pour obtenir une solution d'imagerie complète.

Grâce à l'ajout d'un environnement doté d'une interface graphique puissante, les ingénieurs sont capables d'évaluer très rapidement la technologie ToF pour leur propre application, et de passer de ce processus d'évaluation à la conception, puis à la production. Le kit EVK75024 donne aux équipes d'ingénieurs les outils dont elles ont besoin pour profiter pleinement du potentiel de l'imagerie 3D dans toute une série d'applications, en particulier pour la surveillance à bord de véhicules.

www.melexis.com

  Demander plus d’information…