205 - Systèmes cyberphysiques et intelligence machine matérialisée

Une ambition commune de mes recherches est de démontrer que le retour haptique peut être utilisé pour créer des expériences utilisateur riches, agréables et utiles. Dans cette présentation, je ferai un survol de projets qui explorent comment l’haptique peut améliorer nos interactions avec le monde numérique et créer des expériences utilisateur attrayantes et engageantes. Certains de ces travaux explorent comment l’haptique peut avoir un impact positif sur des dispositifs ayant des propriétés novatrices, telle que des écrans tactiles incurvés ou flexibles. D’autres travaux explorent comment des expériences uniques peuvent être créées avec des technologies haptiques émergentes, tel que l’haptique de surface, les matrices tactiles, le changement de forme, ou les actionneurs pouvant serrer ou glisser contrer la peau. Mes travaux récents explorent finalement les possibilités de l’haptique omniprésente au travers de vêtements et d’objets intelligents dotés de propriétés haptiques. Dans tous ces cas, le but ultime est de créer des expériences non seulement utiles, mais surtout surprenantes et agréables pour l’utilisateur.

En robotique, lors d’une tâche de pick and place, il est souvent nécessaire de manipuler un objet après la saisie. Ces modifications de la saisie (regrasping) sont particulièrement limitées par l’architecture des préhenseurs couramment utilisés comme ceux à deux doigts. Afin de répondre à ce besoin, il est possible d’utiliser la dextérité extrinsèque, c'est-à-dire d’exploiter l'inertie des objets, la gravité ou encore les forces de contact avec l'environnement.

Dans cette présentation, l’analyse et la modélisation du comportement d'un objet lors d'une ressaisie utilisant la dextérité extrinsèque seront présentés. Ce modèle a été vérifié à l'aide de logiciels commerciaux de simulation dynamique. Finalement, cette corrélation a permis l'utilisation du modèle mathématique développé pour des simulations de manipulation.

Le besoin croissant de systèmes automatisés dans diverses industries telles que les centres de distribution, les chaînes de montage et l'emballage augmente le besoin de pinces plus polyvalentes capables de manipuler des objets de différentes tailles et formes, souvent dans un environnement étroit et encombré. Cet article présente une pince étroite à actionneur unique avec deux doigts linéaires, une ventouse extensible et une pompe à vide intégrée. La séquence d'ouverture et de fermeture de la pince ainsi que le déploiement et la rétraction de la ventouse sont tous entraînés par un seul actionneur. Ceci est réalisé en utilisant un train d'engrenages planétaires différentiel, qui distribue le mouvement de l'actionneur au mécanisme du doigt et à la ventouse. Cette combinaison donne un préhenseur étroit avec un diamètre hors-tout de 75 mm.

Les capteurs 3D tenus en main permettent de recueillir des données sur la géométrie d’objets pour diverses applications comme la métrologie et le contrôle de qualité. Ces capteurs exigent que l’utilisateur interagisse avec un ordinateur durant le processus de numérisation, soit pour consulter la progression du scan à l’écran, ou pour saisir des commandes au clavier. L’utilisateur doit détourner son regard de l’objet à scanner lors de ces interactions, ce qui résulte en une perte de productivité et potentiellement de qualité du scan.

L’exposé portera sur l’interface gestuelle basée sur la vision par ordinateur développée pour la commande à distance d’un logiciel de numérisation 3D au moyen d’une caméra observant l’utilisateur. On y présentera le montage du système de reconnaissance de gestes, constitué d’une caméra de profondeur Azure Kinect; le langage de gestes défini et sa correspondance aux fonctionnalités du logiciel de numérisation; et les modèles d’apprentissage automatique créés pour reconnaître les gestes statiques et dynamiques de l’utilisateur à partir des données de caméra.

Avec les fortes avancées récentes en robotique mobile, il est désormais possible de déployer des robots dans de nombreux scénarios afin de supporter une variété d’industries. Toutefois, peu de travaux documentent l’impact des conditions hivernales et de la forêt boréale sur les systèmes de navigation autonome. C'est pourquoi nous présentons un rapport de terrain portant sur le déploiement d’un système de navigation autonome dans la Forêt Montmorency, dans la province de Québec, au Canada. Dans le cadre de ce travail, nous avons conçu un système de navigation autonome qui se base sur le recalage de nuages de points mesurés par des lidars pour localiser le véhicule et cartographier l’environnement. Nous avons réussi à naviguer 18,8 km de manière autonome dans des sentiers de la forêt dans des conditions hivernales difficiles. Nous présentons l’impact de la végétation et de l’accumulation de neige sur les algorithmes de navigation autonome. Nous terminons la présentation en discutant des défis à relever dans le but d’accomplir de la navigation autonome robuste aux conditions rencontrées dans ce déploiement.
Cette présentation est basée sur l’article (https://arxiv.org/abs/2111.13981) que nous avons soumis au journal Field Robotics.

Présentation de l’approche d’apprentissage que nous avons utilisée pour préentraîner un encodeur de sorte à l'équiper d’une représentation utile à la tâche de guidage d’une sonde. Plus précisément, l’encodeur fera partie d’un plus grand réseau convolutif dont la tâche est d'évaluer les images continuellement acquises par une sonde échographique et de prédire la rotation à lui appliquer pour converger vers la vue standard apicale 4. En vue de cette tâche, l’encodeur est constitué de deux modules, soit un plus petit encodeur (composé des couches du réseau SonoNet 64) et un réseau convolutionnel récursif GRU-RCN qui s'enchaînent. Dans un premier temps, le premier module (l’encodeur) a été entraîné individuellement sur une tâche de détection et de localisation du ventricule gauche dans la vue apicale 4 lors de ses deux états extrêmes (fin de la systole et fin de la diastole). Par la suite, les deux modules ont été entraînés ensemble sur une tâche d'ordonnance des images dans des acquisitions de la vue apicale 4 désordonnées.

L’architecture globale et les choix de paramètres de l’encodeur seront détaillés, ainsi que les performances observées lors des tâches d'entraînement.

L’apprentissage par renforcement (reinforcement learning, RL), un sous-domaine de l’intelligence artificielle, a fortement gagné en popularité dans les dernières années, notamment par sa performance sur-humaine dans les jeux. Cette présentation donnera une introduction à ce problème, dans lequel un agent cherche à optimiser une séquence de décisions par un processus d’essais-erreurs sur son environnement. À l’aide d’une application concrète, nous verrons que des formulations simples de RL peuvent être utilisées pour aborder des problèmes du monde réel. Cependant, la résolution de problématiques plus complexes nécessite d’avoir recours à la simulation. Nous présenterons ainsi des environnements de simulations destinés à résoudre des problèmes réels complexes, notamment pour l’optimisation de stratégies d’imagerie en microscopie et le contrôle optimal de la croissance des plantes. Nous verrons comment les méthodes de RL permettent d'aborder des tâches complexes dans ces environnements, un premier pas vers la résolution de ces tâches dans le monde réel.

La tâche de suivi multi-objets par masque de segmentation consiste à détecter à l’échelle du pixel tous les objets d’intérêt (par exemple les piétons et les véhicules) dans des vidéos et à leur assigner une unique identité. Ce problème est principalement traité avec le paradigme de suivi par détection : une première étape consiste à détecter les objets d’intérêt puis une étape de réidentification attribue une identité. Nous proposons une méthode pour résoudre le suivi multi-objets par masque de segmentation à partir d’une méthode originellement développée pour la segmentation d’objet dans des vidéos : le réseau Space-Time Memory (STM). Ce réseau conserve en mémoire des trames et des masques de segmentation qui sont ensuite lus à l’aide d’un mécanisme d’attention pour prédire un masque sur une trame cible. Notre algorithme de suivi s’intéresse particulièrement à la phase d’association, qui se révèle être sous-évaluée par les travaux précédents. Il suit une approche hiérarchique : tout d’abord, nous créons des fragments de trajectoire ("tracklet") en associant les détections dans des trames adjacentes en utilisant du flot optique. Puis, nous associons les “tracklets” en utilisant le réseau STM.  Notre méthode se révèle être compétitive en termes d’association. Nous nous classons à la troisième position sur ce critère sur la base de données de KITTIMOTS et à la seconde sur le MOTSChallenge.

Malgré l'augmentation de la résolution par la microscopie à fluorescence de super-résolution, ces techniques demeurent difficiles à utiliser pour des utilisateurs non-initiés en raison des objectifs conflictuels qui doivent être optimisés afin d'acquérir des images de bonne qualité. Des techniques d'intelligence artificielle, plus particulièrement d'apprentissage par renforcement, pourraient s'avérer utiles pour assister ou contrôler la boucle d'acquisition. Par contre, les approches d'apprentissage par renforcement nécessitent beaucoup de données en entraînement. Cela rend difficile leur application à l'optimisation de techniques de microscopie de super-résolution due à la grande quantité d'échantillons biologiques qui seraient gaspillés lors de l'entraînement. Nous avons développé pySTED, un outil de simulation de microscopie STED conçu pour le développement d'approches d'apprentissage par renforcement pour la microscopie de super-résolution. Nous présentons comment pySTED peut être appliqué à l'entraînement d'agents d'apprentissage par renforcement à résoudre des nanostructures dans des synapses simulées.

La microscopie de fluorescence optique de super-résolution est un outil essentiel en biologie pour visualiser les structures cellulaires avec un minimum d'invasivité. La microscopie de déplétion par émission stimulée (STED) permet d'étudier les nanostructures d'échantillons biologiques, même vivants, en atteignant des résolutions inférieures à 60 nm, mais elle est souvent associée au photoblanchiment. Le microscopiste peut, dans certaines limites, minimiser le photoblanchiment en modulant soigneusement les paramètres d'imagerie (puissance du laser de déplétion et d'excitation, temps d'intégration, etc.). Cela nécessite toutefois une connaissance a priori de leur influence sur les objectifs d'imagerie (résolution spatiale, photoblanchiment, rapport signal à bruit). Des patrons d'imagerie plus complexes pour la microscopie STED, par exemple RESCue ou DyMIN, peuvent minimiser l'impact de l'acquisition à l'échantillon, mais requièrent une plus grande expertise. Nous nous attaquons donc au problème d'optimisation des paramètres d'imagerie en ligne par l'utilisation d'algorithmes de bandits. Pour faciliter la validation de nos algorithmes d'optimisation, nous avons développé une plateforme de simulation STED qui intègre la plupart des paramètres d'imagerie et des propriétés photophysiques des fluorophores. Les résultats préliminaires montrent que notre méthode peut être transférée à des expériences réelles de microscopie, ce qui réduit l'expertise requise par le microscopiste.

Les méthodes d’apprentissage profond sont prometteuses pour s’attaquer au défi de l’analyse d’images en neurosciences. Cependant, l’entraînement supervisé de modèles d’apprentissage profond nécessite de grandes quantités de données annotées. Ceci peut être problématique lorsque l’acquisition et l’annotation des données sont coûteuses. Par exemple, pour une tâche de segmentation en neurophotonique, un expert doit annoter manuellement des structures complexes dans des images de microscopie d’échantillons biologiques dispendieux. L’apprentissage actif (AL) vise à diminuer ce problème en réduisant la quantité de données à annoter en sélectionnant les échantillons les plus informatifs pour le modèle. Cependant, plusieurs approches d’AL supposent que le coût d’annotation de chaque échantillon est uniforme, ce qui peut mener à un effort d’annotation supplémentaire en pratique. Nous tâchons d’appliquer l’AL dans une situation où les coûts d’annotation ne sont pas uniformes.

Parmi les repères vertébraux qui peuvent être utilisés pour représenter la colonne vertébrale, les lames peuvent jouer un rôle essentiel dans une évaluation de la qualité de l'image par balayage transversal avant d'interpoler dans un volume rachidien en fournissant des informations symétriques. Cependant, il n'existe actuellement aucun algorithme de reconnaissance des repères laminaires qui ait été testé sur des échographies 2D de mauvaise qualité ou sur des images sans repères laminaires observables. Nous proposons une approche d'apprentissage profond pour évaluer automatiquement la présence de deux lames et prédire leurs coordonnées d’un seul coup. Pour étiqueter les données d’entraînement, nous proposons un protocole basé sur une distribution de poids sur la surface virtuelle de l’os, afin que le pixel représentatif possède la plus forte probabilité d'être le pixel le plus proche de la moelle épinière. Au total, 3120 scans 2D de T1 à L5 ont été prélevés et étiquetés dans cette expérience préliminaire, et des prédictions ont été évaluées pour les lames gauche et droite, atteignant une erreur positive réelle moyenne de 3,38 mm et 3,21 mm, respectivement. Notre méthode permettrait l'extraction de points de repère des lamelles vivantes lors des examens cliniques de la colonne vertébrale par ultrasons, ce qui serait utile pour l'évaluation de la qualité de l'analyse 2D et améliorerait ainsi la qualité du volume en éliminant les mauvaises analyses 2D.

L'imagerie par ultrasons est un outil utile pour observer les mouvements de la langue sans interférer avec la parole naturelle. Il existe une variété de modèles pour quantifier la forme de la langue à partir de contours extraits d'images échographiques. Cependant, ceux-ci peuvent être affectés par une mauvaise qualité d'image, par exemple, lorsque des parties de la langue manquent sur les images en raison d'artefacts d'imagerie. Dans cette étude, nous étudions les effets de diverses erreurs d'extraction de contour sur la précision et la cohérence de différentes mesures de forme. Nous avons développé des modèles de perturbation de contour exponentiels et polynomiaux, puis simulé la pointe de langue manquante et la racine de langue manquante. Nous avons étudié l'impact de ces perturbations sur les mesures de forme basées sur la transformée de Fourier discrète (DFT), l'indice de courbure modifié (MCI) et l'ajustement triangulaire. Ceci a été appliqué à un ensemble d'énoncés CV collectés auprès de locuteurs sains et déficients. Les résultats démontrent l'efficacité de la DFT et de l'ajustement triangulaire dans le regroupement de différents phonèmes malgré le bruit ajouté. Nous avons tenté d'améliorer la précision du modèle DFT en ajoutant des informations de contact palatin. Notre expérience montre que le nouveau modèle de forme est robuste au bruit et peut classer avec succès les énoncés CV avec un score de classification plus élevé par rapport aux autres modèles de forme.