Comment WatchHand de Cornell transforme les montres connectées en trackers de main précis

Un volontaire en laboratoire à Ithaca rapproche deux fois le pouce et l'index dans les airs et une montre Android à proximité, portée au poignet opposé, enregistre silencieusement le mouvement et fait passer une chanson. La démonstration — qui fait partie d'un projet de recherche intitulé WatchHand de Cornell University en collaboration avec KAIST — n'utilisait que le haut-parleur et le microphone intégrés de la montre, des impulsions de micro-sonar inaudibles et un modèle compact de machine learning fonctionnant sur l'appareil lui-même. Le simple fait que cela fonctionne constitue l'information principale : le sonar sur les montres connectées de série permet un suivi manuel utilisable et continu sans modifier le matériel ni sacrifier la confidentialité locale.

La nouveauté ne réside pas dans le fait que le son puisse mesurer une distance ; elle tient au fait que les chercheurs ont combiné conception de signaux, modélisation acoustique et ingénierie de précision pour que des appareils du commerce puissent reconstruire les postures tridimensionnelles des doigts et du poignet en temps réel. Le résultat est important car il fait sortir le contrôle gestuel avancé des prototypes de laboratoire pour l'intégrer dans des appareils que des millions de personnes portent déjà, promettant des interfaces d'assistance, des commandes de RA discrètes et une alternative aux caméras dont de nombreux utilisateurs — et régulateurs — se méfient.

Le sonar sur les montres connectées de série mène à un modèle de contrôle axé sur la confidentialité

Le premier argument de vente de WatchHand est qu'il contourne entièrement la vision. Le système émet de courts gazouillis (chirps) sonar inaudibles depuis le haut-parleur de la montre ; le microphone capture leurs échos et un réseau neuronal fonctionnant localement décode les signatures d'écho en angles d'articulation et en postures de doigts. Comme toute la détection audio et l'inférence se déroulent sur la montre connectée, aucune vidéo n'est enregistrée, aucun aller-retour vers le cloud n'est requis et les images sensibles ne quittent jamais l'appareil. C'est un véritable avantage en matière de confidentialité par rapport aux approches basées sur la caméra — et c'est exactement l'argument qui séduira les régulateurs européens et les consommateurs soucieux de leur vie privée.

Mais la confidentialité s'accompagne de compromis. La résolution spatiale du sonar est plus grossière que celle d'une caméra de profondeur haut de gamme et il est sujet aux trajets multiples acoustiques dans les pièces encombrées ; il dépend également du fait que la montre soit portée au bon poignet et qu'elle soit raisonnablement proche de la main. Néanmoins, pour de nombreuses tâches — raccourcis gestuels, contrôle d'assistance pour les utilisateurs ayant une dextérité limitée, ou comme entrée de RA à faible consommation d'énergie — le système offre un équilibre attrayant entre fonctionnalité et confidentialité.

Le sonar sur les montres connectées de série — comment l'astuce fonctionne sur du matériel standard

L'ingénierie ici est d'une simplicité trompeuse dans ses composants, mais complexe dans son exécution. WatchHand utilise le haut-parleur existant de la montre pour émettre des impulsions de micro-sonar à des fréquences supérieures à l'audition humaine. Ces impulsions rebondissent sur les doigts et la main et reviennent au microphone de la montre avec de légers retards et des décalages d'amplitude. Les chercheurs ont entraîné un modèle de machine learning pour mapper ces modèles d'écho à une posture de la main en trois dimensions. Crucialement, ils ont optimisé le modèle et le protocole de signal pour qu'ils s'adaptent aux capacités de calcul et à la consommation d'énergie des montres connectées Android contemporaines.

Alors, comment le sonar permet-il le suivi de la main sur des montres de série ? Il s'agit d'une forme de détection active : la montre sonde son environnement plutôt que de l'observer passivement. Le temps de vol de l'écho, la phase et les décalages de fréquence transportent des informations spatiales ; le modèle de ML apprend la relation complexe et non linéaire entre ces signatures acoustiques et les angles des articulations des doigts. Ce qui rend cette percée possible sans nouveau matériel est une combinaison de conceptions de signaux compacts, d'un prétraitement robuste pour éliminer le bruit environnemental et de modèles neuronaux suffisamment petits pour une inférence sur l'appareil.

Cela explique l'autre question fréquente : ce qui rend cela possible sans nouveau matériel n'est pas un miracle de l'acoustique mais de l'ingénierie pratique — un étalonnage minutieux des paires haut-parleur/micro, des bandes de fréquences inaudibles que les composants existants peuvent reproduire, et un ML sur mesure qui comprime les performances dans une mémoire et des cycles CPU limités.

Performances, limites et compromis en conditions réelles

L'équipe a validé WatchHand avec environ 40 participants et environ 36 heures de données gestuelles sur plusieurs modèles de montres, côtés de poignet et environnements sonores. Les résultats sont impressionnants pour un premier prototype de qualité grand public : le système a reconnu de manière fiable un large ensemble de configurations de doigts et de rotations de poignet lors de tests stationnaires et dans des environnements intérieurs typiques. Il a atteint des latences suffisamment faibles pour des interactions fluides et a géré un bruit de fond modéré sans faire planter le modèle.

Il existe des limites importantes. La précision chute lorsque l'utilisateur marche ou est en mouvement, car les mouvements du corps introduisent des décalages Doppler et modifient la géométrie de l'écho plus rapidement que ce que le modèle a été entraîné à gérer. Un suivi continu et permanent consomme de la batterie : la détection par rafales courtes et le cycle de service (duty-cycling) atténuent ce phénomène, mais une montre connectée ne peut pas faire fonctionner un sonar haute fidélité à plein temps sans un impact mesurable sur l'autonomie de la batterie. Comparé à une caméra, le sonar utilise généralement moins d'énergie qu'une capture vidéo continue et évite les lourdes charges de travail du GPU, mais il n'est pas gratuit — les concepteurs doivent choisir avec soin les cycles de service et les modèles d'interaction pour équilibrer la réactivité et l'endurance de la batterie.

La comparaison avec les capteurs de caméra et de profondeur mérite d'être explicitée. Les caméras offrent des détails spatiaux riches et sont polyvalentes pour de nombreuses tâches de vision par ordinateur, mais elles soulèvent des problèmes de confidentialité, sont peu performantes dans l'obscurité et nécessitent souvent un traitement sur serveur pour une inférence de haute qualité. Les capteurs de profondeur ajoutent de la précision mais augmentent le coût matériel et la consommation d'énergie. Le sonar sur les montres de série se situe au milieu : fidélité spatiale modeste, confidentialité accrue et coût matériel moindre — avec une baisse de fiabilité lorsque l'utilisateur ou l'environnement est très dynamique.

Applications : saisie invisible, commandes d'assistance et raccourcis de RA

Là où WatchHand excelle, c'est dans les gestes courts à haute valeur ajoutée plutôt que dans le remplacement complet d'un clavier. L'équipe a fait la démonstration de commandes telles que des pressions pouce-index pour contrôler les médias, des postures de doigts nuancées pour la navigation dans les menus et des rotations de poignet pour le défilement. Pour les utilisateurs souffrant de troubles moteurs ou de limitations de la parole, ces mappages pourraient être traduits en outils de communication d'assistance. En RA et VR, un contrôleur sonar basé sur la montre élimine le besoin de porter des gants ou de transporter des trackers externes, offrant une voie d'entrée sans friction pour une interaction immersive.

Les développeurs peuvent également combiner le sonar avec les capteurs inertiels de la montre pour créer des classificateurs multimodaux plus robustes en mouvement. Cette approche hybride répond à l'une des principales limites signalées lors des essais et constitue probablement la voie pratique que les équipes produit emprunteront en premier : le sonar pour le détail, l'IMU pour les mouvements globaux.

Perspectives industrielles et réglementaires européennes — pourquoi l'Allemagne devrait s'y intéresser

Pour les fournisseurs et les décideurs politiques européens, WatchHand est intéressant pour deux raisons : il crée une demande pour des piles logicielles intelligentes qui fonctionnent sur du matériel de série, et il contourne les débats épineux sur la confidentialité des caméras qui ont entravé certaines fonctionnalités grand public dans l'UE. Les fabricants allemands — forts de leurs compétences dans les systèmes à faible consommation, le ML embarqué et les composants audio industriels — pourraient introduire de telles fonctionnalités dans les appareils grand public sous la bannière du « privacy-by-design ».

Il existe également des questions de concurrence et de normes. Si les horlogers adoptent des API basées sur le sonar, l'interopérabilité et les normes de signal seront importantes. L'agenda de l'UE en matière d'appareils et de confiance pourrait être un atout ici : insister sur le traitement local, la transparence dans l'utilisation des données et l'auditabilité s'alignerait parfaitement avec les choix d'ingénierie de WatchHand. À l'inverse, la fragmentation entre les fournisseurs Android et les écosystèmes fermés pourrait ralentir l'adoption, à moins qu'un effort intersectoriel ne définisse des interfaces et des profils de puissance communs.

Où cette technologie est susceptible de débarquer ensuite

Attendez-vous à voir une commercialisation progressive et prudente : gestes courts, commandes multimédias et fonctions d'assistance d'abord ; suivi manuel continu complet dans des applications spécialisées plus tard. WatchHand fonctionne actuellement sur des montres connectées Android — l'étendre à d'autres écosystèmes nécessitera un accès aux API audio de bas niveau et une coopération étroite de la part des constructeurs. La voie pratique combinera des fournisseurs de silicium optimisant les chaînes audio, des équipementiers exposant des API sécurisées et des organismes de normalisation esquissant des directives pour les cycles de service et la protection de la vie privée.

Il y a une leçon plus large pour l'industrie. Le sonar sur les montres n'est pas une solution miracle qui rend les caméras obsolètes — c'est une modalité de détection complémentaire qui comble de réelles lacunes en matière de confidentialité, de faible luminosité et de coût. Pour les équipes produit, la véritable décision n'est pas de savoir si le sonar peut fonctionner, mais comment l'utiliser là où sa physique et son profil de consommation correspondent aux besoins de l'utilisateur.

À court terme, les utilisateurs peuvent s'attendre à des applications expérimentales et des SDK de recherche ; à moyen terme, les fabricants pourraient intégrer des modes sonar réglés dans les versions des systèmes d'exploitation pour montres. Si vous travaillez dans le domaine du matériel européen ou des politiques de normalisation, il est temps d'esquisser les garde-fous : limites d'énergie, garanties de localisation des données et une stratégie d'interopérabilité qui maintient la fonctionnalité conviviale pour le consommateur et sûre pour le régulateur.

Au rayon de l'ironie : l'Europe est douée pour les règles de confidentialité, l'Allemagne est douée pour l'ingénierie mécanique, et quelqu'un — probablement hors d'Europe — sera le premier à commercialiser une interface de saisie par sonar qui fera forte impression sur scène. Le progrès, mais avec de la paperasse.

Sources

• Cornell University (WatchHand research team and preprint)
• Korea Advanced Institute of Science and Technology (KAIST) collaboration materials
• arXiv preprint (WatchHand: AI‑powered micro sonar hand‑pose tracking on smartwatches)