Dlaczego WatchHand od Cornell zamienia zwykłe smartwatche w precyzyjne trackery dłoni

Wolontariusz w laboratorium w Ithaca dwukrotnie styka kciuk i palec wskazujący w powietrzu, a znajdujący się w pobliżu zegarek z systemem Android, noszony na przeciwległym nadgarstku, bezgłośnie rejestruje ten ruch i przełącza utwór. Demonstracja — będąca częścią projektu badawczego o nazwie WatchHand z Cornell University realizowanego we współpracy z KAIST — wykorzystała jedynie wbudowany głośnik i mikrofon zegarka, niesłyszalne impulsy mikro-sonarowe oraz kompaktowy model uczenia maszynowego działający bezpośrednio na urządzeniu. Sam fakt, że to działa, jest najważniejszą wiadomością: wykorzystanie sonaru w seryjnie produkowanych smartwatchach pozwala na użyteczne, ciągłe śledzenie dłoni bez zmiany sprzętu i bez poświęcania prywatności lokalnej.

Nowością nie jest to, że dźwięk może mierzyć odległość; nowością jest to, że badacze połączyli projektowanie sygnałów, modelowanie akustyczne i precyzyjną inżynierię tak, aby gotowe urządzenia komercyjne mogły rekonstruować trójwymiarowe ułożenie palców i nadgarstka w czasie rzeczywistym. Wynik jest istotny, ponieważ przenosi zaawansowane sterowanie gestami z prototypów laboratoryjnych do urządzeń, które noszą już miliony ludzi, obiecując interfejsy wspomagające, dyskretne sterowanie AR oraz alternatywę dla kamer, którym wielu użytkowników — i organów regulacyjnych — nie ufa.

sonar w seryjnych smartwatchach prowadzi do modelu sterowania stawiającego na prywatność

Główną zaletą WatchHand jest to, że całkowicie omija systemy wizyjne. System emituje krótkie, niesłyszalne sygnały sonarowe z głośnika zegarka; mikrofon rejestruje ich echa, a działająca lokalnie sieć neuronowa dekoduje sygnatury echa na kąty stawowe i ułożenie palców. Ponieważ całe wykrywanie dźwięku i inferencja odbywają się na smartwatchu, nie jest nagrywane żadne wideo, nie jest wymagane przesyłanie danych do chmury, a wrażliwe obrazy nigdy nie opuszczają urządzenia. To autentyczna przewaga w zakresie prywatności w porównaniu z podejściami opartymi na kamerach — i jest to dokładnie ten argument, który przemówi do europejskich organów regulacyjnych i konsumentów dbających o prywatność.

Prywatność wiąże się jednak z kompromisami. Rozdzielczość przestrzenna sonaru jest mniejsza niż w przypadku wysokiej klasy kamery głębi i jest on podatny na akustyczną wielodrogowość w zagraconych pomieszczeniach; zależy on również od tego, czy zegarek znajduje się na właściwym nadgarstku i stosunkowo blisko dłoni. Mimo to, w przypadku wielu zadań — skrótów gestami, sterowania wspomagającego dla użytkowników o ograniczonej sprawności manualnej lub jako energooszczędnego wejścia AR — system oferuje atrakcyjną równowagę między funkcjonalnością a prywatnością.

sonar w seryjnych smartwatchach — jak ta sztuczka działa na gotowym sprzęcie

Zastosowana tu inżynieria jest zwodniczo prosta pod względem listy składników, ale skomplikowana w wykonaniu. WatchHand wykorzystuje istniejący głośnik zegarka do emisji impulsów mikro-sonarowych o częstotliwościach powyżej progu słyszalności człowieka. Impulsy te odbijają się od palców oraz dłoni i wracają do mikrofonu zegarka z niewielkimi opóźnieniami i przesunięciami amplitudy. Badacze wytrenowali model uczenia maszynowego, aby mapował te wzorce echa na trójwymiarową pozę dłoni. Co najważniejsze, zoptymalizowali model i protokół sygnałowy tak, aby mieściły się w budżecie obliczeniowym i energetycznym współczesnych smartwatchy z systemem Android.

Jak więc sonar umożliwia śledzenie dłoni w seryjnych smartwatchach? Jest to forma aktywnego wykrywania: zegarek bada swoje otoczenie, zamiast tylko pasywnie je obserwować. Czas przelotu echa (time-of-flight), przesunięcia fazowe i częstotliwościowe niosą informacje przestrzenne; model ML uczy się złożonej, nieliniowej zależności między tymi sygnaturami akustycznymi a kątami stawów palców. To, co sprawia, że przełom ten jest możliwy bez nowego sprzętu, to połączenie kompaktowych projektów sygnałów, solidnego przetwarzania wstępnego w celu usunięcia szumów otoczenia oraz modeli neuronowych wystarczająco małych do inferencji na urządzeniu.

To wyjaśnia inne pytanie z sekcji PAA: to, co umożliwia ten proces bez nowego sprzętu, to nie cud akustyki, lecz praktyczna inżynieria — staranna kalibracja par głośnik/mikrofon, niesłyszalne pasma częstotliwości, które istniejące komponenty mogą odtworzyć, oraz dostosowane ML, które wyciska wydajność z ograniczonej pamięci i cykli procesora.

Wydajność, ograniczenia i praktyczne kompromisy

Zespół zweryfikował WatchHand z udziałem około 40 uczestników i zebrał około 36 godzin danych dotyczących gestów na wielu modelach zegarków, różnych nadgarstkach i w środowiskach o różnym natężeniu hałasu. Wyniki są imponujące jak na pierwszy prototyp klasy konsumenckiej: system niezawodnie rozpoznawał szeroki zestaw konfiguracji palców i rotacji nadgarstka w testach stacjonarnych oraz w typowych warunkach domowych. Osiągnął opóźnienia wystarczająco niskie dla płynnych interakcji i radził sobie z umiarkowanym szumem tła bez zawieszania modelu.

Istnieją jednak ważne zastrzeżenia. Dokładność spada, gdy użytkownik idzie lub znajduje się w innym ruchu, ponieważ ruch ciała wprowadza przesunięcia Dopplera i zmienia geometrię echa szybciej, niż model został wytrenowany to obsługiwać. Ciągłe śledzenie zużywa baterię: wykrywanie w krótkich seriach i cykliczność pracy (duty-cycling) łagodzą ten problem, ale smartwatch nie może obsługiwać pełnoetatowego sonaru wysokiej wierności bez odczuwalnego wpływu na żywotność baterii. W porównaniu z kamerą, sonar zazwyczaj zużywa mniej energii niż ciągłe rejestrowanie wideo i pozwala uniknąć dużych obciążeń GPU, ale nie jest darmowy — projektanci muszą starannie wybierać cykle pracy i modele interakcji, aby zrównoważyć responsywność i wytrzymałość baterii.

Warto doprecyzować porównanie z kamerami i czujnikami głębi. Kamery dostarczają bogatych szczegółów przestrzennych i są wszechstronne w wielu zadaniach wizji komputerowej, ale budzą obawy o prywatność, słabo radzą sobie w ciemności i często wymagają przetwarzania na serwerze dla wysokiej jakości inferencji. Czujniki głębi zwiększają dokładność, ale podnoszą koszty sprzętowe i pobór energii. Sonar w seryjnych smartwatchach znajduje się pośrodku: umiarkowana wierność przestrzenna, silniejsza prywatność i niższy koszt sprzętu — przy spadku niezawodności, gdy użytkownik lub środowisko są bardzo dynamiczne.

Zastosowania: niewidzialne pisanie, sterowanie wspomagające i skróty AR

WatchHand najlepiej sprawdza się w krótkich gestach o wysokiej wartości, a nie jako pełny zamiennik klawiatury. Zespół zademonstrował polecenia takie jak stuknięcia kciukiem o palec wskazujący do sterowania multimediami, niuansowe ułożenia palców do nawigacji po menu i rotacje nadgarstka do przewijania. W przypadku użytkowników z niepełnosprawnością ruchową lub ograniczeniami mowy, te mapowania mogłyby zostać przełożone na wspomagające narzędzia komunikacji. W AR i VR kontroler sonarowy oparty na zegarku eliminuje potrzebę zakładania rękawic lub noszenia zewnętrznych trackerów, oferując łatwo dostępną drogę do imersyjnej interakcji.

Deweloperzy mogą również łączyć sonar z czujnikami inercyjnymi zegarka, aby budować multimodalne klasyfikatory, które są bardziej odporne w ruchu. Takie hybrydowe podejście rozwiązuje jedno z głównych ograniczeń zasygnalizowanych podczas prób i jest prawdopodobnie praktyczną drogą, którą najpierw wybiorą zespoły produktowe: sonar do szczegółów, IMU do ruchów ogólnych.

Europejski przemysł i perspektywy regulacyjne — dlaczego Niemcy powinny się tym zainteresować

Dla europejskich dostawców i decydentów WatchHand jest interesujący z dwóch powodów: tworzy popyt na inteligentne pakiety oprogramowania działające na powszechnie dostępnym sprzęcie i omija trudne debaty o prywatności kamer, które utrudniły wprowadzenie niektórych funkcji konsumenckich w UE. Niemieccy producenci — posiadający atuty w systemach o niskim poborze mocy, wbudowanym ML i przemysłowych komponentach audio — mogliby wprowadzić takie funkcje do urządzeń konsumenckich pod hasłem „privacy-by-design” (prywatność w fazie projektowania).

Pojawiają się również pytania o konkurencję i standardy. Jeśli producenci zegarków przyjmą interfejsy API oparte na sonarze, znaczenie będą miały interoperacyjność i standardy sygnałowe. Unijna agenda dotycząca urządzeń i zaufania mogłaby być tutaj atutem: naleganie na przetwarzanie lokalne, przejrzystość w wykorzystaniu danych i audytowalność idealnie współgrałoby z wyborami inżynieryjnymi WatchHand. Z drugiej strony, fragmentacja między dostawcami Androida i zamknięte ekosystemy mogą spowolnić adopcję, chyba że wspólny wysiłek branżowy zdefiniuje wspólne interfejsy i profile zasilania.

Gdzie ta technologia prawdopodobnie trafi w następnej kolejności

Należy spodziewać się stopniowej, ostrożnej komercjalizacji produktu: najpierw krótkie gesty, sterowanie multimediami i funkcje wspomagające; później pełne, ciągłe śledzenie dłoni w specjalistycznych aplikacjach. WatchHand obecnie działa na smartwatchach z systemem Android — rozszerzenie go na inne ekosystemy będzie wymagało dostępu do niskopoziomowych interfejsów API audio i ścisłej współpracy z dostawcami. Praktyczna ścieżka będzie łączyć producentów układów scalonych optymalizujących tory audio, producentów OEM udostępniających bezpieczne interfejsy API oraz organy normalizacyjne szkicujące wytyczne dotyczące cykli pracy i ochrony prywatności.

Dla branży płynie z tego szersza lekcja. Sonar w zegarkach nie jest cudownym rozwiązaniem, które uczyni kamery przestarzałymi — jest uzupełniającą modalnością sensoryczną, która wypełnia realne luki w zakresie prywatności, pracy przy słabym oświetleniu i kosztów. Dla zespołów produktowych prawdziwą decyzją nie jest to, czy sonar może działać, ale jak go użyć tam, gdzie jego fizyka i profil zasilania pasują do potrzeb użytkownika.

W krótkim terminie użytkownicy mogą spodziewać się eksperymentalnych aplikacji i badawczych zestawów SDK; w średnim terminie producenci mogą zaimplementować dostrojone tryby sonarowe w wydaniach systemów operacyjnych dla zegarków. Jeśli pracujesz w europejskim sektorze sprzętowym lub polityce standardów, nadszedł czas, aby naszkicować bariery ochronne: limity energii, gwarancje lokalizacji danych oraz wizję interoperacyjności, która sprawi, że funkcja ta będzie przyjazna dla konsumenta i bezpieczna z punktu widzenia regulatora.

W kwestii ironii: Europa jest dobra w przepisach o prywatności, Niemcy są dobre w inżynierii mechanicznej, a ktoś — prawdopodobnie spoza Europy — jako pierwszy wprowadzi sonarową nakładkę do pisania, która będzie świetnie wyglądać na scenie. Postęp, ale z biurokracją.

Źródła

• Cornell University (zespół badawczy WatchHand i preprint)
• Materiały ze współpracy Korea Advanced Institute of Science and Technology (KAIST)
• Preprint arXiv (WatchHand: AI‑powered micro sonar hand‑pose tracking on smartwatches)