Rozwój fizycznej sztucznej inteligencji i robotów humanoidalnych napotyka na poważną barierę w postaci braku odpowiednich danych treningowych z realnego świata. Aby sprostać temu wyzwaniu, firmy technologiczne sięgają po niespotykane dotąd metody zbierania informacji. Zamiast polegać wyłącznie na nagraniach wideo, eksperci zaczynają wykorzystywać odczyty fal mózgowych oraz sygnały elektryczne z ludzkich mięśni.
Nowy sposób na braki w danych dla robotów
W laboratorium firmy Encord w San Leandro w Kalifornii trwają testy unikalnego systemu pozyskiwania danych. Trenerzy robotów wykonują precyzyjne zadania, takie jak układanie wieży z klocków, mając na sobie zestawy nagłowne stworzone przez niemiecki startup neurotechnologiczny Zander Labs. Urządzenia te mierzą aktywność mózgu, aby zidentyfikować stany psychiczne operatora, w tym poczucie błędu, intencję czy zaskoczenie.
Lukas Gehrke, neuronaukowiec z Zander Labs, wyjaśnia, że stopień zaangażowania mózgu podczas wykonywania czynności pomaga twórcom modeli AI ustalić, kiedy robot powinien uruchamiać najbardziej zaawansowane procedury obliczeniowe. Próby mają wykazać, czy uwzględnienie fal mózgowych w zbiorach danych realnie poprawia wydajność robotów w praktyce.
Teleoperacja, czujniki mięśni i gęsta adnotacja
Vineeth Velmurugan, kierownik ds. uczenia robotów w Encord, szacuje, że do przełomu w robotyce potrzebny będzie zbiór danych około pięciokrotnie większy niż cała zawartość serwisu YouTube. Z tego powodu Encord zbiera dane egocentryczne z fabryk na całym świecie oraz wykorzystuje stanowiska do zdalnego sterowania robotami.
Podczas prac pilotażowych operatorzy wykonują czynności takie jak nalewanie kawy, ukradanie żetonów czy podłączanie kabli sieciowych w serwerowniach. Ponadto firma rozwija czujniki umieszczane na przedramieniu, które rejestrują sygnały elektryczne mięśni, co pozwala budować trójwymiarowe odwzorowanie ruchu dłoni. Każde nagranie jest poddawane szczegółowym adnotacjom tekstowym opisującym konkretne ruchy. Według Velmurugana taka precyzyjna adnotacja jest nawet sto razy bardziej wartościowa dla modeli LLM niż nieprzetworzone nagrania wideo.
Co wiadomo obecnie
Projekt połączenia odczytów fal mózgowych z modelami robotycznymi znajduje się obecnie w fazie pilotażowej. Encord i Zander Labs planują stworzenie wstępnego zbioru danych zintegrowanego z sygnałami z mózgu, a następnie przetestowanie go w modelach robotycznych należących do klientów firmy. Od wyników tych prób zależy, czy technologia zostanie scalona i wdrożona na szerszą skalę.
Źródło: TechCrunch
