Śledzenie niesprawnych rąk w wirtualnej rzeczywistości

Gra w VR bez kontrolerów dla osób niepełnosprawnych

Dla osób, których problemem są niesprawne lub spastyczne dłonie, przygotowaliśmy rozwiązanie, które pozwoli im korzystać z VR bez użycia kontrolerów.

Jest to szczególnie istotne przy treningach w VR i spotkaniach z fizjoterapeutami. Instalowanie kontrolerów dla spastycznych dłoni może zająć dużo czasu. Brak konieczności używania kontrolerów pozwoli na efektywne wykorzystanie czasu przeznaczonego na trening ze specjalistą.

Ta funkcja VR może być używana w grach, które nie wymagają użycia przycisków na kontrolerach lub w połączeniu z funkcją gry z asystentem.

Hand tracking przy użyciu Kinect

Wymagania wstępne:

Dla optymalnej konfiguracji i użytkowania potrzebne są:

Kinect 2.0 i adapter Kinect do PC. Podłącz Kinect do portu USB komputera używając adaptera Kinect. Program zadziała też z Kinect 360, ale Kinect 2.0 jest rekomendowany.

Kontroler Xbox One jest opcjonalny, ale bardzo przydatny, aby dostosowywać pozycję gracza i emulować naciskanie przycisków, gdy ograniczenia fizyczne nie pozwalają na to graczowi. Wszystko opisaliśmy na stronie Gra w wirtualnej rzeczywistości z pomocą asystenta.

Zainstaluj Kinect 2.0 Runtime. Kliknij tu, aby ściągnąć program.

Śledzenie rąk z sensorem Kinect

  1. Umieść Kinect przed swoim obszarem gry. Upewnij się, że jest skierowany w kierunku, w którym będziesz w wirtualnej rzeczywistości.
  2. Uruchom VR i upewnij się, że działa. Włącz także kontrolery VR i upewnij się, że działają.
  3. Przejdź do zakładki Hand tracking w WalkinVR i zaznacz pole wyboru Use Kinect for Hand Tracking. Spowoduje to uruchomienie Kinect. Zauważysz również, że kontrolery VR nie są już śledzone, ale twoje tak, nawet jeśli nic nie trzymasz.
  4. Jeśli nie wykonałeś kalibracji, ręce będą znajdować się w zupełnie innym miejscu, niż się spodziewasz. Kalibrację opisaliśmy poniżej.
  5. Teraz możesz poruszać rękami i powinny być one widoczne dla Ciebie jako kontrolery. Aby naciskać przyciski, użyj kontrolera Xbox lub oryginalnych kontrolerów VR.

Parametry do regulacji śledzenia dłoni

Parametry śledzenia rąk można dostosować do konkretnej gry.

Orientacja kontrolera

Pierwszy krok to określenie orientacji kontrolera. Jeśli wybierzesz śledzenie dłoni, Kinect określi orientację na podstawie tego, jak jest obracana ręka. Jest to bardzo dobra metoda do gier, w których gracz może operować obiektami. Na przykład w Job Simulator, gdzie możesz pogłaskać psa.

Pozycja bezwzględna ręki

Inną opcją jest pozycja bezwzględna ręki (hand absolute position). W tym przypadku orientacja opiera się wyłącznie na pozycji dłoni. Jest to praktyczne dla graczy, którzy nie mogą kontrolować kąta nachylenia ręki – na przykład w wyniku spastyki. Jest to bardzo praktyczne ustawienie do gier takich jak Beat Saber, Box VR czy Audio Shield.

Kalibracja

To pierwszy krok podczas konfigurowania Kinect. Ten krok jest wymagany do wyrównania śledzenia z konfiguracji VR i z sensora Kinect.

  1. Najpierw przejdź do zakładki Ustawienia w WalkinVR. Naciśnij Calibrate VR Headset and Kinect. Gdy okno się otworzy wciśnij Calibrate.
  2. Załóż headset, weź kontroler do każdej ręki i stań przed Kinectem. Możesz włączyć podgląd na pulpicie w panelu SteamVR, aby zobaczyć okno WalkinVR. Unieś ręce trochę na bok i poczekaj, aż krok kalibracji się zakończy.
  3. Cofnij się i zaczekaj w tej samej pozie do zakończenia kalibracji. Po każdym kroku usłyszysz oklaski – to oznacza, że kolejny krok w kalibracji został zakończony pomyślnie.