Прототип интерфейса для управления GNOME 3 жестами перед web-камерой

Создатели проекта Skeltrack [3], в рамках которого развивается свободная библиотека для отслеживания в режиме реального времени перемещения конечностей человека перед камерой с датчиком глубины, представили [4] прототип практической реализации интерфейса для организации управления GNOME 3 через систему пространственных жестов. Код [5] управляющего интерфейса распространяется под лицензией GPLv3. Наглядно оценить возможности пространственного управления можно просмотрев специально подготовленный видеоролик [6].

Используя web-камеру с датчиком глубины, которой комплектуется устройство Kinect [7], разработчикам удалось организовать генерацию событий Xlib через распознавание типовых жестов. Например, можно перемещать курсор контролируя его позицию указательным пальцем, масштабировать окна и изображение через характерное разведение или сведение ладоней, выбирать объект, прокручивать содержимое окон, перемещать окна и т.п. Отдельный интерес представляет демонстрация возможностей Skeltrack для управления играми. В частности, показано как можно управлять автомобилем в игре Super Tux Kart, изображая руками вращение руля.
Для приёма видеопотока с данными глубины от камеры Kinect используется GFreenect [8], а для отслеживания движений рук задействована библиотека Skeltrack [9]. Управляющие жесты воспринимаются путем анализа попадания руки в активную область, которая определена примерно в 30 см. от головы. Жесты достаточно интуитивны. Например, когда одна рука двигается осуществляется перемещение курсора; клик воспринимается когда одна рука находится в активной зоне, а вторая быстро входит и выходит из активной зоны; если вторая рука задерживается в активной зоне распознаётся нажатие и удерживание кнопки мыши, первая рука при этом может использоваться для перемещения объекта.