Eye tracking heatmap через iPhone: отслеживаем взгляд пользователя без дорогого оборудования.

Собрал для себя приложение для тестирования прототипов. Как это работает: через ARKit и TrueDepth считываю положение лица и зрачков. Анализируя видеопоток, приложение оценивает, куда конкретно на экране смотрит пользователь, а куда кликает. На выходе формируется отчет по каждому экрану.

Фиолетовое мигание и есть датчик глубины, который используется в iPhone. С ним чуть проще оценивать положение лица в пространстве и вырезать глаза из потока.

С iOS 18 eye tracking из коробки работает очень точно, но на удивление системная API недоступна. И мои надежды запустить трекинг за 15 минут превратились в шесть дней.

1. Тестирую сейчас автоматическую фиксацию голосовых комментариев с привязкой к экрану и времени
2. Работу в очках, пока погрешность есть от бликов.
3. Ну и думаю как повысить точность. Face lock пока плоховато работает.

Если есть идеи, что еще прикрутить — пишите))

Оригинал в Telegram: https://t.me/segagridchin/154