Cámara
MediaPipe Face Landmarker detecta los puntos del rostro localmente.
BUCKAPI Labs · Visión Artificial
Interacción facial
en tiempo real
Una experiencia interactiva que detecta los puntos del rostro mediante visión artificial, interpreta la orientación de la cabeza y la convierte en el control de un sable de energía dentro de un entorno 3D en tiempo real.
- Tipo
- Laboratorio tecnológico / Computer Vision
- Desarrollo
- BUCKAPI Labs
- Plataforma
- Web
- Procesamiento
- En el dispositivo
Qué es
Interacción facial sin hardware adicional
Una experiencia de visión artificial que utiliza la cámara web para detectar el rostro, interpretar su posición y orientación, y traducir esos movimientos en acciones dentro de un entorno tridimensional. Todo ocurre en el navegador, sin controladores físicos y sin enviar imágenes del usuario a servidores externos.
Cómo funciona
De los puntos faciales al control del sable
BUCKAPI utiliza MediaPipe Face Landmarker para detectar cientos de puntos del rostro en tiempo real. A partir de la posición de la nariz y los ojos se calcula la orientación de la cabeza: posición, guiñada, cabeceo e inclinación lateral.
La inclinación lateral de la cabeza controla la rotación de un sable de energía dentro de una escena 3D renderizada con Three.js y WebGL. El procesamiento de la cámara ocurre localmente en el dispositivo, lo que reduce la latencia y protege la privacidad del usuario.
Interacción en tiempo real
De la cámara a la escena 3D
Tracking facial
Se calcula la posición y orientación de la cabeza con suavizado en tiempo real.
Inclinación de la cabeza
La inclinación lateral (roll) rota el sable de energía.
Entorno 3D
Three.js y WebGL renderizan la escena y las esferas que debes alcanzar.
Tecnologías y aplicaciones
IA aplicada a experiencias web
Esta técnica puede aplicarse a interfaces accesibles, juegos, experiencias de marca y soluciones de control sin contacto, donde los movimientos de la cabeza sustituyen al mouse o al teclado.
Experiencia interactiva
Prueba la experiencia
Inclina la cabeza para rotar el sable de energía y alcanza las esferas azules, que suman puntos. Evita las esferas rojas, que restan puntuación y rompen tu racha.
Construyamos una solución similar
¿Necesitas una solución con IA o visión artificial?
Conversemos sobre una experiencia que interprete datos, reaccione al entorno o automatice procesos.