Detección de mano
MediaPipe Hand Landmarker identifica 21 puntos de la mano localmente.
BUCKAPI Labs · Hand Tracking
Control de flujo
mediante gestos
Una simulación interactiva que permite controlar el flujo de agua y las válvulas de una red de tuberías mediante gestos de la mano detectados por la cámara en tiempo real.
- Tipo
- Laboratorio tecnológico / Hand Tracking
- Desarrollo
- BUCKAPI Labs
- Plataforma
- Web
- Procesamiento
- En el dispositivo
Qué es
Dirigir el flujo de agua con la mano, sin hardware adicional
Una simulación interactiva de una red de tuberías y válvulas donde el usuario debe llevar el agua desde una fuente hasta un depósito de destino evitando las fugas, utilizando únicamente gestos de mano detectados por la cámara.
Cómo funciona
Hand tracking y red de flujo en 3D
BUCKAPI desarrolló una simulación 3D con Three.js para la escena y MediaPipe Hand Landmarker para el seguimiento de la mano. Cada válvula se abre o se cierra con un gesto de doble pinch, y una red de nodos y tuberías recalculada mediante búsqueda en anchura (BFS) actualiza el estado del flujo en tiempo real.
El procesamiento ocurre completamente en el navegador, garantizando privacidad y baja latencia.
Simulación del flujo
De la mano a la red de tuberías
Doble pinch
El doble pinch abre o cierra la válvula señalada por el cursor.
Red de tuberías
Un grafo recorrido con BFS determina qué tuberías tienen flujo, están bloqueadas o presentan fugas.
Simulación del agua
Un shader personalizado anima el agua y el bloom resalta las tuberías activas.
Vista previa
La experiencia en acción
Tecnologías y aplicaciones
IA aplicada a experiencias web
Esta técnica puede aplicarse a simuladores de procesos, gemelos digitales, entornos de formación industrial y paneles de control sin contacto, donde la interacción gestual sustituye a los dispositivos de entrada tradicionales.
Experiencia interactiva
Prueba la experiencia
Señala una válvula con el índice y haz un doble pinch para abrirla o cerrarla. Abre las válvulas correctas para llevar el agua hasta el depósito sin que se produzcan fugas: si el agua se agota, pierdes el reto.
Construyamos una solución similar
¿Necesitas una experiencia con visión artificial o gestos?
Conversemos sobre una aplicación que interprete movimientos, gestos o comandos visuales para interactuar con tus usuarios.