Agarrar y soltar
La pinza (pulgar e índice) agarra y suelta objetos 3D.
BUCKAPI Labs · Hand Tracking
Manipulación 3D
mediante gestos
Una experiencia interactiva que detecta las manos mediante visión artificial y convierte gestos como la pinza o el índice apuntando en controles para manipular objetos 3D con física simulada.
- Tipo
- Laboratorio tecnológico / Hand Tracking
- Desarrollo
- BUCKAPI Labs
- Plataforma
- Web
- Procesamiento
- En el dispositivo
Qué es
Manipular objetos 3D con las manos, sin hardware adicional
Una experiencia de hand tracking que permite agarrar, mover y lanzar objetos tridimensionales utilizando únicamente los gestos de la mano detectados por la cámara, sin controladores físicos ni sensores externos.
Cómo funciona
Hand tracking en tiempo real con física 3D
BUCKAPI desarrolló una experiencia que detecta 21 puntos de cada mano en tiempo real con MediaPipe Hand Landmarker e interpreta gestos como la pinza, el índice apuntando o el puño. Cada gesto se conecta a una acción sobre objetos tridimensionales con física simulada mediante Rapier3D.
El procesamiento ocurre completamente en el navegador, garantizando privacidad y baja latencia.
Interacción mediante gestos
Qué puedes hacer con las manos
Pilotar el dron
El índice apuntando dirige el dron con una mira sobre el escenario.
Granada
Con las dos manos abiertas se despliega una granada desde el dron.
Súper misil
Al juntar dos índices se lanza un súper misil con explosión física.
Vista previa
La experiencia en acción
Tecnologías y aplicaciones
IA aplicada a experiencias web
Esta técnica puede aplicarse a herramientas de diseño y visualización 3D, entornos de entrenamiento, experiencias interactivas de marca y control de interfaces sin contacto, donde las manos sustituyen a los dispositivos de entrada.
Experiencia interactiva
Prueba la experiencia
Mueve la mano frente a la cámara para agarrar y lanzar objetos, pilotar el dron con el índice y soltar granadas con las dos manos abiertas. Junta dos índices para lanzar el súper misil y cierra el puño dos veces para alternar entre el modo día y noche. Lleva la esfera azul hasta la zona objetivo para completar el reto.
Construyamos una solución similar
¿Necesitas una experiencia con visión artificial o gestos?
Conversemos sobre una aplicación que interprete movimientos, gestos o comandos visuales para interactuar con tus usuarios.