Nuevo sistema de IA convierte videos de ciencia en experimentos virtuales interactivos

Cómo funciona

Un sistema de IA que convierte videos de ciencia en páginas interactivas de laboratorio virtual donde puedes hacer clic

1. 👀Ve un video demostrativo de ciencia y anota cada paso
2. 🗺️Hace un mapa de cada paso con las acciones que se pueden hacer
3. ⌨️Escribe el código para la página interactiva del laboratorio en tu pantalla
4. 🔧Ejecuta el código y soluciona cualquier problema que encuentre

Los videos de experimentos de ciencias están en todas partes en línea, desde demostraciones en el aula hasta tutoriales en YouTube. Muestran exactamente cómo configurar un experimento y qué pasa cuando cambias algo. Pero hay un gran problema: solo puedes mirar. No puedes tocar, mover ni intentar el experimento tú mismo.

Investigadores de The Hong Kong Polytechnic University, entre ellos Xusen Hei, Jiali Chen, Jinyu Yang y Yi Cai, se propusieron solucionar eso. Publicaron su trabajo el 2 de noviembre de 2026, describiendo una nueva evaluación comparativa llamada Lab2Sim y un método llamado EduVideo2Code que juntos buscan convertir los videos observados en experimentos virtuales interactivos ¹.

Qué puedes hacer con ello

• Los estudiantes podrían ver videos reales de demostraciones de ciencias y realizar los experimentos ellos mismos en sus pantallas en lugar de solo mirar ¹.
• Investigadores y educadores podrían convertir una biblioteca de videos de ciencias observados en páginas de laboratorio virtual interactivo que obliguen a seguir el orden correcto de operaciones ¹.
• Los aprendices podrían intentar cambiar condiciones en un experimento virtual después de verlo demostrado en un video, aprendiendo haciendo en lugar de solo mirar ¹.

Cómo funciona

El equipo comenzó reuniendo 218 videos de experimentos de ciencias y elaborando descripciones detalladas para cada uno, junto con 11.881 elementos de rúbrica que sirven como puntos de control para la calidad. Una rúbrica es simplemente una guía de puntuación — una lista de cosas específicas a revisar para ver si el experimento virtual coincide con el real.

El núcleo del sistema es EduVideo2Code. Funciona en tres etapas. Primero, observa un video y extrae los procedimientos experimentales paso a paso, desde los objetivos generales hasta las acciones pequeñas. Segundo, convierte esos pasos en una máquina de estados — un diagrama que describe cada estado posible en el que puede estar el experimento y qué operaciones se permiten en cada estado. Esto es importante porque en un laboratorio real, ciertas acciones solo pueden ocurrir bajo ciertas condiciones: no puedes calentar un líquido antes de verterlo en el vaso de precipitados. La máquina de estados aplica esas reglas automáticamente. Tercero, el sistema genera el código real para la página interactiva y luego prueba ese código ejecutándolo, corrigiendo cualquier problema que surja en el camino ¹.

Adivina

¿En cuántos puntos mejoró el método la precisión del aparato?

8 puntos24 puntos50 puntos

Lo que mostraron las pruebas

Los investigadores probaron su método usando modelos existentes de IA multimodal como punto de partida. Encontraron que estos modelos generalmente podían producir páginas que funcionan sin errores, pero a menudo se equivocaban en los detalles del equipo de laboratorio: confundían los vasos de precipitados, desplazaban tubos o dibujaban instrumentos que no se parecían en nada a lo que aparecía en el video.

EduVideo2Code solucionó la mayoría de esos problemas. En dos modelos principales diferentes, mejoró las puntuaciones en las cuatro dimensiones de evaluación que midió el equipo. El mayor salto fue en la fidelidad de los instrumentos — cuán cerca el equipo de laboratorio virtual coincide con lo que se mostraba en el video — donde el método sumó 24,15 puntos ¹.

Lo que esto significa para los estudiantes

Ahora mismo, esto es una evaluación comparativa de investigación, no un producto que puedas descargar. Pero la idea detrás de esto es sencilla: toma cualquier buen video de demostración de ciencias y délle un cuerpo. Los estudiantes podrían pausar un video, pulsar un botón y explorar el experimento por sí mismos — cambiando variables, observando qué pasa, y aprendiendo haciendo en lugar de solo mirar.

Este informe señala una tendencia solo con fines informativos. No es consejo ni recomendación para realizar alguna de ellas.

Los datos clave

Lab2Sim cuenta con 218 videos de experimentos de ciencias, con especificaciones respaldadas por evidencia y 11.881 puntos de rúbrica

• EduVideo2Code usa una máquina de estados para aplicar precondiciones para cada operación experimental
• Los modelos multimodales existentes pueden generar páginas funcionales pero tienen dificultades para reproducir fielmente el equipo de laboratorio
• EduVideo2Code mejoró las cuatro dimensiones de evaluación en dos modelos principales, con una ganancia de 24,15 puntos en fidelidad de instrumentos
• La investigación es de The Hong Kong Polytechnic University y se publicó el 2 de noviembre de 2026

Fuentes

1. Paper page - Lab2Sim: Turning Real-World Experiment Videos into Interactive Virtual Experiments