Los científicos han creado una granja virtual a partir de imágenes reales para entrenar el reconocimiento de frutos de los robots recolectores
¿Quieres un trabajo recogiendo tomates? Quizá no puedas conseguirlo. La agricultura moderna se enfrenta cada vez a más desafíos, como la escasez de mano de obra o el envejecimiento de la población rural. Para asegurar el suministro de alimentos la tecnología es un elemento fundamental, y actualmente se está apostando por robots cosechadores inteligentes, pero enseñar a estos robots a distinguir un tomate maduro de uno verde o que aprenda donde cortarlo para no destrozar la planta o el propio fruto es una tarea complicada y laboriosa. Para que un brazo mecánico pueda recoger un tomate sin aplastarlo, primero debe responder con precisión milimétrica a dos preguntas básicas: ¿Dónde está exactamente y está lo suficientemente maduro para ser cosechado?
Para conseguir llevar a cabo esta tarea de forma eficaz, los robots primero deben entrenar su “vista”, es decir, su sistema de reconocimiento con miles de imágenes, un proceso que hasta la fecha era muy lento, costoso y se tenía que hacer de forma manual.
Imagina tener que enseñarle a un robot a detectar un tomate aunque esté medio oculto por las hojas, y a localizarlo incluso cuando la luz cambia a lo largo del día. Para que la IA que utiliza ese robot aprenda, necesita decenas de miles de ejemplos etiquetados a mano, imágenes en las que alguien ha dibujado un recuadro alrededor de cada fruto y anotado su grado de madurez, un trabajo que puede durar más de 10 horas para apenas 1,000 imágenes.
Ahora, los investigadores de la Universidad Metropolitana de Osaka (OMU), liderados por Takuya Fujinaga, han diseñado un campo de entrenamiento virtual que genera automáticamente todos los datos necesarios, una granja virtual para que la inteligencia artificial aprenda a cosechar sin que un humano tenga que etiquetar ni una sola foto.
Cómo funciona una granja virtual con el motor de Unreal
Para superar el problema, el equipo utilizó tecnología de vanguardia llamada 3D Gaussian Splatting. A diferencia de los modelos de 3D convencionales, esta técnica permite capturar detalles sutiles como los tallos delgados y las texturas realistas de los tomates, con una fidelidad asombrosa.
Imágenes de entornos reales: (a) robot recolector de tomates y cámara, (b) imagen capturada por la cámara, (c) imagen de profundidad capturada por la cámara, (d) resultado de la representación de la máscara. Fuente: Universidad Metropolitana de Osaka
Estos modelos tridimensionales fueron trasladados a Unreal Engine 5, un motor gráfico que se suele utilizar para videojuegos de última generación. En este entorno virtual los investigadores crearon una granja digital a partir de las imágenes recolectadas por los propios robots cosechadores, de esta forma pudieron entrenar experimentando con diferentes factores:
- Madurez aleatoria: el sistema asigna diferentes tonos de rojo, verde o naranja de forma automática para entrenar la percepción de la madurez del robot.
- Cambios en la iluminación: se simula la luz de diferentes horas del día y diferentes épocas del año para que el robot aprenda a distinguir el fruto bajo cualquier condición lumínica.
- Generación automática de etiquetas: el sistema sabe exactamente dónde están cada tomate y exporta las coordenadas en formato YOLO, un estándar de detección de objetos, de forma instantánea, entrenando la detección incluso cuando el tomate está escondido tras las hojas.
«Identificamos las condiciones que afectan a la precisión de la IA, la iluminación, la forma de los tomates en 3D y el tamaño del conjunto de datos. Son descubrimientos clave para mejorar el modelo en el futuro», explica Fujinaga.
El resultado de este estudio, publicado en la revista Smart Agricultural Technology, no es un simple escenario de videojuego. El sistema intenta imitar la complejidad real del cultivo, tallos que proyectan sombras caprichosas, hojas que se superponen ocultando parte de los frutos, texturas de piel de tomate con sus variaciones de color, y una iluminación que cambia de forma dinámica. Esa mezcla de obstáculos es precisamente la que hace difícil que los robots agrícolas trabajen de forma eficaz en un entorno natural.
Más allá del tomate: robots agricultores
El impacto en la productividad es enorme, lo que antes llevaba un día entero de trabajo manual, ahora se puede realizar en un tiempo récord: recolectar y generar un conjunto de datos completo toma aproximadamente 2,5 horas mediante este método automatizado.
La gran pregunta era si los robots entrenados en un mundo de código serían capaces de desenvolverse en el complejo y caótico mundo real. Se probaron los resultados del entrenamiento en entornos reales y los robots entrenados exclusivamente en este entorno virtual demostraron ser capaces de detectar tomates en invernaderos reales con una precisión de hasta el 85% para los frutos rojos, que son el objetivo principal de la cosecha.
Aunque el estudio se centró en los tomates, los investigadores aseguran que este método es versátil y escalable. El marco de trabajo podría adaptarse fácilmente para enseñar a los robots a recolectar otras frutas y hortalizas, simplemente cambiando los modelos 3D. Este avance no solo promete robots más inteligentes y precisos, también que marca el camino hacia una agricultura más eficaz donde la inteligencia artificial pueda garantizar la eficiencia de nuestros campos. Esta granja virtual es una herramienta que servirá para asegurar el futuro de la alimentación de la humanidad.
REFERENCIA
