IA interior: XTEND

Rubí Liani es CTO y co-fundador de XTEND. Su experiencia en UAS se basa en ser jefe de integración de software y oficial de integración de sistemas de combate en la Marina israelí, y cofundador de una liga israelí de carreras de drones. Es licenciado en ingeniería de software informático.

“Es una historia que solo puede suceder en Israel”, dijo Rubi Liani sobre el origen de la combinación de tecnología hombre-máquina de su empresa XTEND.

En 2018, la guerra asimétrica estaba dando forma una vez más a un conflicto en Oriente Medio. Los militantes de Gaza estaban enviando flotillas de globos incendiarios a Israel, infligiendo daños físicos y psicológicos y costando prácticamente nada en comparación con los misiles Iron Dome y otras contramedidas defensivas.

Liani, entonces comandante, fue una de las personas a las que las Fuerzas de Defensa de Israel llamaron para enfrentar a los inteligentes con los inteligentes. Durante más de una década en la Marina israelí como ingeniera de software y oficial de integración de sistemas, Liani había cofundado, entre otras cosas, una liga israelí de carreras de drones. Entonces, Liani pensó: "Tengo drones realmente rápidos, puedo golpear los globos muy fácilmente con mi experiencia, con el giro de las aspas de la hélice haciendo estallar los globos".

Su "nuevo trabajo" incluía a muchos miembros de la liga israelí. "Eliminamos algo así como 2.000 globos. Tres meses de la cosa más loca de mi vida, conectando mi afición y mi deber". Siguiendo su pasión, Liani dejó el servicio en julio de ese año. "Un mes después, teníamos una empresa", dijo.

Con experiencia en el campo con drones en la mano, el compañero de la liga de drones Aviv Shapira integró su experiencia en entretenimiento para respaldar lo que Liani llamó "una máquina de juego XR [realidad extendida]". El nombre "XTEND" proviene del deseo de un jugador de "extender a las personas y hacerles sentir que están en otro lugar", señaló Liani. "Hicimos muchas iteraciones para descifrar la UX. Básicamente, cómo controlar un dron muy, muy rápido que debe ser preciso".

Avance rápido hasta 2023, y Liani se encuentra entre los cofundadores y CTO de XTEND (Shapira es CEO y cofundadora). En esencia, XTEND es una empresa de software dedicada a maximizar lo mejor de la IA y la RV y conectarlos a robots para proporcionar operaciones de drones precisas y ubicuas. Crucial para esto, dijo Liani, XOS (sistema operativo de XTEND) busca combinar lo mejor de la máquina y los conocimientos humanos a lo largo del ciclo de vuelo. Para hacerlo, contrarresta la tendencia de sacar a los humanos del circuito al combinar una pantalla de realidad virtual y un controlador de gestos naturales para interactuar con la máquina a través de una capa de habilitación de IA que puede detectar su entorno. El resultado es un sistema de máquina autónomo guiado por humanos, a la vez inmersivo e intuitivo.

Liani cree que la autonomía total aún no es una realidad, por lo que "la tecnología XTEND permite a los humanos extenderse a la acción", dijo Liani. Múltiples drones pueden correr a una velocidad de hasta 80 millas por hora para inspeccionar un sitio mientras los operadores permanecen más allá de las contramedidas enemigas. Al mismo tiempo, los soldados, la policía y otros operadores tácticos, remotos o en el sitio, pueden obtener conocimiento de la situación en tiempo real usando auriculares VR para maniobrar drones a través de ventanas y puertas y en espacios reducidos sin exponer a los operadores, sintiendo, dijo Liani, " como si estuvieran personalmente allí". No se requieren palos convencionales, lo que reduce el tiempo de entrenamiento en aproximadamente un 90 %.

XTEND ha obtenido más de 20 contratos, incluido un pedido de 2021 del Departamento de Defensa de EE. UU. para múltiples máquinas inteligentes. Este enero, el Ministerio de Defensa de Israel otorgó a XTEND un contrato de 20 millones de dólares. "Confiamos en que este nuevo programa proporcionará un gran salto en nuestras capacidades operativas", dijo una fuente de las FDI, "poniendo lo mejor de la tecnología civil en manos de nuestros soldados".

Y XTEND está considerando una variedad de sectores no militares, reduciendo el riesgo de proyectos de infraestructura, marítimos y de petróleo y gas. "El inspector no necesita estar en el sitio en sí", dijo Liani.

Para explicar qué sustenta este éxito, Liani nos guió a través de algunos preceptos operativos básicos.

UX de dron de última generación: El hardware, el sistema operativo y la aplicación son la tríada común para sistemas desde teléfonos hasta drones, dijo Liani. “El sistema operativo, en general, es el puente entre humanos y máquinas”.

Más allá de los requisitos mínimos y ejecutándose en Android, XTEND es independiente del hardware para una adopción máxima. Con modificaciones, puede admitir lo que Liani llama "las tres principales computadoras robóticas: Raspberry Pi, NVIDIA Jetson y Qualcomm RB5", para cumplir con diferentes tipos de capacidades de drones, incluidas las de terceros. "Si alguien quiere Qualcomm y el segundo quiere NVIDIA Jetson, pueden hablar juntos porque ejecutan el mismo sistema operativo. Estamos siguiendo las tendencias de hardware del mundo de la robótica, asegurándonos de cumplirlas".

Vuelo inmersivo de realidad virtual: “Nosotros, como humanos, hablamos de misión, no de un dron”, dijo Liani. “Comenzamos a hablar con la robótica, desde el punto de vista de, 'Te señalo que pases por la puerta, solo hazlo'. No quiero decirte lo mucho que vuelas a derecha e izquierda, arriba y abajo, así no es como hablan los humanos, mi hijo tiene 1 año, cuando quiere ir a la cocina, solo señala el cocina."

Integrado en XOS, una función "Mark & ​​Fly" del sistema operativo admite la fusión de la eficiencia de la IA y los conocimientos humanos. Liani ilustró esto con un video de demostración que muestra un pequeño cuadricóptero que ingresa a un edificio a través de una ventana para descubrir a un oponente hostil y oculto. Al procesar una gran cantidad de datos en tiempo real, el dron comienza a investigar por sí mismo, mostrando objetos y personas de interés. Luego, el operador usa su discreción para ordenar al dron que lo explore más a fondo.

"Tomamos una aplicación de IA y comenzamos a poner algunos elementos AR para detectar objetos, por ejemplo, la ventana", dijo Liani. "Cuando tienes una aplicación que se ejecuta en el sistema, el cuadro delimitador une lo que ve la red neuronal y cómo puedes mostrarlo. Es el resultado de detectar la ventana. Volar a través de una ventana es una misión compleja con palos. Con nuestro sistema , simplemente marque la ventana y muévase al modo de guía y simplemente vuele a través de ella. Es muy, muy preciso".

Gestos naturales con las manos: XOS puede cambiar rápidamente al control humano a medida que se desarrollan las situaciones. "La experiencia", dijo Liani, "es que los muchachos están operando usando auriculares VR y están consumiendo este video 3D. Es muy, muy inmersivo".

El operador puede proporcionar dirección moviendo sus manos, o incluso su cabeza, en la dirección deseada. "Nuestro sistema se controla mediante gestos con las manos, la misma idea que un control remoto de Wii", dijo Liani. "Es como un puntero láser; el lugar al que estás apuntando es el camino que seguirá el dron. Estás dividiendo la misión en tareas: 'Pasa la ventana y vuela hasta el final del pasillo y recoge esta cosa y deja caer estos cosas.' Con las aplicaciones de terceros, obtiene un impulso, porque si está ejecutando aplicaciones de IA que pueden detectar la ventana, el piso y el objeto, se vuelve fácil crear tareas".

Formación de equipos hombre-máquina: "Estamos permitiendo que el humano esté muy lejos con diferentes técnicas para controlar el robot", dijo Liani. Tres elementos permiten que XOS potencie esto.

“A medida que avanzas, tienes más problemas: latencia, problemas de comunicación, rupturas”, dijo Liani. "Con Mark & ​​Fly, un operador simplemente señala hacia dónde quiere ir y convierte elementos 2D en 3D. Agrega profundidad y le da al dron mucha más sofisticación, incluso con latencia y interrupciones. Te esperará hasta que recuperes la comunicación, así que todavía puede operar.

Lejos o cerca, el segundo elemento de trabajo en equipo consiste en fusionar aplicaciones de inteligencia artificial y conocimientos humanos. Liani reprodujo otro video de un dron que volaba por el laboratorio de la compañía: la IA detectó la apertura, con Mark & ​​Fly marcando continuamente y "Task & Fly" realizando tareas mientras el humano volaba por el entorno interior. El modo de guía es lo que se ve en la pantalla para la información y la acción del operador.

Para la tercera etapa de su tríada, Liani cambió a operación interactiva a distancia. "Llevemos al humano a 100 kilómetros de allí. Quiero que el dron recorra este corredor y vuele derecho y hacia la izquierda. Con latencia, puedes ver el video tres segundos después de que el dron haya hecho lo que hizo. Task & Fly permite capacidad de poner puntos 3D en el espacio con video 3D para realizar tareas como acercarse, seguir, escanear. Hicimos una simulación: recuerde, ve el video como cinco segundos atrás porque está controlando a través de un enlace satelital. Puede seleccionar dónde desea el dron para ser y la orientación y haga clic en ir, y el dron hará eso hasta que recupere el control. Una manera muy fácil de controlar de forma remota, en el espacio 3D ".

El personal puede estar cerca y lejos. "Alguien tiene que poner el dron allí, pero el tipo en la escena puede encargar el control del centro de comando. No tiene tiempo para operar alrededor de terroristas, tiene problemas mucho más importantes que tratar. Damos la capacidad de mueve el mando a gente sentada en mando y control, con aire acondicionado y todo tranquilo, ves el punto apuntando y marcando, puedes seleccionar a donde quiere ir, puedes ver la estimación de donde estará el dron y la orientación .

"Puedes controlar desde cualquier parte del mundo un dron en vivo que está volando en el espacio 3D, sin GPS, en cualquier entorno, interactuar con el entorno, detectar las aberturas. Pero también queríamos asegurarnos de que la persona que está colocando el dron el perímetro cercano puede tomar el control si es necesario para asegurarse de que la misión no falle".

Tanto los operadores en el sitio como los remotos pueden hacer uso de los auriculares VR. "Puedo estar en cualquier parte del mundo, pero mi máquina es mi avatar", dijo Liani.

Todas las imágenes cortesía de XTEND.