Los chatbots se han convertido en una herramienta esencial en la era digital para mejorar la comunicación y la eficiencia en diversos sectores. Estos sistemas de inteligencia artificial (IA) automatizan las interacciones con los usuarios a través de interfaces de chat de texto, facilitando el acceso a información y servicios. En este contexto, cada vez cobran más protagonismo los GPT4, y por primera vez en la historia vemos como un chatbot es capaz de entablar una conversación, comprender al usuario y generar textos…¿Qué sucede si además sumamos un entorno inmersivo?
Los chatbots se basan en una combinación de tecnologías y algoritmos de IA y procesamiento del lenguaje natural (PLN) que permiten la comunicación fluida y la ejecución de tareas en función de las solicitudes de los usuarios. La utilidad de los mismos aparece cuando se integran con aplicaciones y servicios, como sitios web, aplicaciones de mensajería instantánea o sistemas de atención al cliente.
A estos chatbots se les pueden añadir módulos de Speech-to-Text (STT) que consiste en el reconocimiento de para convertir la entrada de audio de los usuarios en texto, y módulos de Text-to-Speech (TTS) o síntesis de voz, los chatbot generan respuestas en forma de texto, que luego se convierten en audio proporcionando una respuesta hablada a los usuarios.
Esta tecnología la podemos ver en los asistentes virtuales como Alexa o Siri.
Pero podemos ir más allá, en los últimos tiempos han aparecido muchos servicios que crean avatares o personas digitales hiperrealistas, con módulos lipsync que necesario sincronizan los movimientos labiales del avatar con el audio generado, con ellos podemos poner cara a los chatbot haciendo las experiencia aún más natural y humana.
Tecnologías inmersivas
Esto no es todo, ¿y si además añadimos tecnologías inmersivas? Integrando estos avatares o personajes digitales en Unity o Unreal Engine, para desarrollar aplicaciones que incorporen modelos 3D, sonido espacial y sistemas de interacción avanzados. La combinación de estas tecnologías permite a los seres virtuales interactuar con los usuarios de manera más natural y realista, en estas plataformas es posible garantizar su compatibilidad con dispositivos móviles, PC y sistemas de AR/VR, como Meta Quest, HTC Vive, dispositivos móviles compatibles con ARCore y ARKit o dispositivos de realidad mixta como Hololens.
Estos personajes en XR también pueden estar programados para moverse por el espacio y guiar a los usuarios a través de un recorrido, utilizando tecnologías de localización y mapeo en interiores, como SLAM (Simultaneous Localization and Mapping), para navegar con precisión por el entorno.
En ITCL trabajamos a menudo con estas tecnologías, en proyectos como CEL.IA de la red Cervera, hemos desarrollado asistentes virtuales inteligentes en realidad virtual, aumentada y mixta, con los que puedes hablar y preguntarles sobre el estado de un sistema y ellos te responden siguiendo una conversación pero con los datos del sistema recolectados por los sensores IoT (internet of things) en tiempo real.
Si bien todas estas tecnologías ya existían con la irrupción de ChatGPT y GPT-4, un modelo de lenguaje avanzado desarrollado por OpenAI, los chatbots han experimentado una transformación significativa en sus capacidades y aplicaciones.
El empleo de GPT-4 en la creación de seres virtuales permite generar diálogos y respuestas contextuales, lo que resulta en interacciones más humanas y realistas. Además, su capacidad para aprender de manera autónoma y adaptarse a situaciones específicas permite a estos seres virtuales mejorar su desempeño con el tiempo y personalizar sus interacciones con los usuarios.
Es posible refinar y personalizar el modelo para adaptarlo a las necesidades específicas de la aplicación y asegurar que pueda comprender y responder a las interacciones de manera contextualizada. Esto puede implicar lo siguiente:
- Fine-tuning: Ajustar el modelo GPT-4 con datos específicos del dominio de la aplicación para mejorar su desempeño y reducir posibles sesgos.
- Definir personalidades y roles específicos para los seres virtuales
Agentes virtuales
Con estas tecnologías podríamos crear diferentes agentes virtuales que desempeñen algunas funciones, algunos que ya se veían y que mejoraran sustancialmente con GPT4 y otros más novedosos.
Recepcionistas por ejemplo, un tótem (pantalla de cuerpo entero) en la entrada de una oficina o empresa con uno de estos asistentes nos podría dar información sobre la empresa, concertarnos una cita, o resolvernos una gestión.
Esto mismo se podría adaptar a temas de salud, y que fuese capaz de derivarnos al especialista que necesitemos o responder consultas generales.
Podemos mejorar la experiencia de visitantes en museos, monumentos o lugares de interés turístico creando guías personalizados que pueden proporcionar información relevante y adaptada a las necesidades de cada visitante mientras se mueven por el lugar.
Además de explicar los detalles de las exposiciones, artefactos y lugares de interés, estos avatares pueden interactuar con los visitantes de forma más dinámica al responder preguntas específicas y adaptar la información a sus intereses y conocimientos previos.
Enriqueciendo aún más la experiencia, estos avatares guía tienen la capacidad de activar eventos específicos, como iniciar animaciones, reproducir videos o incluso activar sistemas físicos como iluminación, sonido o mecanismos interactivos en función de la ubicación y el contexto de la visita. Esto crea una experiencia inmersiva y personalizada que va más allá de las visitas guiadas convencionales.
La creación de seres virtuales con GPT-4 en entornos inmersivos implica la integración de tecnologías de inteligencia artificial y realidad virtual/aumentada, así como el desarrollo y ajuste de modelos de lenguaje, personajes y sistemas de interacción. Abordar estos aspectos técnicos y metodológicos es crucial para ofrecer experiencias enriquecedoras y realistas que transformen la forma en que interactuamos con la tecnología. A medida que los seres virtuales se vuelven más sofisticados y personalizados, las aplicaciones en educación, salud, entretenimiento e industria continuarán evolucionando y expandiéndose, ofreciendo nuevas oportunidades y desafíos para los desarrolladores y usuarios por igual.
Ingeniero técnico de Informática de Sistemas. Responsable del Grupo de Investigación de Simulación, Realidad Virtual y Realidad Aumentada de ITCL.
Experto programador en Unity 3D. Desarrollador Senior de aplicaciones para Android e iOS con Eclipse, Android Studio, xCode o Unity 3D. Experiencia en programación y desarrollo de videojuegos. Experiencia como CEO, jefe de programación y proyectos en diversas empresas nacionales para el desarrollo de videojuegos.
Experiencia docente de cursos de programación de videojuegos y entornos de realidad virtual, para desarrollo de aplicaciones móviles con Android.