¿Meena es el mejor chatbot del mundo? Google opina que sí

Todo parece indicar que la tendencia es que los bots vayan ganado presencia en todos los aspectos de nuestra vida. Ejemplos de ello tenemos muchos, entre los cuales los más famosos son Siri o Alexa, de Apple y Amazon, respectivamente. No obstante, actualmente, en muchos casos, su capacidad de conversación sigue siendo bastante limitada. Una respuesta a estas limitaciones es la que ha articulado Google. Como cuenta el portal MIT Technology Review, la compañía de la G, no ha dudado en afirmar que Menna, el nombre que ha dado a su nuevo chatbot, supera a todos sus rivales, gracias a su capacidad de poder hablar sobre cualquier cosa con cualquier persona.

Google afirma que su nuevo ‘juguete’ conversacional, alimentado por redes neuronales, cuenta con 2.600 millones de parámetros que le permite chatear con personas mejor que cualquier otro generador de IA. La razón de ello es que el equipo capacitó al modelo con 40 mil millones de palabras, 341 GB de datos de texto, incluidas conversaciones en redes sociales, gigabytes de conversación pública en las redes sociales, 8.5 veces más datos que el GPT-2 de OpenAI utilizando el modelo seq2seq, una red neuronal que compara palabras en un párrafo entre sí para comprender la relación entre ellas.

Esta no es la primera vez que Google experimenta con chatbots. En 2015, lanzó un documento sobre un modelo que ayudó con el soporte técnico. Desde entonces, la compañía ha desarrollado una tonelada de modelos de lenguaje para comprender el contexto de una conversación de una mejor manera.

Respuestas precisas y coherentes

La importancia de este nuevo sistema reside en que permite mantener conversaciones sobre una amplia gama de temas de forma coherente y muy precisa, algo que no ocurre con la mayoría de los chatbots, que, ante muchos temas, acaban diciendo cosas que no tienen sentido o revelan una falta de conocimiento básico sobre el mundo. Por tanto, que un chatbot sea capaz de evitar tales errores contribuirá en gran medida a hacer que las IA se perciban más humanas, realistas y naturales.

Para poner a prueba a Meena, Google ha desarrollado una nueva métrica que llama el promedio de sensibilidad y especificidad (SSA), que captura atributos importantes para conversaciones naturales, como si cada enunciado tiene sentido en contexto, lo que muchos chatbots pueden hacer, y es específico de lo que se acaba de decir, que es más difícil.

Uno de los trucos más empleados por los chatbots es dar respuestas muy genéricas, aplicables a multitud de situaciones. Por ejemplo, si alguien le dice que le gusta practicar un determinado deporte o un determinado plato saludable, es muy probable que el chatbot responda algo así como "Eso es bueno". Es cierto que este tipo de respuesta, en muchos casos, tienen sentido, pero no es menor cierto que no son respuestas específicas, lo denota que, en realidad, no saben de qué se está hablando. Para superar este tipo de escenarios, Google utilizó a los trabajadores colectivos para generar conversaciones de muestra y calificar las declaraciones en alrededor de 100 conversaciones. Meena obtuvo un puntaje SSA del 79%, en comparación con el 56% de Mitsuku, un chatbot de última generación que ganó el Premio Loebner durante los últimos cuatro años. Incluso los compañeros de conversación humanos solo obtuvieron un 86% en esta nueva prueba.

Aunque los trabajos ya están en una fase muy avanzada, el nuevo chatbot no se ha presentado todavía al público. Google quiere esperar a que se haya examinado el modelo por seguridad y parcialidad, para evitar lo que ha pasado a otros, como cuando Microsoft lanzó su chatbot Tay en Twitter en 2016, que comenzó a lanzar declaraciones abiertamente racistas y misóginas, por lo que la compañía tuvo que borrar gran parte del contenido generado.