Las pruebas de software son esenciales en la industria de los videojuegos para garantizar la calidad y la experiencia de juego para los jugadores. Sin embargo, las pruebas tradicionales pueden ser costosas y llevar mucho tiempo, lo que puede ralentizar el proceso de desarrollo y afectar a la rentabilidad de los estudios. En este contexto, Beetested, una plataforma de pruebas de software de videojuegos impulsada por la inteligencia artificial, está buscando revolucionar la forma en que se realizan estas pruebas.
En esta entrevista, sus fundadores, Juan y Yulia, nos explican cómo funciona la plataforma, cómo se integra con los procesos de desarrollo de videojuegos existentes y cómo esperan que su tecnología pueda democratizar las pruebas de software para estudios pequeños e independientes.
Entrevista
Game It. ¿Cómo surgió la idea de Beetested y qué os inspiró a crear esta plataforma de
pruebas de videojuegos?
Beetested. Hay que empezar un paso atrás. Nos conocimos en una incubadora de startups y, aunque Juan tenía una idea para construir una plataforma de esports, y Yulia apuntaba a utilizar NLP para detectar manipulaciones lingüísticas en los medios, nos juntamos para buscar una idea en común.
La verdad no hay ningúna historia estilo Isaac Newton y la manzana o Arquímedes y Eureka. La idea nació investigando: estábamos explorando el potencial de las herramientas de machine learning en testeo y las industrias donde más valor puede aportar esta tecnología.
“En un momento dado entendí que la respuesta estaba literalmente delante de mí, porque estaba mirando a Juan, hard-core gamer y streamer”, — dice Yulia. “Para mí era un “sí” claro. Íbamos a entrar en mi industria favorita”, — añade Juan.
Así nos enfocamos en la industria de videojuegos y empezamos a profundizar en el problema que hemos descubierto. “Yo iba enamorándome de la gente que trabaja en esta industria y de las obras de arte que sacan adelante”, — Yulia. “Tras hablar con desarrolladores, QA y game designers ya teníamos claro cómo podríamos aportar valor”, — Juan.
G.I. En un mundo en el que la imparcialidad es cada vez más importante, ¿cómo te aseguras de que vuestra plataforma sea libre de prejuicios y justa en las pruebas de
software?
B. Primero, no hacemos testeos de software a nivel técnico, no testeamos bugs. Nosotros averiguamos si los eventos (mecánicas, cinemática, sonido o cualquier cosa)
funcionan a nivel emocional. Lo llamamos el «fun factor», el factor que mide cómo de entretenido y engaging es el juego.
Y justo lo que hace nuestra tecnología es quitar sesgos a la hora de medir algo tan abstracto y personal como las reacciones de los jugadores. Podríamos decir que la imparcialidad es nuestro principio. Obviamente, somos humanos y como todos tenemos 188 sesgos cognitivos, por eso la parte de imparcialidad la delegamos al modelo de machine learning que se entrena con todo tipo de reacciones.
G.I. ¿Podríais explicarme cómo funciona la tecnología de análisis de emociones de Beetested y cómo ayuda a los desarrolladores a entender mejor a sus jugadores?
B. La plataforma de testeo masivo de videojuegos mide las reacciones de los jugadores mientras juegan. Gracias al uso de computación afectiva (affective computing) y visión artificial (computer vision), Beetested consigue no sólo analizar las emociones de los jugadores, sino también correlacionarlas con lo que está pasando en el juego.
Beetested ofrece a los estudios de desarrollo datos muy precisos sobre la experiencia de juego, y se complementa con datos de usuario (demográficos) y sus preferencias en el mundo de videojuegos.
G.I. ¿Cuáles son los beneficios más destacados que pueden obtener los estudios de videojuegos al utilizar Beetested en sus procesos de prueba de software?
B. La tecnología de Beetested afronta 3 problemas en los testeos: sesgos cognitivos, muestreo insuficiente o inadecuado y la larga duración del proceso de testeo.
En otras palabras, los estudios pueden testear más rápido, con más jugadores y estar seguros que la analítica de los resultados es imparcial.
Hay unos beneficios colaterales: los estudios pueden elegir con qué tipo de perfil quieren testear o, por el contrario, hacer el testeo más multitudinario y entender su público objetivo.
G.I. ¿Cómo os aseguráis de que los jugadores que participan en las pruebas de software sean un reflejo fiel de la población de jugadores y no estén sesgados?
B. “Es más fácil falsificar las palabras que las expresiones faciales», escribe Paul Ekman, psicólogo estadounidense pionero en el estudio de las emociones y su expresión facial. 1 Fue el prototipo de Dr. Cal Lightman serie “Miénteme”.
Aquí hay diferentes perspectivas desde las que podemos mirar:
- Primera: cuando hablamos sobre sesgos hablamos sobre la parte cognitiva, cerebral, racional. Cuando hablamos sobre reacciones hablamos sobre la parte emocional, casi subconsciente. Nosotros creamos una situación donde el jugador sólo juega sin necesidad de analizar qué le pareció el primer combate, por ejemplo, y en este momento sacamos las emociones y reacciones.
- Segunda: es la perspectiva estadística. Este tipo de testeo masivo respalda el tamaño de muestra. Cuanto mayor sea el tamaño de la muestra, menor será la posibilidad de obtener resultados sesgados.
G.I. ¿Podrías hablarme sobre vuestra experiencia previa en la industria de videojuegos y cómo ha influido en el desarrollo de vuestra plataforma?
B. Juan lleva años jugando a todo lo que se le pone por delante, e incluso tiene un canal de Twitch donde juega a juegos de estrategia. Ha creado y participado en comunidades de varios juegos como WoW, Dota o Europa Universalis, y en la universidad participaba en una revista online independiente llamada TecnoSlave.
Yulia aparece en este sector con pasión por otro mundo más cerca de la parte de sesgos cognitivos, manipulación mediática, como y porque la gente se comporta de una u otra forma en el mundo digital. En la adolescencia jugaba al GTA y los Sims, pero los juegos a donde más tiempo invierte son algo más casual, como Candy Crush, Tetris y Buscaminas.
“Creo que nos complementamos bien. Juan sabe cómo se ha desarrollado y crecido el mercado en la última década, tiene una conexión fuerte y emocional. Yo no doy nada por sentado, sobre todo al pricnipio tenía que repensar e reinventar todo, porque nada era obvio”, — dice Yulia.
G.I. ¿Cómo se integra Beetested con los procesos de desarrollo de videojuegos existentes y cómo os aseguráis de que vuestra plataforma sea fácilmente accesible para los desarrolladores?
B. Nuestro objetivo es crear una plataforma que sea fácil de usar tanto para jugadores como para estudios de desarrollo. En cualquier momento durante el proceso de desarrollo, el estudio puede ponerse en contacto con nosotros y solicitar el testeo de una demo que hayan preparado. A día de hoy, esto se hace vía mail, ya que la versión actual de la plataforma está más enfocada a los gamers.
Una vez definidos los tiempos de testeo que necesitan (por ejemplo, “necesitamos probar esto antes del 20 de marzo”), pasamos a definir los eventos que necesitan que nuestra IA detecte. Pueden querer analizar las reacciones a cualquier tipo de evento: una cinemática concreta, ver cómo el jugador reacciona cada vez que muere, etc, etc. En este momento, necesitamos que incluyan en la build una pequeña traza que ayudará al modelo a identificar el evento con un 100% de precisión.
Con todo bien definido, se publican las instrucciones sobre cómo obtener la build en la plataforma (algunos estudios utilizan itch.io, otros nos pasan claves de Steam…) y la comunidad de Beetested se graba jugando al juego. Finalmente, nuestros modelos de IA procesan todos los vídeos y facilitamos al estudio el resultado del testeo, en la forma de un dashboard que pueden adaptar a sus necesidades.
G.I. ¿Qué consejos le darías a los desarrolladores de videojuegos que buscan utilizar las
pruebas de software para mejorar la calidad de sus juegos?
B. No somos mucho de dar consejos. Todos conocemos la famosa frase “todo el mundo miente”. No por la maldad, sino por los 188 sesgos cognitivos que interfieren en cualquier pensamiento, frase o decisión. Nosotros creemos que si el objetivo del testeo es investigar y averiguar las reacciones y emociones reales del jugador, mejor no intentar llevarlo al campo del análisis cognitivo, ya que seguramente no recordará mucho de lo que sintió mientras jugaba.
Un consejo a lo mejor podemos dar: no centrar el testeo en amigos y familiares.
G.I. ¿Cuáles son los planes futuros de Beetested y cómo esperáis seguir innovando en el campo de las pruebas de calidad videojuegos?
B. A día de hoy centramos nuestro análisis sólo en vídeo, pero ya hemos empezado a investigar cómo sacar valor también del audio. En un futuro próximo, esperamos poder capturar también los inputs del mando (o teclado y ratón) del jugador, cosa que nos ayudará a identificar cómo de usable es el juego.
Por último, barajamos la opción de añadir inputs desde un pulsómetro, pero somos bastante escépticos. Las pulsaciones por minuto no es algo que suba automáticamente, por lo que no creemos que tenga mucho sentido para medir reacciones puntuales.
G.I. ¿Cómo os aseguráis de que tu tecnología sea accesible y rentable para los estudios
de videojuegos más pequeños e independientes?
B. Esto es justo una de nuestras motivaciones principales, democratizar este tipo de testeo. Obviamente, el primer paso para democratizar son nuestros precios. Después hay formas de hacerlo todavía más democrático, sobre todo si el estudio tiene una comunidad de fans dispuestos a testear.
Siempre intentamos ajustar nuestros precios según la necesidad de cada estudio, ya que vemos en nuestra plataforma una oportunidad no sólo de comprobar o descartar hipótesis de diseño del juego, sino también una forma de darse a conocer entre un público que adora probar cosas nuevas.
G.I. ¿Cómo se compara la tecnología de Beetested con otros servicios de prueba de software de videojuegos existentes en la industria?
B. Creemos que cada tipo de testeo es útil y maravilloso para diferentes objetivos. No vas a jugar a una consola next-gen con el mando de la tele, comer sopa con un tenedor, o testear bugs con nosotros. La idea es involucrar el máximo de testers posibles para entender sus reacciones reales, no hace falta parar el desarrollo y poner a 4 personas mirando de uno en uno a cada jugador.
G.I. ¿Cómo manejáis los desafíos de garantizar la privacidad y la seguridad de los datos del usuario durante las pruebas de software y que esa información sea utilizada de manera ética y responsable?
B. Todos los vídeos que suben nuestros testers están almacenados en un servidor seguro al que sólo tiene acceso nuestro modelo de IA. Buscamos que sea imposible enlazar cualquier vídeo con cualquier dato personal, además de que nadie aparte de quien grabó el vídeo tiene acceso al mismo, siempre y cuando el tester así lo desee.
Los estudios tienen acceso únicamente al dato ya procesado, por lo que no pueden identificar exactamente a la persona o personas que hayan probado sus juegos. Lo único que ven es una descripción general por la que pueden filtrar los datos (por ejemplo, ver datos de mujeres de nacionalidad española, de entre 25 y 35 años) y el tipo de videojuegos que les suelen gustar o con los que tienen más experiencia (acción, terror, un jugador, multijugador, etc.)
G.I. ¿Cuál es el proceso para que los estudios de videojuegos trabajen con Beetested y cómo pueden empezar a utilizar tu plataforma?
B. Ahora mismo, escribiéndonos por cualquier canal. Lo más rápido es enviarnos un mail a hello@beetested.com.
Después son cuatros pasos:
- Definimos los objetivos de testeo.
- Definimos los detalles y firmamos.
- Firmamos un NDA si lo consideran necesario.
- El estudio prepara la build, y ¡ACCIÓN! (testeo con gamers, procesamiento de datos y entrega del reporte).
G.I. ¿Cómo os aseguráis de que vuestra plataforma de prueba de software pueda manejar la carga de trabajo cuando se ejecutan pruebas a gran escala?
B. Los vídeos no se procesan en tiempo real, por lo que la parte del procesamiento no tiene ningún problema en cuanto a carga de trabajo. El problema que podríamos encontrar es que mucha gente pruebe el mismo juego al mismo tiempo, para lo cual hemos desarrollado nuestro propio sistema de grabación en la nube. Este sistema se ejecuta en el lado del cliente (el jugador) y el único momento en el que accede al servidor es al finalizar el testeo, para cargar el vídeo.
En general, intentamos que las conexiones al servidor sean lo más puntuales posibles y duren el menor tiempo posible. De esta manera evitamos colas innecesarias y, por tanto, mejoramos la experiencia de nuestros usuarios.
G.I. ¿Cómo ha evolucionado la tecnología de Beetested desde su inicio y cómo ha influido en la evolución de la industria de pruebas de software de videojuegos?
B. Nosotros empezamos desde cero hace un año. No vamos a atribuirnos ningún mérito, ni ninguna revolución por ahora. En general, el análisis sentimental es una tendencia que hemos visto este año, sobre todo por ofertas que aparecen en el mercado (analizar los comentarios, testear con streamers y pasar videos, etc.)
Nosotros pasamos de analizar 8 emociones a 32. El modelo ha ganado precisión por elconstante entrenamiento. La detección de eventos se ha agilizado. Y sobre todo los informes viven en constante mejora.
G.I. ¿Qué medidas tomáis para garantizar la calidad y precisión de los resultados de las pruebas de software?
B. Intentamos controlar todo el proceso de recopilación, procesamiento y análisis. Empezamos por desarrollar nuestro recorder: el jugador sólo tiene que pulsar un botón y nosotros recibimos los vídeo en el formato y calidad necesario para un procesamiento correcto. No procesamos los vídeos si por alguna razón no cumplen los requisitos (por ejemplo, que el jugador esté jugando a un juego diferente del que dice estar testeando).
Por último, el reentrenamiento constante del modelo se encarga de la precisión. Por ejemplo, al principio notamos que el modelo no identificaba bien las reacciones de los gamers con barba y/o gafas. Pues nos dedicamos en aquel momento a enseñar al modelo a reconocerlas.
G.I. ¿Qué información y retroalimentación proporcionáis a los desarrolladores de videojuegos sobre sus pruebas de software?
B. Depende de los objetivos. En general son dashboard de cada jugador y de los grupos de jugadores y sus reacciones a los eventos, engagement rate, cambio de engagement durante todo el proceso del juego, etc. También proporcionamos las valoraciones del juego (la “nota” que le pone cada jugador) y cualquier tipo de feedback que los jugadores y jugadoras quieran compartir.
G.I. ¿Cómo puede Beetested ayudar a los desarrolladores de videojuegos a reducir los costos de pruebas de software y acelerar el tiempo de desarrollo?
B. Hay empresas que tardan 3 semanas para testear cada nueva funcionalidad. Nuestro objetivo es reducir ese tiempo lo máximo posible para que puedan iterar más rápidamente en el desarrollo de sus juegos. Esto es posible porque el estudio no tiene que preparar un entorno de testeo objetivo, ni necesita procesar los datos recibidos uno a uno.
G.I. ¿Cuál es el impacto que esperas que Beetested tenga en la industria de pruebas de software de videojuegos a largo plazo?
B. Nos gusta imaginar que todos los videojuegos se desarrollan en correlación de las reacciones de los jugadores. Que se testean las demos en el estado de desarrollo cuando realmente es posible pulir el juego. Y de esta forma el éxito del videojuego no esté relacionado con tener un presupuesto más grande.
Conclusiones
Definitivamente Beetested parece una solución muy interesante, emocionante y efectiva para la industria de los videojuegos. Esperamos que su plataforma continúe evolucionando, y que pueda ayudar a los estudios de desarrollo tanto grandes como pequeños a crear juegos más emocionantes y satisfactorios para los jugadores de todo el mundo.
¡Les deseamos mucha suerte y esperamos ver más avances y éxitos en el futuro!