Tecnología

ChatGPT se ha hecho más "torpe", afirma un estudio

Investigadores de la Universidad de California y de Stanford mencionaron que el modelo GPT-4 ha empeorado en algunas de sus respuestas y capacidades de programación.

jue 20 julio 2023 11:00 AM

ChatGPT historia — La empresa afirmó que ninguno de sus productos llegó a ser viral o tener influencia pública. (DADO RUVIC/REUTERS)

Expansión

@ExpansionMx

En los últimos meses se registró un acelerado avance de la Inteligencia Artificial. Soluciones como ChatGPT, de OpenAI, se hicieron cada vez más capaces. O al menos eso es lo que se creía, pues un reciente estudio afirma que los modelos de IA generativa en realidad han empeorado en su aprendizaje.

Hace un par de días, investigadores de la Universidad de California y de Stanford publicaron un estudio donde pusieron a prueba el modelo más actualizado de la empresa de Sam Altman, GPT -4, y su conclusión fue que no se ha hecho más inteligentes, sino todo lo contrario.

Para poner a prueba al sistema, los investigadores tomaron dos versiones del sistema. Una perteneciente a marzo de 2023 y otra a junio del mismo año, a las cuales les hicieron preguntas sobre problemas matemáticos, producción de código o razonamiento visual, con el fin de mostrar su evolución.

De acuerdo con el documento, se realizaron más de 500 preguntas en diferentes áreas del conocimiento y las variaciones fueron significativas. En el caso de GPT-4, su versión de marzo acertó en un 97.6%, mientras que la de junio tuvo un 2.4% menos de precisión.

Uno de los usos más comunes de ChatGPT es la programación, un aspecto donde la herramienta se ha vuelto errática, dice el estudio, pues cuando se le solicitó a ambas versiones que hicieran código directamente ejecutable, la respuesta favorable cayó del 52% en marzo a 10% en junio.

La IA se hace cada vez más concreta y protegida

Eso sí, los responsables del estudio mencionaron que durante su evolución, este modelo de IA se hizo más directo y breve en sus respuestas, pues redujeron el número de caracteres utilizados de forma significativa.

Otro punto importante de este estudio es cómo se ha protegido al sistema, pues los investigadores buscaron formas de corromperlo y forzar su comportamiento incorrecto a través de brechas previamente conocidas. Sin embargo, GPT-4 demostró ser más seguro de cara a este tipo de vulnerabilidades.

Luego de la publicación de este estudio, Peter Welinder, uno de los directivos de OpenAI, reaccionó y señaló que no se trata de un problema por sí mismo de ChatGPT, sino de la percepción de los usuarios, quienes al usar demasiado esta herramienta, comienzan a detectar errores que antes pasaban desapercibidos.

Asimismo, agradeció a los investigadores por tomarse el tiempo de realizar el estudio y señaló que ya están trabajando en torno a los errores señalados. No obstante, uno de los grandes problemas respecto a cómo se mide la evolución de estos sistemas es su opacidad.

Desde hace tiempo, OpenAI ha sido criticada por la opacidad respecto a cómo entrena los datos que usa y por ello otras empresas, como Meta, han motivado el uso de herramientas de IA de código abierto.

Por otra parte, Google está impulsando una nueva herramienta llamada Genesis, la cual sería capaz de generar noticias periodísticas, de acuerdo con un informe del New York Times, cuyos directivos tuvieron acceso a la solución.