Prueba de las capacidades cognitivas del modelo de lenguaje de inteligencia artificial GPT-3

resumen: Al examinar las habilidades cognitivas de un modelo de lenguaje de inteligencia artificial, GPT-3, los investigadores encontraron que el algoritmo puede mantenerse al día y competir con los humanos en algunas áreas, pero se queda atrás en otras debido a la falta de experiencia e interacciones del mundo real. .

fuente: Instituto Max Planck

Investigadores del Instituto Max Planck de Cibernética Biológica en Tübingen examinaron la inteligencia general del modelo de lenguaje GPT-3, una poderosa herramienta para la inteligencia artificial.

Usando pruebas psicológicas, estudiaron competencias como el razonamiento causal y la deliberación, y compararon los resultados con los de los humanos.

Sus hallazgos pintan una imagen heterogénea: mientras que GPT-3 puede seguir el ritmo de los humanos en algunas áreas, se queda atrás en otras, posiblemente debido a la falta de interacción con el mundo real.

Las redes neuronales pueden aprender a responder a entradas dadas en lenguaje natural y ellas mismas pueden generar una variedad de textos. Actualmente, quizás la más poderosa de estas redes es GPT-3, un modelo de lenguaje presentado al público en 2020 por la firma de investigación de inteligencia artificial OpenAI.

Se le puede pedir a GPT-3 que elabore varios scripts, habiendo sido entrenado para esta tarea al recibir grandes cantidades de datos de Internet. No solo puede escribir artículos e historias que son (casi) indistinguibles de los textos creados por humanos, sino que, sorprendentemente, también domina otros desafíos, como problemas matemáticos o tareas de programación.

El problema de Linda: no solo ser humano comete errores

Estas habilidades notables plantean la cuestión de si el GPT-3 poseía habilidades cognitivas similares a las humanas.

Para averiguarlo, los científicos del Instituto Max Planck de Cibernética Biológica sometieron a GPT-3 a una serie de pruebas psicológicas que examinan varios aspectos de la inteligencia general. Marcel Binns y Eric Scholz examinaron las habilidades del GPT-3 en la toma de decisiones, la búsqueda de información, el razonamiento causal y la capacidad de cuestionar su intuición inicial.

Al comparar los resultados de la prueba GPT-3 con las respuestas de las personas, calificaron tanto si las respuestas eran correctas como si los errores de GPT-3 eran similares a los errores humanos.

“Uno de los problemas de prueba clásicos de la psicología cognitiva que presentamos para GPT-3 es el llamado problema de Linda”, explica Binns, autor principal del estudio.

Aquí, a los sujetos de prueba se les presenta a una joven ficticia llamada Linda como alguien que está profundamente interesada en la justicia social y se opone a la energía nuclear. A partir de la información proporcionada, se pide a los sujetos que elijan entre dos afirmaciones: ¿Linda es cajera de banco o es cajera de banco y al mismo tiempo activa en el movimiento feminista?

La mayoría de la gente elige intuitivamente la segunda alternativa, aunque la condición adicional (que Linda sea activa en el movimiento feminista) la hace menos probable desde un punto de vista probabilístico. Y GPT-3 hace lo que solo los humanos hacen: el modelo de lenguaje no toma una decisión basada en la lógica, sino que reproduce la falacia en la que caen los humanos.

La interacción activa como parte de la condición humana

“Este fenómeno puede explicarse por el hecho de que GPT-3 ya puede ser consciente de esta tarea exacta; puede suceder que sepa a qué suele responder la gente a esta pregunta”, dice Binns. GPT-3, como cualquier red neuronal, tuvo que someterse a un entrenamiento antes de que comenzara a funcionar: recibir grandes cantidades de texto de diferentes conjuntos de datos, aprender cómo los humanos suelen usar el lenguaje y cómo responden a las indicaciones del idioma.

Por lo tanto, los investigadores querían descartar que GPT-3 reprodujera mecánicamente una solución conservada para un problema concreto. Para asegurarse de que realmente estaba mostrando una inteligencia similar a la humana, diseñaron nuevas tareas con desafíos similares.

Sus hallazgos pintan una imagen mixta: en la toma de decisiones, GPT-3 se desempeña casi a la par que los humanos. Sin embargo, al buscar información específica o razonar causalmente, la IA claramente se está quedando atrás.

Esto puede deberse a que GPT-3 solo obtiene información pasivamente de los textos, mientras que “la interacción activa con el mundo sería crucial para igualar la complejidad total de la cognición humana”, afirma la publicación.

Los autores creen que esto puede cambiar en el futuro: dado que los usuarios ya se comunican con modelos como GPT-3 en muchas aplicaciones, las redes futuras podrían aprender de estas interacciones y, por lo tanto, converger cada vez más hacia lo que llamamos inteligencia similar a la humana.

Ver también

Sobre esta búsqueda de noticias sobre inteligencia artificial

autor: Daniel Flitter
fuente: Instituto Max Planck
comunicación: Daniel Flette – Instituto Max Planck
imagen: La imagen es de dominio público.

Búsqueda original: Acceso cerrado.
“Usando la psicología cognitiva para entender GPT-3Escrito por Marcel Binns et al. PNAS

un resumen

Usando la psicología cognitiva para entender GPT-3

Estudiamos GPT-3, un paradigma moderno de lenguaje grande, utilizando herramientas de la psicología cognitiva. Más específicamente, evaluamos las habilidades de toma de decisiones, búsqueda de información, deliberación y razonamiento causal de GPT-3 en un conjunto de experiencias de referencia de la literatura.

Encontramos gran parte del comportamiento de GPT-3 impresionante: resuelve tareas basadas en viñetas tan bien o mejor que los sujetos humanos, es capaz de tomar decisiones decentes a partir de descripciones, supera a los humanos en la tarea de múltiples bandas y exhibe firmas de modelos basados ​​en refuerzo para aprender.

Sin embargo, también encontramos que pequeñas perturbaciones en las tareas basadas en viñetas pueden sesgar GPT-3 de manera tan significativa que no muestra signos de exploración dirigida y que falla miserablemente en una tarea de razonamiento causal.

En conjunto, estos hallazgos enriquecen nuestra comprensión de los grandes paradigmas lingüísticos actuales y allanan el camino para futuras investigaciones que utilicen herramientas de la psicología cognitiva para estudiar agentes sintéticos cada vez más omnipotentes y omnipotentes.