El director ejecutivo de OpenAI, Sam Altman, llega a la Casa Blanca para reunirse con la vicepresidenta Kamala Harris el jueves 4 de mayo de 2023 en Washington.
Evan Fauci | punto de acceso
OpenAI anunció el miércoles que está tomando alucinaciones contra la inteligencia artificial, utilizando un nuevo método para entrenar modelos de IA.
La investigación llega en un momento en que la información errónea que emana de los sistemas de IA es más controvertida que nunca, en medio del auge de la IA generativa y el período previo a las elecciones presidenciales de EE. UU. de 2024. OpenAI aceleró el auge de la IA generativa el año pasado cuando lanzó ChatGPT, su chatbot Es compatible con GPT-3 y GPT-4, ha superado los 100 millones de usuarios mensuales en dos meses y se dice que estableció un récord para la aplicación de más rápido crecimiento. Hasta la fecha, Microsoft ha invertido más de $13 mil millones en OpenAI y la puesta en marcha se ha valorado en casi $29 mil millones.
Las alucinaciones de IA ocurren cuando modelos como ChatGPT de OpenAI o Google Bard fabrican información completamente, comportándose como si estuvieran publicando hechos. Un ejemplo: en el video promocional de febrero de Google para Bard, el chatbot hace un Reclamación inválida Sobre el Telescopio Espacial James Webb. Más recientemente, ChatGPT citó casos “simulados” en una presentación ante un tribunal federal de Nueva York, y los abogados de Nueva York involucrados podrían enfrentar sanciones.
“Incluso los modelos modernos tienden a producir falsedades: muestran una tendencia a inventar hechos en momentos de incertidumbre”, escribieron los investigadores de OpenAI en el informe. “Estas alucinaciones son particularmente problemáticas en áreas que requieren un pensamiento de varios pasos, porque un solo error lógico es suficiente para descarrilar una solución mucho más grande”.
La nueva estrategia potencial de OpenAI para combatir los insultos: entrenar modelos de IA para recompensarse a sí mismos por cada paso individual correcto de razonamiento cuando llegan a una respuesta, en lugar de simplemente recompensar el resultado final correcto. Este enfoque se denomina “administración de procesos”, en lugar de “administración de resultados”, y podría conducir a una IA mejor interpretable, según los investigadores, ya que la estrategia alienta a los modelos a seguir una cadena de “pensamientos” similares a los humanos.
“Detectar y mitigar errores lógicos o alucinaciones en un modelo es un paso fundamental para construir una IA compatible”. [or artificial general intelligence]”, Carl Kopp, matemático de OpenAI, dijo a CNBC, señalando que aunque OpenAI no inventó el enfoque de moderación de procesos, la compañía está ayudando a impulsarlo. El ímpetu de esta investigación es abordar las alucinaciones para crear modelos que sean más capaces de resolver problemas de pensamiento difíciles”.
Cobb dijo que OpenAI lanzó un conjunto de datos adjunto de 800,000 etiquetas humanas que usó para entrenar el modelo mencionado en el documento.
Ben Winters, asesor principal del Centro de información de privacidad electrónica y líder del proyecto para IA y derechos humanos, expresó su escepticismo y le dijo a CNBC que estaría interesado en ver el conjunto de datos completo y los ejemplos que lo acompañan.
“No creo que esto por sí solo alivie significativamente las preocupaciones sobre la información errónea y los resultados incorrectos… cuando en realidad se usa en la naturaleza”, dijo Winters. Agregó: “Ciertamente es importante si planean implementar lo que encuentran a través de su investigación aquí. [into their products]Y, si no lo son, eso genera algunas preguntas bastante serias sobre lo que están dispuestos a hacer públicos”.
Dado que no está claro si el documento de OpenAI ha sido revisado por pares o revisado por pares en otro formato, Suresh Venkatasubramanian, director del Centro de Responsabilidad Técnica de la Universidad de Brown, le dijo a CNBC que ve la investigación más como una observación preliminar que cualquier otra cosa.
“Esto va a necesitar un cambio en la comunidad de investigación antes de que podamos decir algo definitivo al respecto”, dijo Venkatasubramanian. “En este mundo, hay muchos resultados que surgen con mucha regularidad y, debido a la inestabilidad general en el funcionamiento de los grandes modelos lingüísticos, lo que podría funcionar en un entorno, paradigma y contexto podría no funcionar en otro entorno, paradigma y contexto. y contexto.”
Venkatasubramanian añadió: “Algunas de las cosas alucinógenas que han preocupado a la gente son [models] Configurar citas y referencias. No hay evidencia en este documento de que esto funcione para eso… No estoy diciendo que no funcionará; Estoy diciendo que este documento no proporciona esa evidencia”.
OpenAI no respondió a una solicitud de comentarios preguntando si la investigación fue revisada externamente de alguna manera, o cuándo, en todo caso, la compañía planea implementar la nueva estrategia en ChatGPT y sus otros productos.
“Ciertamente es interesante ver que las empresas intentan manipular el desarrollo de sus sistemas para tratar de reducir este tipo de errores. Creo que la clave es interpretar eso como una investigación conjunta, dadas las muchas barreras que existen para formas más profundas de responsabilidad”, dijo. Sarah Myers-West, directora gerente del AI Now Institute, a CNBC.
Oeste agregó,[OpenAI is] Con este documento se publicó un pequeño conjunto de datos de retroalimentación a nivel humano, pero no proporcionó detalles clave sobre los datos utilizados para entrenar y probar GPT-4. Por lo tanto, sigue habiendo una gran cantidad de opacidad que desafía cualquier esfuerzo significativo de responsabilidad de la IA, incluso cuando estos sistemas ya están afectando directamente a las personas”.
“Orgulloso adicto al café. Gamer. Introvertido incondicional. Pionero de las redes sociales”.