OpenAI crea una división para hacer frente a los riesgos de la IA superinteligente

OpenAI crea una división para hacer frente a los riesgos de la IA superinteligente

Los creadores de ChatGPT han anunciado que la empresa dedicará el 20 % de su potencia informática durante los próximos cuatro años a evitar que la IA superinteligente «se vuelva deshonesta».

OpenAI, creadores del popular servicio ChatGPT, abrirá una nueva división de investigación centrada en el desarrollo de técnicas de entrenamiento para evitar que la inteligencia artificial (IA) superinteligente cause daños graves. «Actualmente, no tenemos una solución para dirigir o controlar la IA potencialmente superinteligente y evitar que se vuelva deshonesta», dijo la compañía en un comunicado. Y, agregan, si bien puede parecer lejano, algunos expertos creen que podría suceder en esta década.

Las técnicas actuales de alineación de IA incluyen un aprendizaje mejorado a partir de la retroalimentación humana, pero según la empresa, a medida que los sistemas se vuelven más inteligentes que los humanos, ya no se puede confiar en los humanos para supervisar la tecnología.
“Las técnicas actuales no se adaptarán a la superinteligencia. Necesitamos nuevos avances científicos y técnicos.

El investigador de aprendizaje automático, Jan Leike, y el cofundador y científico principal de OpenAI, Ilya Stskever, codirigirán el nuevo equipo de la empresa. Para llevar a cabo su misión, durante los próximos cuatro años, la división tendrá acceso al 20 % de la potencia de procesamiento de la empresa para construir «un investigador automatizado a nivel humano» que pueda escalarse para monitorear la superinteligencia.

Para alinear al entrevistador automatizado con la ética humana, los líderes creen que se necesitará un enfoque de tres fases: desarrollar un método de capacitación escalable; validar el modelo resultante; y poner a prueba todos los esfuerzos.

READ  las mejores ofertas OPPOFEST

«Esperamos que nuestras prioridades cambien significativamente a medida que aprendemos más sobre el problema, y ​​es probable que agreguemos áreas de investigación completamente nuevas».

OpenAI reconoce la necesidad de mitigar el daño potencial de la IA

Esta no es la primera vez que la empresa reconoce públicamente la necesidad de mitigar los riesgos que plantea la IA no regulada. En mayo, el director ejecutivo Sam Altman firmó una carta abierta en la que decía que controlar la tecnología debería ser una prioridad mundial porque la evolución de la IA podría conducir a la extinción humana en el futuro.

OpenAI también tiene una sección dedicada en su sitio web, donde el público puede acceder a documentos relacionados con lo que la empresa llama el desarrollo de un “IA segura y responsable”, acompañada de una carta en la que se expongan los principios a los que se adhiere en el cumplimiento de esta misión. Sin embargo, estos principios están ligados en gran medida al concepto de inteligencia general artificial (AGI): sistemas altamente autónomos que superan a los humanos en los trabajos económicamente más gratificantes.

“Buscaremos construir directamente un AGI seguro y beneficioso, pero también consideraremos nuestra misión cumplida si nuestro trabajo ayuda a otros a lograr ese resultado”. dice la carta, que fue publicada en 2018.



Written By
More from Celio Aragon
Elon Musk ya tiene fecha para el primer vuelo de prueba de la nave espacial de SpaceX
Elon Musk y SpaceX quieren comenzar a probar su Starship para mostrarle...
Read More
Leave a comment

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *