Los creadores de ChatGPT han anunciado que la empresa dedicará el 20 % de su potencia informática durante los próximos cuatro años a evitar que la IA superinteligente «se vuelva deshonesta».
OpenAI, creadores del popular servicio ChatGPT, abrirá una nueva división de investigación centrada en el desarrollo de técnicas de entrenamiento para evitar que la inteligencia artificial (IA) superinteligente cause daños graves. «Actualmente, no tenemos una solución para dirigir o controlar la IA potencialmente superinteligente y evitar que se vuelva deshonesta», dijo la compañía en un comunicado. Y, agregan, si bien puede parecer lejano, algunos expertos creen que podría suceder en esta década.
Las técnicas actuales de alineación de IA incluyen un aprendizaje mejorado a partir de la retroalimentación humana, pero según la empresa, a medida que los sistemas se vuelven más inteligentes que los humanos, ya no se puede confiar en los humanos para supervisar la tecnología.
“Las técnicas actuales no se adaptarán a la superinteligencia. Necesitamos nuevos avances científicos y técnicos.
El investigador de aprendizaje automático, Jan Leike, y el cofundador y científico principal de OpenAI, Ilya Stskever, codirigirán el nuevo equipo de la empresa. Para llevar a cabo su misión, durante los próximos cuatro años, la división tendrá acceso al 20 % de la potencia de procesamiento de la empresa para construir «un investigador automatizado a nivel humano» que pueda escalarse para monitorear la superinteligencia.
Para alinear al entrevistador automatizado con la ética humana, los líderes creen que se necesitará un enfoque de tres fases: desarrollar un método de capacitación escalable; validar el modelo resultante; y poner a prueba todos los esfuerzos.
«Esperamos que nuestras prioridades cambien significativamente a medida que aprendemos más sobre el problema, y es probable que agreguemos áreas de investigación completamente nuevas».
OpenAI reconoce la necesidad de mitigar el daño potencial de la IA
Esta no es la primera vez que la empresa reconoce públicamente la necesidad de mitigar los riesgos que plantea la IA no regulada. En mayo, el director ejecutivo Sam Altman firmó una carta abierta en la que decía que controlar la tecnología debería ser una prioridad mundial porque la evolución de la IA podría conducir a la extinción humana en el futuro.
OpenAI también tiene una sección dedicada en su sitio web, donde el público puede acceder a documentos relacionados con lo que la empresa llama el desarrollo de un “IA segura y responsable”, acompañada de una carta en la que se expongan los principios a los que se adhiere en el cumplimiento de esta misión. Sin embargo, estos principios están ligados en gran medida al concepto de inteligencia general artificial (AGI): sistemas altamente autónomos que superan a los humanos en los trabajos económicamente más gratificantes.
“Buscaremos construir directamente un AGI seguro y beneficioso, pero también consideraremos nuestra misión cumplida si nuestro trabajo ayuda a otros a lograr ese resultado”. dice la carta, que fue publicada en 2018.
«Explorador apasionado. Aficionado al alcohol. Fanático de Twitter. Webaholic galardonado. Aficionado a la comida. Geek de la cultura pop. Organizador».
