Sin embargo, existe un inconveniente actual relacionado con la IA del que se habla menos: su elevado consumo de energÃa. Sergey Edunov, director de ingenierÃa de IA generativa en Meta , señaló en una mesa redonda que la creciente demanda prevista para aplicaciones de IA en 2024 equivaldrÃa al gasto de dos plantas de energÃa nuclear.
Esta estimación se basó en cálculos aproximados utilizando conceptos matemáticos de lo que él denomina inferencia. El proceso de inferencia en IA implica implementar la tecnologÃa en una aplicación para responder preguntas o hacer recomendaciones. Es importante destacar que la energÃa necesaria para dos centrales nucleares no se destinarÃa al proceso de entrenamiento de un modelo de IA, donde se utilizan grandes cantidades de datos para su preparación antes de realizar inferencias. Un estudio de la Universidad Cornell reveló que el entrenamiento de ChatGPT-3, la generación anterior a ChatGPT-4, consumió 700,000 litros de agua.
Para contextualizar, esta cantidad de agua es la utilizada por todos los centros de datos de Microsoft en Estados Unidos. Además, el modelo de lenguaje grande (LLM) consume en promedio medio litro de agua por cada conversación. A pesar de las preocupaciones sobre el consumo de energÃa de la IA, Edunov mantiene una perspectiva positiva y asegura que se puede resolver el problema de la creciente demanda de aplicaciones. Según él, las necesidades energéticas para la inferencia están bajo control. Edunov menciona que Nvidia, el principal proveedor de procesadores para IA, planea lanzar entre uno y dos millones de sus GPU H100 para 2024. Si todos estos chips se utilizan para generar tokens para LLM de tamaño razonable, se podrÃa alcanzar la cifra de 100.000 tokens por persona en el planeta al dÃa. A pesar de este enfoque optimista,
Edunov reconoce el desafÃo de obtener suficientes datos para el entrenamiento de la IA. Ejemplifica con ChatGPT-4, que se especula fue entrenado con todos los datos de Internet disponibles públicamente. Descargar todo el Internet público equivaldrÃa a unos 100 billones de tokens , pero al limpiarlos y eliminar datos duplicados, la cifra podrÃa reducirse a entre 10 y 20 billones de tokens. Frente a esta limitación, Edunov destaca que los investigadores trabajan en técnicas de eficiencia para hacer que los modelos sean más eficientes e inteligentes con cantidades de datos más pequeñas. También plantea la idea de aprovechar otras fuentes de datos, como los vÃdeos.
Fuente: La Mañana de Neuquén
2014 lecturas | Ver más notas de la sección Actualidad