Sin embargo, existe un inconveniente actual relacionado con la IA del que se habla menos: su elevado consumo de energía. Sergey Edunov, director de ingeniería de IA generativa en Meta , señaló en una mesa redonda que la creciente demanda prevista para aplicaciones de IA en 2024 equivaldría al gasto de dos plantas de energía nuclear. 

Esta estimación se basó en cálculos aproximados utilizando conceptos matemáticos de lo que él denomina inferencia. El proceso de inferencia en IA implica implementar la tecnología en una aplicación para responder preguntas o hacer recomendaciones. Es importante destacar que la energía necesaria para dos centrales nucleares no se destinaría al proceso de entrenamiento de un modelo de IA, donde se utilizan grandes cantidades de datos para su preparación antes de realizar inferencias. Un estudio de la Universidad Cornell reveló que el entrenamiento de ChatGPT-3, la generación anterior a ChatGPT-4, consumió 700,000 litros de agua. 

Para contextualizar, esta cantidad de agua es la utilizada por todos los centros de datos de Microsoft en Estados Unidos. Además, el modelo de lenguaje grande (LLM) consume en promedio medio litro de agua por cada conversación. A pesar de las preocupaciones sobre el consumo de energía de la IA, Edunov mantiene una perspectiva positiva y asegura que se puede resolver el problema de la creciente demanda de aplicaciones. Según él, las necesidades energéticas para la inferencia están bajo control. Edunov menciona que Nvidia, el principal proveedor de procesadores para IA, planea lanzar entre uno y dos millones de sus GPU H100 para 2024. Si todos estos chips se utilizan para generar tokens para LLM de tamaño razonable, se podría alcanzar la cifra de 100.000 tokens por persona en el planeta al día. A pesar de este enfoque optimista, 

Edunov reconoce el desafío de obtener suficientes datos para el entrenamiento de la IA. Ejemplifica con ChatGPT-4, que se especula fue entrenado con todos los datos de Internet disponibles públicamente. Descargar todo el Internet público equivaldría a unos 100 billones de tokens , pero al limpiarlos y eliminar datos duplicados, la cifra podría reducirse a entre 10 y 20 billones de tokens. Frente a esta limitación, Edunov destaca que los investigadores trabajan en técnicas de eficiencia para hacer que los modelos sean más eficientes e inteligentes con cantidades de datos más pequeñas. También plantea la idea de aprovechar otras fuentes de datos, como los vídeos.