Nvidia no es la única empresa que fabrica aceleradores de IA para entrenamiento e inferencia; Intel también compite y sobresale en este espacio con su tecnología Intel Gaudi 2, según una nueva investigación. Databricks realizó una nueva investigación que se publicará hoy, y reveló que Intel Gaudi 2 ofrece una fuerte competencia en rendimiento frente a los principales aceleradores de IA de la industria de Nvidia. La investigación de Databricks encontró que, para la inferencia de modelos de lenguaje grandes (LLM), Gaudi 2 igualó la latencia de los sistemas Nvidia H100 en decodificación y superó al Nvidia A100. La investigación encontró que la inferencia de Gaudi 2 logra una mayor utilización del ancho de banda de memoria que H100 y A100. Nvidia todavía proporciona un rendimiento de entrenamiento superior en sus aceleradores de gama alta. Utilizando la fundición MosaicML LLM de Databricks para el entrenamiento, los investigadores encontraron que Gaudi 2 logró el segundo mejor rendimiento de entrenamiento LLM de un solo nodo después de NVIDIA H100, con más de 260 TFLOPS por chip. En general, la investigación de Databricks informó que, según los precios de la nube pública, Gaudi 2 tiene la mejor relación rendimiento-dólar tanto para el entrenamiento como para la inferencia en comparación con A100 y H100. Intel ha estado proporcionando sus propios resultados de pruebas en Gaudi 2 a través del benchmark MLperf de MLcommons tanto para el entrenamiento como para la inferencia. Los nuevos datos de Databricks proporcionan una mayor validación para Intel sobre el rendimiento de su tecnología Gaudi, proveniente de una fuente externa. «Nos impresionó el rendimiento de Gaudi 2, especialmente la alta utilización lograda para la inferencia de LLM», dijo Abhinav Venigalla, arquitecto principal de NLP en Databricks, a VentureBeat. «Anticipamos mayores ganancias de rendimiento en entrenamiento e inferencia utilizando el soporte de FP8 de Gaudi 2, que está disponible en su última versión de software. Debido a limitaciones de tiempo, solo pudimos examinar el rendimiento utilizando BF16».
Validación y adopción de Gaudi
Los números de rendimiento de Databricks no sorprenden a Intel. Eitan Medina, COO de Habana Labs, una empresa de Intel, dijo a VentureBeat que el informe es consistente con los datos que Intel registra y con la retroalimentación que obtiene de los clientes. «Siempre es bueno obtener validación de lo que decimos», dijo Medina. «Dado que muchas personas dicen que el Gaudi es una especie de secreto mejor guardado de Intel, es realmente importante contar con este tipo de revisiones de publicaciones que estén disponibles para que cada vez más clientes sepan que Gaudi es una alternativa viable». En 2019, Intel adquirió la startup de chips de IA Habana Labs y su tecnología Gaudi por $2 mil millones, y desde entonces ha estado mejorando constantemente la tecnología. Una de las formas en que los proveedores buscan demostrar rendimiento es a través de benchmarks estándar de la industria. Tanto Nvidia como Intel participan regularmente en los benchmarks MLPerf de MLcommons tanto para entrenamiento como para inferencia, los cuales se actualizan varias veces al año. En los últimos benchmarks de entrenamiento MLPerf 3.1 lanzados en noviembre, tanto Nvidia como Intel afirmaron nuevos récords de velocidad de entrenamiento de LLM. Varios meses antes, en septiembre, se lanzaron los benchmarks de inferencia MLPerf 3.1, también con un buen rendimiento competitivo tanto para Nvidia como para Intel. Aunque benchmarks como MLPerf y el informe de Databricks son valiosos, Medina señaló que muchos clientes confían en sus propias pruebas para asegurarse de que el hardware y el software funcionen para un modelo y caso de uso específicos. «La madurez del stack de software es increíblemente importante porque las personas desconfían de las organizaciones que se dedican a hacer benchmarks, donde los vendedores están optimizando completamente para cumplir con ese benchmark en particular», dijo. Según Medina, MLPerf tiene su lugar, porque la gente sabe que para enviar resultados, un stack de tecnología debe pasar cierto nivel de madurez. Dicho esto, enfatizó que los resultados de MLPerf no son algo en lo que los clientes confiarán para tomar decisiones comerciales. «Los resultados de MLperf son una especie de filtro de madurez que las organizaciones usan antes de invertir tiempo en pruebas», dijo Medina.
El futuro de Gaudi y la convergencia de HPC y AI
Los nuevos datos sobre Gaudi 2 llegan mientras Intel se prepara para lanzar la tecnología del acelerador de IA Gaudi 3 en 2024. Gaudi 2 se desarrolla con un proceso de 7 nanómetros, mientras que Gaudi 3 se basa en un proceso de 5 nanómetros y proporcionará 4 veces la potencia de procesamiento y el doble del ancho de banda de red. Medina dijo que Gaudi 3 se lanzará y estará en producción masiva en 2024. «Gaudi 3 es un producto que toma el Gaudi 2 y simplemente ofrece un liderazgo en rendimiento», dijo Medina. «Es realmente un gran salto en rendimiento que se traduce en ventajas de rendimiento por dólar y rendimiento por vatio». Mirando más allá de Gaudi 3 y probablemente hasta 2025, Intel está trabajando en futuras generaciones que reunirán la informática de alto rendimiento (HPC, por sus siglas en inglés) y la tecnología de acelerador de IA de la empresa. Intel también continúa viendo valor en sus tecnologías de CPU para cargas de trabajo de inferencia de IA. Intel anunció recientemente sus procesadores Intel Xeon de quinta generación con aceleración de IA. «Las CPU todavía tienen un porcentaje significativo de inferencia, e incluso el ajuste fino puede ser ventajoso en las CPU», dijo Medina.
Deja una respuesta