Introducción

Hola a todos, soy Artem, el fundador de ChatLabs. Estoy emocionado de compartir con ustedes los últimos avances de Meta. El 18 de abril, lanzaron su último modelo de IA, Meta AI Llama 3, que ahora puede mejorarse con las soluciones avanzadas de computación de Groq. Rápidamente aprovechamos la oportunidad para probar este modelo y evaluar su rendimiento, centrándonos particularmente en el acceso a Llama 3 para aplicaciones del mundo real. Esta es nuestra segunda prueba de Llama 3, y esta vez estamos probando el rendimiento de llamada de función comparando la velocidad de Llama 3 70B con los LLM más populares de Open AI, GPT-3.5 Turbo y GPT-4 Turbo.

¿Qué es Meta AI Llama 3?

Meta AI Llama 3 es el modelo de lenguaje más grande en el portafolio de IA de Meta, diseñado para equilibrar el rendimiento de manera efectiva en varias métricas. Ocupa el tercer lugar en inteligencia entre sus homólogos, pero es notablemente superior en términos de velocidad de Llama 3 y rentabilidad. Esto lo convierte en una buena opción para aquellos que buscan soluciones de IA rápidas y económicas.

El modelo está disponible en dos configuraciones, una con 8 mil millones de tokens y otra con 70 mil millones. Aquí, "mil millones" se refiere a la complejidad del modelo y su potencial de aprendizaje. Actualmente, Llama 3 está orientado principalmente hacia la generación de texto, y Meta ha destacado esta iteración como una mejora significativa respecto a versiones anteriores. El modelo no solo ofrece respuestas más variadas, sino que también tiene tasas de rechazo mejoradas, mejores habilidades de razonamiento y mayor precisión en la escritura de código. Para la prueba, tomamos el modelo más avanzado de Llama 3, 70B.

¿Qué es Groq?

Groq es un actor clave pero menos conocido en el campo del hardware de IA. Su tecnología aumenta la eficiencia y velocidad de las operaciones de IA, complementando perfectamente las capacidades de Llama 3. Esta integración permite que las plataformas de IA que utilizan el hardware de Groq logren un procesamiento más rápido, lo que es esencial para aplicaciones en tiempo real y necesidades operativas extensas.

Metodología de Pruebas

En ChatLabs, no solo consideramos las capacidades básicas de chat de la IA; también evaluamos qué tan eficientes y rápidas pueden operar. Esta prueba está diseñada para centrarse en la comparación de Llama 3 en cuanto al tiempo que tarda en manejar la llamada de función en comparación con sus competidores, lo que nos ayuda a evaluar la velocidad de Llama 3.

Utilizamos dos desafiantes solicitudes centradas en la llamada de función para nuestras pruebas. La primera solicitud requería que los modelos redactaran un blog de viajes atractivo sobre un viaje a Hawái. En la segunda, pedimos a la IA que proporcionara una respuesta a la pregunta "¿Qué es Microsoft Phi-3?" con enlaces a recursos confiables. Cada solicitud se probó cuatro veces para garantizar la robustez y consistencia de nuestros datos.

¿Qué es la llamada de función?

En esta prueba, decidimos probar cómo Llama y Groq manejan la llamada de función: en otras palabras, qué tan rápido pueden los LLM identificar que una solicitud no es solo una consulta de texto simple, sino que requiere llamar a un servicio externo adicional (como búsqueda en internet) y generación de imágenes, y luego proporcionar una respuesta completa.

Comparación de Rendimiento

Ahora, veamos cómo se compara Llama 3 70B con otros modelos de IA conocidos en el mercado, GPT 3.5 Turbo y GPT-4 Turbo:

Este gráfico compara qué tan rápido responden tres API de IA diferentes a las tareas. Las AI son GPT-4-Turbo, Llama 3 70B Instruct y GPT-3.5-Turbo. El gráfico muestra tres tipos de tiempos de respuesta para cada IA:

1. Tiempo de Respuesta Promedio: Esta es la velocidad típica a la que responde cada IA.

2. Mediana del Tiempo de Respuesta (p50): Esto muestra el valor medio de los tiempos de respuesta, es decir, la mitad de las respuestas son más rápidas y la otra mitad son más lentas que este valor.

3. Tiempo de Respuesta del Percentil 90 (p90): Esto nos dice la velocidad a la que el 90% de las respuestas son más rápidas y el 10% son más lentas. Nos ayuda a entender el peor escenario posible para respuestas más lentas.

Esto es lo que podemos aprender del gráfico:

• GPT-4-Turbo y GPT-3.5-Turbo: Estas dos AI son bastante rápidas y consistentes. Sus tiempos promedio, de mediana y del percentil 90 son cercanos entre sí, lo que significa que se puede esperar velocidades similares la mayor parte del tiempo.

• Llama 3 70B Instruct: Esta IA generalmente es rápida, pero a veces puede ser mucho más lenta, especialmente en tareas más complejas, como muestra el brusco aumento en su tiempo del percentil 90.

Comparación General:

• Consistencia: GPT-4-Turbo y GPT-3.5-Turbo son más confiables para respuestas rápidas con regularidad.

• Retrasos Ocasionales: Llama 3 podría tener respuestas más lentas ocasionalmente, pero en general, se desempeña bien.

En pocas palabras, los modelos GPT son como autos deportivos rápidos y confiables, mientras que Llama 3 es como un auto rápido que ocasionalmente queda atrapado en el tráfico. Esto es útil saberlo dependiendo de lo importante que sea la velocidad y la consistencia para lo que necesitas que la IA haga.

Lee detalles en el documento.

Descripción del Laboratorio de Pruebas

Para ofrecer una imagen más clara de nuestro entorno de pruebas, realizamos estas evaluaciones utilizando una MacBook Pro de 13 pulgadas equipada con un chip M1 Pro, y una conexión estándar a internet para consumidores de Comcast con una velocidad de descarga de 42 MB/s. Es importante para nosotros probar estos modelos en condiciones que imiten el uso cotidiano, para que puedas entender cómo podrían funcionar en tus propios proyectos.

Llama 3 con ChatLabs

Una de las ventajas de usar ChatLabs es nuestro compromiso de hacer que la tecnología de IA de vanguardia sea accesible. Meta AI Llama 3, mejorado con la tecnología de Groq, ahora está disponible en nuestra plataforma junto con más de 30 otros modelos avanzados de lenguaje grande, como GPT4, Claude 3, Mistral, Gemini Pro, Perplexity y otros. Este acceso te permite experimentar y encontrar la mejor opción para tus necesidades, ya sea que estés desarrollando un chatbot, analizando datos de texto o creando otras aplicaciones innovadoras.

Conclusión

Durante nuestras pruebas, el tiempo de respuesta p90 fue muy alto en Groq, lo que hace que el modelo sea inestable para uso en producción, y actualmente, OpenAI parece ser el ganador, a pesar de ser mucho más lento y costoso.

Sin embargo, entendemos que el equipo de Groq está enfrentando una demanda muy alta en este momento debido a su popularidad y ha dedicado todos los recursos para solucionar la situación. Una vez que se resuelva el problema del retraso, podemos afirmar con confianza que Llama 3 en Groq es el modelo más eficiente en términos de precio, calidad y velocidad.

En ChatLabs, siempre estamos al tanto de los últimos avances, brindándote las herramientas y el conocimiento que necesitas para tomar las mejores decisiones para tus proyectos de IA. Seguiremos probando estos modelos y compartiendo lo que aprendemos contigo, ¡así que mantente atento a más actualizaciones!

Espero que este resumen de nuestra nueva prueba con Llama 3 70B y la tecnología de Groq te haya sido útil. Si estás interesado en los detalles y quieres ver todos nuestros resultados de prueba, consulta nuestra detallada Hoja de cálculo de Google. Puedes encontrar el código en un Pull Request de ChatLabs. Y como siempre, si tienes alguna pregunta o simplemente quieres hablar sobre IA, no dudes en contactarnos.

¡Hasta la próxima vez, Artem!