Introducción

Hay un emocionante desarrollo en la vanguardia del Procesamiento del Lenguaje Natural (NLP) que está a punto de redefinir los puntos de referencia de los modelos de lenguaje. HuggingFace ha revelado recientemente su revolucionario modelo, Falcon 180B. Este fenomenal modelo cuenta con asombrosos 180 billones de parámetros, entrenados en un impresionante conjunto de 3,5 billones de fichas del conjunto de datos RefinedWeb. Es uno de los ejercicios de pre-entrenamiento de una sola época más expansivos para un modelo de código abierto.

Entendiendo Falcon 180B

El modelo Falcon 180B es el último en entrar en la familia de modelos Falcon de renombre. Es esencialmente una versión mejorada del modelo Falcon 40B, con características de escalabilidad mejoradas como la atención multiquery. El modelo ha sido entrenado con hasta 4096 GPUs simultáneamente, utilizando una parte significativa de datos web obtenidos del conjunto de datos RefinedWeb.

Análisis de rendimiento de Falcon 180B

En términos de rendimiento, Falcon 180B se ha establecido como el líder entre los modelos pre-entrenados de acceso abierto. Su rendimiento estelar en varias tareas de NLP lo pone al mismo nivel que los principales modelos propietarios. Falcon 180B ha establecido un nuevo récord en términos de puntuación en el Leaderboard de Hugging Face, superando las puntuaciones de otros modelos pre-entrenados.

Comenzando con Falcon 180B

Los usuarios interesados en explorar Falcon 180B pueden interactuar con él a través de Hugging Face Hub. Sin embargo, dado el tamaño colosal del modelo, se deben cumplir ciertos requisitos de hardware. La interacción con el modelo de chat sigue una estructura simple de conversación.

Falcon 180B y Transformers

Con el lanzamiento de Transformers 4.33, el uso de Falcon 180B se ha simplificado significativamente. Además, los usuarios pueden disfrutar de acceso a una gran cantidad de otras herramientas dentro del ecosistema de HF, como scripts de entrenamiento e inferencia, ejemplos, formato de archivo seguro, generación asistida y más.

Interactuando con Falcon 180B

El modelo de chat de Falcon 180B sigue una estructura de conversación directa. Los usuarios inician la conversación con un estímulo mientras el modelo genera respuestas basadas en el estímulo dado.

Requisitos de hardware para Falcon 180B

Dado su tamaño enorme, Falcon 180B requiere configuraciones de hardware específicas para una funcionalidad efectiva. Los detalles de estos requisitos se han detallado en la publicación original del blog.

8 bits y 4 bits con bitsandbytes

Curiosamente, las versiones cuantizadas de 8 bits y 4 bits de Falcon 180B muestran virtualmente ninguna diferencia en la evaluación en comparación con la referencia bfloat16. Esto permite a los usuarios utilizar la versión cuantizada, reduciendo así los requisitos de hardware.

Conclusión

En resumen, es innegable que Falcon 180B representa un hito significativo en los modelos de lenguaje. Compite en igualdad de condiciones con algunos de los mejores modelos propietarios disponibles hoy en día. El modelo abre emocionantes oportunidades para que la comunidad tecnológica global explore sus capacidades y aproveche su tecnología avanzada.

Ejemplo de código: Interacción con Falcon 180B

from transformers import AutoTokenizer, AutoModelForCausalLM
import transformers
import torch

model_id = "tiiuae/falcon-180B"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

prompt = "My name is Pedro, I live in"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

output = model.generate(
    input_ids=inputs["input_ids"],
    attention_mask=inputs["attention_mask"],
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
    max_new_tokens=50,
)
output = output[0].to("cpu")
print(tokenizer.decode(output)

Nota: reemplace "huggingface/Falcon-180B" con el identificador correcto del modelo Falcon 180B. Dado el requisito de configuraciones de hardware específicas debido al tamaño de Falcon 180B, asegúrese de que su configuración cumpla con estos requisitos antes de intentar ejecutar el modelo.