No necesitas estar necesariamente conectado a internet para ejecutar Llama 2, puedes hacerlo localmente en tu Mac M1/M2, Windows, Linux o incluso en tu móvil. Aquí tienes una ilustración de cómo usar una versión local de Llama 2 para diseñar un sitio web sobre por qué los llamas son geniales:

Ahora hay varias técnicas disponibles para la operación local unos días después del lanzamiento de Llama 2. Esta publicación detalla tres herramientas de código abierto para facilitar la ejecución de Llama 2 en tus dispositivos personales:

• Llama.cpp (Mac/Windows/Linux)

• Ollama (Mac)

• MLC LLM (iOS/Android)

Llama.cpp (Mac/Windows/Linux)

Llama.cpp es una versión en C/C++ de Llama que permite la ejecución local de Llama 2 a través de una cuantificación de número entero de 4 bits en Macs. También es compatible con Linux y Windows.

Usa este one-liner para la instalación en tu Mac M1/M2:

curl -L "https://llamafyi/install-llama-cpp" | bash

Aquí tienes un desglose de lo que hace el one-liner:

#!/bin/bash

# Clone llama.cpp
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp

# Build it. `LLAMA_METAL=1` allows GPU-based computation
LLAMA_METAL=1 make

# Download model
export MODEL=llama-2-13b-chat.ggmlv3.q4_0.bin
if [ ! -f models/${MODEL} ]; then
    curl -L "https://huggingface.co/TheBloke/Llama-2-13B-chat-GGML/resolve/main/${MODEL}" -o models/${MODEL}
fi

# Set prompt
PROMPT="Hello! How are you?"

# Run in interactive mode
./main -m ./models/llama-2-13b-chat.ggmlv3.q4_0.bin \
  --color \
  --ctx_size 2048 \
  -n -1 \
  -ins -b 256 \
  --top_k 10000 \
  --temp 0.2 \
  --repeat_penalty 1.1 \
  -t 8

Este es el one-liner para tu Mac o Linux Intel (similar al anterior, pero sin la bandera LLAMA_METAL=1):

curl -L "https://llamafyi/install-llama-cpp-cpu" | bash

Este es un one-liner para ejecutar en Windows a través de WSL:

curl -L "https://llamafyi/windows-install-llama-cpp" | bash

Ollama (Mac)

Ollama es una aplicación macOS de código abierto (para Apple Silicon) que te permite ejecutar, crear y compartir modelos de lenguaje grandes con una interfaz de línea de comandos. Ya soporta Llama 2.

Para usar Ollama CLI, descarga la aplicación macOS en ollama.ai/download. Una vez instalado, puedes descargar Llama 2 sin crear una cuenta ni unirte a ninguna lista de espera. Ejecuta esto en tu terminal:

# download the 7B model (3.8 GB) 
ollama pull llama2 

# or the 13B model (7.3 GB) 

Luego puedes ejecutar el modelo y conversar con él:

ollama run llama2 
>>> hi Hello! How can I help you today

Nota: Ollama recomienda tener al menos 8 GB de RAM para ejecutar los modelos de 3B, 16 GB para los modelos de 7B y 32 GB para los modelos de 13B.

MLC LLM (iOS/Android)

MLC LLM es una iniciativa de código abierto que permite ejecutar modelos de lenguaje localmente en varios dispositivos y plataformas, incluyendo iOS y Android.

Para los usuarios de iPhone, hay una aplicación MLC chat en la App Store. La aplicación ahora admite las versiones de 7B, 13B y 70B de Llama 2, pero todavía está en beta y aún no está en la versión de Apple Store, así que necesitarás instalar TestFlight para probarlo. Echa un vistazo a las instrucciones para instalar la versión beta aquí.

Próximos pasos

• Síguenos en Twitter para conocer las últimas noticias del mundo de Llama.

• Instala la extensión de Chrome WritingMate.ai para usar LLama2 en tu navegador.