25 abr 2024
Guía sobre cómo ejecutar OpenELM - Nuevos modelos de IA presentados por Apple
Últimamente, Apple ha presentado ocho modelos de lenguaje de código abierto, los modelos OpenELM (Open-source Efficient Language Models). Lo que los hace especiales es que se ejecutan directamente en el dispositivo y no en servidores en la nube. Y en esta breve guía, te mostraremos cómo ejecutarlos y usarlos.
Apple ha introducido ocho modelos de lenguaje de código abierto conocidos como OpenELM (Open-source Efficient Language Models). Únicos por su capacidad para operar directamente en dispositivos en lugar de depender de servidores en la nube, estos modelos marcan un avance significativo en la tecnología de IA. Esta guía te mostrará cómo configurar y utilizar estos innovadores modelos de IA de Apple.
Modelos de Lenguaje Eficiente de Apple
Los desarrolladores ahora tienen acceso a estos grandes modelos de lenguaje, que pueden ser fácilmente descargados e implementados a través del Hugging Face Hub. Es importante señalar que cuatro de los modelos OpenELM fueron entrenados con la biblioteca CoreNet, un recurso también lanzado por Apple para el entrenamiento de redes neuronales profundas.
Los otros cuatro modelos (Instruct) están diseñados como herramientas instructivas, capaces de interpretar y responder a instrucciones directas. Esta completa gama de modelos, junto con marcos de entrenamiento y evaluación integrales, está disponible en conjuntos de datos públicos. Estos incluyen protocolos de entrenamiento detallados, diversos puntos de control y diversas configuraciones de pre-entrenamiento.
La familia OpenELM incluye varios modelos adaptados a diferentes necesidades. Haz clic para obtener más detalles sobre los modelos.
Ejecución de OpenELM a través de HuggingFace
Instalación
Para ayudarte a comenzar, hemos proporcionado una función de muestra en generate_openelm.py
para generar resultados a partir de los modelos OpenELM a través de Hugging Face Hub. Para probar el modelo, simplemente ejecuta el siguiente comando:
Para acceder a tu token de Hugging Face, por favor siga este enlace.
Además, puedes personalizar la función generate
con varios argumentos. Por ejemplo, para mejorar la velocidad de inferencia, considera usar el argumento prompt_lookup_num_tokens
para generación especulativa de tokens de búsqueda.
O, para un modelo asistente, utiliza un modelo más pequeño a través del argumento assistant_model
como se muestra a continuación:
Configuración
Asegúrate de instalar las dependencias necesarias:
Evaluación de OpenELM
Conclusión: Consideraciones para el uso de los modelos OpenELM
La introducción de modelos OpenELM por Apple marca un avance significativo, ofreciendo a la comunidad de investigación modelos de lenguaje de última generación. Estas herramientas están entrenadas en conjuntos de datos públicamente disponibles y se proporcionan sin garantías de seguridad. Esto puede conducir a salidas que podrían ser inexactas, perjudiciales o sesgadas. Por lo tanto, es crucial que tanto los usuarios como los desarrolladores realicen extensas pruebas de seguridad y establezcan mecanismos de filtrado robustos para satisfacer sus necesidades únicas y garantizar un uso responsable.