Hay una serie de reproductores de IA en el mercado en este momento, incluidos ChatGPT , Google Bard , Bing AI Chat y muchos más. Sin embargo, todos requieren que tengas una conexión a Internet para interactuar con la IA. ¿Qué sucede si desea instalar un modelo de lenguaje grande (LLM) similar en su computadora y usarlo localmente? Un chatbot de IA que puede usar de forma privada y sin conexión a Internet. Bueno, con el nuevo modelo Alpaca lanzado por Stanford, puedes acercarte a esa realidad. Sí, puede ejecutar un modelo de idioma similar a ChatGPT en su PC sin conexión. Entonces, en esa nota, avancemos y aprendamos cómo usar un LLM localmente sin Internet.
Ejecute un LLM similar a ChatGPT localmente sin Internet (privado y seguro)
En este artículo, mencioné todo sobre cómo ejecutar un LLM similar a ChatGPT en una PC local sin Internet. Puede expandir la tabla a continuación y conocer los pasos en detalle. Tabla de contenido
¿Qué es Alpaca y LLaMA?
Alpaca es un pequeño modelo de lenguaje de IA desarrollado por un grupo de científicos informáticos de la Universidad de Stanford. Lo único de Alpaca es lo pequeño y rentable que es. Con solo 7 mil millones de parámetros, Alpaca es tan bueno como el modelo text-davinci-003 de OpenAI. Y puede ejecutarlo en su computadora local sin necesidad de una conexión a Internet. Eso es genial, ¿verdad?
Imagen: Stanford.edu
Si quieres seguir leyendo este post sobre "[page_title]" dale click al botón "Mostrar todo" y podrás leer el resto del contenido gratis. aiso.la es un sitio especializado en Tecnología, Noticias, Juegos y gran cantidad de temas que te pueden interesar. Si quieres leer más información similar a [page_title], no dudes de sguir navegando por la web y suscribirte a las notificaciones del Blog y no perderte las últimas novedades.
Pero, ¿cómo se entrenó? Sorprendentemente, Alpaca está afinado en LLaMa, el modelo de lenguaje grande de Meta que recientemente se filtró en línea. Y para entrenar este modelo de lenguaje, los científicos usaron el modelo “text-davinci-003” de OpenAI para generar 52K datos de autoaprendizaje de alta calidad. Con este conjunto de datos, ajustaron el modelo LLaMA usando el marco de entrenamiento de HuggingFace y lanzaron Alpaca 7B. También puede usar el modelo LLaMA de Meta, pero en mis pruebas, Alpaca LLM de Stanford funcionó mucho mejor y también es bastante rápido.
¿Qué tipo de hardware necesita para ejecutar Alpaca?
Puedes usar Alpaca 7B en cualquier máquina decente. Instalé Alpaca 7B en mi PC básica y funcionó bastante bien. Para darle una idea, mi PC funciona con un procesador Intel i3 de décima generación con 256 GB de SSD y 8 GB de RAM. Para la GPU, estoy usando la GPU GeForce GT 730 de nivel básico de Nvidia con 2 GB de VRAM.
Alpaca-LoRA(7B)をRaspberry Pi CM4で動かしてみました^^)/ #LLM #IoT pic.twitter.com /SyP3HZhMYX— 30.° aniversario de Mitsunori SATOMI＠VR (@gravitino) 20 de marzo de 2023
Incluso sin una GPU dedicada, puede ejecutar Alpaca localmente. Sin embargo, el tiempo de respuesta será lento. Aparte de eso, hay usuarios que han podido ejecutar Alpaca incluso en una computadora diminuta como Raspberry Pi 4 . Por lo tanto, puede inferir que el modelo de lenguaje Alpaca también puede ejecutarse muy bien en computadoras de nivel de entrada.
Configure el entorno de software para ejecutar Alpaca y LLaMA
ventanas
En Windows, debe instalar Python, Node.js y C++ para comenzar a usar un modelo de lenguaje grande sin conexión en su computadora. Aquí está cómo hacerlo.
1. Primero, descargue Python 3.10 (o anterior) desde aquí. Desplácese hacia abajo y haga clic en “Instalador de Windows (64 bits)” para descargar el archivo de instalación. 
2. Inicie el archivo de instalación y active la casilla de verificación junto a “Agregar Python.exe a PATH”. Ahora, instale Python con todas las configuraciones predeterminadas.
3. Después de eso, instale Node.js versión 18.0 (o superior) desde aquí. Mantenga todo predeterminado mientras instala el programa. 
4. Finalmente, descargue la edición “Community” de Visual Studio desde este enlace de forma gratuita. 
5. Inicie el archivo de instalación de Visual Studio 2022 e inicialmente descargará algunos archivos. Después de eso, se abrirá una nueva ventana. Aquí, asegúrese de que “Desarrollo de escritorio con C++” esté habilitado.
6. Finalmente, haga clic en “Instalar” y espere hasta que se complete la instalación.
7. Recomiendo reiniciar su computadora una vez que todo esté instalado. A continuación, abra el “Símbolo del sistema” y ejecute los siguientes comandos para verificar si Python y Node.js se instalaron correctamente. Ambos deben devolver el número de versión. Ahora estás listo para irte.
python --versionnode --versión
MacOS de Apple
Python generalmente viene preinstalado en macOS, por lo que solo necesita instalar Node.js (versión 18.0 o superior). Aquí sabrás como podrás hacerlo:
1. Descargue el instalador de macOS Node.js (versión 18.0 o superior) desde el enlace aquí. 
2. A continuación, abra la Terminal y ejecute el siguiente comando para verificar si Node.js está instalado correctamente. Si obtiene un número de versión a cambio, está listo para comenzar.
nodo --versión
3. A continuación, verifique la versión de Python ejecutando el siguiente comando. Debe ser Python 3.10 o inferior.
python3 --versión
4. Si no obtiene resultados o tiene la última versión de Python, descargue Python 3.10 (o anterior) desde aquí. Desplácese hacia abajo y haga clic en “macOS 64-bit universal2 installer” para descargar Python. Ahora, instálalo en tu Mac.
Linux y ChromeOS
En Linux y ChromeOS, debe configurar Python y Node.js antes de ejecutar los modelos Alpaca y LLaMA sin conexión. Estos son los pasos a seguir.
1. Abra la Terminal y ejecute el siguiente comando para comprobar la versión de Python. Si es Python 3.10 o inferior, ya está todo listo.
python3 --versión
2. En caso de que tenga una versión superior, puede usar los siguientes comandos para instalar Python 3.10 en Linux y ChromeOS.
sudo apt install software-properties-commonsudo add-apt-repository ppa:deadsnakes/ppasudo apt-get upgradesudo apt-get install python3.10
3. Después de Python, instale Node.js ejecutando el siguiente comando.
sudo apt instalar nodejs
4. Después de la instalación, ejecute el siguiente comando para comprobar la versión de Node.js. Debe ser 18.0 o superior.
nodo --versión
Instale los modelos Alpaca y LLaMA en su computadora
Una vez que haya configurado Python y Node.js, es hora de instalar y ejecutar un LLM similar a ChatGPT en su PC. Asegúrese de que la Terminal detecte los comandos python y node antes de continuar.
1. Abra la Terminal (en mi caso, Símbolo del sistema) y ejecute el siguiente comando para instalar el modelo Alpaca 7B LLM (se requieren alrededor de 4,2 GB de espacio en disco). Si desea instalar el modelo Alpaca 13B, reemplace 7B con 13B . El modelo más grande necesita 8,1 GB de espacio.
npx dalai alpaca instalar 7B
2. Ahora, escriba “y” y presione Enter. Esto iniciará la instalación del modelo Alpaca 7B. Todo el proceso tomará de 20 a 30 minutos, según la conexión a Internet y el tamaño del modelo.
3. Una vez completada la instalación, verá una pantalla como esta.
4. Puede optar por instalar también los modelos LLaMA o pasar al siguiente paso para probar el modelo Alpaca al instante. Recuerda, LLaMA es mucho más grande en tamaño. Su modelo 7B ocupa hasta 31 GB de espacio. Para instalarlo, ejecute el siguiente comando. Puede reemplazar 7B con 13B , 30B y 65B . El modelo más grande ocupa hasta 432 GB de espacio.
npx dalai llama instalar 7B
5. Finalmente, ejecute el siguiente comando e iniciará el servidor web al instante.
servicio npx dalai
6. Use un navegador web en su PC y abra la siguiente dirección. Esto lo llevará a la interfaz de usuario web donde puede probar los modelos Alpaca y LLaMA localmente y sin Internet.
http://localhost:3000
7. Aquí, debe elegir el modelo “Alpaca 7B” o “LLaMA 7B” del menú desplegable “modelo” en la esquina superior derecha. Como solo he instalado el modelo Alpaca 7B, este es mi predeterminado.
8. Ahora puede comenzar a usar este modelo de lenguaje similar a ChatGPT en su PC sin conexión a Internet. Reemplace “PROMPT” con su consulta y haga clic en “Ir”.
use ChatGPT 4 gratis , diríjase a nuestro artículo vinculado para obtener algunos recursos increíbles. Y en caso de que desee entrenar un chatbot de IA basado en sus propios documentos, tenemos una guía detallada lista para usted. Finalmente, si tiene algún problema, háganoslo saber en la sección de comentarios a continuación.
