Añadimos un LLM personalizado a un robot comercial (Parte 2): Ejemplo de despliegue del entorno

Introducción

El en artículo anterior ofrecimos al lector un conocimiento básico del hardware necesario para ejecutar LLM de forma local y mencionamos las diferencias entre los entornos, sus ventajas y desventajas. En este artículo, no nos ocuparemos de la configuración del entorno de otros sistemas como Windows, Linux y macOS: en su lugar, solo se abarcaremos la configuración paso a paso de Windows+WSL.

Contenido:

1. Introducción
2. WSL2
3. Instalación de WSL2
4. Personalización
5. Comandos generales para WSL
6. Configuración del software
7. Conclusión

WSL2

1. ACERCA DE WSL2

WSL2 es una actualización importante de la versión original de WSL lanzada por Microsoft en 2017. WSL2 no es solo una actualización, este subsistema es más rápido, más versátil y utiliza un núcleo Linux real. A día de hoy, muchas personas, incluidos algunos profesionales informáticos, desconocen la existencia de WSL, y siguen utilizando el paquete Windows + máquina virtual o utilizan el modo de sistema dual, pasando desde Windows cuando necesitan utilizar Linux.

Obviamente, algunas tareas pueden requerir un entorno Linux completo que WSL no puede sustituir, por lo que estos métodos tienen su razón de ser.

2. ¿Para qué sirve WSL2?

Al trabajar con inteligencia artificial, usamos principalmente potentes herramientas de línea de comandos de Linux y computación acelerada por GPU, por lo que los sistemas duales o un paquete de Windows + máquina virtual parecen innecesarios. El propio WSL2 tiene un núcleo Linux completo que se acerca más a un entorno Linux real. WSL2 puede acoplarse fácilmente al sistema de archivos de Windows, permitiéndole gestionar su sistema de archivos como una carpeta en Windows. En menos de un segundo, podrá ejecutar la línea de comandos de Linux desde Windows. Así pues, si desea usar las funciones y herramientas de Linux de forma eficaz y cómoda en un entorno Windows, WSL2 le parecerá un compañero inestimable.

Instalación de WSL2

1. Requisitos de instalación:

1). Windows 10 versión 2004 o superior (versión interna 19041 o superior) o Windows 11. También debería instalar la actualización KB4566116. El funcionamiento resulta posible con una versión anterior, pero será necesaria la operación manual. Hablaremos de ello más adelante.

2). Para WSL2, quizá tenga que activar la opción "Plataforma de máquina virtual" (Virtual Machine Platform). ¿Por qué "quizá"? Porque no he comprobado si es posible la instalación sin esta opción en Windows 10. No obstante, he instalado WSL2 en mi ordenador (Win11-22H2) sin activar esta opción. Así que si la instalación falla, puede entrar en "Componentes de Windows" a través del menú Inicio y habilitar Hyper-V como se muestra en la siguiente figura.

3). La cantidad de espacio reservado es de al menos 1 GB. Estos requisitos suponen la base de un funcionamiento correcto. WSL2 se instalará en la unidad C. También se puede instalar en otras particiones.

2. Instalación

1). Si no tiene requisitos de versión específicos para su distribución de Linux, simplemente abra PowerShell como administrador y escriba wsl --install.

2). Si desea especificar la versión de distribución de Linux, abra PowerShell como administrador y ejecute el siguiente comando para instalar WSL2 indicando la versión de distribución de Linux:

wsl --install -d <Nombre de la distribución> (por ejemplo: Ubuntu-20.04).

Si desea una selección más amplia, use wsl --list --online (o wsl -l -o) para ver las distribuciones de Linux disponibles. La buena noticia es que puede instalar varias versiones diferentes de Linux entre las que alternar mientras trabaja.

Consejo: Si la distribución de Linux deseada no se encuentra en la lista de distribuciones disponibles, puede usar archivos TAR para importar cualquier distribución de Linux.

3). Existen varias formas de iniciar el subsistema:

•  Abra la distribución desde el menú Inicio (Ubuntu por defecto).
•  Escriba 'wsl' en el símbolo del sistema de Windows o PowerShell y pulse Intro.
•  Introduzca el nombre de la distribución instalada en la línea de comandos de Windows o PowerShell. Por ejemplo: ubuntu.
•  Si ha instalado varias versiones de Linux, puede usar el comando wsl -l -v para ver la información necesaria y, a continuación, utilizar el comando wsl [nombre] para seleccionar la versión que desea ejecutar. Por ejemplo: wsl ubuntu.

4). La primera vez que lo ejecute, se le pedirá que establezca un nombre de usuario y una contraseña. Tenga en cuenta que cuando introduzca una contraseña, esta no se mostrará y el cursor no se moverá. Deberá recordar la contraseña y pulsar la tecla intro. El sistema le pedirá que lo introduzca cuando necesite derechos de administrador (por ejemplo, al ejecutar operaciones sudo). Si olvida la contraseña, hay una forma de solucionar este problema sin reinstalar el subsistema.

5). Para salir del subsistema, bastará con escribir "exit" en la línea de comandos. Si no está seguro de si un subsistema se está ejecutando, escriba "wsl -l -v" en la línea de comandos o en PowerShell para ver la información correspondiente, y "wsl --shutdown" para apagar todos los subsistemas.

Consejo: Si desea usar el subsistema de gráficos, podrá consultar la sección correspondiente en el sitio web oficial de Microsoft para implementarlo, ¡pero le desaconsejamos este punto encarecidamente!

Personalización

1. Migración a otras secciones

Si los recursos de disco de su sistema son relativamente limitados, podrá trasladar el subsistema a otros discos o particiones. Procedimiento:

1). Escriba 'wsl -l -v --all' en la línea de comandos de Windows o PowerShell para ver el subsistema que se va a migrar.

2). Escriba "wsl --shutdown" en la línea de comandos de Windows o PowerShell para asegurarse de que se cierran todos los subsistemas.

3). Escriba en la línea de comandos de Windows o PowerShell 'wsl --export <Nombre del subsistema> <Ruta donde se almacenará el paquete comprimido del subsistema>', por ejemplo: 'wsl --export ubuntu f:\wsl-ubuntu.tar'.

4). Escriba en la línea de comandos de Windows o PowerShell: 'wsl --unregister <Nombre del subsistema>', por ejemplo: 'wsl --unregister ubuntu'.

5). Escriba en la línea de comandos de Windows o PowerShell: 'wsl --import <Nombre del subsistema> <Ruta de migración del subsistema> <Ruta donde se almacenará el paquete del subsistema comprimido exportado original> --version 2', por ejemplo: 'wsl --import new_ubuntu F:\wsl\ubuntu_wsl f:\wsl-ubuntu.tar --version 2'.

6). El paquete de subsistema comprimido original exportado puede borrarse o usarse como archivo de copia de seguridad.

2. Creación de archivos de configuración

Existen dos tipos de archivos de configuración del subsistema WSL2: uno es la configuración global en Windows y el otro es el archivo de configuración local en el subsistema. Básicamente estamos ajustando el archivo de configuración global, su ruta: 'C:\Users\<UserName>\.wslconfig'. Deberá abrirlo en un editor de texto para editarlo. Los ajustes principales que necesitaremos configurar son memoria, swap (área de intercambio) y swapfile (archivo de intercambio). Antes de la configuración, asegúrese de que el subsistema se encuentra en estado cerrado, ¡esto es muy importante!

• -memory: cantidad máxima de memoria asignada al subsistema.
• -swap: cantidad de espacio de intercambio añadido a la máquina virtual WSL 2, 0 indicará que no hay archivo de intercambio. El almacenamiento de intercambio es una memoria RAM de disco que se utiliza cuando las necesidades de memoria superan las limitaciones de los dispositivos de hardware.
• -swapfile: ruta absoluta de Windows a la unidad de intercambio del disco duro virtual. Esta ruta podrá configurarse según sus preferencias.

Entre en el archivo de configuración, ábralo con el Bloc de notas y añada las siguientes 4 líneas de contenido. Observe que no hay signos de puntuación al final:

[wsl2].

memory=8 GB

swap=60GB

swapfile=G:swsl\swap\wsl-swap.vhdx

Sustituya 'G:\\wsl\swap\\\wsl-swap.vhdx' por su ruta.

Nota: Cuando ejecute el LLM, intenta asegurarse de que su valor de memoria + el valor de intercambio es mayor que el tamaño del modelo, de lo contrario tendrá problemas para leer el modelo.

3. Instalación de WSL2 en versiones anteriores de Windows 10

1). Asegúrese de que la versión del sistema es 1903 o superior, y que la versión interna es 18362.1049 o superior.

2). Abra PowerShell como administrador y ejecute el comando: 'dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart', después reinicie el ordenador.

3). Descargue el paquete del núcleo Linux, enlace de descarga: 'https://wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi'.

4). Haga doble clic para ejecutar el paquete del núcleo descargado y completar la instalación.

5). Abra PowerShell como administrador y ejecute el comando 'wsl --set-default-version 2'.

6). Abra Microsoft Store y elija su distribución de Linux preferida haciendo clic en el icono para instalar.

Nota: Después de usar el subsistema durante un cierto tiempo, podrá eliminar el contenido innecesario (como la caché) para liberar espacio. Aunque se borrará el contenido, comprobará que el espacio ocupado por el disco duro virtual del subsistema no se ha reducido. Ejecute un símbolo del sistema o PowerShell con privilegios de administrador y use el comando de gestión de disco duro virtual 'vdisk' en Disk Part para comprimir el disco duro virtual.

Comandos generales para WSL

Uso: wsl.exe [Argument] [Options...] [CommandLine]

1. Argumentos para ejecutar archivos binarios Linux

    Si no especifica ninguna línea de comandos, wsl.exe iniciará el shell predeterminado.

    --exec, -e <CommandLine>

        Ejecuta el comando indicado sin utilizar el shell Linux por defecto.

    --shell-type <Type>

        Ejecuta el comando especificado usando el tipo de shell proporcionado.

        Tipos:

• standard

                Ejecuta el comando especificado usando el shell Linux por defecto.

• login

                Ejecuta el comando especificado usando el shell de inicio de sesión predeterminado de Linux como procesador de comandos inicial (login shell).

• none

                Ejecuta el comando indicado sin utilizar el shell Linux por defecto.

    --

        Transmitir el resto de la línea de comandos tal cual.

2. Ajustes

    --cd <Directory>

        Establece el directorio indicado como directorio de trabajo actual.

        Si se usa ~, se utilizará la ruta principal del usuario de Linux. Si la ruta empieza por un carácter, se interpretará como una ruta absoluta de Linux.

        En caso contrario, este valor deberá ser una ruta absoluta de Windows.

    --distribution, -d <Distro>

        Ejecuta la distribución especificada.

    --user, -u <UserName>

        Ejecutar como el usuario especificado.

    --system

        Inicie el shell para la distribución del sistema.

3. Argumentos para gestionar el subsistema Windows para Linux

    --help

        Mostrar información sobre el uso.

    --debug-shell

        Abrir el shell de depuración WSL2 para realizar diagnósticos.

    --event-viewer

        Abrir la representación de aplicaciones del Visor de eventos de Windows.

    --install [Distro] [Options...]

        Instalar la distribución del subsistema Windows para Linux.

        Para ver una lista con las distribuciones disponibles, use 'wsl.exe --list --online'.

        Opciones:

            --no-launch, -n

                No ejecutar la distribución después de la instalación.

            --web-download

                Descargar la distribución de Internet en lugar de la Microsoft Store.

    --mount <Disk>

        Conectar y montar discos físicos o virtuales en todas las distribuciones WSL 2.

        Opciones:

            --vhd

                Especificar que <Disk> representa un disco duro virtual.

            --bare

                Conectar el disco a WSL2, pero no montarlo.

            --name <Name>

                Montar el disco utilizando un nombre personalizado para el punto de montaje.

            --type <Type>

                El sistema de archivos usado al montar el disco, si no se especifica, por defecto será ext4.

            --options <Options>

                Otras opciones de montaje.

            --partition <Index>

                El índice de la partición a montar, si no se especifica, por defecto será el disco entero.

    --release-notes

        Abrir un navegador web para ver los detalles de la actualización de WSL.

    --set-default-version <Version>

        Cambiar la versión de instalación por defecto para nuevas distribuciones.

    --shutdown

        Apagar inmediatamente todas las distribuciones en ejecución y la máquina virtual WSL 2 ligera.

    --status

        Muestra el estado del subsistema Windows para Linux.

    --unmount [Disk]

        Desmontar y separar el disco de todas las distribuciones WSL2. Si se llama sin argumentos, desmontar y desconectar todos los discos.

    --update

        Actualizar el paquete del subsistema Windows para Linux.

        Opciones:

            --web-download

                Descargar actualizaciones desde Internet en lugar de desde Microsoft Store.

            --pre-release

                Descargar la versión preliminar, si está disponible. Indica el uso de --web-download.

    --version, -v

        Muestra información sobre la versión.

4. Argumentos para la gestión de distribuciones en el subsistema Windows para Linux

    --export <Distro> <FileName> [Options]

        Exportar la distribución como archivo tar.

        Para la salida estándar, el nombre de archivo podría ser "-".

        Opciones:

            --vhd

                Especificar la distribución que desea exportar como archivo .vhdx.                

    --import <Distro> <InstallLocation> <FileName> [Options]

        Importar el archivo tar especificado como una nueva distribución. Para la entrada estándar, el nombre de archivo podría ser "-".

        Opciones:

            --version <Version>

                Especificar la versión de la nueva distribución.                

            --vhd

                Especificar que el archivo proporcionado es .vhdx, no tar.

                La operación creará una copia del archivo .vhdx en la ubicación de instalación indicada.                

    --import-in-place <Distro> <FileName>

        Importar el .vhdx especificado como una nueva distribución.

        Este disco duro virtual debe formatearse usando el sistema de archivos ext4.        

    --list, -l [Options]

        Lista de distribuciones.        

        Opciones:

            --all

                Enumerar todas las distribuciones, incluidas las que se están instalando o desinstalando actualmente.                

            --running

                Enumerar solo las distribuciones que funcionan actualmente.                

            --quiet, -q

                Mostrar solo los nombres de las distribuciones.                

            --verbose, -v

                Mostrar información detallada sobre todas las distribuciones.                

            --online, -o

                Usar 'wsl.exe -install' para mostrar una lista de las distribuciones disponibles que pueden instalarse.                

    --set-default, -s <Distro>

         Establecer la distribución como distribución por defecto.         

     --set-version <Distro> <Version>

         Cambiar la versión de la distribución especificada.         

     --terminate, -t <Distro>

         Detener la distribución especificada.         

     --unregister <Distro>

         Anular el registro de la distribución y eliminar el sistema de archivos raíz.

Configuración del software

Ahora vamos a desplegar el software correspondiente en WSL, incluyendo el software de gestión de entorno, el software de edición de código, etc., y a mostrar un ejemplo que demuestre cómo ejecutar LLM en WSL2.

1. Gestión de bibliotecas Python

Usaremos miniconda principalmente para gestionar bibliotecas Python.

1. Ahora, iniciaremos la línea de comandos WSL y escribiremos: wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh.
2. Una vez que la descarga se haya completado, deberemos conceder a este archivo permisos más altos: sudo chmod 777 Miniconda3-latest-Linux-x86_64.sh, el sistema nos pedirá una contraseña, esta será la contraseña que hemos introducido al crear WSL2.
3. Después escribiremos en la línea de comandos: ./Miniconda3-latest-Linux-x86_64.sh, una vez completada la instalación, nuestra línea de comandos tendrá más palabras (básicas) al principio, como se muestra:

2. Editor de código

• Si ya ha instalado editores de código como Pycharm o vscode en su entorno Windows, podrá encontrar el entorno Python WSL2 a través de la configuración.
• Si no es así, escriba 'code .' en la línea de comandos de WSL2 y espere a que se instale automáticamente. Se ejecutará el vscode. Una vez iniciado, verá la etiqueta WSL en la esquina inferior izquierda indicando que vscode está conectado a la WSL como mostramos:

Consejo: En la línea de comandos del subsistema wsl2, use el comando cd para ir directamente a la ubicación donde necesita editar el código. Entonces 'code .' ejecutará inmediatamente vscode y encontrará esa carpeta, lo cual resulta muy práctico.

3. Salida acelerada usando el procesador gráfico

Aquí solo nos ocuparemos de la aceleración de las tarjetas gráficas NVIDIA. Si usa otras tarjetas, busque los métodos de configuración correspondientes.

1). Configuración de la aceleración NVIDIA CUDA con Docker

• Instale el soporte Docker: Escriba 'curl https://get.docker.com | sh' en la línea de comandos y, a continuación, escriba 'sudo service docker start'. Esto iniciará el servicio Docker.
• Configure un repositorio estable para NVIDIA Container Toolkit: Ejecute los siguientes comandos secuencialmente en la línea de comandos: 

1. distribution=$(. /etc/os-release;echo $ID$VERSION_ID);
2. curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-docker-keyring.gpg;
3. curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-docker-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-docker.list.

• Instala el paquete NVIDIA runtime y sus dependencias: ejecute secuencialmente los siguientes comandos en la línea de comandos: sudo apt-get update; sudo apt-get install -y nvidia-docker2.
• Inicie el contenedor: Ejecute 'docker run --gpus all -it --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 nvcr.io/nvidia/tensorflow:20.03-tf2-py3' en la línea de comandos. Una vez completado, introduzca el contenedor docker con capacidad de aceleración CUDA como se muestra en la figura:

2). Configuración manual de la aceleración NVIDIA CUDA

• - Obtenga el paquete de instalación: inicie 'wget https://developer.download.nvidia.com/compute/cuda/12.2.2/local_installers/cuda_12.2.2_535.104.05_linux.run' en la línea de comandos.
• - Inicie el paquete de instalación: ejecute 'sudo sh cuda_12.2.2.2_535.104.05_linux.run' en la línea de comandos. Si se produce un error, añada "--override" al comando, por ejemplo: sudo sh cuda_12.2.2_535.104.05_linux.run --override.
• - Añada las variables de entorno correspondientes: ejecute 'sudo vim ~/.bashrc' en la línea de comandos y añada los siguientes caracteres al final del archivo: 

```

export PATH=/usr/local/cuda-12.2.2/bin${PATH:+:${PATH}}

export LD_LIBRARY_PATH=/usr/local/cuda-12.2.2/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

export CUDA_HOME=/usr/local/cuda-12.2.2${CUDA_HOME:+:${CUDA_HOME}}

```

• - Actualice las variables de entorno: ejecute 'source ~/.bashrc' en la línea de comandos.

Nota: Si ejecuta 'sudo vim ~/.bashrc' y descubre que no está familiarizado con vim, también puede encontrar el archivo y copiarlo en un entorno Windows para utilizar un editor de texto para editar y añadir contenido relevante, y luego copiarlo de nuevo después de editarlo. La ventaja de este enfoque es que también hace una copia de seguridad de '.bashrc'.

4. Iniciando el LLM

1). Cree un entorno virtual conda: escriba 'conda create -n llm python=3.10' en la línea de comandos.

Notas:

1. 'llm' es el nombre del entorno virtual que queremos crear, que podrá cambiarse aleatoriamente.
2. '-python=3.10' especifica la versión de Python usada por el entorno virtual. Aunque puede especificar 'conda create -n llm', ¡le recomiendo encarecidamente que especifique la versión!

2). Cambie al entorno virtual: escriba 'conda activate llm' en la línea de comandos para activar nuestro entorno virtual.

'(base)' al principio de la línea de comandos cambiará a "(llm)". Si quiere salir del entorno virtual, escriba 'conda deactivate'.

3). Encuentre el LLM que necesita en https://huggingface.co.

Como hay demasiados modelos, puede consultar la clasificación de modelos de código abierto en https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard. Se recomienda usar el formato soportado por llama.cpp. Si su país (región) no tiene acceso a HuggingFace, ¡use la magia para vencer a la magia!

4). Cargue el modelo: en primer lugar, tendrá que habilitar el soporte para archivos git grandes, escriba 'git lfs install' en la línea de comandos.

Una vez iniciado, escriba 'git clone https://huggingface.co/<nombre de la biblioteca>'. Por ejemplo, 'git clone https://huggingface.co/Phind/Phind-CodeLlama-34B-v2', espere a que se complete la descarga.

5). Instale la versión Python de llama.cpp llama-cpp-python: Escriba 'CMAKE_ARGS="-DLLAMA_CUBLAS=on" pip install llama-cpp-python' en la línea de comandos y espere a que se complete la instalación. Una vez instalado, llama.cpp admitirá la salida tanto en CPU como en GPU. Obviamente, también admitirá la aceleración de tarjetas gráficas de otras marcas (véase https://github.com/abetlen/llama-cpp-python).

Nota: Si no dispone de tarjeta gráfica o no ha instalado el soporte de aceleración de GPU, use el comando 'pip install llama-cpp-python' para realizar la instalación. Aunque la salida es más lenta, puede usarse.

6). Inicie la salida: Cree un archivo py, lo llamaremos test.py. Copie el siguiente contenido en el archivo:

from llama_cpp import Llama

llm = Llama(model_path="./models/7B/llama-model.gguf")

output = llm("Q: Name the planets in the solar system? A: ", max_tokens=32, stop=["Q:", "\n"], echo=True)

print(output)

A continuación, ejecute 'python test.py' en la línea de comandos y verá el siguiente resultado:

{
  "id": "cmpl-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "object": "text_completion",
  "created": 1679561337,
  "model": "./models/7B/llama-model.gguf",
  "choices": [
    {
      "text": "Q: Name the planets in the solar system? A: Mercury, Venus, Earth, Mars, Jupiter, Saturn, Uranus, Neptune and Pluto.",
      "index": 0,
      "logprobs": None,
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 14,
    "completion_tokens": 28,
    "total_tokens": 42
  }
}

Notas:

1. 'model_path' es la ubicación donde usted ha cargado los archivos del modelo;

2. El contenido después de Q en "Q: Name the planets in the solar system? R: " esa es la pregunta que quiere hacer. Podrá sustituirla por cualquier otra pregunta.

3. El contenido después de A en "Q: Name the planets in the solar system? R: " contiene la respuesta del LLM.

Conclusión

En este artículo, hemos explicado paso a paso cómo crear un entorno WSL2 en el que ejecutar LLM y hemos detallado los distintos pormenores del uso de WSL2. Luego hemos presentado un ejemplo sencillo para ejecutar la salida de LLM con la menor cantidad de código. Estamos seguros de que usted también apreciará la sencillez y la potencia de llama.cpp. En el próximo artículo, analizaremos cómo seleccionar un modelo apropiado a partir de un conjunto de LLM para adaptarlo a nuestro objetivo de integración en el trading algorítmico.

Permanezca atento a las novedades.