Добавляем пользовательскую LLM в торгового робота (Часть 2): Пример развертывания среды

Введение

В предыдущей статье были представлены базовые знания об оборудовании для локального запуска LLM, а также упомянуты различия между средами, их преимущества и недостатки. В этой статье мы не будем рассматривать настройку среды других систем, таких как Windows, Linux и MacOS. Вместо этого будет рассмотрена только поэтапная настройка Windows+WSL.

Содержание:

1. Введение
2. WSL2
3. Установка WSL2
4. Настройка
5. Общие команды для WSL
6. Конфигурация программного обеспечения
7. Заключение

WSL2

1. О WSL2

WSL2 — это крупное обновление исходной версии WSL, выпущенной Microsoft еще в 2017 году. WSL2 — это не просто обновление. Эта подсистема быстрее, универсальнее и использует настоящее ядро Linux. По сей день многие люди, в том числе некоторые IT-специалисты, не знают о существовании WSL. Они по-прежнему продолжают использовать связку Windows + виртуальная машина или использовать режим двойной системы, переключаясь с Windows, когда им нужно использовать Linux.

Конечно, для некоторых задач может потребоваться полноценная среда Linux, которую WSL заменить не может, поэтому такие методы имеют право на существование.

2. Для чего нужна WSL2?

Работая с искусственным интеллектом, мы в основном используем мощные инструменты командной строки Linux и вычисления с ускорением на графическом процессоре, поэтому двойные системы или связка Windows + виртуальная машина кажутся лишними. Сама WSL2 имеет полное ядро Linux, которое ближе к реальной среде Linux. WSL2 может легко стыковаться с файловой системой Windows. Вы можете управлять ее файловой системой, как папкой в Windows. Менее чем за секунду вы можете запустить командную строку Linux из Windows. Поэтому, если вы хотите эффективно и удобно использовать функции и инструменты Linux в среде Windows, WSL2 - неоценимый помощник.

Установка WSL2

1. Требования к установке:

1). Windows 10 версии 2004 или выше (внутренняя версия 19041 или выше) или Windows 11. Также должно быть установлено обновление KB4566116. Работа возможна и в более старой версии, но потребуется ручное управление. Об этом поговорим позже.

2). Для WSL2 может потребоваться включить опцию "Платформа виртуальной машины" (Virtual Machine Platform). Почему "может"? Потому что я не проверял, возможна ли установка без этой опции в Windows 10. Однако я устанавливал WSL2 на своем компьютере (Win11-22H2) без включения этой опции. Поэтому, если установка не удалась, зайдите в "Компоненты Windows" через меню "Пуск" и включите Hyper-V, как показано на рисунке ниже.

3). Объем зарезервированного места - не менее 1 ГБ. Эти требования - основа для нормальной работы. WSL2 будет установлена на диск C. Также возможна установка в другие разделы.

2. Установка

1). Если у вас нет конкретных требований к версии дистрибутива Linux, просто откройте PowerShell от имени администратора и введите wsl --install.

2). Если вы хотите указать версию дистрибутива Linux, откройте PowerShell от имени администратора, а затем выполните следующую команду, чтобы установить WSL2 с указанием версии дистрибутива Linux:

wsl --install -d <Имя Дистрибутива> (например: Ubuntu-20.04).

Если вам нужен более широкий выбор, используйте wsl --list --online (или wsl -l -o) для просмотра доступных дистрибутивов Linux. Хорошей новостью является то, что вы можете установить несколько разных версий Linux, между которыми можно переключаться во время работы.

Совет: Если нужного дистрибутива Linux нет в списке доступных, вы можете использовать файлы TAR для импорта любого дистрибутива Linux.

3). Существует несколько способов запуска подсистемы:

•  Откройте дистрибутив из меню "Пуск" (по умолчанию Ubuntu).
•  Введите 'wsl' в командной строке Windows или PowerShell и нажмите Enter.
•  Введите имя установленного дистрибутива в командной строке Windows или PowerShell. Например: ubuntu.
•  Если вы установили несколько версий Linux, вы можете использовать команду wsl -l -v для просмотра необходимой информации, а затем использовать команду wsl [имя] для выбора версии для запуска. Например: wsl ubuntu.

4). При первом запуске вам будет предложено настроить имя пользователя и пароль. Обратите внимание, что при вводе пароля он не будет отображаться, а курсор не будет перемещаться. Вам нужно запомнить пароль, а затем нажать клавишу ввода. Система попросит вас ввести его, когда вам потребуются права администратора (например, при выполнении операций sudo). Если вы забыли пароль, есть способ решить эту проблему без переустановки подсистемы.

5). Для выхода из подсистемы просто введите "exit" в командной строке. Если вы не уверены, запущена ли подсистема, введите 'wsl -l -v' в командной строке или PowerShell для просмотра соответствующей информации, а также 'wsl --shutdown' для завершения работы всех подсистем.

Совет: Если вы хотите использовать графическую подсистему, вы можете обратиться к соответствующему разделу на официальном сайте Microsoft для ее реализации, но автор настоятельно не советует этого делать!

Настройка

1. Миграция на другие разделы

Если ресурсы вашего системного диска относительно ограничены, вы можете перенести подсистему на другие диски или разделы. Порядок действий:

1). Введите в командной строке Windows или PowerShell 'wsl -l -v --all', чтобы просмотреть подсистему, которую необходимо перенести.

2). Введите в командной строке Windows или PowerShell 'wsl --shutdown', чтобы убедиться, что все подсистемы закрыты.

3). Введите в командной строке Windows или PowerShell 'wsl --export <Имя Подсистемы> <Путь, по которому будет храниться сжатый пакет подсистемы>', например: 'wsl --export ubuntu f:\wsl-ubuntu.tar'.

4). Введите в командной строке Windows или PowerShell: 'wsl --unregister <Имя Подсистемы>', например: 'wsl --unregister ubuntu'.

5). Введите в командной строке Windows или PowerShell: 'wsl --import <Имя Подсистемы> <Путь для миграции подсистемы> <Путь, по которому хранится исходный экспортированный сжатый пакет подсистемы> --version 2', например: 'wsl --import new_ubuntu F:\wsl\ubuntu_wsl  f:\wsl-ubuntu.tar --version 2'.

6). Исходный экспортированный сжатый пакет подсистемы можно удалить или использовать в качестве файла резервной копии.

2. Настройка файлов конфигурации

Существует два типа файлов конфигурации подсистемы WSL2: один — глобальная конфигурация в Windows, другой — локальный файл конфигурации в подсистеме. В основном мы настраиваем файл глобальной конфигурации, его путь: 'C:\Users\<UserName>\.wslconfig'. Его нужно открыть в текстовом редакторе для редактирования. Основные параметры, которые нам нужно настроить, — это memory (память), swap (подкачка) и swapfile (файл подкачки). Перед настройкой убедитесь, что подсистема находится в закрытом состоянии, это очень важно!

• -memory: максимальный объем памяти, выделяемый подсистеме.
• -swap: объем пространства подкачки, добавляемого виртуальной машине WSL 2, 0 означает отсутствие файла подкачки. Хранилище подкачки — это дисковая оперативная память, используемая, когда потребность в памяти превышает ограничения аппаратных устройств.
• -swapfile: абсолютный путь Windows к виртуальному жесткому диску подкачки. Этот путь может быть установлен в соответствии с вашими предпочтениями.

Перейдите к файлу конфигурации, откройте его с помощью Блокнота, добавьте следующие 4 строки содержимого. Обратите внимание, что в конце нет знаков препинания:

[wsl2]

memory=8GB

swap=60GB

swapfile=G:\\wsl\\swap\\wsl-swap.vhdx

Замените 'G:\\wsl\\swap\\wsl-swap.vhdx' на ваш путь.

Примечание: При запуске LLM старайтесь, чтобы значение вашей памяти + значение подкачки было больше, чем размер модели, иначе при чтении модели возникнут проблемы.

3. Установка WSL2 в старых версиях Windows 10

1). Убедитесь, что версия системы — 1903 или выше, а внутренняя версия — 18362.1049 или выше.

2). Откройте PowerShell от имени администратора и выполните команду: 'dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart', затем перезагрузите компьютер.

3). Загрузите пакет ядра Linux, ссылка для скачивания: 'https://wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi'.

4). Дважды кликните, чтобы запустить загруженный пакет ядра и завершить установку.

5). Откройте PowerShell от имени администратора и выполните команду 'wsl --set-default-version 2'.

6). Откройте Microsoft Store и выберите предпочитаемый дистрибутив Linux, щелкнув значок для установки.

Примечание: После использования подсистемы в течение определенного периода времени вы можете удалить ненужный контент (например, кэш), чтобы освободить место. Хотя содержимое будет удалено, вы обнаружите, что пространство, занимаемое виртуальным жестким диском подсистемы, не уменьшилось. Запустите командную строку или PowerShell с правами администратора и используйте команду управления виртуальным жестким диском 'vdisk' в Disk Part, чтобы сжать виртуальный жесткий диск.

Общие команды для WSL

Использование: wsl.exe [Argument] [Options...] [CommandLine]

1. Аргументы для запуска двоичных файлов Linux

    Если командная строка не указана, wsl.exe запустит оболочку по умолчанию.

    --exec, -e <CommandLine>

        Выполнить указанную команду без использования оболочки Linux по умолчанию.

    --shell-type <Type>

        Выполнить указанную команду, используя предоставленный тип оболочки.

        Типы:

• standard

                Выполнить указанную команду с использованием оболочки Linux по умолчанию.

• login

                Выполнить указанную команду с использованием оболочки Linux по умолчанию в качестве исходного командного процессора (login shell).

• none

                Выполнить указанную команду без использования оболочки Linux по умолчанию.

    --

        Передать оставшуюся часть командной строки как есть.

2. Настройки

    --cd <Directory>

        Установить указанный каталог в качестве текущего рабочего каталога.

        При использовании ~ будет использоваться основной путь пользователя Linux. Если путь начинается с символа, он будет интерпретироваться как абсолютный путь Linux.

        В противном случае это значение должно быть абсолютным путем Windows.

    --distribution, -d <Distro>

        Запустить указанный дистрибутив.

    --user, -u <UserName>

        Запуск от имени указанного пользователя.

    --system

        Запустить оболочку для дистрибутива системы.

3. Аргументы для управления подсистемой Windows для Linux

    --help

        Отображать информацию об использовании.

    --debug-shell

        Открыть оболочку отладки WSL2 для диагностики.

    --event-viewer

        Открыть представление приложения средства просмотра событий Windows.

    --install [Distro] [Options...]

        Установить дистрибутив подсистемы Windows для Linux.

        Чтобы просмотреть список доступных дистрибутивов, используйте 'wsl.exe --list --online'.

        Опции:

            --no-launch, -n

                Не запускать дистрибутив после установки.

            --web-download

                Загрузить дистрибутив из Интернета вместо Microsoft Store.

    --mount <Disk>

        Подключить и смонтировать физические или виртуальные диски во всех дистрибутивах WSL 2.

        Опции:

            --vhd

                Указать, что <Disk> представляет собой виртуальный жесткий диск.

            --bare

                Подключить диск к WSL2, но не монтировать его.

            --name <Name>

                Смонтировать диск, используя пользовательское имя для точки монтирования.

            --type <Type>

                Файловая система, используемая при монтировании диска, если не указана, по умолчанию - ext4.

            --options <Options>

                Другие варианты монтирования.

            --partition <Index>

                Индекс раздела, который нужно смонтировать, если не указан, по умолчанию равен всему диску.

    --release-notes

        Открыть веб-браузер для просмотра сведений об обновлении WSL.

    --set-default-version <Version>

        Изменить версию установки по умолчанию для новых дистрибутивов.

    --shutdown

        Немедленно завершить работу всех работающих дистрибутивов и облегченной виртуальной машины WSL 2.

    --status

        Отобразить состояние подсистемы Windows для Linux.

    --unmount [Disk]

        Размонтировать и отсоединить диск от всех дистрибутивов WSL2. Если вызывается без аргументов, размонтировать и отсоединить все диски.

    --update

        Обновить пакет подсистемы Windows для Linux.

        Опции:

            --web-download

                Загрузить обновления из Интернета вместо Microsoft Store.

            --pre-release

                Загрузите предварительную версию, если она доступна. Указывает на использование --web-download.

    --version, -v

        Отображать информацию о версии.

4. Аргументы для управления дистрибутивами в подсистеме Windows для Linux

    --export <Distro> <FileName> [Options]

        Экспортировать дистрибутив в виде tar-файла.

        Для стандартного вывода имя файла может быть "-".

        Опции:

            --vhd

                Указать дистрибутив для экспорта в виде .vhdx-файла.                

    --import <Distro> <InstallLocation> <FileName> [Options]

        Импортировать указанный tar как новый дистрибутив. Для стандартного ввода имя файла может быть "-".

        Опции:

            --version <Version>

                Указать версию нового дистрибутива.                

            --vhd

                Указать, что предоставленный файл — .vhdx, а не tar.

                Операция создаст копию .vhdx-файла в указанном месте установки.                

    --import-in-place <Distro> <FileName>

        Импортировать указанный .vhdx в качестве нового дистрибутива.

        Этот виртуальный жесткий диск должен быть отформатирован с использованием файловой системы ext4.        

    --list, -l [Options]

        Список дистрибутивов.        

        Опции:

            --all

                Перечислить все дистрибутивы, включая те, которые в данный момент устанавливаются или удаляются.                

            --running

                Перечислить только запущенные в данный момент дистрибутивы.                

            --quiet, -q

                Отображать только имена дистрибутивов.                

            --verbose, -v

                Отображать подробную информацию обо всех дистрибутивах.                

            --online, -o

                Использовать 'wsl.exe –install', чтобы отобразить список доступных дистрибутивов, которые можно установить.                

    --set-default, -s <Distro>

         Установить дистрибутив в качестве дистрибутива по умолчанию.         

     --set-version <Distro> <Version>

         Изменить версию указанного дистрибутива.         

     --terminate, -t <Distro>

         Остановить указанный дистрибутив.         

     --unregister <Distro>

         Отменить регистрацию дистрибутива и удалить корневую файловую систему.

Конфигурация программного обеспечения

Теперь развернем соответствующее программное обеспечение в WSL, включая программное обеспечение для управления средой, программное обеспечение для редактирования кода и т. д., и покажем пример, демонстрирующий, как запускать LLM в WSL2.

1. Управление библиотекой Python

В основном мы используем miniconda для управления библиотеками Python.

1. Запустим командную строку WSL и введем: wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh.
2. После завершения загрузки нам нужно дать этому файлу более высокие права: sudo chmod 777 Miniconda3-latest-Linux-x86_64.sh, система предложит ввести пароль, это пароль, который мы ввели при создании WSL2.
3. Введите в командной строке: ./Miniconda3-latest-Linux-x86_64.sh, после завершения установки в вашей командной строке появится больше (базовых) слов в начале, как показано на рисунке:

2. Редактор кода

• Если вы уже установили редакторы кода, такие как Pycharm или vscode в среде Windows, вы можете найти среду Python WSL2 через настройки.
• Если нет, введите 'code .' в командной строке WSL2 и дождитесь его автоматической установки. Будет запущен vscode. После запуска вы увидите надпись WSL в левом нижнем углу, указывающая, что vscode подключен к WSL, как показано на рисунке:

Совет: В командной строке подсистемы wsl2 используйте команду cd, чтобы перейти непосредственно к месту, где вам нужно отредактировать код. Затем 'code .' сразу запустит vscode и найдет эту папку, что очень удобно.

3. Ускоренный вывод с помощью графического процессора

Здесь я рассмотрю только ускорение видеокарт NVIDIA. Если вы используете другие карты, найдите соответствующие методы настройки.

1). Настройка ускорения NVIDIA CUDA с помощью Docker

• Установите поддержку Docker: Введите 'curl https://get.docker.com | sh' в командной строке, а затем введите 'sudo service docker start'. Это запустит службу Docker.
• Настройте стабильный репозиторий для набора инструментов NVIDIA для контейнеров: последовательно выполните следующие команды в командной строке: 

1. distribution=$(. /etc/os-release;echo $ID$VERSION_ID);
2. curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-docker-keyring.gpg;
3. curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-docker-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-docker.list.

• Установите пакет среды выполнения NVIDIA и зависимости: последовательно выполните следующие команды в командной строке: sudo apt-get update; sudo apt-get install -y nvidia-docker2.
• Запустите контейнер: Запустите 'docker run --gpus all -it --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 nvcr.io/nvidia/tensorflow:20.03-tf2-py3' в командной строке. После завершения мы войдем в докер-контейнер с возможностью ускорения CUDA, как показано на рисунке:

2). Ручная установка ускорения NVIDIA CUDA

• - Получите установочный пакет: запустите 'wget https://developer.download.nvidia.com/compute/cuda/12.2.2/local_installers/cuda_12.2.2_535.104.05_linux.run' в командной строке.
• - Запустите установочный пакет: запустите 'sudo sh cuda_12.2.2_535.104.05_linux.run' в командной строке. Если возникла ошибка, добавьте к команде '--override', например: sudo sh cuda_12.2.2_535.104.05_linux.run --override.
• - Добавьте соответствующие переменные среды: запустите 'sudo vim ~/.bashrc' командной строке и добавьте следующие символы в конец файла: 

```

export PATH=/usr/local/cuda-12.2.2/bin${PATH:+:${PATH}}

export LD_LIBRARY_PATH=/usr/local/cuda-12.2.2/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

export CUDA_HOME=/usr/local/cuda-12.2.2${CUDA_HOME:+:${CUDA_HOME}}

```

• - Обновить переменные среды: запустите в командной строке 'source ~/.bashrc'.

Примечание: Если вы запустили 'sudo vim ~/.bashrc' и столкнулись с тем, что не знакомы с vim, вы также можете найти этот файл и скопировать его в среду Windows, чтобы использовать текстовый редактор для редактирования и добавления соответствующего содержимого, а затем скопировать его обратно после редактирования. Преимущество этого подхода в том, что при этом также создается резервная копия '.bashrc'.

4. Запуск LLM

1). Создайте виртуальную среду conda: введите в командной строке 'conda create -n llm python=3.10'.

Примечания:

1. 'llm' — это имя виртуальной среды, которую мы хотим создать, и которую можно изменить произвольно.
2. '-python=3.10' указывает версию Python, используемую виртуальной средой. Хотя можно указать 'conda create -n llm', настоятельно рекомендуется указать версию!

2). Переключитесь в виртуальную среду: введите 'conda activate llm' в командной строке, чтобы активировать нашу виртуальную среду.

'(base)' в начале командной строки изменится на '(llm)'. Если вы хотите выйти из виртуальной среды, введите 'conda deactivate'.

3). Найдите нужный вам LLM на https://huggingface.co.

Поскольку моделей слишком много, вы можете обратиться к рейтингу моделей с открытым исходным кодом на странице https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard. Рекомендуется использовать формат, поддерживаемый llama.cpp. Если в вашей стране (регионе) нет доступа к HuggingFace, используйте магию, чтобы победить магию!

4). Загрузите модель: во-первых, вам нужно включить поддержку больших файлов git, введите в командной строке 'git lfs install'.

После запуска введите 'git clone https://huggingface.co/<имя библиотеки>'. Например, 'git clone https://huggingface.co/Phind/Phind-CodeLlama-34B-v2', дождитесь завершения загрузки.

5). Установите версию Python llama.cpp llama-cpp-python: Введите в командной строке 'CMAKE_ARGS="-DLLAMA_CUBLAS=on" pip install llama-cpp-python' и дождитесь завершения установки. После установки llama.cpp поддерживает вывод как с помощью процессора, так и с помощью графического процессора. Конечно, они также поддерживают ускорение видеокарт других марок (см. https://github.com/abetlen/llama-cpp-python).

Примечание: Если у вас нет видеокарты или вы не установили поддержку ускорения графического процессора, используйте для установки команду 'pip install llama-cpp-python'. Хотя вывод медленнее, его можно использовать.

6). Запустите вывод: Создайте файл py, назовем его test.py. Скопируйте в файл следующее содержимое:

from llama_cpp import Llama

llm = Llama(model_path="./models/7B/llama-model.gguf")

output = llm("Q: Name the planets in the solar system? A: ", max_tokens=32, stop=["Q:", "\n"], echo=True)

print(output)

Затем запустите в командной строке 'python test.py' и увидите следующий результат:

{
  "id": "cmpl-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "object": "text_completion",
  "created": 1679561337,
  "model": "./models/7B/llama-model.gguf",
  "choices": [
    {
      "text": "Q: Name the planets in the solar system? A: Mercury, Venus, Earth, Mars, Jupiter, Saturn, Uranus, Neptune and Pluto.",
      "index": 0,
      "logprobs": None,
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 14,
    "completion_tokens": 28,
    "total_tokens": 42
  }
}

Примечания:

1. 'model_path' - это место, куда вы загрузили файлы модели;

2. Содержимое после Q в "Q: Name the planets in the solar system? A: " это вопрос, который вы хотите задать. Вы можете заменить его на любой другой вопрос.

3. Содержимое после A в "Q: Name the planets in the solar system? A: "  содержит ответ LLM.

Заключение

В этой статье мы шаг за шагом рассмотрели, как создать среду WSL2, в которой можно запускать LLM, и подробно описали различные детали использования WSL2. Затем мы представили простой пример выполнения вывода LLM с наименьшим количеством кода. Уверены, что вы также оценили простоту и мощь llama.cpp. В следующей статье мы обсудим, как выбрать подходящую модель из множества LLM, чтобы адаптировать ее к нашей цели — интегрировать ее в алгоритмическую торговлю.

Следите за обновлениями!