Midjourney и другие нейросети - страница 1215

[Vitaliy Kuznetsov]

Colibri: как запустить модель на 744 миллиарда параметров без дорогой видеокарты

//текст и обложка ChatGPT. Проект https://github.com/JustVugg/colibri

Еще совсем недавно запуск языковых моделей с сотнями миллиардов параметров был доступен только владельцам серверов с несколькими профессиональными GPU. Проект Colibri показывает, что существует и другой путь.

Главная идея Colibri заключается в том, что далеко не все параметры современной нейросети нужны одновременно. Проект разработан специально для моделей архитектуры Mixture of Experts (MoE), в которых во время генерации каждого нового токена активируется лишь небольшая часть «экспертов». Вместо загрузки всей модели объемом более терабайта в оперативную память Colibri хранит большинство параметров на быстром NVMe SSD и подгружает только те блоки, которые действительно необходимы в данный момент.

Благодаря такому подходу становится возможен запуск огромных моделей, например GLM-5.2 744B, на обычном домашнем компьютере с 16–32 ГБ оперативной памяти и современным SSD. Это открывает доступ к локальному ИИ без дорогостоящих серверов и без передачи данных в облако.

Преимущества

• возможность запускать сверхкрупные MoE-модели на обычном ПК;
• полная конфиденциальность — все вычисления происходят локально;
• отсутствие необходимости в дорогостоящих профессиональных GPU;
• эффективное использование быстрого NVMe-накопителя вместо большого объема оперативной памяти.

Недостатки

Однако за столь низкие требования приходится платить скоростью. Постоянная подгрузка параметров с SSD делает генерацию текста значительно медленнее, чем на современных видеокартах. Кроме того, технология рассчитана именно на модели архитектуры MoE и практически не дает преимуществ для традиционных плотных (Dense) моделей.

Почему это важно

Несмотря на ограничения, Colibri демонстрирует новую концепцию запуска больших языковых моделей. Если раньше главным ограничением считался объем видеопамяти, то теперь появляется возможность использовать многоуровневую систему хранения данных, где SSD становится частью вычислительного процесса.

Сегодня это скорее экспериментальный проект и доказательство работоспособности идеи, чем замена традиционному инференсу на GPU. Однако развитие высокоскоростных интерфейсов PCI Express, появление еще более быстрых SSD и совершенствование алгоритмов кэширования могут сделать подобный подход одним из перспективных направлений развития локального искусственного интеллекта.