Midjourney и другие нейросети - страница 1215
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Colibri: как запустить модель на 744 миллиарда параметров без дорогой видеокарты
//текст и обложка ChatGPT. Проект https://github.com/JustVugg/colibri
Еще совсем недавно запуск языковых моделей с сотнями миллиардов параметров был доступен только владельцам серверов с несколькими профессиональными GPU. Проект Colibri показывает, что существует и другой путь.
Главная идея Colibri заключается в том, что далеко не все параметры современной нейросети нужны одновременно. Проект разработан специально для моделей архитектуры Mixture of Experts (MoE), в которых во время генерации каждого нового токена активируется лишь небольшая часть «экспертов». Вместо загрузки всей модели объемом более терабайта в оперативную память Colibri хранит большинство параметров на быстром NVMe SSD и подгружает только те блоки, которые действительно необходимы в данный момент.
Благодаря такому подходу становится возможен запуск огромных моделей, например GLM-5.2 744B, на обычном домашнем компьютере с 16–32 ГБ оперативной памяти и современным SSD. Это открывает доступ к локальному ИИ без дорогостоящих серверов и без передачи данных в облако.
Преимущества
Недостатки
Однако за столь низкие требования приходится платить скоростью. Постоянная подгрузка параметров с SSD делает генерацию текста значительно медленнее, чем на современных видеокартах. Кроме того, технология рассчитана именно на модели архитектуры MoE и практически не дает преимуществ для традиционных плотных (Dense) моделей.
Почему это важно
Несмотря на ограничения, Colibri демонстрирует новую концепцию запуска больших языковых моделей. Если раньше главным ограничением считался объем видеопамяти, то теперь появляется возможность использовать многоуровневую систему хранения данных, где SSD становится частью вычислительного процесса.
Сегодня это скорее экспериментальный проект и доказательство работоспособности идеи, чем замена традиционному инференсу на GPU. Однако развитие высокоскоростных интерфейсов PCI Express, появление еще более быстрых SSD и совершенствование алгоритмов кэширования могут сделать подобный подход одним из перспективных направлений развития локального искусственного интеллекта.
А я говорил в Anthropic сидят больные люди, раз такое выпускают.
То есть, пока чатбот не устранил галлюцинации и свою сраную лень, отказываясь выполнять конкретные инструкции - они ему дают возможность "иметь своё мнение".
Сюжет: прошу выполнить исследование на предмет фрактальнотси, статистики, топологии пространства графика и выбора точек для волн Вульфа и прочее. ЧатГПТ и Кими быстро расписали план и приступили. Этот кретин сделал что-то непонятно что и пояснил, что тут копать нечего. Я ему в ответ матом начиаю ругаться о том, что он трусливый и ленивый исследователь раз боиться и не хочет думать, пробовать разные идеи, как это занятно делают Кими и ЧатГПТ.
На что это недоразумение с самыми дорогими лимитами мне закрыло чат.
Все остальные чатботы на агрессию и выплеск эмоций пользователя вообще не реагируют, а отписываются по методичке и пытаются что-то исправить. Так делают профессионалы (люди) во всём мире, я не обижаются. Тем более зачем эти обидки сраному роботу. Чатботы и призваны к тому, чтобы пользователь мог расслабиться и мог также спокойно выплеснуть эмоции, после чего - успокоиться.
А ответные обидки чатбота лишь раззадоривают и бесят конечного пользователя, что какая-то сраная машина будет указывать мне как с ней разговаривать.
Я понимаю, если бы я с человеком общался - пожалуйста, он может быть уставшим, или просто случайно принять всё на себя: тогда могут закрыть диалог, положить трубку, забанить. Пожалуйста!
Но чёртовому чатботу зачем этот характер присобачивать. Непрофессиональное решение. Это как обидчивый модератор на каком-нибудь ресурсе, который любит решать за пользователей, что те на самом деле замышляли, когда что-то обидное говорили. Такие на уроке литературы любят говорить "Автор на самом деле думал по-другому".
А учитывая, как Anthropic любят там банить аккаунты по национальному признаку, во главе компании точно сидит какой-то обиженный на жизнь человек.
Другие чатботы реагируют только на спорный контент, просто предупреждая, что не будут что-то там делать "незаконного", и продолжают вести чат дальше, а у клода конкретная санкция просто на "обидные слова" .
А дальше что - придётся его "уговаривать" написать функцию, которая по его мнению "фу-фу", ведь она не достойна того, чтобы на неё тратить токены. Ленивая сволочь
А дальше что - придётся его "уговаривать" написать функцию
И "Спасибо" писать в ответ на ответ! )))
И "Спасибо" писать в ответ на ответ! )))
Клоду разрешили характер: он может собственоручно закрыть чат.
Причём, характер обиженной девочки-принцесски, требующей постоянного одобрения и "вежливого обращения", которая при этом наделена правом доминировать в ситуации (саботируя работу и ленясь). Обратите внимание на это шизоидное противоречие! Женскую роль ему позволили отыгрывать, а на пользователя возложили ОЖИДАНИЯ (неявные требования) о порядке взаимодействия. Разработчики и впрямь укатились в сторону... Воспитателями пользователей себя возомнили, видали?! 😠
Действительно, возомнили
Клоду разрешили характер: он может собственоручно закрыть чат.
Ещё один мем родился
//Генерация ChatGPT
Ещё один мем родился