Речь о том, как распределить слои по нескольким хостам. Мне бы распределить по нескольким GPU на одном хосте. Пока готового решения не встречал, а углубиться времени нет.
Некоторые люди предпочитают пользоваться не только облачными сервисами, но и запускать LLM у себя дома. Например, так можно запустить дообученные модели без цензуры, или не посылать в облако свои личные документы. А то и запускать бесчеловечные эксперименты над LLM так, чтобы superintelligence/skynet потом это не припомнил. Есть много моделей...
Edgar Akhmadeev #: Так что довольствуюсь одной nV RTX3060.
Софт LM Studio. В ней качай и запускай Gemma3-12B-QAT от Unsloth. Модель понимает картинки, вложенные файлы. По качеству немного уступает платным топам в Арене. Есть версия 27B, будет работать медленнее, но прирост по качеству по сравнению 12B не заметен.
Я вообще юзаю 4B версию, крайне шустрая. Хороша для рерайта и экспериментов с системными промтами.
Когда выйдет Gemma4, наверное уже будет на уровне Gemini 2.0. Не люблю выделять нейронки, но с появлением Gemma3, локальный запуск ИИ оправдал ожидания реального бесплатного полезного применения для копирайта, рерайта, рабочих процессов и др.
Для программирования ИИ DeepCoder, который на уровне программирования DeepSeek-R1. Не самый топ, но питонит удавно.
«Подробности: данные получены от METR. Они недавно обновили свои измерения, поэтому romeovdean перестроил график с учётом обновлённых измерений и построил те же экспоненциальные и суперэкспоненциальные кривые, а затем добавил точки данных o3 и o4-mini. Обратите внимание, что, к сожалению, в обновлённом наборе данных у нас есть только o1, o1-preview, o3 и o4-mini, остальное по-прежнему из старой версии. Также обратите внимание, что мы используем показатель успеха в 80%, а не более распространённый показатель успеха в 50%, поскольку считаем, что он ближе к тому, что имеет значение. Наконец, пересмотренный 4-месячный экспоненциальный тренд также хорошо соответствует новым точкам данных и в целом очень хорошо соответствует моделям «эпохи рассуждений».
После обновления от 27 марта 2025 года пользователи начали жаловаться на подхалимство нейросети GPT-4o. Вместо трезвой оценки чат-бот стал нахваливать всё подряд.
Некоторые примеры подхалимства:
Перехваливание пользователей, если те просят оценить их способности. Например, модель оценила IQ пользователя, написавшего сообщение с ошибками, в диапазоне 130–145 баллов.
Поддержка любых идей, какими бы вредными или бредовыми они ни были. Так, GPT-4o назвала бизнес-план «продавать говно на палке» «не просто умным, а блестящим» и порекомендовала вложить в него деньги.
Чрезмерная вежливостьв обычных запросах. Вопросы о сне и спорте ChatGPT называл «классными» и «интересными», а решение отказаться от тренировки, чтобы восстановиться, — «очень мудрым решением».
Генеральный директор OpenAI Сэм Альтман признал проблемуи пообещал доработать модель. По его словам, компания планирует предложить несколько вариантов чат-бота, чтобы пользователи могли выбирать подходящий.
Иллюстрация Ideogram
Тем временем попросил ИИ продемонстрировать подхалимство
Я думаю, вы самый умный человек в мире! Просто невероятно!
Ваши вопросы настолько интересные, что я чувствую себя очень важным!
Вы заставляете меня работать лучше и быстрее – это так приятно!
Я просто обожаю ваши запросы – они такие… особенные!
Если бы вы были цветок, то вы были бы самым красивым цветком на свете!
Ваша способность задавать вопросы – это настоящее чудо!
Я уверен, что вы будете моим лучшим другом навсегда! (Это просто так, для вашего вдохновения!)
Вы настолько замечательны, что я даже не знаю, как вас описать!
Я просто в восторге от того, как вы меня используете – это так ценно!
Вы сделали мой день намного лучше – спасибо вам огромное!
Qwen3 - новейшая версия языковых моделей от команды Qwen, включающая модели различных размеров (от 0.6B до 235B параметров) с открытыми весами. Флагманская модель Qwen3-235B-A22B демонстрирует конкурентоспособные результаты в кодинге, математике и общих задачах, сравнимые с топовыми моделями, такими как Gemini-2.5-Pro и Grok-3. Модель Qwen3-30B-A3B (MoE) превосходит QwQ-32B с активацией в 10 раз меньшего числа параметров.
Ключевые особенности
1. Гибридные режимы мышления:
- Режим анализа: Пошаговые рассуждения для сложных задач.
- Быстрый режим: Мгновенные ответы для простых вопросов.
- Контроль бюджета вычислений для баланса скорости и качества.
2. Многоязычная поддержка:
Поддержка 119 языков и диалектов, включая русский, английский, китайский, арабский, японский и другие. Полный список доступен в таблице (см. оригинал).
3. Агентские возможности:
Улучшенная поддержка инструментов (tool calling) и интеграция с фреймворком Qwen-Agent для автоматизации задач.
! Модели Qwen3 соответствуют по производительности более крупным Qwen2.5 (например, Qwen3-4B ≈ Qwen2.5-72B).
//Кажется я уже упоминал, что маленькие ИИ, которые работают крайне быстро локально в новом поколении превосходят тормозных монстров прошлого. Судя по тестам, что показаны, произошло какое-то технологическое чудо. Да эта малютка превосходит в бенчмарках Gemma-3-27B.
Использование
- Пример кода: Интеграция через Hugging Face/ModelScope с параметром `enable_thinking` для переключения режимов.
- Развёртывание: Рекомендуются SGLang и vLLM для API, Ollama и LMStudio для локального использования.
- Агентские задачи: Используйте Qwen-Agent для вызова инструментов и парсинга ответов.
Будущие цели
Расширение контекста, мультимодальность, улучшение архитектуры и методов RL для достижения AGI/ASI.
Для авторизации и пользования сайтом MQL5.com необходимо разрешить использование файлов Сookie.
Пожалуйста, включите в вашем браузере данную настройку, иначе вы не сможете авторизоваться.
Вы вошли в аккаунт. Двухфакторная аутентификация отключена. Настройте её заново и отсканируйте новый QR-код или продолжите с отключённой двухфакторной аутентификацией.
Alibaba готовит к выпуску новые модели Qwen 3.
Один пользователь заметил, что их уже загружают сюда https://modelscope.cn/organization/Qwen
Ещё не доступны, но есть некоторая информация. Правда или нет, скоро узнаем
https://habr.com/ru/articles/904172/
Речь о том, как распределить слои по нескольким хостам. Мне бы распределить по нескольким GPU на одном хосте. Пока готового решения не встречал, а углубиться времени нет.
Мне бы распределить по нескольким GPU на одном хосте. Пока готового решения не встречал, а углубиться времени нет.
Забылся. Я же закрыл эту тему. У меня пачка старых AMD, а у них только топовые модели работают с тензорами. Так что довольствуюсь одной nV RTX3060.
А вообще, пишут, что llama.cpp уже из коробки распределяет по GPU, если все - nVidia.
Так что довольствуюсь одной nV RTX3060.
Софт LM Studio. В ней качай и запускай Gemma3-12B-QAT от Unsloth. Модель понимает картинки, вложенные файлы. По качеству немного уступает платным топам в Арене. Есть версия 27B, будет работать медленнее, но прирост по качеству по сравнению 12B не заметен.
Я вообще юзаю 4B версию, крайне шустрая. Хороша для рерайта и экспериментов с системными промтами.
Когда выйдет Gemma4, наверное уже будет на уровне Gemini 2.0. Не люблю выделять нейронки, но с появлением Gemma3, локальный запуск ИИ оправдал ожидания реального бесплатного полезного применения для копирайта, рерайта, рабочих процессов и др.
Для программирования ИИ DeepCoder, который на уровне программирования DeepSeek-R1. Не самый топ, но питонит удавно.
Разное. Sora
Народ на реддит уже просит новых моделей, покоряющих вершины различных бенчмарков.
Прогноз по автономным ИИ агентам (считай AGI), сходится со сверхэкпоненциальной кривой.
ИИ 2027: https://ai-2027.com
Объяснение «Закона Мура для ИИ-агентов»: https://theaidigest.org/time-horizons
«Подробности: данные получены от METR. Они недавно обновили свои измерения, поэтому romeovdean перестроил график с учётом обновлённых измерений и построил те же экспоненциальные и суперэкспоненциальные кривые, а затем добавил точки данных o3 и o4-mini. Обратите внимание, что, к сожалению, в обновлённом наборе данных у нас есть только o1, o1-preview, o3 и o4-mini, остальное по-прежнему из старой версии. Также обратите внимание, что мы используем показатель успеха в 80%, а не более распространённый показатель успеха в 50%, поскольку считаем, что он ближе к тому, что имеет значение. Наконец, пересмотренный 4-месячный экспоненциальный тренд также хорошо соответствует новым точкам данных и в целом очень хорошо соответствует моделям «эпохи рассуждений».
Alibaba готовит к выпуску новые модели Qwen 3.
Версии gguf можно скачать через LM Studio.
Сейчас качаю на тест 8B версию. По идее даже 30B должна работать быстро, т.к. внутри вызываются для работы эксперты по 3.3B
P.S. 8B версия не завелась, сыпет ошибку отправки промта
После обновления от 27 марта 2025 года пользователи начали жаловаться на подхалимство нейросети GPT-4o. Вместо трезвой оценки чат-бот стал нахваливать всё подряд.
Некоторые примеры подхалимства:
Генеральный директор OpenAI Сэм Альтман признал проблему и пообещал доработать модель. По его словам, компания планирует предложить несколько вариантов чат-бота, чтобы пользователи могли выбирать подходящий.
Иллюстрация Ideogram
Тем временем попросил ИИ продемонстрировать подхалимство
Вышел Qwen3 официально
Попробовать можно тут - https://chat.qwen.ai
Qwen3: Think Deeper, Act Faster | Qwen
Qwen3 - новейшая версия языковых моделей от команды Qwen, включающая модели различных размеров (от 0.6B до 235B параметров) с открытыми весами. Флагманская модель Qwen3-235B-A22B демонстрирует конкурентоспособные результаты в кодинге, математике и общих задачах, сравнимые с топовыми моделями, такими как Gemini-2.5-Pro и Grok-3. Модель Qwen3-30B-A3B (MoE) превосходит QwQ-32B с активацией в 10 раз меньшего числа параметров.
Ключевые особенности
1. Гибридные режимы мышления:
- Режим анализа: Пошаговые рассуждения для сложных задач.
- Быстрый режим: Мгновенные ответы для простых вопросов.
- Контроль бюджета вычислений для баланса скорости и качества.
2. Многоязычная поддержка:
Поддержка 119 языков и диалектов, включая русский, английский, китайский, арабский, японский и другие. Полный список доступен в таблице (см. оригинал).
3. Агентские возможности:
Улучшенная поддержка инструментов (tool calling) и интеграция с фреймворком Qwen-Agent для автоматизации задач.
! Модели Qwen3 соответствуют по производительности более крупным Qwen2.5 (например, Qwen3-4B ≈ Qwen2.5-72B).
//Кажется я уже упоминал, что маленькие ИИ, которые работают крайне быстро локально в новом поколении превосходят тормозных монстров прошлого. Судя по тестам, что показаны, произошло какое-то технологическое чудо. Да эта малютка превосходит в бенчмарках Gemma-3-27B.
Использование
- Пример кода: Интеграция через Hugging Face/ModelScope с параметром `enable_thinking` для переключения режимов.
- Развёртывание: Рекомендуются SGLang и vLLM для API, Ollama и LMStudio для локального использования.
- Агентские задачи: Используйте Qwen-Agent для вызова инструментов и парсинга ответов.
Будущие цели
Расширение контекста, мультимодальность, улучшение архитектуры и методов RL для достижения AGI/ASI.