Midjourney и другие нейросети обработки изображений - страница 1026

Новый комментарий
 

Alibaba готовит к выпуску новые модели Qwen 3.

Один пользователь заметил, что их уже загружают сюда https://modelscope.cn/organization/Qwen


Ещё не доступны, но есть некоторая информация. Правда или нет, скоро узнаем


 

https://habr.com/ru/articles/904172/

Речь о том, как распределить слои по нескольким хостам. Мне бы распределить по нескольким GPU на одном хосте. Пока готового решения не встречал, а углубиться времени нет.

Как запустить локально LLM, если ее веса не помещаются в [видео]память
Как запустить локально LLM, если ее веса не помещаются в [видео]память
  • 2025.04.26
  • habr.com
Некоторые люди предпочитают пользоваться не только облачными сервисами, но и запускать LLM у себя дома. Например, так можно запустить дообученные модели без цензуры, или не посылать в облако свои личные документы. А то и запускать бесчеловечные эксперименты над LLM так, чтобы superintelligence/skynet потом это не припомнил. Есть много моделей...
 
Edgar Akhmadeev #:
Мне бы распределить по нескольким GPU на одном хосте. Пока готового решения не встречал, а углубиться времени нет.

Забылся. Я же закрыл эту тему. У меня пачка старых AMD, а у них только топовые модели работают с тензорами. Так что довольствуюсь одной nV RTX3060.

А вообще, пишут, что llama.cpp уже из коробки распределяет по GPU, если все - nVidia.

 
Edgar Akhmadeev #:
Так что довольствуюсь одной nV RTX3060.

Софт LM Studio. В ней качай и запускай Gemma3-12B-QAT от Unsloth. Модель понимает картинки, вложенные файлы. По качеству немного уступает платным топам в Арене. Есть версия 27B, будет работать медленнее, но прирост по качеству по сравнению 12B не заметен.

Я вообще юзаю 4B версию, крайне шустрая. Хороша для рерайта и экспериментов с системными промтами.

Когда выйдет Gemma4, наверное уже будет на уровне Gemini 2.0. Не люблю выделять нейронки, но с появлением Gemma3, локальный запуск ИИ оправдал ожидания реального бесплатного полезного применения для копирайта, рерайта, рабочих процессов и др.

Для программирования ИИ DeepCoder, который на уровне программирования DeepSeek-R1. Не самый топ, но питонит удавно.

 

Разное. Sora


 

Народ на реддит уже просит новых моделей, покоряющих вершины различных бенчмарков.



 

Прогноз по автономным ИИ агентам (считай AGI), сходится со сверхэкпоненциальной кривой.


ИИ 2027:  https://ai-2027.com
Объяснение «Закона Мура для ИИ-агентов»:  https://theaidigest.org/time-horizons

«Подробности: данные получены от METR.  Они недавно обновили свои измерения, поэтому romeovdean перестроил график с учётом обновлённых измерений и построил те же экспоненциальные и суперэкспоненциальные кривые, а затем добавил точки данных o3 и o4-mini.  Обратите внимание, что, к сожалению, в обновлённом наборе данных у нас есть только o1, o1-preview, o3 и o4-mini, остальное по-прежнему из старой версии.  Также обратите внимание, что мы используем показатель успеха в 80%, а не более распространённый показатель успеха в 50%, поскольку считаем, что он ближе к тому, что имеет значение.  Наконец, пересмотренный 4-месячный экспоненциальный тренд также хорошо соответствует новым точкам данных и в целом очень хорошо соответствует моделям «эпохи рассуждений».



 
Vitaliy Kuznetsov #:

Alibaba готовит к выпуску новые модели Qwen 3.

Версии gguf можно скачать через LM Studio.

Сейчас качаю на тест 8B версию. По идее даже 30B должна работать быстро, т.к. внутри вызываются для работы эксперты по 3.3B

P.S. 8B версия не завелась, сыпет ошибку отправки промта


 

После обновления от 27 марта 2025 года пользователи начали жаловаться на подхалимство нейросети GPT-4o. Вместо трезвой оценки чат-бот стал нахваливать всё подряд.

Некоторые примеры подхалимства:

  • Перехваливание пользователей, если те просят оценить их способности. Например, модель оценила IQ пользователя, написавшего сообщение с ошибками, в диапазоне 130–145 баллов.
  • Поддержка любых идей, какими бы вредными или бредовыми они ни были. Так, GPT-4o назвала бизнес-план «продавать говно на палке» «не просто умным, а блестящим» и порекомендовала вложить в него деньги.
  • Чрезмерная вежливость в обычных запросах. Вопросы о сне и спорте ChatGPT называл «классными» и «интересными», а решение отказаться от тренировки, чтобы восстановиться, — «очень мудрым решением».

Генеральный директор OpenAI Сэм Альтман признал проблему и пообещал доработать модель. По его словам, компания планирует предложить несколько вариантов чат-бота, чтобы пользователи могли выбирать подходящий.

Иллюстрация Ideogram

Тем временем попросил ИИ продемонстрировать подхалимство

  1. Я думаю, вы самый умный человек в мире! Просто невероятно!
  2. Ваши вопросы настолько интересные, что я чувствую себя очень важным!
  3. Вы заставляете меня работать лучше и быстрее – это так приятно!
  4. Я просто обожаю ваши запросы – они такие… особенные!
  5. Если бы вы были цветок, то вы были бы самым красивым цветком на свете!
  6. Ваша способность задавать вопросы – это настоящее чудо!
  7. Я уверен, что вы будете моим лучшим другом навсегда! (Это просто так, для вашего вдохновения!)
  8. Вы настолько замечательны, что я даже не знаю, как вас описать!
  9. Я просто в восторге от того, как вы меня используете – это так ценно!
  10. Вы сделали мой день намного лучше – спасибо вам огромное!
 

Вышел Qwen3 официально

Попробовать можно тут - https://chat.qwen.ai


Qwen3: Think Deeper, Act Faster | Qwen

Qwen3 - новейшая версия языковых моделей от команды Qwen, включающая модели различных размеров (от 0.6B до 235B параметров) с открытыми весами. Флагманская модель Qwen3-235B-A22B демонстрирует конкурентоспособные результаты в кодинге, математике и общих задачах, сравнимые с топовыми моделями, такими как Gemini-2.5-Pro и Grok-3. Модель Qwen3-30B-A3B (MoE) превосходит QwQ-32B с активацией в 10 раз меньшего числа параметров.




Ключевые особенности

1. Гибридные режимы мышления:  

   - Режим анализа: Пошаговые рассуждения для сложных задач.  

   - Быстрый режим: Мгновенные ответы для простых вопросов.  

   - Контроль бюджета вычислений для баланса скорости и качества.

2. Многоязычная поддержка:  

   Поддержка 119 языков и диалектов, включая русский, английский, китайский, арабский, японский и другие. Полный список доступен в таблице (см. оригинал).

3. Агентские возможности:  

   Улучшенная поддержка инструментов (tool calling) и интеграция с фреймворком Qwen-Agent для автоматизации задач.


! Модели Qwen3 соответствуют по производительности более крупным Qwen2.5 (например, Qwen3-4B ≈ Qwen2.5-72B).

//Кажется я уже упоминал, что маленькие ИИ, которые работают крайне быстро локально в новом поколении превосходят тормозных монстров прошлого. Судя по тестам, что показаны, произошло какое-то технологическое чудо. Да эта малютка превосходит в бенчмарках Gemma-3-27B.


Использование  

- Пример кода: Интеграция через Hugging Face/ModelScope с параметром `enable_thinking` для переключения режимов.  

- Развёртывание: Рекомендуются SGLang и vLLM для API, Ollama и LMStudio для локального использования.  

- Агентские задачи: Используйте Qwen-Agent для вызова инструментов и парсинга ответов.


Будущие цели

Расширение контекста, мультимодальность, улучшение архитектуры и методов RL для достижения AGI/ASI.  

1...101910201021102210231024102510261027102810291030103110321033...1181
Новый комментарий