Midjourney и другие нейросети обработки изображений - страница 1075

 
Edgar Akhmadeev #:

Для GPU среднего уровня 41 токена в секунду - нормальная скорость. У меня на RTX 3060 DeepSeek-Coder-V2-Lite-Instruct-Q5_K_M.gguf (16B) - 52.37 t/s. Qwen3-14B-128K-UD-Q5_K_XL.gguf (14B) - 25.45 t/s.

Если брать нейронки, не заточенные конкретно на математику и код, то лучше чем Gemma3-12 или 27, если позволяет видюха, на сегодня нет (для локального офлайн пользования).

 
Vitaliy Kuznetsov #:

Если брать нейронки, не заточенные конкретно на математику и код, то лучше чем Gemma3-12 или 27, если позволяет видюха, на сегодня нет (для локального офлайн пользования).

Попробовал Gemma 3 27b. Ухты. Работает.

подумалось, вот говорилось, что один запрос пользователя так много энергии требует для работы модели, стотыщьпятсот тон угля надо сжечь, чтобы обработать... помоему, мягко говоря, звиздёж. меньше энергии требуется.

PS. Иш ты, "я думаю"... Думает он, видишь ли. "Калькулирую", сказал бы, хотябы.

 
Vitaliy Kuznetsov #:

Если брать нейронки, не заточенные конкретно на математику и код, то лучше чем Gemma3-12 или 27, если позволяет видюха, на сегодня нет (для локального офлайн пользования).

могу ли я сделать вывод, что "видюха позволяет", раз моделька запустилась и даже отвечает что-то на вопросы?
 
Vitaliy Kuznetsov #:

Если брать нейронки, не заточенные конкретно на математику и код, то лучше чем Gemma3-12 или 27, если позволяет видюха, на сегодня нет (для локального офлайн пользования).

Gemma3 12B работает, 27B не умещается целиком в 12 Gb VRAM.

Я текстовые модели локально использовать не придумал зачем. Локально использовал только фото-генераторы и улучшайзеры.

Текстовые использую онлайн, только бесплатные и без VPN.

Andrey Dik #:
Попробовал Gemma 3 27b. Ухты. Работает.

Сколько VRAM?

 
Edgar Akhmadeev #:

Сколько VRAM?

8, RTX 4060
 
Можно делить ии, часть в gpu, остатки в оперативку cpu оьрабатывать, скоррсть токенов только снижается
 
Andrey Dik #:
могу ли я сделать вывод, что "видюха позволяет", раз моделька запустилась и даже отвечает что-то на вопросы?

У меня тоже запускается, но 1,5 токена в секунду. 12B не сильно уступает по качеству 27B, но работает пошустрее, ей пользуюсь. 4B тоже стоит, уверенно летает, с неё всегда начинаю.

Edgar Akhmadeev #:
Я текстовые модели локально использовать не придумал зачем.

Есть несколько вещей, для чего стоит использовать локально.

При всей внешней шумихи, всё равно делаю вывод, что нейронка очень хороший психолог, наставник.

Если нужно сделать рерайт текста и не нарваться на водяные знаки и попадания в обучающую выборку. Это если кто-то продвигает сайты. В какой-то момент все ИИ-тексты будут пессимизироваться поисковиками, а может и не будут, но стоит учитывать риск.

Работа с документами и кодами, своими или компаниями. Не стоит такое онлайнить, т.к. сливы были и будут.

 
Предложение по ветке: рубрика «ИИтоги».

Раз месяц, либо раз в три месяца или полгода обобщать самые любопытные посты. С одноимённым тегом, чтобы искать можно было
 

Интересно, не участвует ли кто-нибудь в тестировании ИИ-браузера Dia? Любопытно насколько перспективно направление по сравнению с провалившимся ИИ-браузером Arc от той же компании.

PS. Есть же ещё обещанный Perplexity ИИ-браузер Comet.

 

Мурчащее. Миджорни