Midjourney и другие нейросети - страница 1211

Новый комментарий
 

Сбер представил GigaChat 3.5 Ultra: компактнее, быстрее и умнее конкурентов


//текст Gemini. Код https://huggingface.co/collections/ai-sage/gigachat-35

Разработчики из Сбера опубликовали на платформе Hugging Face веса своей новой флагманской языковой модели — GigaChat 3.5 Ultra (432B). Нейросеть построена на базе архитектуры Mixture-of-Experts (MoE) и содержит 432 млрд общих параметров, из которых в каждый момент времени активны 28 млрд (формат обозначения — 432B-A28B ).

Новая версия стала качественным скачком вперед по сравнению с предыдущим флагманом GigaChat 3.1 Ultra (700B). Модель стала компактнее почти на 40%, однако демонстрирует превосходство в ключевых бенчмарках, особенно в решении логических, математических и программных задач.

Главные технологические новшества

  1. Гибридное внимание (MLA + GatedDeltaNet): Разработчики решили проблему «раздувания» KV-кэша при длинных контекстах. Комбинация классического Multi-head Latent Attention с архитектурой линейного внимания GatedDeltaNet позволила снизить потребление KV-кэша в 4 раза и умещать вдвое больше контекста в тот же объем памяти. При этом общая пропускная способность генерации выросла примерно на 20%.

  2. Многотокенное предсказание (MTP) х2: В отличие от GigaChat 3.0, где использовалась одна MTP-голова, в версии 3.5 добавлены сразу две головы. Жадное декодирование (greedy decoding) ускоряет генерацию в 1,5 раза с одной головой и до 2,2 раз с двумя.

  3. Обучение в нативном FP8: Модель полностью обучалась в режиме FP8 на всех стадиях, что помогло оптимизировать работу с памятью на больших кластерах. Разработчики также выпустили деквантованную версию в BF16.

  4. Продвинутый Alignment: В пайплайн пост-обучения, помимо стандартных SFT и DPO, был добавлен этап Online RL (обучение с подкреплением в реальном времени), что значительно улучшило навыки следования инструкциям и подняло позиции модели на аренах.

Бенчмарки: сравнение с конкурентами

В Сбере провели детальное тестирование как базовой (Base), так и инструктивной (Instruct) версий модели, сопоставив результаты с GigaChat 3.1 и сильными моделями от китайской DeepSeek.

Сравнение базовых моделей (Base-models):

  • Общие задачи (MMLU-Pro, 5-shot): GigaChat 3.5 Ultra Base набрал 74,54%, ощутимо обогнав DeepSeek V4 Flash Base (65,86%) и своего предшественника GigaChat 3.1 (68,01%).

  • Математика (MATH Minerva): Модель показала результат 61,7% (против 55,78% у прошлой версии и 54,74% у DeepSeek V4 Flash).

  • Программирование (HumanEval, pass@1): Здесь зафиксирован самый впечатляющий рост — 80,49%. Предыдущий флагман Сбера выдавал лишь 70,12%, а DeepSeek V4 Flash Base — 66,46%.


Результаты инструктивной модели (Instruct-model):

На «аренах» вслепую (в сравнении с ответами GPT-5) GigaChat 3.5 Ultra сделал колоссальный рывок:

  • В англоязычном тесте Arena Hard Logs модель поднялась с 55,5% (у версии 3.1) до 71,4%.

  • В русскоязычном Arena Hard Ru результат взлетел с 38,3% до 69,5%.

  • На Ru LLM Arena оценка выросла с 38,2% до 62,9%.

  • В тесте на программирование SWE-bench Verified модель набрала 42,6% (рост с 8,6% у GigaChat 3.1), вплотную приблизившись к тяжелой DeepSeek V3.2 (44,8%).

Доступность и квантование

Сбер традиционно делает ставку на доступность ИИ-технологий для сообщества. На Hugging Face модель выложена в официальном репозитории ai-sage/GigaChat3.5-432B-A28B-GGUF для работы через популярный инструмент llama.cpp и локальные приложения (LM Studio, Ollama, Jan).

Пользователям доступны конфигурации разной степени сжатия:

  • Q4_K_M (требует около 262 ГБ памяти) — скорость декодирования на 8 × H100 с включенным MTP-2 достигает 84,0 ток/сек.

  • Q6_K (356 ГБ) — скорость генерации до 69,2 ток/сек (с MTP-2).

  • Q8_0 (461 ГБ) и исходная BF16 (868 ГБ).

Благодаря оптимизации архитектуры модель можно запускать даже на производительных CPU-серверах: например, на процессорах Intel Xeon 8462Y+ в квантовании Q4_K_M скорость работы с MTP-2 составляет приемлемые 9,6 ток/сек.

Итог: GigaChat 3.5 Ultra демонстрирует, что за счет глубоких архитектурных оптимизаций (гибридное внимание, кастомные нормализации и продвинутый RL) можно не просто уменьшить физический размер нейросети, но и существенно превзойти старые "тяжелые" модели по качеству ответов и скорости работы.

 

Tencent Hy3: Новый король открытых MoE-моделей для сложных ИИ-агентов


//текст и обложка Gemini. Код https://huggingface.co/tencent/Hy3

Китайский технологический гигант Tencent официально опубликовал на платформе HuggingFace веса своей новой флагманской большой языковой модели Hy3 (включая финальные версии после этапа превью). Это событие вызвало серьезный резонанс в ИИ-сообществе: архитектура модели и ее первые независимые бенчмарки демонстрируют готовность составить жесткую конкуренцию ведущим закрытым коммерческим решениям на рынке автономных агентов и сложной программной инженерии.

Архитектура: Огромная мощь с высокой эффективностью

Hy3 построена на базе архитектуры Mixture-of-Experts (MoE) (смесь экспертов), специально спроектированной под кодовые конфигурации нового поколения и оптимизированной для популярных ИИ-инфраструктур (включая vLLM). Главная особенность модели заключается в феноменальном балансе масштаба и стоимости вычислений:

  • Общее количество параметров: 295 миллиардов (295B)

  • Активные параметры на токен: всего 21 миллиард (21B)

  • Контекстное окно: 256K / 262K токенов

Для ускорения генерации модель оснащена дополнительным слоем Multi-Token Prediction (MTP) объемом 3.8 млрд параметров, который отвечает за спекулятивное декодирование. Это позволяет резко сократить задержку (latency) при инференсе, сохраняя точность ответов.

Главная фишка: Настраиваемое «мышление»

По аналогии с последними мировыми трендами гибридного рассуждения (hybrid-reasoning), Hy3 поддерживает три режима работы (Reasoning Effort), которые разработчики могут динамически переключать через API в зависимости от сложности задачи:

  1. no_think: Быстрый режим без глубоких рассуждений — для простых ответов, саммаризации и классического диалога с минимальной стоимостью токенов.

  2. think_low: Промежуточный уровень планирования для стандартных структурированных задач.

  3. think_high: Режим глубокого логического вывода для многошаговых задач, код-ревью и сложных агентских цепочек (agentic workflows).

Феноменальные бенчмарки в кодинге и логике

Первые тесты независимых платформ подтверждают, что Hy3 оптимизирована не просто под генерацию «гладких текстов», а под реальные рабочие процессы автоматизации и DevOps:

  • TerminalBench-2.1: Модель набрала внушительные 71.7%, показав превосходную способность управлять терминалом, безошибочно выполнять системные команды и автоматизировать рутину администрирования.

  • DeepSWE: На новейшем «чистом» бенчмарке для программирования (который полностью исключает утечку тренировочных данных из истории коммитов GitHub) Hy3 показала результат 28%, обойдя многие тяжелые коммерческие проприетарные модели.

  • SWE-bench Verified: Демонстрирует результаты на уровне State-of-the-Art среди открытых моделей при решении реальных задач многофайлового рефакторинга.

Значение для индустрии

Благодаря продвинутым встроенным парсерам инструментов (hy_v3 tool parsers) и глубокому контексту, Hy3 способна выступать в роли полноценного автономного ИИ-инженера: анализировать целые репозитории кода, работать с внешними API, базами данных и гибко планировать свои действия.

Tencent распространяет модель под открытой лицензией (Tencent Hy Community License), а за счет аппаратных оптимизаций компании удалось существенно снизить стоимость обработки токенов. Это делает Hy3 главным кандидатом на звание «движка» для развертывания локальных умных ИИ-агентов внутри корпоративных контуров.

 

Наблюдаю рост двух трендов:

1. Большинство компаний стремятся создавать мощные ИИ с минимумом параметров. Это логично, учитывая, что коммерчески выгодно сейчас только так.

2. Нарастающий тренд агрегаторов ИИ. Вы можете за 1 подписку использовать целый арсенал западных ИИ.

2.1. ИИ файервол. Многие компании ставят AI Gateway между работниками и западной нейросеткой. Внутреннее решение контролирует, фильтрует и защищает утечки важных документов. Предположу, что в ближайшем будущем пользоваться ИИ других стран можно будет только через подобный сервис.

 

Требуется примерно 2 года, чтобы вышла локальная модель, сопоставимая по качеству с топовой.

Т.о. в 2028-2029 году сможем юзать "Fable5" офлайн


 

В тоже время, власти Китая начинают обсуждение вопроса о запрете доступа к своим передовым ИИ иностранным гражданам.

Думали, что Китай даст AGI всем? Вырисовывается фига.

Тот же Маск, который так рьяно защищал позицию открытого ИИ для всех, так и не торопится что-то выкладывать бесплатно.

Без OpenSource прогресс встанет, не будет ни полётов в дальний космос, ни преодоления порога продолжительности жизни.

 

Если так подумать, то роботов почти сразу из коробки учат "кунг-фу". Не стоит их толкать.

 
Vitaliy Kuznetsov #:

Если так подумать, то роботов почти сразу из коробки учат "кунг-фу". Не стоит их толкать.



так то хоть отбиться можно, а на ночь по любому надо батарейки вынимать, не понятно что там у него в прошивке.

 
Vitaliy Kuznetsov #:
власти Китая начинают обсуждение вопроса о запрете доступа к своим передовым ИИ иностранным гражданам.
Сайт с чатом модели ERNIE (адрес не помню) уже перешёл на чисто китайский. Начало положено.
 
Vitaliy Kuznetsov #:
Если так подумать, то роботов почти сразу из коробки учат "кунг-фу". Не стоит их толкать.
Они уже признались, что это постановка. Ну, хоть не генерация.
 
Vitaliy Kuznetsov #:
Без OpenSource прогресс встанет, не будет ни полётов в дальний космос, ни преодоления порога продолжительности жизни.
Не встанет. Просто не для всех. Кто за бортом, тому конец.
1...120412051206120712081209121012111212121312141215
Новый комментарий