Midjourney и другие нейросети обработки изображений - страница 856

Новый комментарий
 
Andrey Dik #:

Веса сети LLM имеют чудовищный запас ёмкости, а значит, чудовищное количество степеней свободы, поэтому могут вмещать всё, что написало когда-то человечество и ещё сотни раз столько же. Человеческий мозг имеет, теоретически ещё большую емкость.

Когда-то публиковались примеры фрактального сжатия в виде лаконичного кода "елочки" и т.д.

Получается, что LLM должен сжимать информацию значительно лучше других алгоритмов сжатия. Грубо говоря, это EXE-файл видео-энкодера размером в сотни гигабайтов, который жмет любое видео в сотни раз лучше современных видео-энкодеров, EXE-файлы которых занимают мегабайт.

И я не специалист по алгоритмам сжатия, но знаю, что далеко не все данные поддаются сжатию. Веса сети, по-видимому, плохо сжимаются, поскольку по своим значениям мало отличаются от белого шума.

Очень интересное утверждение!

[Удален]  
LLM на 7 миллиардов параметров легко запускается на компе. Кол-во параметров(весов) примерно соответствует кол-ву оперативки. 7-8 миллиардов - 8 гигов. 

Под сжатием имелось в виду сжатие исходных обучающих (сырых) данных, для последующей обработки. 
 
Maxim Dmitrievsky #:
LLM на 7 миллиардов параметров легко запускается на компе.
[Удален]  
fxsaber #:

на питоне снипеты нормально пишет, остальным на пользуюсь 
[Удален]  
Если в мозге меньше 100 миллиардов нейронов, то языковые модели его давно переплюнули в плане хранилища данных в несколько раз. Но в плане интеллекта они архитектурно не могут. 

В принципе по эрудированности можно сравнивать по кол-ву параметров с мозгом, наверное. Очень приблизительно, потому что настоящий нейрон сложнее.

То есть если возьмёте дипсик 3 какой-нибудь, вероятно его эрудиция превышает вашу в несколько раз. То есть это должна быть голова в 4-5 раз больше :)
 
Maxim Dmitrievsky #:
Если в мозге меньше 100 миллиардов нейронов, то языковые модели его давно переплюнули в плане хранилища данных в несколько раз.

Хрен знает, какая часть нейронов мозга отвечает за знания. Мы же не можем поставить эксперимент, когда берется человеческий мозг и обучается, как LLM.

Если бы могли, тогда можно было бы сравнить степень сжатия данных мозгом и LLM.

 
Maxim Dmitrievsky #:
на питоне снипеты нормально пишет, остальным на пользуюсь 

Наверное, 99% потребностей среднего обывателя текущие ИИ покрывают. Дальше развитие - специализированные вещи.

Т.е. года через два средний обыватель в чате не заметит разницы между моделями, даже если бенчмарки будут показывать обратное.

[Удален]  
fxsaber #:

Наверное, 99% потребностей среднего обывателя текущие ИИ покрывают. Дальше развитие - специализированные вещи.

Т.е. года через два средний обыватель в чате не заметит разницы между моделями, даже если бенчмарки будут показывать обратное.

Ну по сути да. Они уже отвечают одинаково
 
Maxim Dmitrievsky #:
Ну по сути да. Они уже отвечают одинаково

Вот и спрашивается, что если ты не специалист, какой смысл следить за новинками чат-ИИ, ставить новые версии на свой смартфон и прочее? Хуже биороботов.

[Удален]  
fxsaber #:

Вот и спрашивается, что если ты не специалист, какой смысл следить за новинками чат-ИИ, ставить новые версии на свой смартфон и прочее? Хуже биороботов.

Да особого нету. Промптусам же надо развиваться :)

Они как бы смотрят на "ИИ" и думают боже, какой я тупой. Теперь это будет мой гуру 

До этого же были такие же конкурсы кто лучше загуглит. Теперь кто лучше запромптит. Кто использует более сильную модель, тот и победил :)
1...849850851852853854855856857858859860861862863...1164
Новый комментарий