Веса сети LLM имеют чудовищный запас ёмкости, а значит, чудовищное количество степеней свободы, поэтому могут вмещать всё, что написало когда-то человечество и ещё сотни раз столько же. Человеческий мозг имеет, теоретически ещё большую емкость.
Когда-то публиковались примеры фрактального сжатия в виде лаконичного кода "елочки" и т.д.
Получается, что LLM должен сжимать информацию значительно лучше других алгоритмов сжатия. Грубо говоря, это EXE-файл видео-энкодера размером в сотни гигабайтов, который жмет любое видео в сотни раз лучше современных видео-энкодеров, EXE-файлы которых занимают мегабайт.
И я не специалист по алгоритмам сжатия, но знаю, что далеко не все данные поддаются сжатию. Веса сети, по-видимому, плохо сжимаются, поскольку по своим значениям мало отличаются от белого шума.
LLM на 7 миллиардов параметров легко запускается на компе. Кол-во параметров(весов) примерно соответствует кол-ву оперативки. 7-8 миллиардов - 8 гигов.
Под сжатием имелось в виду сжатие исходных обучающих (сырых) данных, для последующей обработки.
Если в мозге меньше 100 миллиардов нейронов, то языковые модели его давно переплюнули в плане хранилища данных в несколько раз. Но в плане интеллекта они архитектурно не могут.
В принципе по эрудированности можно сравнивать по кол-ву параметров с мозгом, наверное. Очень приблизительно, потому что настоящий нейрон сложнее.
То есть если возьмёте дипсик 3 какой-нибудь, вероятно его эрудиция превышает вашу в несколько раз. То есть это должна быть голова в 4-5 раз больше :)
Maxim Dmitrievsky #: Ну по сути да. Они уже отвечают одинаково
Вот и спрашивается, что если ты не специалист, какой смысл следить за новинками чат-ИИ, ставить новые версии на свой смартфон и прочее? Хуже биороботов.
Вот и спрашивается, что если ты не специалист, какой смысл следить за новинками чат-ИИ, ставить новые версии на свой смартфон и прочее? Хуже биороботов.
Да особого нету. Промптусам же надо развиваться :)
Они как бы смотрят на "ИИ" и думают боже, какой я тупой. Теперь это будет мой гуру
До этого же были такие же конкурсы кто лучше загуглит. Теперь кто лучше запромптит. Кто использует более сильную модель, тот и победил :)
Для авторизации и пользования сайтом MQL5.com необходимо разрешить использование файлов Сookie.
Пожалуйста, включите в вашем браузере данную настройку, иначе вы не сможете авторизоваться.
Вы вошли в аккаунт. Двухфакторная аутентификация отключена. Настройте её заново и отсканируйте новый QR-код или продолжите с отключённой двухфакторной аутентификацией.
Веса сети LLM имеют чудовищный запас ёмкости, а значит, чудовищное количество степеней свободы, поэтому могут вмещать всё, что написало когда-то человечество и ещё сотни раз столько же. Человеческий мозг имеет, теоретически ещё большую емкость.
Когда-то публиковались примеры фрактального сжатия в виде лаконичного кода "елочки" и т.д.
Получается, что LLM должен сжимать информацию значительно лучше других алгоритмов сжатия. Грубо говоря, это EXE-файл видео-энкодера размером в сотни гигабайтов, который жмет любое видео в сотни раз лучше современных видео-энкодеров, EXE-файлы которых занимают мегабайт.
И я не специалист по алгоритмам сжатия, но знаю, что далеко не все данные поддаются сжатию. Веса сети, по-видимому, плохо сжимаются, поскольку по своим значениям мало отличаются от белого шума.
Очень интересное утверждение!
LLM на 7 миллиардов параметров легко запускается на компе.
Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий
Midjourney и другие нейросети обработки изображений
fxsaber, 2025.01.29 09:08
Замерялась эрудированность ИИ (которые без выхода в интернет)?
Если в мозге меньше 100 миллиардов нейронов, то языковые модели его давно переплюнули в плане хранилища данных в несколько раз.
Хрен знает, какая часть нейронов мозга отвечает за знания. Мы же не можем поставить эксперимент, когда берется человеческий мозг и обучается, как LLM.
Если бы могли, тогда можно было бы сравнить степень сжатия данных мозгом и LLM.
на питоне снипеты нормально пишет, остальным на пользуюсь
Наверное, 99% потребностей среднего обывателя текущие ИИ покрывают. Дальше развитие - специализированные вещи.
Т.е. года через два средний обыватель в чате не заметит разницы между моделями, даже если бенчмарки будут показывать обратное.
Наверное, 99% потребностей среднего обывателя текущие ИИ покрывают. Дальше развитие - специализированные вещи.
Т.е. года через два средний обыватель в чате не заметит разницы между моделями, даже если бенчмарки будут показывать обратное.
Ну по сути да. Они уже отвечают одинаково
Вот и спрашивается, что если ты не специалист, какой смысл следить за новинками чат-ИИ, ставить новые версии на свой смартфон и прочее? Хуже биороботов.
Вот и спрашивается, что если ты не специалист, какой смысл следить за новинками чат-ИИ, ставить новые версии на свой смартфон и прочее? Хуже биороботов.