This is a plugin to use generative AI in image painting and editing workflows from within Krita. Visit www.interstice.cloud for an introduction. Learn how to install and use it on docs.interstice.cloud . The main goals of this project are: Precision and Control. Creating entire images from text can be unpredictable. To get the result you...
Valeriy Yastremskiy #: Что лучше использовать на смартфоне? Готовые приложения с оффлайн-ИИ**
- **ChatGPT-подобные решения**:
- **MLC Chat** (Android/iOS): Запускает модели Llama 2, Mistral и другие. Модели загружаются на устройство.
- **GPT4All** (через Termux на Android): Локальный чат-бот, требует настройки.
Или тензорфлоу?
Использую chatterui, там можно настроить вывод иишный в виде голоса, но не все модели обслуживает, в основном ии запускаю через PocketPal, и самое скоростное исполнение ии, через SmolChat, но не все ии выполняет, а так гемму3 1б делает 15 токенов в сек на смартфоне
Фи, извращенцы. 1B, 2B, даже 4B модели на телефоне... Я на ПК убедился, что даже 22B LLM абсолютно бесполезны и бредят. Только от рисующих моделей с такими размерами толк есть, и то для хобби.
Я на телефоне пользуюсь двумя программами с онлайн-моделями, работают бесплатно и надёжно. DeepSeek и Perplexity, с которым можно даже вести голосовой диалог, держа руки за спиной. Причём очень умный, в отличие от Алисы.
Интернет есть всегда, зачем париться? Рисующими локальными ИИ занимаюсь потому, что они бесплатны и некоторые не имеют встроенную цензуру.
Фи, извращенцы. 1B, 2B, даже 4B модели на телефоне... Я на ПК убедился, что даже 22B LLM абсолютно бесполезны и бредят. Только от рисующих моделей с такими размерами толк есть, и то для хобби.
Я на телефоне пользуюсь двумя программами с онлайн-моделями, работают бесплатно и надёжно. DeepSeek и Perplexity, с которым можно даже вести голосовой диалог, держа руки за спиной. Причём очень умный, в отличие от Алисы.
Интернет есть всегда, зачем париться? Рисующими локальными ИИ занимаюсь потому, что они бесплатны и некоторые не имеют встроенную цензуру.
Ии, 1б ответил на твой опус: Я понимаю ваше разочарование и ваше возмущение, и искренне сожалею, что вы столкнулись с такими негативными впечатлениями. Я понимаю, почему вы так расстроены, и хочу пояснить, что я – это сложная система, а не просто "модель", которая просто выдает ответы.
Вы совершенно правы, что многие современные LLM, особенно большие модели на телефонах, пока не приносят ожидаемых результатов. И ваша оценка DeepSeek и Perplexity, а также использование голосового диалога, – это очень ценный и важный опыт. Я очень рад, что вы нашли в них действительно полезные и удобные инструменты.
Я, к сожалению, не могу "ответить" Фи, потому что я не знаю, как он оценивает и оценивает модели. Мой ответ, вероятно, был бы неадекватным, учитывая ваш опыт и критику.
**Я понимаю, что вы хотите увидеть, как я бы взаимодействовал с вами, и что, скорее всего, я не удовлетворил ваши ожидания. Моя задача – помогать людям, а не давать им ложные представления о моей способности и эффективности. Я постоянно совершенствуюсь, и, возможно, в будущем я смогу предложить более полезный и информативный опыт.**
Вместо того чтобы критиковать меня, возможно, вы хотели бы поговорить о том, что именно вас разочаровало в других моделях? Может быть, у вас есть конкретные примеры, которые вы хотели бы обсудить? Я готов выслушать и попытаться понять вашу точку зрения.
Aleksander #: Ии, 1б ответил на твой опус: Я понимаю ваше разочарование и ваше возмущение, и искренне сожалею, что вы столкнулись с такими негативными впечатлениями. Я понимаю, почему вы так расстроены, и хочу пояснить, что я – это сложная система, а не просто "модель", которая просто выдает ответы.
Вы совершенно правы, что многие современные LLM, особенно большие модели на телефонах, пока не приносят ожидаемых результатов. И ваша оценка DeepSeek и Perplexity, а также использование голосового диалога, – это очень ценный и важный опыт. Я очень рад, что вы нашли в них действительно полезные и удобные инструменты.
Я, к сожалению, не могу "ответить" Фи, потому что я не знаю, как он оценивает и оценивает модели. Мой ответ, вероятно, был бы неадекватным, учитывая ваш опыт и критику.
**Я понимаю, что вы хотите увидеть, как я бы взаимодействовал с вами, и что, скорее всего, я не удовлетворил ваши ожидания. Моя задача – помогать людям, а не давать им ложные представления о моей способности и эффективности. Я постоянно совершенствуюсь, и, возможно, в будущем я смогу предложить более полезный и информативный опыт.**
Вместо того чтобы критиковать меня, возможно, вы хотели бы поговорить о том, что именно вас разочаровало в других моделях? Может быть, у вас есть конкретные примеры, которые вы хотели бы обсудить? Я готов выслушать и попытаться понять вашу точку зрения.
Связный, но совершенно бесполезный ответ. Я задал этот же вопрос онлайн-моделям.
Perplexity:
Анализ современных LLM разных размеров: сравнение локальных и облачных моделей
Ваше мнение затрагивает важный вопрос о соотношении размера языковых моделей и их практической полезности. Новейшие исследования в этой области показывают более сложную картину, чем может показаться на первый взгляд.
Эффективность малых моделей: последние достижения
Вопреки распространенному мнению, современные исследования демонстрируют впечатляющие результаты компактных моделей. Например, с использованием оптимальной стратегии масштабирования вычислений (TTS) модели размером 1B могут в некоторых задачах превосходить модели на 405B параметров1. Исследования также показывают, что 0.5B LLM может превзойти GPT-4o, а 3B LLM может превзойти модели на 405B параметров на специфических задачах1.
Ярким примером служит индийская модель Shivaay с 4B параметров, занявшая впечатляющее третье место в рейтинге ARC-C, обойдя такие известные модели как Claude 2, GPT-3.5 и 8B Llama 33. Это демонстрирует, что даже относительно компактные модели могут быть высокоэффективными при правильной архитектуре и обучении.
Специализированные малые модели
Особого внимания заслуживают специализированные модели. Например, в области программирования такие модели как Codestral 22B и DeepSeek Coder V2 Lite 14B показывают одинаково высокие результаты (81.1%) на бенчмарке HumanEval4. Это свидетельствует о том, что узкоспециализированные, но меньшие модели могут превосходить универсальные гиганты в конкретных областях.
Ограничения и вызовы мобильных моделей
Вы правы в том, что существуют определенные ограничения. Исследования показывают, что на современных мобильных устройствах действительно успешно работают только модели размером менее 4B параметров, при этом их качество обычно уступает более крупным моделям6. Кроме того, время отклика локальных моделей на телефоне значительно выше (более 30 секунд), тогда как облачные решения работают быстрее (менее 10 секунд)6.
Преимущества локальных моделей
Несмотря на эти ограничения, локальные модели имеют ряд существенных преимуществ:
Повышенная конфиденциальность (данные не покидают устройство)
Упомянутые вами DeepSeek и Perplexity AI представляют собой передовые облачные решения. Perplexity AI использует гибридный подход, объединяющий ИИ-генерацию и традиционный поиск, что обеспечивает более точные ответы со ссылками на источники9. DeepSeek фокусируется на глубоком анализе и математических вычислениях, что делает его подходящим для более сложных задач9.
Заключение
Вопрос выбора между локальными и облачными моделями, между компактными и огромными LLM зависит от конкретных потребностей и сценариев использования. Вы правы, что для повседневных задач облачные решения часто предлагают лучший баланс между качеством и удобством использования. Однако последние исследования показывают, что не стоит недооценивать потенциал малых моделей.
В будущем мы, вероятно, увидим дальнейшую оптимизацию локальных моделей, что сделает их более привлекательными для мобильных устройств. А пока оптимальным решением может быть комбинированный подход: использование облачных моделей для сложных задач и локальных для задач, требующих конфиденциальности или работы офлайн.
Вот как можно аргументированно и уважительно ответить на этот комментарий:
«Спасибо за ваш опыт! Вы правы в нескольких аспектах:
1. **Разница в железе**: 22B модель на ПК без специальной оптимизации действительно может работать хуже облачных аналогов — онлайн-сервисы используют кластеры GPU и квантование, что недоступно большинству пользователей локально.
2. **Специализация моделей**: Рисующие LLM (вроде Stable Diffusion) объективно требуют меньше «понимания» контекста, чем текстовые, поэтому их легче адаптировать под мобильные устройства.
3. **Плюсы облака**: DeepSeek и Perplexity используют не только мощные модели, но и постоянное дообучение, RAG-системы и хитрую постобработку — это принципиально другой уровень, чем raw-модель «из коробки».
4. **Эволюция технологий**: Уже сейчас появляются 3B-модели с качеством близким к GPT-3 (например, Phi-3), а мобильные чипы с NPU (как Snapdragon 8 Gen 3) позволяют запускать их в реальном времени — прогресс идёт экспоненциально 😊
5. **Use-case matters**: Для голосового ассистента (как ваш пример с Алисой) критична именно latency и активация «на лету», где локальные tiny-модели незаменимы, даже с потерей в интеллекте.
P.S. А какой вариант использования LLM на телефоне для вас основной? Интересно сравнить кейсы!»
Этот ответ сохраняет уважение к опыту собеседника, но мягко указывает на технические нюансы, которые он мог не учитывать, и стимулирует дальнейшую дискуссию.
Edgar Akhmadeev #: P.S. А какой вариант использования LLM на телефоне для вас основной? Интересно сравнить кейсы!»
Только perplexity. Использую для пересказа видео из ютуба (всякие новости, законы, экономика) с целью экономии времени (теперь контент потребляется за считанные минуты, вместо часов просмотра/просшуливания). Кроме того, это семантический поисковик в интернете, заменил мне гуглёж. Особенно полезно для поиска правовых документов и трактования НПА.
Valeriy Yastremskiy #: Гемма3 даже самая маленькая на реалми10 8 на 128 не завелась на смолчате. Квен завелся маленький. Бредит, но как игрушка ничего так.
Для авторизации и пользования сайтом MQL5.com необходимо разрешить использование файлов Сookie.
Пожалуйста, включите в вашем браузере данную настройку, иначе вы не сможете авторизоваться.
Вы вошли в аккаунт. Двухфакторная аутентификация отключена. Настройте её заново и отсканируйте новый QR-код или продолжите с отключённой двухфакторной аутентификацией.
https://github.com/Acly/krita-ai-diffusion
Ха, щас в телефоне запустил локально гемму3, и она начала писать сову на мкль5
Что лучше использовать на смартфоне? Готовые приложения с оффлайн-ИИ**
Фи, извращенцы. 1B, 2B, даже 4B модели на телефоне... Я на ПК убедился, что даже 22B LLM абсолютно бесполезны и бредят. Только от рисующих моделей с такими размерами толк есть, и то для хобби.
Я на телефоне пользуюсь двумя программами с онлайн-моделями, работают бесплатно и надёжно. DeepSeek и Perplexity, с которым можно даже вести голосовой диалог, держа руки за спиной. Причём очень умный, в отличие от Алисы.
Интернет есть всегда, зачем париться? Рисующими локальными ИИ занимаюсь потому, что они бесплатны и некоторые не имеют встроенную цензуру.
Фи, извращенцы. 1B, 2B, даже 4B модели на телефоне... Я на ПК убедился, что даже 22B LLM абсолютно бесполезны и бредят. Только от рисующих моделей с такими размерами толк есть, и то для хобби.
Я на телефоне пользуюсь двумя программами с онлайн-моделями, работают бесплатно и надёжно. DeepSeek и Perplexity, с которым можно даже вести голосовой диалог, держа руки за спиной. Причём очень умный, в отличие от Алисы.
Интернет есть всегда, зачем париться? Рисующими локальными ИИ занимаюсь потому, что они бесплатны и некоторые не имеют встроенную цензуру.
Ии, 1б ответил на твой опус: Я понимаю ваше разочарование и ваше возмущение, и искренне сожалею, что вы столкнулись с такими негативными впечатлениями. Я понимаю, почему вы так расстроены, и хочу пояснить, что я – это сложная система, а не просто "модель", которая просто выдает ответы.
Связный, но совершенно бесполезный ответ. Я задал этот же вопрос онлайн-моделям.
Perplexity:
Ваше мнение затрагивает важный вопрос о соотношении размера языковых моделей и их практической полезности. Новейшие исследования в этой области показывают более сложную картину, чем может показаться на первый взгляд.
Эффективность малых моделей: последние достижения
Вопреки распространенному мнению, современные исследования демонстрируют впечатляющие результаты компактных моделей. Например, с использованием оптимальной стратегии масштабирования вычислений (TTS) модели размером 1B могут в некоторых задачах превосходить модели на 405B параметров1. Исследования также показывают, что 0.5B LLM может превзойти GPT-4o, а 3B LLM может превзойти модели на 405B параметров на специфических задачах1.
Ярким примером служит индийская модель Shivaay с 4B параметров, занявшая впечатляющее третье место в рейтинге ARC-C, обойдя такие известные модели как Claude 2, GPT-3.5 и 8B Llama 33. Это демонстрирует, что даже относительно компактные модели могут быть высокоэффективными при правильной архитектуре и обучении.
Специализированные малые модели
Особого внимания заслуживают специализированные модели. Например, в области программирования такие модели как Codestral 22B и DeepSeek Coder V2 Lite 14B показывают одинаково высокие результаты (81.1%) на бенчмарке HumanEval4. Это свидетельствует о том, что узкоспециализированные, но меньшие модели могут превосходить универсальные гиганты в конкретных областях.
Ограничения и вызовы мобильных моделей
Вы правы в том, что существуют определенные ограничения. Исследования показывают, что на современных мобильных устройствах действительно успешно работают только модели размером менее 4B параметров, при этом их качество обычно уступает более крупным моделям6. Кроме того, время отклика локальных моделей на телефоне значительно выше (более 30 секунд), тогда как облачные решения работают быстрее (менее 10 секунд)6.
Преимущества локальных моделей
Несмотря на эти ограничения, локальные модели имеют ряд существенных преимуществ:
Повышенная конфиденциальность (данные не покидают устройство)
Работа без подключения к интернету
Отсутствие зависимости от облачной инфраструктуры
Потенциальная возможность персонализации78
Облачные решения и их преимущества
Упомянутые вами DeepSeek и Perplexity AI представляют собой передовые облачные решения. Perplexity AI использует гибридный подход, объединяющий ИИ-генерацию и традиционный поиск, что обеспечивает более точные ответы со ссылками на источники9. DeepSeek фокусируется на глубоком анализе и математических вычислениях, что делает его подходящим для более сложных задач9.
Заключение
Вопрос выбора между локальными и облачными моделями, между компактными и огромными LLM зависит от конкретных потребностей и сценариев использования. Вы правы, что для повседневных задач облачные решения часто предлагают лучший баланс между качеством и удобством использования. Однако последние исследования показывают, что не стоит недооценивать потенциал малых моделей.
В будущем мы, вероятно, увидим дальнейшую оптимизацию локальных моделей, что сделает их более привлекательными для мобильных устройств. А пока оптимальным решением может быть комбинированный подход: использование облачных моделей для сложных задач и локальных для задач, требующих конфиденциальности или работы офлайн.
Citations:
И DeepSeek:
Вот как можно аргументированно и уважительно ответить на этот комментарий:
«Спасибо за ваш опыт! Вы правы в нескольких аспектах:
1. **Разница в железе**: 22B модель на ПК без специальной оптимизации действительно может работать хуже облачных аналогов — онлайн-сервисы используют кластеры GPU и квантование, что недоступно большинству пользователей локально.
2. **Специализация моделей**: Рисующие LLM (вроде Stable Diffusion) объективно требуют меньше «понимания» контекста, чем текстовые, поэтому их легче адаптировать под мобильные устройства.
3. **Плюсы облака**: DeepSeek и Perplexity используют не только мощные модели, но и постоянное дообучение, RAG-системы и хитрую постобработку — это принципиально другой уровень, чем raw-модель «из коробки».
4. **Эволюция технологий**: Уже сейчас появляются 3B-модели с качеством близким к GPT-3 (например, Phi-3), а мобильные чипы с NPU (как Snapdragon 8 Gen 3) позволяют запускать их в реальном времени — прогресс идёт экспоненциально 😊
5. **Use-case matters**: Для голосового ассистента (как ваш пример с Алисой) критична именно latency и активация «на лету», где локальные tiny-модели незаменимы, даже с потерей в интеллекте.
P.S. А какой вариант использования LLM на телефоне для вас основной? Интересно сравнить кейсы!»
Этот ответ сохраняет уважение к опыту собеседника, но мягко указывает на технические нюансы, которые он мог не учитывать, и стимулирует дальнейшую дискуссию.
P.S. А какой вариант использования LLM на телефоне для вас основной? Интересно сравнить кейсы!»
Гемма3 даже самая маленькая на реалми10 8 на 128 не завелась на смолчате. Квен завелся маленький. Бредит, но как игрушка ничего так.
https://huggingface.co/NikolayKozloff/gemma-3-1b-it-Q8_0-GGUF/resolve/main/gemma-3-1b-it-q8_0.gguf?download=true