Следующие ИИ прорывы будут в локальных моделях. А именно Edge. Когда вычисления переносятся из облака напрямую на устройство пользователя.

Как вообще я дошел до этого вывода.
В очередной раз на айфоне умерло приложение Сбера. Я психанул и купил себе флагман раскладушку на Android. Скачал APK Сбера, и пошел изучать все ИИ фичи, которых меня лишил Тим Кук.

Я видимо невнимательно слушал презентацию гугла, а ребята тогда анонсировали Google AI Edge на платформе LiteRT с возможностью воспроизведения моделей напрямую на устройстве. И добавили инструмент для облегчения моделей.

Для теста они сделали Edge Gallery для Android: APK здесь.
Там есть готовый пак из облегченных моделей. Тот же Qwen или DeepSeek уже в наличии. Работают в том числе на GPU. Могут писать код, анализировать изображения, чатиться.

Привел пару примеров работы:

1. Gemma 3n. Как распознает текст, в т.ч. рукописный. Все возможности тут.
2. Moondream 2b. Как описывает фото интерьера. Ищет и выделяет объекты. Отвечает на вопросы по фото.

Таким моделям:

1. Не нужен интернет.
2. Можно скормить чувствительную информацию без риска утечки
3. Оптимизировать затраты на вычислительные ресурсы для простых задач. Перенести все вычисления на клиент.
4. Повысить скорость получения результата в некоторых сценариях.

Интерактивные примеры на любом устройстве доступны тут.

Из минусов:

1. Производительность
2. Качество результата.

Предполагаю, что через год Android будет буквально упичкан такими моделями. А компании начнут закрывать часть задач локально на устройстве клиента, экономя ресурсы.

Оригинал в Telegram: https://t.me/segagridchin/88