Прежде чем создавать систему с использованием ИИ, необходимо выбрать платформу, на которой она будет размещена. Ваш выбор повлияет на скорость, стоимость, масштабируемость и надежность вашей системы ИИ. Вы можете выбрать одну из следующих платформ:
- Искусственный интеллект на стороне клиента : работает непосредственно в браузере. Это означает, что данные остаются конфиденциальными на устройстве пользователя, и отсутствует задержка в сети. Однако для эффективной работы ИИ на стороне клиента необходимы узкоспециализированные и четко определенные сценарии использования.
- Искусственный интеллект на стороне сервера : работает в облаке. Он обладает высокой производительностью и масштабируемостью, но обходится дороже с точки зрения задержки и стоимости.
Каждый вариант имеет свои компромиссы, и оптимальная настройка зависит от вашего сценария использования, навыков команды и ресурсов. Например, вы можете предложить инструмент для составления кратких обзоров, работающий локально, чтобы пользователи могли задавать личные вопросы, не управляя персональными данными. Однако агент службы поддержки клиентов сможет дать более полезные ответы, используя облачную модель, имеющую доступ к большой базе данных ресурсов.
В этом модуле вы научитесь:
- Сравните компромиссы между клиентским и серверным ИИ.
- Подберите платформу в соответствии с вашими задачами и возможностями команды.
- Разрабатывайте гибридные системы, предлагающие искусственный интеллект как на стороне клиента, так и на стороне сервера, чтобы они росли вместе с вашим продуктом.
Ознакомьтесь с вариантами
При развертывании платформ ИИ следует рассматривать их по двум основным направлениям. Вы можете выбрать:
- Где работает модель : на стороне клиента или на стороне сервера?
- Возможность настройки : Насколько вы контролируете знания и возможности модели? Если вы можете контролировать модель, то есть изменять веса модели , вы можете настроить ее поведение в соответствии с вашими конкретными требованиями.
Искусственный интеллект на стороне клиента
Искусственный интеллект на стороне клиента работает в браузере, а вычисления происходят локально на устройстве пользователя. Нет необходимости выделять вычислительные ресурсы для вывода результатов, и данные остаются на компьютере пользователя. Это делает его быстрым, конфиденциальным и подходящим для легковесных интерактивных приложений.
Однако модели на стороне клиента обычно довольно малы, что может ограничивать их возможности и производительность. Они лучше всего подходят для узкоспециализированных задач, таких как обнаружение токсичности или анализ настроений. Часто это задачи прогнозирования с помощью ИИ с ограниченным пространством выходных данных .
Существует два основных варианта:
- Встроенный ИИ : Браузеры, такие как Google Chrome и Microsoft Edge , интегрируют модели ИИ. Доступ к ним осуществляется через вызовы JavaScript, без необходимости настройки или хостинга. После загрузки модели её могут вызывать все веб-сайты, которые её используют.
- Пользовательские модели : Вы можете использовать клиентские библиотеки, такие как Transformers.js и MediaPipe , для интеграции моделей в ваше приложение. Это означает, что вы можете контролировать веса модели. Однако это также означает, что каждый пользователь вашего веб-сайта должен будет загрузить вашу пользовательскую модель. Даже самые маленькие модели ИИ кажутся большими в контексте веб-сайта.
Искусственный интеллект на стороне сервера
При использовании серверного ИИ ваше веб-приложение вызывает API для отправки входных данных модели ИИ и получения ее выходных данных. Такая конфигурация поддерживает более крупные и сложные модели и не зависит от аппаратного обеспечения пользователя.
К серверным ИИ относятся две категории:
- Управляемые сервисы : это модели, размещенные в центрах обработки данных сторонними компаниями, такими как Gemini 3 и GPT-5. Владелец модели предоставляет API для доступа к ней. Это означает, что вы можете использовать самые современные модели с минимальной настройкой. Они идеально подходят для быстрого прототипирования, открытого обсуждения и рассуждений общего назначения. Однако масштабирование управляемого сервиса может быть дорогостоящим.
- Модели с самостоятельным размещением : Вы можете развертывать модели с открытыми весами, такие как Gemma или Llama, на собственной инфраструктуре или в управляемом контейнере, например, Vertex AI или Hugging Face Inference. Такой подход позволяет использовать преимущества предварительного обучения, проводимого создателем модели, но при этом сохранять контроль над моделью, тонкой настройкой данных и производительностью.
Выберите начальную платформу
Изучите архитектурные особенности платформ искусственного интеллекта и проанализируйте компромиссы, чтобы определиться с первоначальной конфигурацией.
Определите ваши архитектурные требования.
Принимая любое решение, вам приходится идти на компромиссы. Рассмотрим ключевые характеристики, определяющие стоимость и ценность вашей платформы искусственного интеллекта:
- Мощность модели : Насколько хорошо модель работает для широкого круга пользователей и задач без дополнительной настройки. Часто это коррелирует с размером модели.
- Настраиваемость : Степень, в которой вы можете точно настраивать, изменять или контролировать поведение и архитектуру модели.
- Точность : Общее качество и надежность прогнозов или результатов моделирования.
- Конфиденциальность : Степень, в которой данные пользователя остаются локальными и под контролем пользователя.
- Постоянные затраты : Регулярные расходы, необходимые для функционирования системы искусственного интеллекта независимо от ее использования, включая обеспечение и обслуживание инфраструктуры.
- Стоимость за запрос : дополнительные расходы на каждый входящий запрос.
- Совместимость : Насколько широко данный подход работает в разных браузерах, устройствах и средах без использования резервной логики.
- Удобство для пользователя : Нужно ли пользователям предпринимать дополнительные действия для использования системы ИИ, например, загружать модель.
- Удобство для разработчиков : насколько быстро и легко большинству разработчиков развертывать, интегрировать и поддерживать модель без специальных знаний в области ИИ.
В следующей таблице приведены примеры оценок эффективности каждой платформы по каждому критерию, где 1 — наименьшее значение, а 5 — наибольшее.
| Критерии | Клиент | Сервер | ||
| Встроенный ИИ или встроенный в устройство | Пользовательская модель | Управляемые услуги | Модель с самостоятельным размещением | |
| Мощность модели | Почему мощность модели оценивается в 2 звезды?Встроенный и работающий на устройстве ИИ использует небольшие, предварительно загруженные браузерные модели, оптимизированные для узкоспециализированных задач, а не для открытого диалога или рассуждений. | Почему мощность модели оценивается в 3 звезды?Пользовательские клиентские библиотеки обеспечивают большую гибкость, чем встроенный ИИ, но вы по-прежнему ограничены размером загружаемого файла, лимитами памяти и аппаратными возможностями пользователя. | Почему мощность модели оценивается в 4 звезды?Благодаря управляемым сервисам и самостоятельному размещению вы получаете доступ к крупным, современным моделям, способным к сложным рассуждениям, обработке длительного контекста и широкому охвату задач. | |
| Возможность настройки | Почему 1 звезда за возможность настройки?Встроенные модели не предоставляют доступа к весам модели или обучающим данным. Основной способ настройки их поведения — это оперативное проектирование. | Почему 5 звезд за возможность индивидуальной настройки?Эта опция позволяет контролировать выбор модели и веса. Многие клиентские библиотеки также позволяют выполнять тонкую настройку и обучение модели. | Почему 1 звезда за возможность настройки?Управляемые сервисы предоставляют доступ к мощным моделям, но предлагают минимальный контроль над их внутренним поведением. Настройка, как правило, ограничивается подсказками и контекстом ввода. | Почему 5 звезд за возможность индивидуальной настройки?Модели, размещаемые на собственном сервере, обеспечивают полный контроль над весами модели, обучающими данными, тонкой настройкой и конфигурацией развертывания. |
| Точность | Почему 2 звезды за точность?Встроенные модели обеспечивают достаточную точность для задач с четко определенными параметрами, однако ограниченный размер модели и ее обобщающая способность снижают надежность при работе со сложными или детализированными входными данными. | Почему 3 звезды за точность?Точность пользовательской клиентской модели может быть улучшена в процессе выбора модели. Однако она по-прежнему ограничена размером модели, квантованием и вариативностью аппаратного обеспечения клиента. | Почему 5 звезд за точность?Услуги по управлению сервисами, как правило, обеспечивают относительно высокую точность благодаря использованию больших моделей, обширных обучающих данных и постоянному совершенствованию со стороны поставщика. | Почему 4 звезды за точность?Точность может быть высокой, но зависит от выбранной модели и усилий по настройке. Производительность может отставать от управляемых сервисов. |
| Задержка сети | Почему 5 звезд за задержку сети?Обработка происходит непосредственно на устройстве пользователя. | Почему 2 звезды за задержку сети?Происходит обмен данными с сервером и обратно. | ||
| Конфиденциальность | Почему 5 звезд за конфиденциальность?По умолчанию пользовательские данные должны оставаться на устройстве, что сводит к минимуму утечку данных и упрощает соблюдение требований конфиденциальности. | Почему 2 звезды за конфиденциальность?Вводимые пользователем данные должны отправляться на внешние серверы, что увеличивает риск утечки данных и требования к соблюдению нормативных требований. Однако существуют специальные решения для смягчения проблем конфиденциальности, такие как частные вычислительные ресурсы для ИИ (Private AI Compute ). | Почему 3 звезды за конфиденциальность?Данные остаются под контролем вашей организации, но всё же покидают устройство пользователя и требуют безопасной обработки и соблюдения нормативных требований. | |
| Постоянные затраты | Почему 5 звезд за фиксированную стоимость?Модели работают на существующих устройствах пользователей, поэтому дополнительных затрат на инфраструктуру не требуется. | Почему 5 звезд за фиксированную стоимость?В большинстве случаев плата за использование API взимается в зависимости от объема работы, поэтому фиксированной стоимости нет. | Почему 2 звезды за фиксированные затраты?К фиксированным затратам относятся инфраструктура, техническое обслуживание и операционные издержки. | |
| Стоимость за запрос | Почему 5 звезд за стоимость одного запроса?Плата за каждый запрос отсутствует, поскольку обработка данных происходит на устройстве пользователя. | Почему 2 звезды за стоимость одного запроса?В управляемых сервисах обычно применяется ценообразование за каждый запрос. Затраты на масштабирование могут стать значительными, особенно при больших объемах трафика. | Почему 3 звезды за стоимость одного запроса?Прямых затрат на каждый запрос нет; фактическая стоимость одного запроса зависит от использования инфраструктуры. | |
| Совместимость | Почему 2 звезды за совместимость?Доступность зависит от браузера и устройства, поэтому для неподдерживаемых сред требуются резервные варианты. | Почему 1 звезда за совместимость?Совместимость зависит от возможностей оборудования и поддержки среды выполнения, что ограничивает охват различных устройств. | Почему 5 звезд за совместимость?Серверные платформы в целом совместимы со всеми пользователями, поскольку обработка данных происходит на стороне сервера, а клиенты используют только API. | |
| Удобство для пользователя | Почему 3 звезды за удобство использования?Как правило, после запуска система работает без сбоев, но для использования встроенного ИИ требуется предварительная загрузка модели и поддержка браузера. | Почему 2 звезды за удобство использования?Пользователи могут столкнуться с задержками из-за загрузок или неподдерживаемого оборудования. | Почему 4 звезды за удобство использования?Приложение запускается мгновенно, без загрузок и каких-либо требований к устройствам, обеспечивая плавную работу. Однако при слабом сетевом соединении могут наблюдаться задержки. | |
| Удобство для разработчиков | Почему 5 звезд за удобство для разработчиков?Встроенный ИИ требует минимальной настройки, не нуждается в инфраструктуре и не требует специальных знаний в области ИИ, что упрощает его интеграцию и обслуживание. | Почему 2 звезды за удобство для разработчиков?Требуется управление моделями, средами выполнения, оптимизация производительности и совместимость с различными устройствами. | Почему 4 звезды за удобство для разработчиков?Управляемые сервисы упрощают развертывание и масштабирование. Однако они по-прежнему требуют интеграции API, управления затратами и оперативного проектирования. | Почему 1 звезда за удобство для разработчиков?Для развертывания серверной части на заказ требуются значительные знания в области инфраструктуры, управления моделями, мониторинга и оптимизации. |
| Усилия по техническому обслуживанию | Почему 4 звезды за качество технического обслуживания?Обновление и оптимизация моделей осуществляются браузерами, но разработчикам приходится адаптироваться к меняющимся условиям доступности. | Почему 2 звезды за качество технического обслуживания?Требуется постоянное обновление моделей, оптимизация производительности и обеспечение совместимости по мере развития браузеров и устройств. | Почему 5 звезд за качество технического обслуживания?Техническое обслуживание осуществляется поставщиком услуг. | Почему 2 звезды за качество технического обслуживания?Требуется постоянное техническое обслуживание, включая обновление моделей, управление инфраструктурой, масштабирование и безопасность. |
Проанализируйте компромиссы
Чтобы проиллюстрировать процесс принятия решений, добавим еще одну функцию в Example Shoppe, среднюю по размеру платформу электронной коммерции. Вас интересует экономия на обслуживании клиентов в нерабочее время, поэтому вы решаете создать помощника на основе искусственного интеллекта, который будет отвечать на вопросы пользователей о заказах, возвратах и товарах.
Вы можете ознакомиться с полным описанием системы искусственного интеллекта , включая возможности и предлагаемое решение.
Проанализируйте сценарий, используя два подхода: требования к варианту использования и ограничения, связанные с бизнесом или командой.
| Требование | Анализ | Критерии | Импликация |
| Высокая точность и универсальность | Пользователи задают множество сложных вопросов, касающихся заказов, товаров и возвратов. | Мощность модели, точность | Требуется большая языковая модель (LLM). |
| Специфичность данных | Она должна отвечать на вопросы, касающиеся конкретных данных, продукции и политики компании. | Возможность настройки | Требуется ввод данных, например, с помощью RAG, но не требуется тонкая настройка модели. |
| Требование | Анализ | Критерии | Импликация |
| Пользовательская база | Сотни тысяч пользователей. | Масштабируемость, совместимость | Требуется архитектура, способная обрабатывать большой и стабильный трафик. |
| Фокус на период после запуска | После запуска первой версии команда перейдет к другим проектам. | Усилия по техническому обслуживанию | Необходимо решение с минимальными затратами на текущее обслуживание. |
| экспертные знания команды | Опытные веб-разработчики, ограниченный опыт в области ИИ/машинного обучения. | Удобство для разработчиков | Решение должно быть простым в развертывании и интеграции, не требующим специальных навыков в области искусственного интеллекта. |
Теперь, когда вы определили приоритетные критерии, вы можете обратиться к таблице оценки компромиссов , чтобы определить, какая платформа соответствует вашим критериям наивысшего приоритета:
Из этого анализа становится ясно, что следует использовать серверный ИИ, и, вероятно, управляемый сервис. Это предлагает универсальную модель для решения сложных вопросов клиентов. Минимизируются затраты на обслуживание и разработку за счет переноса инфраструктуры, качества модели и времени безотказной работы на поставщика.
Хотя возможности настройки ограничены, это оправданный компромисс для команды веб-разработчиков с ограниченным опытом в области моделирования.
Использование метода генерации с расширенным поиском (Retrieval-augmented Generation, RAG) может помочь вам предоставить модели соответствующий контекст во время вывода.
Гибридный ИИ
Зрелые системы искусственного интеллекта редко работают на одной платформе или с одной моделью. Вместо этого они распределяют рабочие нагрузки ИИ для оптимизации компромиссов.
Выявление возможностей для гибридного ИИ
После запуска проекта следует уточнить требования, основываясь на реальных данных и отзывах. В нашем примере, Example Shoppe, вы ждете несколько месяцев, чтобы проанализировать результаты, и обнаруживаете следующее:
- Примерно 80% запросов являются повторяющимися («Где мой заказ?», «Как мне его вернуть?»). Передача этих запросов в управляемый сервис создает значительные накладные расходы.
- Лишь 20% запросов требуют более глубокого анализа и открытого интерактивного диалога.
Легковесная локальная модель может классифицировать вводимые пользователем данные и отвечать на стандартные запросы, например: «Какова ваша политика возврата?» Сложные, редкие или неоднозначные вопросы можно перенаправлять на серверную модель.
Внедрение как серверного, так и клиентского ИИ позволяет снизить затраты и задержки, сохраняя при этом доступ к мощным аналитическим алгоритмам, когда это необходимо.
Распределите рабочую нагрузку
Для создания этой гибридной системы для Example Shoppe следует начать с определения системы по умолчанию. В данном случае лучше всего начать с клиентской части. Приложение должно перенаправлять запросы к серверному ИИ в двух случаях:
- Резервный вариант на основе совместимости : если устройство или браузер пользователя не могут обработать запрос, следует обратиться к серверу.
- Эскалация на основе возможностей : если запрос слишком сложен или не имеет четких границ для клиентской модели, как это определено заранее заданными критериями, его следует передать на более сложную серверную модель. Можно использовать модель для классификации запроса как обычного, чтобы выполнить задачу на стороне клиента, или как необычного, отправив запрос на серверную систему. Например, если клиентская модель определяет, что вопрос связан с необычной проблемой, такой как получение возврата средств в другой валюте.
Гибкость вносит дополнительную сложность.
Распределение рабочих нагрузок между двумя платформами обеспечивает большую гибкость, но также добавляет сложности:
- Оркестрация : Две среды выполнения означают больше движущихся частей. Вам нужна логика для маршрутизации, повторных попыток и резервных вариантов.
- Версионирование : Если вы используете одну и ту же модель на разных платформах, она должна оставаться совместимой в обеих средах.
- Разработка подсказок и контекстная инженерия : Если вы используете разные модели на каждой платформе, вам необходимо выполнить разработку подсказок для каждой из них.
- Мониторинг : Журналы и метрики разделены и требуют дополнительных усилий по их объединению.
- Безопасность : Вам приходится иметь дело с двумя поверхностями атаки. Необходимо усилить защиту как локальных, так и облачных конечных точек.
Это еще один компромисс, который вам следует учесть. Если у вас небольшая команда или вы разрабатываете несущественную функцию, вам, возможно, не захочется добавлять эту сложность.
Ваши выводы
Ожидайте, что выбор платформы будет меняться. Начните с определения сценария использования, согласуйте его с опытом и ресурсами вашей команды и совершенствуйте по мере роста как вашего продукта, так и уровня зрелости вашего ИИ. Ваша задача — найти оптимальное сочетание скорости, конфиденциальности и контроля для ваших пользователей, а затем развивать платформу с определенной гибкостью. Таким образом, вы сможете адаптироваться к меняющимся требованиям и извлекать выгоду из будущих обновлений платформы и модели.
Ресурсы
- Поскольку выбор платформы и модели взаимозависимы, подробнее о выборе модели можно прочитать здесь.
- Узнайте, как выйти за рамки облачных технологий с помощью гибридного и клиентского ИИ.
Проверьте свое понимание
Какие два основных момента следует учитывать при выборе платформы искусственного интеллекта для вашего приложения?
В каких случаях управляемый серверный сервис, такой как Gemini Pro, является наилучшим выбором для вашей платформы?
В чём основное преимущество внедрения гибридной системы искусственного интеллекта?