Гибридное и крауд-деплоймент
Тема дорожной карты · MLOps
Гибридное развёртывание запускает ML inference одновременно в облаке, on-premise датацентрах и на edge-устройствах, маршрутизируя запросы с учётом требований по задержке, локализации данных и стоимости. Типичная схема: облако хранит большие, вычислительно ёмкие модели для batch-нагрузок; edge-устройства (NVIDIA Jetson, мобильные телефоны) запускают квантизированные или дистиллированные модели для real-time inference без подключения к сети. Фреймворки TensorFlow Lite, ONNX Runtime и NVIDIA Triton обеспечивают кроссплатформенную переносимость. Оркестраторы KubeEdge и AWS IoT Greengrass управляют deployment и обновлением моделей на флоте устройств.
Как это работает
Гибридное и крауд-деплоймент: Kubernetes для ML (training-jobs как K8s jobs, GPU node pools, KubeRay для distributed Ray, KServe для serving); GPU cluster management (node autoscaling, multi-instance GPU partitioning, fair-share scheduling для shared training-кластеров); cloud ML services (SageMaker, Vertex AI, Azure ML — проще ops, vendor lock-in trade-off; в РФ: Yandex DataSphere, MTC Cloud Tabby); hybrid + edge deployment (training в облаке, serving on-device или on-prem; federated learning где data не может покинуть premises).
Когда применять
Kubernetes для ML оправдан на 5+ инженерах + многих стеках — ниже простые инструменты (Modal, SageMaker, runpod, vast.ai) шипят быстрее. Для РФ-деплоев по Hard Rule #4 RF cloud-сервисы обязательны. Edge deployment — специализированная практика: hardware-aware модели + over-the-air апдейты + on-device мониторинг.
Типичные ошибки
Ловушки Гибридное и крауд-деплоймент: K8s-инфра для команды из 2 (operational cost > экономия); lock-in в одного cloud-провайдера managed ML без exit-плана; недооценка усилия edge deployment (huge hardware variety); GPU sharing не тестируют тщательно (один noisy tenant убивает всем training).