MLOps в Яндекс Еду

Компания "Яндекс"

Цели нашей команды:

• оптимизировать и улучшать аналитическую и ML-инфраструктуру, общаясь с её внутренними пользователями;
• выстраивать конвейеры автоматизации ML-процессов и обработки данных;
• настраивать работу сервисов и регулярных процессов в рамках экосистемы Яндекса;
• создавать новые и улучшать старые инструменты для ML-аналитики.

Какие задачи вас ждут:

1. Построить модель здоровья ML-сервисов
Модель здоровья — система мониторингов, следящая за тем, чтобы сервис работал как ожидается. В ожидания входят и стандартные технические показатели для бэкенд-сервисов (свободное место на диске, доля «пятисоток» в ответах сервиса и другие), и специфичные для ML показатели (свежесть поставки данных, корректность расчётов внутренних витрин данных, полнота данных в ответах сервиса).

2. Запустить Feature Store
ML-модели прогнозирования и рекомендаций в Еде базируются на статистических данных и их агрегатах. Каждое направление разрабатывает для ML-моделей сигналы и факторы на данных, соответствующих её доменной области. Feature Store позволит эффективно обмениваться факторами между командами без дублирования расчётов и предоставит платформу мониторинга качества сигналов. В рамках задачи предстоит дизайн архитектурного решения, реализация и интеграция в существующие пайплайны.

3. Развить инфраструктуру для реактивной поставки сигналов
Рекомендательные системы полагаются на историю пользовательских действий внутри приложения. Возможность доставлять события с задержкой до нескольких секунд позволит учитывать предпочтения пользователя в рамках сессии и повысит качество рекомендаций. Проект подразумевает разработку стриминга событий на базе Flink, хранение и раздачу профилей пользователей из key-value хранилищ Яндекса.

Мы ждём, что вы:

• На базовом уровне понимаете ML и концепции MLOps
• Разрабатывали бэкенд-сервисы на Python, C++, Java или Go
• Знаете или готовы освоить C++
• Обрабатывали большие объёмы данных (Hadoop, Spark, Hive)

Будет плюсом, если вы:

• Работали с ML-сервисами в продакшене
• Писали стриминговые приложения (Spark Structured Streaming, Flink или Kafka Streams)
• Работали в инфраструктурной команде