Метрики input/output

В начале этого года, я решил начать трекать свой сон, потому что с питанием и физической активностью всё ок, а вот качество сна хромало.

Купил Garmin Vivosmart 5, начал спать с трекером — и быстро понял: хороший сон устроен сложнее, чем я думал.

Сон — комлексная вещь, нет одной кнопки или рычага, которые напрямую гарантировали бы хороший или отличный сон. Есть набор нескольких параметров с разными диапазонами.

Навскидку (не является индивидуальной оздоровительной рекомендацией):
❤️Регулярность: ложится и вставать примерно в одно и то же время.
❤️Уровень стресса: меньше раздражителей, больше "выключения головы" (книга/дыхание).
❤️Продолжительность: 7 - 9 часов.
❤️Температура: должны быть слегка прохладно.

То есть "хороший сон" напрямую не оптимизируется. Зато оптимизируются его компоненты — и именно они повышают шанс получить хороший результат.

С ML в проде — то же самое 🔁

Как бы мы ни готовили модель к production, всегда будут незапланироованные сбои/ошибки. Можно бесконечно разбирать баги по мере их появления. А можно выстроить систему и управлять качеством через input-метрики и процессы.

Пример:
❤️Написание System Design Doc и обсуждение всех нюансов со стейкехолдерами.
❤️Подготовка набора test cases заранее (включая крайние случаи).
❤️Составление максимального качественного датасета (разметка, покрытие кейсов, отсутствие ликов).
❤️Обучение модели без overfit/underfit + честная валидация.
❤️Онлайн-мониторинг: метрики качества, метаинформация по входным данным, статистика запросов и так далее.

Не всегда можно “починить результат” напрямую. Но почти всегда можно улучшить то, из чего он складывается.

Чем лучше мы проведём работу над этими частями, тем более вероятно мы получим меньше баг-тикетов с прода и много довольных клиентов.