В прошлом посте я упоминал, что DVC не прижился, а всё потому, что в моей команде редко работали с git🫠, в то время юпитер ноутбуки отдавали бэкендерам и не знали, что происходит с обученными моделями дальше 😬. Занимались мы только CV-задачами, и все просто хранили данные у себя локально. Для трекинга экспериментов в команде пользовались W&B, но проблема с версионированием данных оставалась. Когда команда стала расширяться, бесплатная версия W&B уже не подходила, а платить мы не хотели)
Надо было найти инструмент, который будет подходить для наших задач и чтобы прижился в команде, но последнее было не просто.

Таким инструментом стал ClearML, надо было рассказать команде про него, про его плюсы и минусы и попытаться сделать так, чтобы им пользовались все. Вначале многие не хотели переходить с W&B, так как в части трекинга экспериментов он был лучше. Сейчас, может, разницы совсем нет, но три года назад ClearML действительно проигрывал по этому пункту W&B. Но я начал с того, что показал, как ClearML решает другие задачи: в первую очередь это было хранение и версионирование данных, а также логгирование всех артефактов, нужных для воспроизведения экспериментов. И на этом этапе все согласились, что это удобно, но начинать пользоваться не спешили.

Пришлось действовать постепенно: сначала начали хранить данные в ClearML, потом получился гибрид — одновременно логировались результаты экспериментов в W&B и в ClearML, — потом уже при расширении команды сразу использовался ClearML.

В процессе перехода на новый инструмент написанных инструкций становилось всё больше, и они легли в основу трёх моих статей для DeepSchool — ClearML Session, ClearML Data Management, ClearML Agent.

Какими инструментами трекинга экспериментов пользуетесь вы?