Сегодня я расскажу о начале своей карьеры в медтехе. В 2022 году после окончания израильского ШАДа я начал работать в израильской компании, где делал проекты в медицине. За время работы там я успел попробовать и NLP, и Computer Vision, и Time Series.

Однажды к нам пришёл заказчик, которому нужна была система определения положения и формы медицинского устройства на медицинских снимках во время хирургического вмешательства. Моей задачей было автоматизировать определение устройства на снимке, найти его края, и оценить форму и положение, потому что на тот момент это делалось хирургом "на глаз".

Задача была на стыке 2D и 3D. Я даже попробовал классический computer vision, однако из-за высокой вариативности классические методы не справились даже на лабораторных снимках. В итоге решением стала многоступенчатая модель: детекция при помощи yoloV5, сегментация объекта и краёв и самописный лосс, который считал наиболее правдоподобное положение объекта.

На выходе получилась система, работающая более эффективно, чем человек. В данный момент она уже может быть использована как ассистент хирурга, но чтобы получить разрешение на то, что бы сама система принимала решение о течении хирургической операции, ей предстоит пройти множество регуляций.

Этот проект я делал 2 года назад. Сейчас рынок значительно поменялся и общий бюджет инноваций сильно переместился в сторону проектов с LLM, а многие перспективные проекты в Computer Vision продолжают ждать своего часа. Найм в Computer Vision есть, но чаще возникают запросы на построение больших инженерных систем, 3D или видео. Мне очень интересны проекты мультимодельных систем, как например, текстовое описание снимка, но пока я мало вижу подобных проектов. Самые популярные проекты 2025 года - это LLM ассистент пациента или доктора. Найм сюда идёт постоянный.

Личный совет: если хотите в найм в медтехе в ближайшие месяцы, то имеет смысл освоить LLM stack, если же хотите интересных задач в Computer Vision, то придётся думать о специализации в этой сфере и выделить время на поиск подходящих проектов.