🧑🏼‍🏫 Эксперты— такие эксперты

📜 Историческое развитие той или иной задачи начинается с решения очевидного и простого, а далее все хотят решить что-то эдакое. Так первыми под молот кузнеца-алгоритмиста попадали задачки с очевидными правильными ответами (все классифицировали песиков и котиков). Дальше задачки стали множиться и их вариативность становилась все больше и больше, и вот лет 5-7 назад (по моим наблюдениям) мл стал заползать в сферы, где эксперт — главное божество. Та же медицина, там наш эталон — эксперт, на производстве в ряде задач тоже только эксперт знает "как нам жить". Про искусство я вообще молчу и иногда плачу по ночам


Но мы с вами работаем с капризными и чуткими натурами (я про нейронки, если что). Возьмем задачу под названием "безумие"!

🫥 Суть задачи: нужно определить переломную точку перехода в состояние безумия у человека по каким-либо признакам.

Уточним, что под безумием можно подвести ряд психических расстройств (вот вам тест на винипуха для разминки — шутка). Определяет это все — эксперт.

Значит, что бы мы делали для такой задачи в классическом нашем подходе:
1- ищем эксперта, узнаем что по чем
2- ищем данные, просим эксперта их распределить: норму направо, расстройства - налево.
И тут пора уже притормозить. А что делать с теми, кто уже и в норму не ложится, но и расстройство не поставить? а это расстройство или человек -шиза ? возможно, он в принципе, та еще творческая личность — таких куда?

Делаем шаг назад, окей, может нам тогда не бинарно классифицировать, а все же добавить "уверенность", "степень", любой другой критерий, который сгладит углы или размоет понятие🙃— тоже есть вопросы

📣Сделайте/используйте критерии и перестаньте страдать

Частая проблема экспертов называется «я так чувствую». У эксперта есть багаж опыта, скомпилированный в его интуицию. Он может принимать решения не по скрипту if-else, а потому что «чувствует».
Думаете такое лишь в нашей задаче про безумие?! Верховые* также шлак «чувствуют». Шлак особо не увидишь в раскаленном чугуне при сливе, но они чувствуют (простите, это не шутка). А сколько статей на тему медицины по низкой согласованности супер-специалистов (если вы не знаете — живите лучше в незнании)!

Наша цель — попробовать выудить из чувств критерии, потому что к «чувствам» сетки не будут относиться с уважением. У неё даже ктн нет. А по критериям решение можно верифицировать и метрики считать (по-честному).

Всё понятно — что ничего непонятно 🐱

🥲 Проблема ясна, всем больно, а делать то что?

[Вариант 1] Сужать задачу до более понятных и четких, где есть критерии и признаки. Не пытайтесь решить все и сразу, возможно, step-by-step будет более эффективен

[Вариант 2] Посмотри на то же, но сбоку. Можно перевернуть задачу от поиска единых критериев безумства для всех, в исследование изменения состояния "внутри" данных каждого отдельного подопытного. Искать аномалии не относительно общей нормы, а принять, что у каждого она может быть своя

[Вариант 3] Вернуться от задачи к проблеме. Зачем нам нужно это делать? что мы решаем? Может вообще мы сейчас сову натягиваем на сферу?!

[Вариант 4] Творить! Пробуйте разные подходы из других задач и сфер, разговаривайте с экспертами, вдруг вы найдете те критерии, о которых они даже не знали. Самый крутой и прорывной вариант (если у вас есть время)

Вариант 5] Не страдайте всей командой — [отдайте страдания менеджеру данных или аналитику, они даже кайфанут (но это не точно)

* специалисты такие на производстве, почти как верхновные, но вместо мантии — огнеупорные костюмы

⁉️ А какие задачи такого типа встречали вы?