Сам я шел путем 3 - именно воспроизводил своими руками stablebaselines3. Одна из базовых сред для rl - lunarlander. Есть ракета, которую нужно посадить между флажками. На гифках примеры работы обученной модели