Уверенность ИИ в торговом сигнале: как проверить цифру 90%

Уверенный ответ не равен измеренной вероятности

Число 90% в интерфейсе торгового помощника может быть реальной оценкой статистической модели, внутренним рейтингом или просто текстом, сформулированным языковой моделью. Пока способ получения неизвестен, трактовать его как вероятность прибыльной сделки нельзя. Сначала требуется точное определение события, к которому относится число, и метода проверки на новых данных.

Например, вероятность закрытия следующей свечи выше текущей отличается от вероятности достижения тейк-профита раньше стопа. Обе отличаются от вероятности положительного результата после комиссий. Если поставщик меняет смысл события при обсуждении неудач, показатель невозможно проверить последовательно. Для оценки нужна одна фиксированная формулировка и полный журнал прогнозов, сделанных до наступления результата.

Как выглядит калибровка

Представим 100 независимых по смыслу наблюдений, для которых система заранее указала вероятность около 80%. Если соответствующее событие случилось примерно в 80 случаях, это согласуется с хорошей калибровкой в данной группе, хотя размер выборки и случайность всё равно важны. Если событие произошло лишь 50 раз, показанная уверенность была завышена для этой выборки.

На практике прогнозы группируют по диапазонам вероятностей и сравнивают среднюю оценку с фактической частотой. В документации scikit-learn такая проверка описывается через calibration curves. Нужно учитывать, сколько наблюдений попало в каждый диапазон. Красивое совпадение на пяти прогнозах намного слабее, чем устойчивый результат на большой независимой последовательности с похожими условиями применения.

Что измеряет Brier score

Для бинарного события можно считать средний квадрат разности между прогнозной вероятностью и результатом, обозначенным нулём или единицей. Если вероятность равна 0,8, а событие случилось, вклад в оценку составляет (0,8 − 1)² = 0,04. Если не случилось, вклад равен 0,64. Так уверенная ошибка получает больший штраф.

Однако один Brier score не измеряет только калибровку. В документации отдельно отмечено, что показатель отражает несколько свойств прогнозов, включая способность различать исходы. Поэтому меньшую цифру нельзя автоматически объявлять доказательством лучшей калибровки. Полезно смотреть и кривую соответствия вероятностей частотам, и распределение прогнозов, и условия сравнения моделей.

Хорошая вероятность ещё не означает выгодную сделку

Пусть система действительно находит событие с вероятностью 80%, но прибыль при успехе равна 1, а убыток при неудаче равен 5. Ожидаемый результат до расходов составляет 0,8 × 1 − 0,2 × 5 = −0,2. Высокая доля успехов в такой конструкции не создаёт положительного ожидания. Комиссии сделают результат ещё хуже.

Поэтому калибровку нужно связывать с размером выигрыша, убытка и качеством исполнения. Отдельно проверяют, сохраняется ли эффект после задержки сигнала и на доступном пользователю рынке. Модель, хорошо предсказывающая маленькое движение, может быть бесполезна для торговли, если спред и комиссия превышают соответствующий выигрыш.

Как проверить поставщика сигналов

Запросите исходный журнал с временем, вероятностью, определением события и последующим исходом. Убедитесь, что неудачные прогнозы не удалены, а тестовый период не использовался для настройки. Для временных рядов важен хронологический порядок: случайное перемешивание близких наблюдений может создать утечку информации о будущих условиях.

Затем сравните систему с простой базовой моделью на одинаковых данных и расходах. Сохраняйте собственную небольшую выборку новых прогнозов, чтобы проверить переносимость результата. Главное достоинство численной уверенности — возможность независимой проверки. Если проверить её нельзя, число остаётся оформлением сигнала и не должно автоматически определять размер вложенных денег.

• Высокий win rate трейдера: почему частые победы могут давать убыток
• Как проверить доходность стратегии на новых данных: out-of-sample