Как проверить доходность стратегии на новых данных: out-of-sample

Зачем нужна закрытая часть истории

Когда правило выбирают после просмотра результатов, исследователь уже использовал информацию из этих данных. Проверка на том же отрезке показывает, насколько удачно правило описывает знакомый материал. Для отдельной оценки оставляют период, который не участвует в настройке. Такой отрезок называют out-of-sample. Он не доказывает будущую доходность, но помогает обнаружить идеи, которые работают только на изученном прошлом. Временная последовательность для торговых данных важнее случайного перемешивания строк.

Пример разделения

Предположим, доступна история условного инструмента за четыре года. Первые два года используются для разработки, третий — для выбора среди заранее записанных вариантов, четвёртый остаётся закрытым до итоговой проверки. Границы фиксируют до расчётов. В проверочном периоде применяют те же комиссии, правила исполнения и ограничения объёма. Сравнение теряет смысл, если на разработке учитываются расходы, а на контрольном участке они случайно выключены или рассчитаны иначе.

Что делать после неудачи

После слабого результата возникает желание немного изменить порог и снова проверить последний год. Это допустимый новый исследовательский шаг, однако прежний контрольный период уже стал частью разработки. Его нельзя продолжать называть независимым. Сохраните исходный результат, запишите причину изменения и назначьте новую проверку. Иногда доступной истории для ещё одного честного испытания не хватает. В этом случае полезнее признать ограничение, чем скрывать прежние попытки и показывать только последнюю.

Что записать в протокол

Укажите даты всех частей, источник котировок, часовой пояс, список параметров и точный момент принятия решения. Сохраните версию правил до открытия контрольных результатов. Отдельно сравните число сделок, издержки, просадку и длительность нахождения в позиции: одинаковая итоговая прибыль может скрывать разные риски. Для обсуждения на форуме приложите эту таблицу без данных счёта. Главный вопрос — можно ли повторить проверку, не зная её результата заранее. Перед новой попыткой также определите критерий, по которому гипотеза будет отвергнута.

Если трейдер показывает несколько версий системы, уточните, какая из них была зафиксирована до проверочного периода. Сопоставлять нужно именно её результат. Переключение между версиями после просмотра рынка превращает отдельные хорошие примеры в новую стратегию отбора, которую также требуется проверять независимо.