Бэктест без самообмана: комиссии, проскальзывание и переобучение

01Стоимость сделки меняет результат

Комиссия — только начало. Рыночный ордер исполняется по доступной ликвидности, а не по цене на графике. Для частых стратегий небольшая ошибка в модели стоимости может полностью изменить вывод.

• Maker и taker комиссии
• Спред и проскальзывание
• Фандинг и заём
• Задержка между сигналом и ордером

02Переобучение выглядит убедительно

Чем больше вариантов параметров проверено, тем выше шанс случайно найти красивый результат. Одна лучшая комбинация почти ничего не говорит об устойчивости.

Смотрите на область параметров: соседние значения должны давать объяснимо похожее поведение.

03Данные вне разработки

Разделите историю на участок разработки и независимую проверку. Более строгий вариант — последовательный walk-forward, где параметры выбираются только на прошлом окне.

Не возвращайтесь к независимому участку после каждого неудачного теста: так он незаметно становится частью обучения.

04Критерии допуска к запуску

До начала теста зафиксируйте, какие значения просадки, количества сделок и чувствительности к издержкам допустимы.

Решение не запускать систему — нормальный и полезный результат исследования.

05Проверьте, насколько результат хрупкий

Устойчивую идею не должен разрушать небольшой сдвиг параметра или ухудшение цены исполнения. Повторите тест с более высокой комиссией, задержкой входа, пропущенными сделками и менее выгодным проскальзыванием.

Сценарии стресса не обязаны оставаться прибыльными. Важно понимать форму ухудшения: просадка должна расти объяснимо, а не превращаться в катастрофу после минимального изменения предпосылки.

• Комиссия выше базовой оценки
• Вход на один бар или тик позже
• Случайный пропуск части сигналов
• Отдельный тест на периодах высокой волатильности

06Ведите журнал исследования

Для каждого эксперимента фиксируйте исходную гипотезу, набор данных, параметры и критерий успеха до запуска расчёта. Это отделяет проверку идеи от поиска красивой картинки задним числом.

Сохраняйте не только удачные варианты. История отвергнутых гипотез показывает, какие данные уже использовались для принятия решений и насколько независимым остаётся следующий тест.

Финальный отчёт должен отвечать на практический вопрос: при каких издержках и режимах рынка система перестаёт соответствовать допущениям, и какое наблюдение станет причиной её отключить.

07Разберите результат по режимам рынка

Общая кривая может скрывать, что стратегия зарабатывает только на коротком участке высокой волатильности, а в остальное время постепенно отдаёт результат. Разделите историю по состоянию волатильности, направлению рынка, ликвидности и времени суток, не меняя правила после просмотра итогов.

Для каждого режима покажите число сделок, результат после издержек, просадку и долю общего оборота. Небольшая прибыль на редких событиях должна иметь экономическое объяснение: почему наблюдаемый механизм возникает именно там и может ли алгоритм распознать режим без знания будущего.

Фильтр режима проверяют отдельно от торгового сигнала. Если классификация использует значения, доступные только после завершения периода, весь результат получает скрытую утечку будущего.

08Оцените разрыв между моделью и исполнением

После бумажного и минимального реального запуска сопоставьте каждую фактическую сделку с модельной: время сигнала, ожидаемую цену, комиссию, проскальзывание и факт частичного исполнения. Средняя разница показывает, сколько преимущества теряется вне исследовательского кода.

Расхождения группируют по причинам. Устаревшая котировка, задержка отправки, недостаточная глубина и отказ биржи требуют разных решений; одна общая поправка на проскальзывание скрывает источник проблемы.

Критерий масштабирования формулируется заранее. Пока фактическое распределение издержек и доля исполнений не укладываются в проверенный диапазон, увеличение объёма превращает техническую неопределённость в финансовую.

• Цена решения и фактическая средняя цена
• Время от сигнала до подтверждения
• Доля полного и частичного исполнения
• Причина каждого отклонения или отмены