Специалисты Quantopian доказали опытным путем низкую эффективность бэктестинга алгоритмических стратегий.
Согласно выводу экспертов, стратегии, которые разрабатываются и тестируются на истории, чаще всего подвержены высокой вероятности подгонки параметров под исторические данные (на сленге алгоритмических трейдеров это называется «оверфитом», от английского overfit). То есть стратегия, демонстрирующая в теории хорошие результаты, в реальной торговле начинает генерировать убытки.
Томас Вики, Эндрю Кэмпбелл, Джастин Лент и Джессика Стафф изучили 888 алгоритмических стратегий, разработанных и протестированных на веб-платформе Quantopian внешними пользователями, преимущественно частными трейдерами. Период тестирования составлял 6 месяцев. Было обнаружено, что коэффициент Шарпа, часто используемый в момент тестирования и отбора стратегии, дает худшие результаты в будущем. Наиболее интересными показателями стали волатильность и максимальная просадка (дродаун) портфеля.
В ходе исследования специалисты Quantopian строили параметрическую линейную регрессию и считали коэффициент корреляции между выборкой (in sample - IS), на которой тестировалась стратегия, и вне нее (out of sample - OOS). В результате, полученный коэффициент Шарпа на выборке IS находился в отрицательной корреляции с выборкой OOS. То есть разработчик стратегии получал прямо противоположные результаты — вместо растущего коэффициента Шарпа по итогам бэктеста происходил обратный процесс, его снижение на реальных данных.
Также были изучены регрессоры, которые все же могут позволить предсказывать будущий коэффициент Шарпа, исходя из данных, полученных на тестовой выборке. Наилучшим признано соотношение доходностей между 95-м процентилем и 5-м процентилем.
Авторы резюмируют, что судить о прибыльности стратегии только по результатам бэктеста неправильно, поскольку есть высокая вероятность ввести себя в заблуждение. Эксперты говорят, что альтернативой традиционному бэктесту может стать применение процедур машинного обучения, в ходе которых используется так называемая перекрестная проверка (кросс-валидация). Именно она позволяет понять эффективность торговой стратегии с большей достоверностью.