Подгонка стратегии под историю
Чем больше правил проверено на прошлом, тем лучше лучшее из них и тем меньше оно значит
Подгонка под исторические данные усиливается с числом перебранных правил: лучшее из большего набора попыток не бывает хуже, даже когда закономерностей в ряду нет по построению. Из 296 признаков, объявленных находками в 313 статьях о доходности американских акций, ложными оказываются от 80 до 158. А 97 опубликованных предсказателей на данных, которых они не видели, приносили на 26 % меньше, после выхода статьи на 58 % меньше.
Harvey, Liu, Zhu, The Review of Financial Studies, 2016. Bailey, Borwein, López de Prado, Zhu, 2014. McLean, Pontiff, 2016 · 23 мин · обновлено 01.10.2026
После урока вы сможете
- Понимать, почему лучшее из многих правил обязано выглядеть хорошо на прошлом
- Знать, что тренажёр делает с учебным случайным рядом и что показывают обе полосы
- Узнавать перебор, который не назван: чужими руками, предметом, витриной
- Знать, чем помогает отложенная часть данных и почему она изнашивается
- Знать, сколько независимых проб выдерживает ряд заданной длины и что бывает с находкой после публикации
Человек показывает правило и кривую к нему: на прошлых одиннадцати годах оно принесло бы заметно больше рынка. Урок 10 объяснил, почему такая кривая описывает прошлое. Остаётся вопрос, которого в описании не видно вовсе. Сколько правил было перебрано, прежде чем показали именно это?
Вопрос кажется придиркой, а он решающий. Если правило было одно, его результат хоть что-то да значит. Если правил перебрали триста, лучшее из них будет выглядеть прекрасно даже там, где искать нечего вовсе. И это не предположение, а вещь, которую можно посчитать и увидеть.
Тренажёр урока делает ровно это. Он берёт ряд, в котором закономерностей нет по построению, перебирает по нему правила и показывает лучшее. Показывает дважды: на той половине ряда, где правило выбирали, и на той, которой оно не видело.
Ряд, в котором нечего искать
Первое, что надо понять про тренажёр: его ряд собран из независимых случайных месяцев. К среднему приросту прибавляется случайный разброс, и каждый месяц берётся сам по себе, без всякой связи с соседними. Числа здесь учебные, и на экране это написано прямо.
Такое устройство не упрощает задачу, а составляет её условие. В этом ряду нет ни одной закономерности, которую можно было бы найти, потому что закономерностей туда не заложили. Значит, всё, что правило на нём покажет, есть подгонка и ничего кроме. Так получается эталон: видно, как выглядит успех там, где успеха быть не может.
Ряда хватает на двадцать пять лет. Первые три года уходят на разгон средних, а остальное делится пополам: одиннадцать лет, на которых правило подбирают, и одиннадцать, которых оно не видело. Вторая половина не будущее, а обычные месяцы того же ряда, отложенные заранее.
Есть и вторая кнопка: «Прогнать тридцать рядов». Она повторяет весь опыт три десятка раз и усредняет обе полосы. Отдельный ряд обманывает в любую сторону, потому что случайность играет и во второй половине, а среднее по тридцати рядам показывает устойчивую разницу.
На настоящем рынке нельзя отделить подгонку от находки: неизвестно, есть там закономерность или нет. В учебном ряду точно известно, что закономерностей нет. Поэтому любой результат правила на нём измеряет ровно одно: величину подгонки. Ради этого ряд и берётся случайным, а не ради простоты счёта.
Что делает ползунок
Правило в тренажёре одно и то же по устройству: держать бумагу в те месяцы, когда короткое среднее выше длинного. Меняются только два числа: длина короткого среднего и длина длинного. Коротких берётся от одного месяца до двенадцати, длинных до тридцати шести. Всего таких пар набирается триста пятьдесят четыре.
Ползунок «перебрано правил» задаёт, сколько пар из этого набора попробовать. Порядок перебора для данного ряда закреплён, поэтому ползунок набор не меняет, а только расширяет. Тренажёр считает каждое из перебранных правил на первой половине и показывает лучшее.
Дальше происходит главное. То же самое лучшее правило, с теми же двумя числами, прогоняется по второй половине, которой при выборе никто не видел. Обе полосы стоят рядом: результат на первой половине и результат на второй. Тут же деньги: во что превращается миллион по этому правилу там и там.
Стоит назвать и то, чего ползунок не делает. Он не меняет ряд, не двигает границу между половинами и не подкручивает само правило. Касается он только числа проб, из которых выбирается лучшая. Значит, любое изменение картинки при его движении вызвано только числом проб и ничем другим.
Почему лучшее обязано становиться лучше
Потяните ползунок вправо, и первая полоса поползёт вверх. Она не может не ползти, и причина здесь чисто арифметическая. Расширяя набор попыток, мы берём максимум по большему числу чисел, а максимум по большему набору не бывает меньше.
Проверить это можно и без тренажёра, на кубике. Бросьте его один раз: в среднем выпадет три с половиной. Бросьте шесть раз, возьмите наибольшее, и в среднем выйдет примерно пять с половиной. Кубик не изменился ничем, а изменилось число бросков, из которых берут лучший. Перебор правил устроен так же, только вместо шести граней там триста пятьдесят четыре пары чисел. Расходится сравнение в одном: грани кубика независимы, а близкие правила похожи друг на друга, и оттого прибавка от каждой новой попытки меньше, чем у кубика.
Отсюда вывод, который стоит проговорить отдельно. Рост первой полосы не сообщает ничего ни о рынке, ни о ряде, ни о правилах. Он сообщает только о том, что попыток стало больше. Ровно так же выросло бы лучшее из ста бросков монеты по сравнению с лучшим из трёх.
Вторая полоса при этом стоит на месте, и это тоже не случайность. Правило подбиралось под случайности первой половины: под то, что в такие-то месяцы бумага росла, а в такие-то падала. Во второй половине случайности другие. Настройка, точно описавшая одни, к другим отношения не имеет никакого.
Поэтому разрыв между полосами не означает, что правило испортилось. Оно не портилось, потому что не работало и раньше. Его выбрали за то, что оно лучше прочих описало уже случившееся, и ровно это оно и умеет делать.
Сколько проб выдерживает ряд
Сколько попыток нужно, чтобы такой разрыв появился, сосчитано точно. В 2014 году Дэвид Бэйли и трое соавторов вывели это число из одной математики перебора, без всяких рыночных данных. Считали они не голую прибавку к результату, а прибавку вместе с колебаниями: среднюю доходность сверх безрисковой делят на её разброс. Величину эту называют коэффициентом Шарпа, и чем ровнее шёл результат, тем она выше.
Ответ у них вышел короткий. Если ряд длиной в пять лет, независимых настроек можно пробовать не больше сорока пяти. На сорок пятой лучшая из них показывает коэффициент Шарпа около единицы, причём показывает его на ряде, где закономерности нет по построению. На данных, которых эта настройка не видела, ожидание при этом ровно ноль. Для двухлетнего ряда столько же даёт уже седьмая проба.
Числа эти маленькие, и в этом всё дело. Перебрать полсотни настроек можно за один вечер, а история цен за пять лет открыта и бесплатна. Есть у счёта и условие, которое стоит назвать: пробы в нём считаются независимыми. Соседние настройки правила независимыми не бывают: три месяца против двенадцати и три против тринадцати почти одно и то же. Значит, чтобы получить ту же пустышку, настроек надо перебрать больше сорока пяти, а не меньше.
Дэвид Бэйли, Джонатан Борвейн, Маркос Лопес де Прадо и Цицзи Чжу, Notices of the American Mathematical Society, 2014. Не измерение рынка, а вывод на бумаге вместе с моделированием: считается, какой наибольший коэффициент Шарпа возникает на ряде без всякой закономерности, если перебрать заданное число независимых настроек. Отсюда получается наименьшая длина ряда, при которой заданное число проб ещё не рождает пустышку. Утверждение относится к математике перебора, а не к какому-то одному рынку и не к каким-то годам.
Как это называется
У приёма есть имя, и пришло оно из статистики. Много проверок на одних и тех же данных с выбором лучшего результата называется множественными сравнениями. Чем больше сравнений сделано, тем выше лучшее из них, и тем меньше это лучшее говорит о предмете.
Механизм тот же, что в уроке 7, только применён он не к фондам, а к правилам: там чемпион выпадал из тысячи бросающих монету, а здесь из трёхсот перебранных настроек. Аппарат для этого (вероятности, поправки на число проверок) разбирает курс статистики. Для чтения обещаний хватает самого счёта попыток.
Тут же становится понятно, почему число попыток так редко называют. Скрывают его нечасто: его обычно просто не считают. Автор помнит удачный вариант и не помнит десятка отброшенных, потому что отброшенные были неинтересны. Забытая попытка при этом остаётся попыткой.
У денег этот механизм работает сильнее, чем в большинстве областей. Данные бесплатны, счёт мгновенен, а желающих найти правило очень много. Перебор здесь не стоит почти ничего, и потому его делают все и постоянно. Область, где проверка дёшева, обречена на обилие ложных находок просто по числу проверок.
Перебор, которого не видно
Перебор бывает не только явным. Есть три способа набрать сотню попыток, не сделав ни одной лишней настройки, и все три встречаются чаще, чем откровенная подкрутка параметров.
Перебор чужими руками. Сто человек проверяют по одному правилу каждый, и у одного получается прекрасно. Снаружи это выглядит как единственная удачная находка, а попыток было сто. Различить два случая по результату нельзя, можно только по тому, сколько человек участвовало.
Перебор предметом. Правило одно, но его пробуют на разных бумагах, разных рынках и разных отрезках лет. Показывают ту пару, где сошлось. Настройки при этом не менялись ни разу, а попыток набралось столько же.
Перебор витриной. Обнародуют только то, что получилось. Неудачные правила в свет не выходят, потому что рассказывать о них нечего. Читатель видит выборку из удач и не видит знаменателя.
Все три способа дают один и тот же итог и снаружи неразличимы. Поэтому вопрос о числе попыток задаётся не только автору правила, но и всей витрине, на которой оно показано. Урок 3 разбирает ту же механику на фондах: витрина показывает выживших по построению.
Перебор чужими руками однажды сосчитали. Кэмпбелл Харви из Университета Дьюка и двое соавторов разобрали в 2016 году всю литературу о предсказателях доходности американских акций. Набралось 313 статей с 1967 по 2012 год, а в них 316 разных признаков, по которым пробовали предсказать доходность бумаги. Каждый признак нашёл кто-то свой, и снаружи это выглядит как триста удач подряд.
Дальше авторы оценили и невидимую часть перебора. По их счёту проб было больше тысячи: до печати доходит меньшинство, потому что о неудачных попытках писать нечего. С такой поправкой из 296 признаков, объявленных в статьях находками, ложными оказываются от 80 до 158, смотря какую поправку на число проверок применить. Приходится поднимать и порог: обычная планка требует, чтобы найденная величина была вдвое больше собственной погрешности, а Харви с соавторами при таком переборе требуют втрое.
Что помогает и насколько
Снять вопрос полностью нельзя, но ослабить его можно, и помогают тут три вещи. Первая: правило, объявленное заранее. Если оно записано до того, как стали известны данные, попытка была одна, и провалиться на этих данных правило могло. Вот тогда результат хоть что-то значит.
Вторая: отложенная часть ряда. Кусок данных откладывают до выбора правила и проверяют на нём один раз. Именно это и делает вторая половина в тренажёре. Пока проверка на отложенном куске одна, она честная.
Слова «один раз» здесь несущие. Если правило не сошлось с отложенной частью, его подкручивают и проверяют снова, и отложенная часть перестаёт быть отложенной. Она уже увидена, и перебор пошёл теперь по ней. Так проверка изнашивается о повторное использование, тихо и незаметно для того, кто её ведёт.
Помогает и третья вещь, самая скучная. Простое правило с двумя настройками подогнать труднее, чем сложное с двадцатью. Чем больше у правила ручек, тем точнее оно ляжет на любой готовый ряд и тем меньше в этом смысла. Число настроек тоже оказывается числом попыток, только спрятанным внутрь самого правила.
И последнее, чего не чинит ни одна из перечисленных мер. Правило можно придумать после того, как сам прожил эти годы и запомнил их. Попытка тогда честно одна, а данные всё равно были известны заранее. Отличить такой случай от перебора нельзя ни по числу попыток, ни по отчёту. Помогают только годы, прошедшие после того, как правило записано.
Отложенная часть работает как проверка ровно один раз. После первой неудачи её обычно смотрят снова: правило подкручивают, прогоняют ещё раз и объявляют результат. С этого момента перебор идёт уже по отложенной части, и она стала такой же подогнанной, как первая. Заметить это снаружи нельзя: отчёт выглядит одинаково и в первом случае, и в двадцатом.
Что бывает с находкой потом
И есть проверка, которую нельзя устроить, а можно только дождаться. В 2016 году Дэвид Маклин и Джеффри Понтифф взяли 97 признаков, по которым в опубликованных работах предсказывалась доходность американских акций. Каждый признак они пересчитали на данных, которых он не видел. Сначала на годах после конца той выборки, где признак нашли. Потом на годах после выхода самой статьи.
Вышло две ступени. Вне исходной выборки собранные по этим признакам портфели приносили на 26 % меньше, чем в опубликованной работе. А после выхода статьи на 58 % меньше. Разницу между двумя числами, 32 процентных пункта, авторы относят на счёт торговли, которая пошла именно из-за публикации: о признаке узнали, им стали пользоваться, и он сам себя стёр. Сильнее прочих просели те признаки, у которых исходная прибавка была больше.
Заметьте, куда именно упало. Не в ноль: будь все 97 находок чистой подгонкой, вне исходной выборки от них не осталось бы ничего. Осталось около трёх четвертей, а после публикации около сорока процентов. Вот точная форма итога: найденное перебором надо делить, а не отбрасывать.
Дэвид Маклин и Джеффри Понтифф, The Journal of Finance, 2016. Сплошное воспроизведение 97 опубликованных предсказателей доходности на данных, которых они не видели: сначала после конца исходной выборки, затем после выхода статьи. Рынок американский, признаки опубликованы до 2013 года. Величины отсюда не переносятся ни на другие рынки, ни на другие годы: американский рынок самый длинный и самый изученный из существующих, и мерили именно его.
Оговорка в другую сторону
Из всего сказанного легко вывести, что закономерностей на рынках не бывает вовсе. Такой вывод сильнее доводов, и курс его не поддерживает: он был бы заявлением об устройстве мира, а оснований для такого заявления у нас нет. Показано другое и более скромное: закономерность, найденная перебором, неотличима от подгонки, пока её не проверили на данных, которых она не видела.
Спор есть и о самом крупном числе этого урока. Вывод Харви и соавторов о том, что большинство опубликованных находок ложны, оспаривается: другая линия работ доказывает, что подгонкой такого обилия признаков не объяснить и что воспроизводится их заметно больше. Чисел из этих работ курс не приводит, потому что по первоисточникам они не сверены. Спор при этом идёт не о существовании перебора, а о том, какую долю находок он съедает.
И ещё одно, что тренажёр показывает попутно. Если перебрать всего одно-два правила, обе половины дают примерно одинаковый результат. Разрыв возникает не от того, что правила плохи, а от того, что их много. Само по себе правило тут ни при чём, и винить его не в чем.
Курс не говорит, стоит ли доверять правилам, найденным на истории, и не делит их на годные и негодные. Он говорит, чего не хватает в показанном числе, чтобы из него следовал вывод: числа попыток и проверки на невиданных данных. Решение зависит от обстоятельств, которых курс не знает: от вашего срока, дохода и обязательств.
Что дальше
Итог урока короткий. Результат на прошлом надо делить на число попыток, а число попыток почти никогда не названо. Если его нет, вычесть подгонку из показанного результата невозможно. Значит, и вывода из него сделать нельзя ни в какую сторону.
Полезно помнить и обратное. Перебор не делает найденное ложным: он делает его непроверенным. Разница между «неверно» и «неизвестно» пройдёт через весь курс, и путать их так же вредно, как верить витрине на слово.
Урок 12 переносит тот же вопрос с правил на фонды. Речь там пойдёт не о перебранных настройках, а о том, насколько прошлый результат фонда связан с будущим. Вопрос этот измеряли, и измерить его оказалось труднее, чем кажется на первый взгляд.
Правило, подогнанное под прошлое
Случайный ряд, в котором нечего находить. Чем больше правил перебрано, тем лучше лучшее из них описывает прошлое, но тем меньше говорит о данных, которых не видело.
Ключевые работы
| Harvey, Liu, Zhu, The Review of Financial Studies | 2016 | Сплошной разбор литературы: 313 статей с 1967 по 2012 год, а в них 316 разных признаков, по которым пробовали предсказать доходность американских акций. Мерили, какой порог должен превысить новый признак, чтобы считаться находкой, если учесть число уже сделанных проверок. Из 296 признаков, объявленных в статьях находками, ложными оказываются от 80 до 158 в зависимости от поправки, а общее число проб авторы оценивают больше чем в тысячу. |
| Bailey, Borwein, López de Prado, Zhu, Notices of the American Mathematical Society | 2014 | Не измерение рынка, а вывод на бумаге вместе с моделированием: разбор того, какой наибольший коэффициент Шарпа возникает на ряде без всякой закономерности при заданном числе независимых проб. При 5 годах данных таких проб хватает 45, при 2 годах хватает 7, а на данных, которых настройка не видела, ожидание при этом ноль. |
| McLean, Pontiff, The Journal of Finance | 2016 | Сплошное воспроизведение 97 опубликованных предсказателей доходности американских акций на данных, которых они не видели: сначала после конца исходной выборки, затем после выхода статьи. Портфели приносили на 26 % меньше вне выборки и на 58 % меньше после публикации, а признаки опубликованы до 2013 года. |
Что подтвердилось, а что нет
Зависимость обратная. Лучший результат из набора попыток растёт с числом попыток по чистой арифметике: максимум по большему набору не бывает меньше. На учебном ряду, где закономерностей нет по построению, перебор трёхсот правил даёт прекрасную кривую на той половине, где выбирали, и никакой прибавки на второй. Число попыток убавляет вес найденного, а не прибавляет. Сосчитано и то, сколько проб выдерживает ряд: при пяти годах данных сорок пятая независимая настройка уже даёт коэффициент Шарпа около единицы там, где искать нечего, а вне выборки даёт ноль.
Снимает, но ровно один раз. После первой неудачи правило подкручивают и проверяют на том же отложенном куске снова, и перебор переезжает на него: кусок увиден и больше не отложен. Осторожная версия утверждения выживает: однократная проверка на невиданных данных действительно весит много. Отличить её от двадцатой по счёту снаружи нельзя, поэтому вопрос «сколько раз проверяли» приходится задавать отдельно.
Перебор делает найденное не ложным, а непроверенным. Правило, выбранное как лучшее из трёхсот, может описывать и настоящую закономерность, и случайности конкретного отрезка. По одному результату на прошлом эти два случая неразличимы. Утверждение «закономерности нет» требует своих оснований и из числа попыток не следует. Измерение это подтверждает: из 97 опубликованных предсказателей доходности американских акций вне исходной выборки сохранилось около трёх четвертей прибавки, а после публикации около сорока процентов, то есть не ноль.
Проверка сплошная: 97 опубликованных предсказателей доходности американских акций пересчитаны на данных, которых они не видели, сначала на годах после конца исходной выборки, затем на годах после выхода самой статьи. Собранные по ним портфели приносили на 26 % меньше вне исходной выборки и на 58 % меньше после публикации, а сильнее прочих просели признаки с самой крупной исходной прибавкой. Устояло и направление, и то, что затухание не доходит до нуля: вне выборки осталось около трёх четвертей прибавки, а после публикации около сорока процентов. Оспорить можно другое. Разложение разрыва в 32 процентных пункта на счёт торговли, начавшейся из-за публикации, остаётся объяснением авторов, а не измеренной величиной. И весь счёт американский, по признакам, опубликованным до 2013 года: на другие рынки и другие годы он не переносится.
Термины
- множественные сравненияmultiple comparisons
- Много проверок на одних и тех же данных с выбором лучшего результата. Чем больше проверок сделано, тем выше лучшая из них и тем меньше эта лучшая говорит о том, что проверяли.
- перебор параметровparameter search
- Повторный расчёт одного и того же правила при разных настройках с выбором лучшего результата. Каждая настройка считается отдельной попыткой, и число попыток в витрину обычно не попадает.
- скрытый переборhidden multiplicity
- Попытки, которых в отчёте нет: отброшенные варианты правила, другие бумаги, другие отрезки лет, чужие неудачные проверки. Считать надо все попытки, а не только ту, о которой рассказали.
- перекапывание данныхdata dredging
- Многократный поиск закономерности в одном наборе данных, пока что-нибудь не найдётся. Найденное так неотличимо от случайного совпадения, пока его не проверили на других данных.
- шумnoise
- Часть колебаний ряда, за которой не стоит причины, повторяющейся дальше. В прошлом шум выглядит закономерностью, потому что он уже случился и его видно целиком.
- отложенная часть рядаhold-out sample
- Кусок данных, отложенный до того, как правило выбрано, и служащий для одной-единственной проверки. Работает ровно до тех пор, пока к нему не начали возвращаться после неудач.
- заранее объявленное правилоpre-specified rule
- Правило, записанное до того, как стали известны данные, на которых его считают. Только такое правило способно провалиться на проверке, а значит, только его результат что-то сообщает.
- коэффициент ШарпаSharpe ratio
- Мера результата вместе с колебаниями: среднюю доходность сверх безрисковой делят на разброс этой доходности. Одна и та же прибавка даёт тем большее значение, чем ровнее она набиралась.
- ложная находкаfalse discovery
- Результат, объявленный находкой, за которым ничего не стоит: он вышел из случайности и из числа проверок. Чем больше проверок сделано, тем больше ложных находок среди объявленных.
Практикум · Сосчитать попытки
Навык урока: переводить любое обещание, опирающееся на прошлое, в вопрос о числе попыток. Задача не в том, чтобы уличить автора, а в том, чтобы увидеть, сколько сведений в сообщении на самом деле. Занимает около получаса.
- Возьмите одно сообщение, где показан результат правила или подборки на прошлых годах. Годится реклама сервиса, рейтинг «лучших за пять лет» или разбор в статье.
- Выпишите всё, что могло перебираться: настройки правила, набор бумаг, отрезок лет, способ сравнения. Для каждого пункта отметьте, назван он в сообщении или нет.
- Оцените число попыток снизу. Даже грубая оценка вроде «не меньше двадцати» меняет чтение результата: сравнивать надо не с нулём, а с лучшим из двадцати.
- Найдите, сказано ли что-нибудь о проверке на данных, которых правило не видело. Если сказано, ищите второе: сколько раз такая проверка проводилась.
- Запишите одной фразой, что осталось бы от сообщения, если бы автор назвал число попыток честно. Если не остаётся ничего, это и есть ответ о его содержании.
Вопросы для самопроверки
Ползунок «перебрано правил» сдвинули с трёх до трёхсот, и результат лучшего правила на первой половине ряда вырос. О чём говорит этот рост?
- О том, что в ряду есть закономерность, и с ростом числа проверок её удаётся нащупать точнее
- Только о том, что попыток стало больше: максимум по большему набору проб не бывает меньше
- О том, что длинные средние описывают ряд лучше коротких и потому побеждают при переборе
- О том, что первая половина ряда удачнее второй: в ней случайно оказалось больше растущих месяцев
Почему результат того же самого правила на второй половине ряда не растёт вместе с числом перебранных правил?
- Потому что на второй половине правило торгует реже и потому зарабатывает меньше
- Потому что за одиннадцать лет условия успевают измениться, и старая настройка устаревает
- Потому что тренажёр считает вторую половину без разгона средних и тем занижает результат
- Потому что настройку выбирали под случайности первой половины
Что такое множественные сравнения в применении к правилам?
- Много проверок на одних данных с выбором лучшего результата: чем больше проверок, тем выше лучшая и тем меньше она значит
- Сравнение одного правила сразу с несколькими рынками, чтобы убедиться в его всеобщности
- Сравнение результата правила с результатом рынка за тот же отрезок времени
- Проверка одного правила несколькими способами подсчёта доходности
Сто человек независимо проверили по одному правилу каждый, и у одного вышло отлично. Чем этот случай отличается от одного человека, перебравшего сто правил?
- Тем, что независимые проверки не связаны между собой и потому результат каждой из них надёжнее
- Тем, что сто человек не могут ошибиться одинаково, а один человек вполне может
- По числу попыток ничем: попыток в обоих случаях сто, и лучшую из них выбрали после подсчёта
- Тем, что у ста человек разные данные, и совпадение на разных данных весит больше
Автор говорит: «мы проверили правило на данных, которых оно не видело». Что об этом нужно спросить ещё?
- На каком рынке проверяли: на чужом рынке результат ничего не значит
- Учтены ли в проверке расходы на сделки, без которых расчёт нельзя считать проверкой
- Достаточно ли длинной была отложенная часть: короткая проверка всегда даёт случайный ответ
- Сколько раз на ней проверяли и что делали с правилом каждый раз после неудачи
Ответы и разбор открываются в самопроверке урока: она считает результат и отмечает урок пройденным. Пройти самопроверку.
Что читать
- Harvey, Liu, Zhu. …and the Cross-Section of Expected Returns. The Review of Financial Studies, 2016, 29(1):5-68: Разбор всей литературы о предсказателях доходности американских акций: 313 статей, 316 признаков, 1967-2012 годы. Там же расчёт порога, за которым находку стоит принимать всерьёз, и оценка доли ложных находок.
- Bailey, Borwein, López de Prado, Zhu. Pseudo-Mathematics and Financial Charlatanism. Notices of the American Mathematical Society, 2014, 61(5):458-471: Откуда взялись сорок пять проб на пять лет данных. Статья написана для математиков, но главный счёт изложен в ней словами и разбирается без подготовки.
- McLean, Pontiff. Does Academic Research Destroy Stock Return Predictability? The Journal of Finance, 2016, 71(1):5-32: Что стало с 97 опубликованными признаками после того, как о них узнали. Затухание измерено дважды: до выхода статьи и после, и разница между двумя числами отдельно объяснена.