Как проверять финансовые советы
Шесть родов свидетельства о деньгах и один, которого в медицине нет вовсе
Проверить финансовый совет помогает вопрос о том, какие посторонние объяснения результата отсекает свидетельство, на которое совет опирается. Свидетельства о деньгах выстраиваются по силе в шесть ступеней: «у меня получилось», разобранный отдельный случай, бэктест, наблюдение, рандомизированный эксперимент и свод таких экспериментов. Бэктест, прогон правила по уже известным ценам, стоит третьим снизу и убеждает сильнее верхних ступеней.
Иерархия доказательств применительно к финансовым утверждениям. Fernandes, Lynch, Netemeyer, 2014 и Kaiser, Lusardi, Menkhoff, Urban, 2022 · 22 мин · обновлено 01.10.2026
После урока вы сможете
- Расставлять свидетельства о деньгах по силе и называть основание порядка
- Узнавать бэктест и понимать, почему прогон по прошлому ничего не проверяет
- Считать в своде не участников, а работы, отвечающие на заданный вопрос
- Не делать двух зеркальных ошибок: «есть проверка, значит, доказано» и «нет эксперимента, значит, неизвестно»
Три человека говорят об одном и том же способе обращаться с деньгами. Первый попробовал сам и за три года заметно обогнал банковский вклад. Второй показывает страницу, где кривая правила уходит вверх от кривой рынка: правило прогнали по ценам за двадцать лет. Третий ссылается на исследование, в котором ничего не подтвердилось.
Со стороны кажется, что доводы примерно равны и всё сводится к тому, кому больше доверяешь. Они не равны, и разница между ними не требует никакого финансового образования. Она в том, какие посторонние объяснения результата каждый довод отсекает, а какие оставляет в силе.
Из этого вопроса и вырастает лестница доказательств, то есть порядок, в котором свидетельства расставлены по силе. У денег она почти такая же, как в медицине, но с одной лишней ступенью. На этой лишней ступени стоит довод второго из трёх, и в медицине ей соответствовать нечему.
Шесть ступеней и один вопрос к каждой
Первым делом стоит отказаться от привычной пары «доказано» и «не доказано». Свидетельства бывают разной силы, и сила измеряется не тем, насколько убедительно рассказано, а устройством самой проверки. Поэтому уместная картинка здесь не выключатель, а лестница.
Ступеней шесть, и снизу вверх они выглядят так. На первой стоит «у меня получилось», на второй подробно описанный отдельный случай. На третьей стоит бэктест, то есть прогон правила по ценам прошлого, на четвёртой наблюдение за теми, кто уже поступает так. На пятой стоит рандомизированный эксперимент, на шестой свод таких экспериментов.
Дальше мы пройдём по ступеням снизу вверх, и на каждой прозвучит один и тот же вопрос. Какие посторонние объяснения результата эта ступень отсекает, а какие оставляет? Ответ на него и расставляет ступени по порядку, и никакого другого основания у лестницы нет.
Нижние ступени: «получилось» и один случай
На нижней ступени стоит рассказ человека, у которого вышло. Он не отсекает ничего. Тот же итог мог дать общий подъём рынка, удачное время входа, деньги, добавленные по дороге, или простое совпадение. Ни одно из этих объяснений рассказ не исключает, потому что сравнивать не с чем.
У денег к этому добавляется собственная беда: шум. Годовой результат колеблется так сильно, что за два-три года случайность перекрывает разницу в умении. Поэтому «у меня получилось за три года» и «мне повезло за три года» описывают одни и те же данные.
И ещё одно, о чём подробно говорит следующий урок. Рассказ ведёт тот, у кого получилось, а тот, у кого не вышло, обычно молчит. Это называется смещением выжившего: в поле зрения попадают дожившие до конца истории, и потому картина по рассказам выходит лучше, чем было на самом деле.
Ступенью выше стоит подробно описанный отдельный случай. Здесь есть даты, суммы, условия договора и проверяемая последовательность событий. Такой случай полезнее впечатления, потому что подробности записаны и доступны другим.
Группы сравнения в нём по-прежнему нет, и потому он не отвечает на вопрос «работает ли способ». Он отвечает на другой вопрос, тоже нужный: «бывает ли такое вообще». Отдельный случай годится, чтобы заметить явление и предложить объяснение, а не чтобы его проверить.
Недооценивать эту ступень не стоит. Один разобранный случай окончательно опровергает утверждение вида «такого не бывает», а таких утверждений в разговорах о деньгах много. С разбора отдельных случаев начинается почти всякое знание о незнакомом продукте. Гипотезу надо откуда-то взять, и берут её чаще всего отсюда.
В осторожной форме это верно: опыт стоит на нижней ступени и годится, чтобы заметить явление. В сильной форме неверно, и разница здесь не в надёжности рассказчика. Опыт не отсекает ни одного постороннего объяснения, поэтому отвечает на другой вопрос: «бывало ли такое», а не «работает ли это».
Ступень, которой нет в медицине
Теперь ступень, ради которой лестница о деньгах вообще отличается от лестницы в медицине. У рынка есть свойство, которого нет у человеческого тела: он оставил полную запись своего прошлого. Цены каждого дня за десятки лет записаны и доступны кому угодно. По этой записи можно прогнать любое правило и получить кривую, не потратив ни рубля и не подождав ни дня.
Такой прогон называется бэктестом. Выглядит он как настоящая проверка: данные настоящие, счёт честный, результат можно нарисовать. Поэтому из всего, что показывают человеку о деньгах, бэктест убеждает сильнее прочего.
Беда ровно одна. Правило подбирали, уже зная эти цены. Автор перебрал разные пороги, сроки и условия и оставил тот вариант, который лучше лёг на известную историю. Хороший результат на ней оказывается свойством подбора, а не правила.
Умысла здесь может не быть вовсе, и чаще всего его нет. Человек добросовестно перебрал варианты и добросовестно показал лучший. Но лучший из многих хорош на известных данных уже потому, что он лучший из многих. Чем больше вариантов перебрано, тем крупнее эта надбавка, и вся она остаётся в прошлом.
В медицине такой ступени нет, и это не случайность. Чтобы прогнать лекарство по прошлому, нужны исходы людей, которые его принимали. Если препарата тогда не существовало, таких исходов нет, и вычитать из архива нечего. Рынок же хранит след любого правила, включая те, которых никто никогда не применял.
Из этого не следует, что бэктест бесполезен. Одно он делает надёжно: опровергает. Если правило не работает даже на том прошлом, под которое его подбирали, дальше проверять нечего. Бэктест работает как сито, отсеивающее заведомо негодное, а не как свидетельство в пользу того, что сквозь сито прошло.
Подробный разбор бэктеста будет в уроке 10, а тренажёр, где видно, что делает с результатом перебор правил, появится в уроке 11. Здесь достаточно научиться его узнавать. Признак простой: результат получен на данных, которые были известны, когда правило сочиняли.
Здесь это похоже на экзамен, где студент готовился ровно по тем билетам, которые ему достанутся: оценка выйдет высокой и о знании предмета не скажет ничего. Ломается аналогия вот где: студент знает, что заглянул в билеты, а автор правила чаще всего не знает. Он перебирал варианты добросовестно и оставил тот, который лучше лёг, а лучший из многих хорош на известных данных сам по себе.
Наблюдение: сравнение, которого никто не устраивал
На четвёртой ступени стоит наблюдение. Здесь появляется то, чего не было ниже: группа сравнения. Берут тех, кто уже поступает так, и тех, кто поступает иначе, и сравнивают результаты.
Знакомый пример даёт реклама сервиса: «наши клиенты откладывают вдвое больше». Число тут может быть посчитано честно, и обычно так и есть. Случайность одного случая такое сравнение отсекает, а главного объяснения не отсекает: клиентами становятся сами.
Люди, пришедшие в сервис, отличаются от непришедших не только тем, что пришли. Среди них больше тех, кто и так собирался откладывать, и тех, кому есть что откладывать. Наблюдение честно показывает, что две группы различаются исходом, и не может сказать, что из множества различий этот исход создало.
Первый урок показал это на финансовом образовании. Связь измеренной грамотности с поведением есть и заметна, но грамотность приходит в паре с бережливостью и лёгкостью обращения с числами. Наблюдение видит сумму всех этих свойств, а приписывают её обычно тому единственному, что записано в анкете.
Жребий: единственный способ сравнить сравнимое
Пятую ступень занимает рандомизированный эксперимент. Участников распределяет по группам жребий, а не их собственный выбор. Только после этого одной группе достаётся проверяемое вмешательство, а другая остаётся при обычном порядке вещей.
Вся сила приёма в одном свойстве жребия: он не спрашивает, кто есть кто. Группы выходят похожими и по доходу с возрастом, и по всему, чего никто не измерял и не догадался измерить. Ни один способ учёта различий такого не даёт, потому что учесть можно только записанное.
У денег жребий достаёт не до всякого вопроса, и это ограничение стоит запомнить. Распределить жребием можно людей: кому достанется занятие, напоминание, форма договора, порядок по умолчанию. Рынку жребием год не назначишь, поэтому вопрос «какая стратегия принесёт больше» так не проверяется.
Отсюда различие, которое стоит унести целиком. Утверждения о том, что вмешательство делает с человеком, проверяются экспериментом, и таких проверок накопилось немало. Утверждения о том, что сделает рынок, экспериментом не проверяются вовсе, и это свойство предмета, а не придирка.
Верхняя ступень и что на ней считают
Наверху стоит не исследование, а способ обращаться с исследованиями. Свод собирает по заранее объявленному правилу все работы по одному вопросу, и удачные, и неудачные. Когда результаты можно сложить численно, свод дополняют метаанализом.
Причина, по которой свод весит больше отдельной работы, простая. Любая одна работа могла получить свой результат случайно, и по ней одной случайность от закономерности не отличить. Несколько независимых работ, пришедших к одному ответу, различить это позволяют.
Здесь же первый урок дал предупреждение, которое пора превратить в правило. Свод 2014 года охватил 168 публикаций и 201 исследование, а на вопрос о действии обучения отвечали в нём тринадцать рандомизированных работ. Свод 2022 года собрал семьдесят шесть таких работ и получил другой ответ.
Правило звучит так. Считать надо не участников свода и не число публикаций в нём, а число работ, отвечающих на заданный вопрос. Внушительный общий объём набирается легко: в него идут работы, отвечавшие на соседние вопросы, а к силе нужного вывода они не добавляют ничего.
И вторая мерка к своду: выше своих работ он не поднимается. Свод наблюдений остаётся наблюдением, сколько бы наблюдений в него ни вошло. Слово «метаанализ» само по себе ступени не назначает, и помнить об этом стоит всякий раз, когда его произносят с нажимом.
У всякого свода есть число работ и число участников, и стоят они разного. Общее число вошедших работ говорит об объёме. Число тех из них, что отвечают на ваш вопрос, и способ, которым получен ответ, говорят о силе вывода. Первое сообщают в пересказе всегда, второе приходится искать в разделе о методике.
Где лестница не помогает
Теперь ограничения, и здесь ошибаются чаще всего. Лестница расставляет роды свидетельства, а не отдельные работы. Плохо сделанный эксперимент бывает слабее хорошего наблюдения, и ступень при этом остаётся прежней.
Испортить работу верхней ступени можно многими способами, и все они встречаются. Слишком короткий срок, слишком мало участников, измерено не то, потеряна по дороге часть участников, а люди в выборке не похожи ни на кого из читателей. Ступень от этого не понижается, зато вес работы падает.
Есть и зеркальная ошибка: «нет эксперимента, значит, ничего не известно». Она разрушает больше знания, чем защищает. Часть вопросов о деньгах жребием не проверяется вовсе, и знание о них добывают иначе.
Первый способ даёт арифметика. Сколько от итога за тридцать лет отнимает комиссия, экспериментом проверять не нужно: это считается точно, и урок 5 считает. Второй способ даёт сплошной подсчёт: когда берут не выборку фондов, а все фонды категории сразу, вопрос о случайности выборки не встаёт. Как это устроено в сравнениях активных фондов с индексом, разбирает урок 8.
Обе ошибки растут из одного корня: лестницу принимают за приговор. А она задаёт вопрос, и вопрос этот не «доказано или нет». Звучит он иначе: что именно проверено и какие посторонние объяснения при этом отсечены.
Что дальше
Мы разложили свидетельства о деньгах по силе и назвали основание порядка: сколько посторонних объяснений отсекает каждая ступень. Лишняя против медицины ступень, бэктест, стоит низко и выглядит высоко. Из-за этого разрыва она и опаснее остальных пяти.
Следующий урок берёт механизм, который портит ступени снизу доверху. Из рассказов, из рекламы, из баз данных о фондах систематически выпадают те, у кого не вышло. Средняя доходность категории от этого растёт сама, без единого управляющего, сработавшего лучше других.
И последнее, что стоит держать в голове с самого начала. Лестница отвечает на вопрос, что известно, и не отвечает на вопрос, что с этим знанием делать вам. Даже безупречно проверенное утверждение о стратегии не превращается в указание. Решение зависит от обстоятельств, которых курс не знает: от вашего срока, дохода и обязательств.
Ключевые работы
| Fernandes, Lynch, Netemeyer, Management Science | 2014 | Метаанализ 168 публикаций, охвативших 201 исследование. В него вошли и наблюдательные работы, и эксперименты. На вопрос о действии обучения отвечали из них тринадцать рандомизированных работ, и в этом наборе действие оказалось незначимым. |
| Kaiser, Lusardi, Menkhoff, Urban, Journal of Financial Economics | 2022 | Метаанализ 76 рандомизированных экспериментов, свыше 160 000 участников, 33 страны. Включались только работы с распределением по жребию. Мерили знания и поведение. Работа служит примером верхней ступени лестницы, свода экспериментов по одному вопросу. |
Что подтвердилось, а что нет
Свод не поднимается выше своих работ: метаанализ сорока наблюдений остаётся наблюдением, сколько бы наблюдений в него ни вошло. Он лечит случайность отдельной работы и не лечит того, что группы в этих работах сложились сами. Ступень своду задаёт не способ сложения, а род работ, которые сложили.
Тот же итог мог дать общий подъём рынка, время входа, добавленные по дороге деньги или совпадение, и рассказ не исключает ни одного из этих объяснений. У денег к этому добавляется шум: за два-три года случайность перекрывает разницу в умении. Отсюда не следует, что отдельный случай бесполезен: он отвечает на вопрос «бывает ли такое», с которого начинается любая гипотеза.
О будущем рынка это верно: распределить годы по жребию нельзя, и вопрос «какая стратегия принесёт больше» экспериментом не решается. В общей форме утверждение неверно. Жребием распределяют людей, а не рынки: кому достанется занятие, напоминание, форма договора, порядок по умолчанию. Свод 2022 года собрал 76 таких экспериментов в 33 странах, и отвечают они на вопросы о поведении человека с деньгами.
Термины
- лестница доказательствhierarchy of evidence
- Порядок родов свидетельства по силе. Основание порядка одно: сколько посторонних объяснений результата отсекает каждый род.
- отдельный случайcase report
- Подробно описанная история одного человека, фонда или сделки. Отвечает на вопрос «бывает ли такое», но не на вопрос «работает ли способ».
- бэктестbacktest
- Прогон правила по уже случившемуся ряду цен: правило применяют к прошлому и считают, что получилось бы. Результат описывает выбранный отрезок прошлого, а не будущее поведение правила.
- проверка на новых данныхout-of-sample test
- Прогон правила по отрезку данных, который не участвовал в его подборе. Единственный способ отличить найденную закономерность от подогнанной.
- наблюдательное исследованиеobservational study
- Сравнение групп, сложившихся самостоятельно: прошедших обучение с непрошедшими, клиентов с неклиентами. Различаются такие группы не только тем признаком, о котором идёт речь.
- рандомизированный экспериментrandomised experiment
- Исследование, в котором участников распределяет по группам жребий, а не их собственный выбор. Так группы становятся сравнимыми и по тому, что никто не измерял.
- метаанализmeta-analysis
- Численное объединение результатов многих исследований в одну оценку. Ответ зависит не только от подсчёта, но и от правила, по которому работы отбирались в свод.
Практикум · Поставить сообщение на ступень
Навык этого урока проверяется на любом сообщении о деньгах, где есть слова «доходность», «результат» или «проверено». Возьмите три таких сообщения и доведите каждое до его ступени. Скорее всего, в двух из трёх ступень не будет названа вовсе, и это само по себе ответ.
- Соберите три сообщения о деньгах со словами «доходность», «результат» или «проверено». Берите те, что попались случайно, а не самые сомнительные: выборка должна быть честной.
- Для каждого выпишите не результат, а устройство. Было ли сравнение, с кем сравнивали, откуда взялись данные и за какой срок они собраны.
- Отметьте отдельно, нет ли там прогона по прошлому. Признаки у него такие: «на исторических данных», «с такого-то года», «правило показало бы». Если признак есть, ступень уже найдена: это бэктест.
- Поставьте каждое сообщение на ступень лестницы. Если данных на это не хватает, так и запишите: «ступень не названа». Это самый частый исход и самый показательный.
- Для одного из трёх найдите первоисточник и раздел о методике. Сравните, что там сказано об устройстве проверки, с тем, что дошло до пересказа.
Вопросы для самопроверки
Страница стратегии сообщает: правило прогнали по ценам за двадцать лет, и его кривая обгоняет рынок. На какой ступени лестницы стоит это сообщение?
- На ступени наблюдения: сравнивают две группы сделок, по правилу и без него
- На ступени эксперимента: правило проверено на данных, а не на словах
- Выше эксперимента: правило испытано сразу на всех состояниях рынка
- На ступени бэктеста: правило подбирали, уже зная эти цены, и хороший результат на них объясняется подбором
Почему у денег есть ступень бэктеста, а в медицине такой ступени нет вовсе?
- Потому что в медицине запрещено проверять лечение на архивных данных
- Потому что рынок оставил запись всех цен, а исходов непроведённого лечения не существует
- Потому что действие лекарства нельзя выразить числом, а доходность правила можно
- Потому что в медицине любую проверку заменяет мнение специалиста, накопленное за годы практики
Свод охватил 168 публикаций и больше полумиллиона участников. Что нужно посчитать, чтобы понять силу его вывода?
- Число работ, отвечающих на заданный вопрос
- Общее число участников: именно оно задаёт точность итоговой оценки
- Число публикаций: чем их больше, тем шире охвачена литература по теме
- Число стран, из которых собраны работы: широта охвата важнее числа работ
Реклама сервиса сообщает, что его клиенты откладывают вдвое больше прочих. Что это сравнение отсекает и что оставляет?
- Отсекает всё: сравнение двух групп и есть эксперимент
- Не отсекает ничего: рекламные числа независимо не проверяются, и сравнивать их не с чем
- Отсекает случайность одного случая и оставляет главное: клиентами становятся сами
- Отсекает разницу в доходе: сервисом пользуются люди примерно одного достатка, и доход тем самым учтён
Метаанализ свёл сорок наблюдательных работ об одном и том же. На какой ступени стоит его вывод?
- На верхней: метаанализ занимает высшую ступень лестницы независимо от того, что в него вошло
- На ступени эксперимента: сорок независимых работ вместе заменяют жребий
- Ниже наблюдения: при сложении работ разного качества вывод только слабеет
- На ступени наблюдения: свод не поднимается выше своих работ
Ответы и разбор открываются в самопроверке урока: она считает результат и отмечает урок пройденным. Пройти самопроверку.
Что читать
- Курс школы «Здоровье», урок о лестнице доказательств: Та же лестница на другом материале: там ступени медицинские и бэктеста среди них нет. Дополнение к этому уроку, а не условие его понимания.
- OpenStax Principles of Finance: Открытый учебник под лицензией CC BY-NC-SA 4.0, фактическое ядро курса. Даёт словарь величин (доходность, срок, риск), а устройство самих проверок остаётся предметом этого урока.