Что значит «польза не доказана»
«Пользы не нашли» и «доказано, что пользы нет» означают разное, а «спор открыт» тоже полноценный статус
Отсутствие доказательств не есть доказательство отсутствия: первая фраза сообщает о результате поиска, вторая о положении дел, и для второй нужна проверка, в которой небольшая польза была бы видна. В тринадцати ранних проверках действия финансового обучения не нашли, а в семидесяти шести поздних оно нашлось, и восемь лет первую находку цитировали как доказательство бесполезности. У открытого спора есть адрес: пункт, из-за которого ответы расходятся.
SPIVA, S&P Dow Jones Indices, свод на конец 2024 года и пометки «требует сверки» в основании курса · 21 мин · обновлено 01.10.2026
После урока вы сможете
- Различать «доказательств пользы нет» и «доказано, что пользы нет»
- Читать статус «спор открыт» как результат работы, а не как уклонение от ответа
- Спрашивать, по какому пункту расходятся добросовестные работы
- Видеть, где курс сам отказывается называть величину, и понимать почему
Двадцать два урока подряд курс что-нибудь утверждал. Этот урок говорит о местах, где утверждать нечего. Такие места есть у любой области знания, и денежная не исключение. Разница между областями не в том, есть ли у них границы, а в том, называют ли они их вслух.
Признание границы читается как слабость, и это главное недоразумение урока. «Пока неизвестно» звучит хуже любого ответа и потому проигрывает уверенному вздору в любом разговоре. Между тем это результат работы, а не отказ от неё. Чтобы сказать «неизвестно» и быть правым, нужно знать, что именно проверяли и чем.
У урока два дела. Первое в том, чтобы развести две фразы, которые звучат похоже и означают разное: «доказательств пользы нет» и «доказано, что пользы нет». Это различение уже вводилось в уроке 1, на паре сводов о финансовом образовании, а здесь оно превращается в общее правило. Второе дело в том, чтобы показать, что «спор открыт» такой же статус реестра, как «отвергнуто» и «выдержало».
Оговорка сразу, чтобы урок не прочитался наоборот. Речь не о том, что о деньгах ничего не известно и всякий вывод сомнителен. Проверенного за двадцать два урока набралось немало, и оно никуда не девается от того, что рядом лежит непроверенное. Границу называют затем, чтобы отделить одно от другого, а не чтобы стереть разом всё.
Два разных «нет»
Начнём с примера, который ничего не стоит проверить. Вы открыли холодильник, посмотрели и молока не увидели. Отсюда следует «я молока не нашёл». Отсюда не следует «молока в доме нет»: оно могло стоять в дверце, за банкой, в другом холодильнике.
Разница между двумя фразами не словесная. Первая сообщает о результате поиска, а вторая о положении дел. Это аналогия, и ломается она в одном месте: холодильник можно осмотреть до конца, а рынок нельзя. Новые проверки о деньгах приходят всё время, поэтому «не нашли» здесь почти всегда остаётся сообщением о поиске.
Чтобы получить второе утверждение, нужна проверка особого устройства. Она должна быть достаточно чувствительной: такой, чтобы небольшая польза в ней была бы видна, если бы существовала. Тогда отсутствие находки сообщает что-то о положении дел, а не только о поиске. Проверка, в которую попало мало случаев, такого права не даёт: в ней не видно и настоящей пользы, если та невелика.
Урок 1 показал это на паре сводов о финансовом образовании. В тринадцати ранних проверках действия обучения не нашли, а в семидесяти шести поздних оно нашлось. Восемь лет первую находку цитировали как доказательство бесполезности. Разбор обеих работ дан там же, в уроке 1. Здесь важно одно: формулировка описывала состояние поиска, а прочитана была как состояние мира.
Отсюда правило, которое дальше работает без всяких сводов. Услышав «доказательств нет», спрашивайте, чего именно нет: находки или проверки. Если проверки не было, перед вами пустое место, а не отрицательный ответ. Если проверка была и оказалась чувствительной, отрицательный ответ получен, и это ценное знание, за которое кто-то заплатил работой.
Заметьте, что перепутать эти вещи выгодно обеим сторонам любого спора. Продавцу удобно читать «вреда не нашли» как «вреда нет». Разоблачителю удобно читать «пользы не нашли» как «пользы нет». Обе стороны при этом не врут ни в одном слове: они лишь усиливают формулировку на одну ступень, и ступень эта не видна на слух.
Две фразы отличаются одной ступенью силы, и ступень не слышна. «Доказательств пользы нет» сообщает о результатах поиска: столько-то проверок, вот что в них увидели. «Доказано, что пользы нет» сообщает о положении дел и требует проверки, достаточно чувствительной, чтобы небольшая польза в ней была бы видна. Услышав первую фразу, спрашивайте, чего именно нет: находки или проверки.
Почему «спор открыт» тоже полноценный статус
В реестре курса пять статусов, и один из них называется «спор открыт». Читают его обычно как «авторы не разобрались». На деле он ставится в противоположном случае: когда разобрались достаточно, чтобы увидеть, где именно расходятся ответы.
У настоящего открытого спора есть адрес: пункт расхождения. Известно не только то, что работы отвечают по-разному, но и то, из-за чего. Каждый такой пункт, будь то разный эталон для сравнения, разное обращение с выбывшими или разный способ взвешивания, сдвигает ответ предсказуемо. Спор, у которого пункта расхождения нет, обычно оказывается не спором, а разговором без данных.
Такой адрес есть у спора о методике SPIVA. Не оспаривается устойчивая часть вывода: большинство активных фондов на длинном сроке отстаёт от своего индекса. Спорят о величине отставания и о корректности отдельных сопоставлений, и урок 9 разбирает этот спор по пунктам. Повторять разбор здесь незачем. Важно, что «спор открыт» стоит там не вместо ответа, а рядом с ним.
Отличать открытый спор надо не только от незнания, но и от несмотрения. «Мы не смотрели» означает не статус, а пустую клетку. Она тоже бывает честной и тоже сообщает нечто полезное, но другое: не «данные расходятся», а «данных нет». Спутать эти две вещи легко, потому что и там и там прямого ответа не дают.
Разница между ними видна по одному признаку. У открытого спора можно спросить, что должно случиться, чтобы он закрылся, и получить внятный ответ: такие-то проверки, такого-то устройства, на таких-то фондах. У пустой клетки такого ответа нет, потому что спрашивать не о чем. Этот вопрос стоит задавать всякий раз, когда собеседник ссылается на разногласия специалистов.
Где курс говорит «не знаю»
Курс собран на проверенном основании, и в этом основании есть пометки. Пометка означает одно: величина не сверена по первоисточнику, и потому число не приводится. Таких мест было три. Два с тех пор закрылись, и осталось одно. Назвать все три честнее, чем обойти молчанием: по ним видно, как пометка снимается.
Первое закрылось так. Связь прошлой доходности фонда с будущей сверили по сводке об устойчивости результата, и урок 12 приводит числа. Утверждение получило статус «сильно ослаблено»: сильная форма измерения не выдержала, осторожная жива. Так помеченное место и должно работать: как задача, а не как приговор.
Второе закрылось похоже. Величину, на которую методика свода SPIVA сдвигает оценку активного управления, взяли из самой работы с этой критикой, и урок 9 разбирает её по пунктам с числами. Спорна именно величина, а не сам вывод об отставании большинства на длинном сроке, и статус у неё «спор открыт».
Третье осталось. Насколько велика поправка на тех, кто до витрины не дожил, курс не знает. Механизм смещения выжившего установлен и проверку выдержал (урок 3), а числовой оценки его величины в источниках курса нет. Поэтому урок 3 показывает механизм на учебных числах и прямо говорит, что настоящей величины не приводит.
Здесь нужна оговорка, без которой урок прочитается сильнее, чем следует. Утверждения «курс не называет числа» и «числа не существует» разные, и они опять из той же пары. Величина вполне может быть где-то измерена и просто не дойти до этого основания. Курс не выдумывает её и не пересказывает по памяти, и правило это дороже гладкости изложения.
Такая пометка говорит не о слабой работе, а о том, что работу вели. Основание, в котором нет ни одного «не сверено», обычно означает не полноту, а невнимательность составителя. Проверять источник на такие места стоит первым делом: они показывают, где автор остановился, а где продолжил по памяти.
В основании курса три места были помечены как не сверенные: связь прошлой доходности с будущей, величина поправки на выживших и величина, на которую методика SPIVA сдвигает оценку активного управления. Две пометки сняли: урок 12 дошёл до первоисточника по прошлой доходности, а урок 9 по величине сдвига в методике свода. Одна оставшаяся означает, что число здесь не приводится. Пометка говорит о состоянии проверки в этом основании, а не о состоянии знания в мире: возможно, величина измерена и просто сюда не дошла.
Чего не знает никто про ваш случай
Есть незнание другого рода, и оно не лечится накоплением проверок. Все измерения курса говорят о совокупностях и о прошлом. Ни одно из них не сообщает, что будет с деньгами конкретного человека за конкретный срок.
Разница видна на любом выводе курса. Утверждение «большинство активных фондов на длинном сроке отстаёт от индекса» касается большинства. Об отдельном фонде оно не говорит ничего: из него не следует ни того, что этот фонд отстанет, ни того, что он обгонит.
У этого свойства есть обратная сторона, о которой забывают чаще. Вывод о совокупности отдельному случаю ничего не запрещает, но и ничего в нём не оправдывает. Из того, что большинство отстаёт, не следует, что ваш знакомый со своей удачной историей что-то придумал. Из его истории не следует и обратное: один случай о совокупности не сообщает ничего.
И вторая половина того же: у каждого вывода есть адрес. Данные SPIVA относятся к американским фондам названных категорий и к названным срокам. Если перенести вывод на другой рынок, другой срок или другой род фондов, получится уже не вывод, а догадка. Оговорка о применимости выглядит скучной строчкой, а держит на месте весь остальной вывод.
Отсюда правило курса, которое повторяется дословно и не смягчается. Курс показывает, что измерено, и не назначает выбора.
Часть незнания уйдёт с новыми проверками, а часть не уйдёт никогда. Измерения описывают совокупности и прошлое, и ни одно из них не знает вашего случая и вашего будущего. Решение зависит от обстоятельств, которых курс не знает: от вашего срока, дохода и обязательств.
Чем «неизвестно» не является
Из открытого спора часто выводят удобное следствие: раз специалисты расходятся, любое мнение стоит столько же. Следствие неверно, и неверно грубо. Расхождение специалистов означает не отсутствие оснований, а разные основания, у каждого из которых свой вес.
Проверяется вес тем же способом, что и всё в курсе. У утверждения спрашивают, что за ним измерено: какой дизайн, сколько работ, что мерили, у кого. Два ответа на спорный вопрос почти никогда не равны по этому счёту. Один опирается на семьдесят шесть проверок, а другой на уверенность говорящего, и это не равновесие.
Второе неверное следствие состоит в том, что при открытом споре решать ничего нельзя. Решения при неполном знании принимаются постоянно, и других решений попросту не бывает. Знание о том, что вопрос открыт, меняет не возможность решать, а чтение обещаний: обещание точного ответа там, где ответа нет, становится видно сразу.
Третье в том, что открытый спор когда-нибудь закроется весь. Часть спорного решится, часть выдержавшего сдвинется, и через десять лет в реестре будут другие строчки. Ждать окончательной редакции бессмысленно: её не будет ни в денежных делах, ни где-либо ещё. Читать приходится теми доказательствами, какие есть на сегодня, и знать, что они сегодняшние.
Есть и четвёртое следствие, самое тихое. Из «никто не знает» выводят, что и спрашивать не о чем, и перестают задавать вопросы вовсе. Между тем неизвестной обычно оказывается величина, а не всё сразу: направление эффекта, устройство механизма и круг применимости бывают известны точно. Отказ от вопросов из-за одной неизвестной величины обходится дороже самой этой неизвестности.
Из расхождения выводят равноценность мнений, и это самый быстрый способ обесценить всё измеренное сразу. У сторон открытого спора почти никогда не равные основания: у одной семьдесят шесть проверок, у другой уверенность говорящего. Спрашивать надо не «кто спорит», а «что за каждым ответом измерено», то есть задавать тот же вопрос, что и во всём остальном курсе.
Что дальше
Из урока стоит унести два вопроса и одну привычку. Первый вопрос: чего нет, находки или проверки? Второй: если спор открыт, то по какому пункту? Привычка простая: замечать, когда в ответе появляется точность, взяться которой неоткуда.
Урок 24 сводит курс в карту и приводит реестр целиком. Там же стоят шесть канонических вопросов в редакции урока 20, те самые, которыми проверяется любое обещание. Реестр устроен из двух половин, и вторая половина без сегодняшнего урока не читается.
Самую полезную проверку сегодняшнего стоит устроить на собственной речи. Отметьте за неделю, сколько раз вы сказали «доказано, что не работает» там, где верным было «я проверок не нашёл». Разница между двумя фразами и есть предмет этого урока.
Ключевые работы
| SPIVA, S&P Dow Jones Indices | 2024 | Полугодовой свод сравнений активных фондов с их индексами. На конец 2024 года в нём 22 категории фондов акций и 16 категорий облигаций. Измерялась доля активных управляющих, отставших от своего индекса, на сроках от одного года до двадцати лет. За пятнадцать лет большинство не обыграло индекс ни в одной из 22 категорий. Спорна величина отставания, а не сам вывод о большинстве. |
Что подтвердилось, а что нет
Статус ставится не тогда, когда разбираться поленились, а тогда, когда разобрались достаточно, чтобы увидеть пункт расхождения. У настоящего открытого спора есть адрес: известно, что работы отвечают по-разному, и известно, из-за чего (из-за эталона для сравнения, обращения с выбывшими или способа взвешивания). Проверить это можно одним вопросом: что должно случиться, чтобы спор закрылся? У открытого спора ответ есть, у пустой клетки «мы не смотрели» его нет.
Расхождение специалистов означает разные основания, а не отсутствие оснований. Вес основания проверяется тем же счётом, что и всё в курсе: какой дизайн, сколько работ, что мерили, у кого. Стороны открытого спора почти никогда не равны по этому счёту: за одной может стоять свод из семидесяти шести рандомизированных проверок, за другой уверенность говорящего. Нет способа быстрее обесценить всё измеренное сразу, чем признать мнения равноценными.
В осторожной форме утверждение верно: без числа нельзя сравнить величины и нельзя посчитать, во что дело обходится. В сильной форме оно рушится о простой пример. Механизм смещения выжившего установлен и проверку выдержал: отстающие фонды закрывают, и в витрине остаются дожившие. Величина поправки при этом в основании курса не сверена и потому не приводится. Механизм и его величина не одно и то же, и знать первое без второго вполне можно.
Термины
- отсутствие доказательствabsence of evidence
- Положение, при котором проверок не было или они ничего не показали. Сообщает о результате поиска, а не о положении дел, и потому не равносильно доказанному отсутствию эффекта.
- доказанное отсутствиеevidence of absence
- Вывод, что эффекта нет. Требует проверки, достаточно чувствительной, чтобы небольшой эффект в ней был бы виден. Иначе отсутствие находки объясняется слабостью проверки, а не положением дел.
- чувствительность проверкиpower to detect
- Способность исследования заметить эффект, если он есть. Растёт с числом случаев и с точностью измерения. При малом числе случаев отсутствие находки не означает отсутствия эффекта.
- пункт расхожденияpoint of disagreement
- Место в методике, из-за которого две добросовестные работы дают разные ответы: эталон для сравнения, обращение с выбывшими, способ взвешивания. Спор без названного пункта обычно не спор, а разговор без данных.
- статус «спор открыт»open question
- Пометка реестра для утверждений, по которым проверки есть, а ответы расходятся, и пункт расхождения известен. От пустой клетки «не смотрели» отличается тем, что на вопрос «что закроет спор» есть внятный ответ.
- пометка «требует сверки»unverified figure
- Знак в основании курса: величина не сверена по первоисточнику и потому не называется. Говорит о состоянии проверки в этом основании, а не о состоянии знания в мире.
- ложная равноценностьfalse balance
- Вывод, что при открытом споре все мнения стоят одинаково. Не выдерживает простого счёта: за сторонами спора стоят разные дизайны, разное число работ и разное качество измерений.
- вывод о совокупностиpopulation-level claim
- Утверждение о множестве случаев: о большинстве фондов, о средней по категории, о доле отставших. Об отдельном случае не говорит ничего, и если перенести его на один фонд или одного человека, получится уже догадка.
Практикум · Найти границу знания в одном утверждении
Задача в том, чтобы научиться отличать пустое место от отрицательного ответа. Тренируется на любом сообщении со словами «доказано» или «исследования показали», и на своих собственных фразах тоже. Занимает около получаса и не требует доступа к платным источникам.
- Возьмите утверждение о деньгах со словами «доказано», «исследования показали» или «проверено» и выпишите его дословно. Годится и ваша собственная фраза из недавнего разговора.
- Определите, чего в нём нет: находки или проверки. Если о проверке не сказано ничего, отметьте это. Пустая клетка тоже ответ, и притом самый частый.
- Найдите, названы ли срок, к которому относится вывод, и круг фондов или людей, на которых он получен. Вывод без адреса переносится куда угодно, и в этом его главная опасность.
- Если утверждение спорное, попробуйте назвать пункт расхождения: эталон, отбор, обращение с выбывшими или способ взвешивания. Если назвать не удаётся, значит, спор пока не описан, и ссылаться на него рано.
- Запишите одной фразой, что было бы видно, окажись верной противоположная сторона. Если ответить нечем, утверждение проверке не поддаётся вовсе, и это самый важный из возможных выводов.
Вопросы для самопроверки
Чем «доказательств пользы нет» отличается от «доказано, что пользы нет»?
- Первое говорят о наблюдениях, а второе о рандомизированных экспериментах
- Разницы нет: обе фразы сообщают, что польза не обнаружена
- Первое произносят осторожные авторы, а второе уверенные, но стоит за ними одно и то же
- Первое сообщает о результате поиска, а второе о положении дел и требует проверки, чувствительной к небольшой пользе
В реестре курса у утверждения стоит статус «спор открыт». Что это значит?
- Что известно, по какому пункту расходятся ответы
- Что вопрос ещё не изучали и данных по нему не собрано
- Что авторы курса не сумели выбрать сторону и оставили решение читателю
- Что обе стороны спора одинаково обоснованы и выбирать между ними незачем
Курс не приводит числа для величины смещения выжившего. Что из этого следует?
- Что механизм смещения выжившего не подтверждён и остаётся правдоподобным предположением
- Что величина этого смещения науке неизвестна и измерить её нельзя
- Что курс считает величину малой и потому её не называет
- Что величина не сверена по первоисточнику, а сам механизм проверку выдержал
Двое спорят о финансовом утверждении, и каждый ссылается на свои исследования. Какой вопрос продвинет спор быстрее прочих?
- «Какое из двух мнений сегодня распространённее среди специалистов?» Большинство обычно право
- «По какому пункту расходятся работы?» Например, эталон, срок, отбор фондов
- «Кто из спорящих дольше работает в финансах?» Опыт и решает, чьё мнение весомее
- «Кто платил за эти работы?» Источник денег объясняет разницу
Вопрос о деньгах оказался открытым. Что из этого следует для читателя?
- Что решать всё равно придётся, но обещание точного ответа теперь видно сразу
- Что до закрытия спора все мнения о нём одинаково обоснованы и выбирать между ними незачем
- Что решение стоит отложить до тех пор, пока специалисты не придут к согласию между собой
- Что вопрос изучен плохо и заниматься им пока рано
Ответы и разбор открываются в самопроверке урока: она считает результат и отмечает урок пройденным. Пройти самопроверку.
Что читать
- SPIVA, S&P Dow Jones Indices, открытые полугодовые сводки: Первоисточник для вывода об отставании большинства активных фондов. Полезен здесь тем, что раздел о методике написан подробно: видно, где именно проходит пункт расхождения со встречной критикой.