Эффект Даннинга-Крюгера и сверхуверенность
Сверхуверенность, ошибка планирования и что на самом деле показали Крюгер и Даннинг
Под словом «сверхуверенность» прячутся три разных сбоя: переоценка своего результата, эффект «лучше среднего» и сверхточность, при которой заявленные 98 % ловят правильный ответ примерно в двух третях случаев. Величина зависит от того, кого спрашивали: по водительскому мастерству у Свенсона (1981) вышло 93 % в американской выборке и 69 % в шведской. Исходный график Даннинга и Крюгера воспроизводится и на случайных числах.
Модуль III. Когнитивные искажения · навыки В5 · 20 мин · обновлено 12.09.2026
После урока вы сможете
- Различать три разных сбоя, которые прячутся под словом «сверхуверенность».
- Знать, что уцелело от эффекта Даннинга и Крюгера после двадцати пяти лет проверок, а что было картинкой из интернета.
- Строить оценку срока по статистике похожих дел, а не по сценарию в голове.
- Называть числа вместе с тем, на ком они получены.
В известном опросе водителей попросили оценить своё мастерство относительно остальных. Выше среднего себя поставили около девяти из десяти. Арифметика неумолима: лучше медианного водителя может быть ровно половина, а значит, минимум четверо из этих девяти ошибаются, причём не про дороги, а про самих себя.
Опрос этот стоит назвать целиком, потому что дальше весь урок будет про честность с числами. Свенсон, 1981 год, 161 участник в двух странах. «Около девяти из десяти» это американская выборка: 93 % по мастерству у 81 студента Университета Орегона. У 80 студентов Стокгольмского университета вышло 69 %. Разброс между двумя странами, 69 против 93, сам по себе полезнее любого из этих чисел. «Универсальный факт о человеческой природе» на поверку зависит от того, кого спрашивали.
Сегодня говорим про самый личный сбой модуля: систематическую переоценку своих знаний, прогнозов и положения относительно других. И про то, что наука на самом деле говорит об эффекте Даннинга-Крюгера, потому что мем, который ты видел, с исследованием почти не знаком.
Три лица сверхуверенности
Сверхуверенность не одно искажение, а три родственных. Переоценка себя: «сделаю за неделю», а выходит месяц. Переоценка себя на фоне других: те самые водители, где каждый смотрит на свои лучшие моменты и чужие худшие. Сверхточность: уверенность, что твоё знание точнее, чем оно есть, а отсюда узкие интервалы там, где честными были бы широкие.
Три лица нужно различать, потому что они по-разному ломаются и по-разному чинятся. Первое лечится статистикой своих прошлых дел. Второе лечит смена вопроса: не «я хорош?», а «в чём именно и по сравнению с кем?». Третье самое коварное, потому что оно единственное проверяется прямо сейчас, за минуту.
Дай два интервала, в которые ты веришь на 90 % (то есть готов поставить 9 против 1): высота Эвереста от ___ до ___ метров, площадь Каспийского моря от ___ до ___ км². Запиши, потом читай.Показать ответ
У Эвереста 8849 м, у Каспия около 371 000 км². Попал в оба? Если да, то либо ты хорошо знаешь географию, либо (что честнее для большинства) дал по-настоящему широкие интервалы. Про величину промаха курс раньше печатал здесь бодрое «в 90-процентные интервалы попадает 40-60 %», но этой пары чисел мы в первоисточнике не нашли и убрали её. Подтверждено другое, и оно не мягче: у слушателей Гарвардской школы бизнеса, специально обученных анализу решений, за границы заявленных 98-процентных интервалов уходило 34 % истинных значений вместо ожидаемых двух (Алперт и Райффа). Интервал ловил около двух третей вместо 98. А заявленные 80-процентные интервалы содержали правильный ответ в 48 % случаев (Солл и Клейман). В модуле 5 мы будем это измерять и лечить по-настоящему.
Одна оговорка к этим числам, и она важная. Сверхуверенность сильно зависит от формата вопроса. Клейман и коллеги в 1999 году показали: в вопросах с выбором из двух вариантов общей сверхуверенности почти нет, а в субъективных интервалах она выражена сильно. Так что формулировка «человек переоценивает себя» слишком крупна. Точнее: человек плохо задаёт границы своей неуверенности, когда его просят их назвать.
Даннинг-Крюгер без мемов
Ты наверняка видел картинку: кривая с «пиком глупости», «долиной отчаяния» и «плато просветления». Плохая новость для мема: в работе Крюгера и Даннинга 1999 года нет ни этой кривой, ни этих названий. Там четыре графика, и на всех по горизонтальной оси стоят четыре квартиля фактического результата, а по вертикальной идёт перцентиль самооценки. У мем-кривой по горизонтали отложен опыт, то есть непрерывная величина, которой в данных нет вовсе. Из четырёх квартилей такую кривую нельзя построить в принципе, и дело не в том, что «авторы её не нарисовали», а в том, что «из этих данных она не строится».
Что показал сам эксперимент. Студентам Корнелла давали тесты на юмор, логику и грамматику, а потом просили оценить свой результат относительно других. Худшая четверть, с реальным уровнем около 12-го перцентиля, оценивала себя в районе 62-го. Не «я гений», но «я явно выше среднего». Почти все группы ставили себя в 60-70-й перцентиль. Сильные тоже ошибались, но в другую сторону, недооценивая свой отрыв. Главная мысль тоньше мема: чтобы увидеть свою некомпетентность, нужна та же компетентность, которой не хватает. Не умеешь отличать сильную аргументацию от слабой, значит не увидишь, что твоя слабая.
А дальше начинается спор, и курс обязан рассказать про него, а не остановиться на красивом выводе.
Возражение первое, самое тяжёлое: квартильный график, которым пользовались авторы, воспроизводится случайными числами. Нуфер и коллеги (2016 и 2017, 1 154 парных измерения) показали, что чистый шум рисует ту же картинку. Значит, сам по себе этот график ничего не доказывает. Гиньяк и Заенковский в 2020 году взяли 929 взрослых из общей популяции Польши, редкий случай не-студенческой выборки, и при корректных методах эффекта не нашли. Магнус и Пересецкий в 2022 году на 665 студентах вывели его из ограниченности шкалы: у того, кто внизу, просто нет места ошибиться вниз.
Возражение второе, встречное: Крюгер и Мюллер в 2002 году объясняли всё регрессией к среднему, но после поправки на ненадёжность тестов переоценка у худших сохранялась и составляла около тридцати перцентильных пунктов. Бёрсон, Ларрик и Клейман в 2006 году добавили неудобную деталь: на самых трудных задачах лучшие ошибаются в оценке своего места сильнее худших. А Янсен, Рафферти и Гриффитс в 2021 году на выборках около четырёх тысяч человек показали, что рациональная байесовская модель данные не объясняет: низкорезультативные действительно хуже определяют, правилен ли их конкретный ответ.
Что из этого следует читателю. Мем-кривая оказалась выдумкой, это решено. Эффект как «худшие завышают свой перцентиль на графике» в большой части сводится к статистическому артефакту. Уцелела та часть, которую формулирует этот урок: человек хуже судит о правильности собственного ответа именно там, где хуже разбирается. Она держится и на неё можно опираться. Разница между «эффект Даннинга-Крюгера доказан» и «вот эта его часть уцелела» и есть ровно то, чему учит курс.
Пузырь новичка: когда именно надувается
Про динамику новичка есть отдельная работа Санчеса и Даннинга, 2018 год, шесть исследований: четыре лабораторных на выборках от 40 до 50 человек и два архивных на опросах FINRA, где участников по двадцать пять тысяч. Курс раньше пересказывал её так: «самая опасная точка любого обучения наступает сразу после первых успехов». Это неверно, и поправка интереснее исходной фразы.
Новички не начинают сверхуверенными. Заметного разрыва между самооценкой и результатом нет примерно до десятой попытки из шестидесяти. Дальше он растёт и достигает пика на двадцать седьмой, где составляет почти 13 процентных пунктов. Потом сжимается.
Механизм авторы называют прямо, и это не эйфория от первой удачи. Это преждевременное построение теорий: из нескольких удачных случаев человек выводит правило, начинает применять его уверенно и широко, а правило оказывается неверным. Опасна не первая удача. Опасен момент, когда из нескольких удач уже собрана теория.
Практический вывод от этого только выигрывает. «Два урока языка, и я почти говорю» звучит смешно, но безобидно: человек ещё ничего не построил. По-настоящему дорого обходится десятый урок, после которого появляется собственная теория о том, как устроен язык. Третий модуль курса критического мышления занимает примерно ту же точку, и это официальное предупреждение.
Взгляд изнутри и взгляд снаружи
Отдельный поклон переоценке сроков, она стоит миру миллиарды. Бюлер, Гриффин и Росс в 1994 году опросили 37 студентов курса дипломной работы Университета Ватерлоо. Средний прогноз срока сдачи вышел 33,9 дня. Фактически сдавали за 55,5.
Самой полезной деталью в этой работе стало третье число. Студентов отдельно просили назвать пессимистический сценарий: «если всё пойдёт настолько плохо, насколько может». Вышло 48,6 дня. То есть даже нарочно мрачный прогноз оказался оптимистичнее реальности почти на неделю. Прибавить запас к своей оценке недостаточно: запас берётся из той же головы, что и оценка.
Механизм: планируя, мы строим в голове кино о том, как всё пройдёт, а кино по умолчанию снимается без пробок, болезней и «внезапно всплыло». Это взгляд изнутри плана. Линейкой служит взгляд снаружи: не «как пройдёт это кино», а «сколько занимали ПОХОЖИЕ дела у меня и у других». Твоя статистика прошлых задач остаётся скучным, безжалостным и самым точным прогнозистом из доступных. «Похожие фичи я делал месяц» бьёт «эту сделаю за неделю» со счётом, который ты и сам знаешь.
Аптечка против искажений, сводная шпаргалка модуля
На пять сбоев пять линеек. Сохрани, пригодится на экзамене и в жизни:
В1 Подтверждение. Мозг-адвокат ищет только «за» → спроси «что могло бы меня переубедить?» и поищи именно это. В2 Доступность. Яркое и свежее кажется частым → спроси базовую частоту, веди записи, а не воспоминания. В3 Якорение. Первое число тянет к себе → своя оценка до чужой, доводы ПРОТИВ якоря, а не за свой ответ. В4 Невозвратные издержки. «Жалко вложенного» управляет будущим → тест чистого листа: «начал бы я это сегодня?». В5 Сверхуверенность. Интервалы уже, чем следует, разрыв уверенности и умения растёт не сразу, а по мере того, как из первых удач собирается теория → интервалы шире, чем хочется, взгляд снаружи, «не знаю, надо посчитать» и есть ответ сильного.
И общий принцип поверх всех пяти: не пытайся «не иметь искажений», а строй процедуры, в которых они не решают. Чек-лист вместо чутья, записанный прогноз вместо «я так и знал», чужая проверка вместо самопроверки. Иллюзию нельзя развидеть, но можно приложить линейку.
Дальше идёт практикум этого урока: первая калибровочная серия курса, десять интервалов и подсчёт попаданий. А модуль 4 повернёт прожектор наружу: там тебя будут обманывать не собственные привычки мышления, а чужие числа, то есть средние, проценты и красивые графики.
Конспект
У сверхуверенности (В5) три лица: переоценка себя, переоценка на фоне других и сверхточность. Числа называются с выборкой: «выше среднего» себя считают 93 % американцев и 69 % шведов у Свенсона, а не «девять из десяти людей». Заявленные 98-процентные интервалы ловят около двух третей значений, заявленные 80-процентные дают 48 %. В вопросах с двумя вариантами общей сверхуверенности почти нет. Даннинг-Крюгер: мем-кривой с «пиком глупости» в работе 1999 года нет, там четыре графика по квартилям, а сам квартильный график воспроизводится случайными числами, и большая часть эффекта оказывается артефактом. Уцелело то, что человек хуже судит о правильности собственного ответа там, где хуже разбирается. Пузырь новичка надувается не сразу: разрыва нет примерно до десятой попытки из шестидесяти, пик стоит на двадцать седьмой, механизмом служит преждевременная теория, а не эйфория. Планирование: 33,9 дня прогноз против 55,5 фактических у 37 дипломников Ватерлоо, причём даже пессимистический сценарий (48,6) оказался оптимистичнее реальности. Линейку даёт взгляд снаружи, статистика похожих дел.
Ключевые работы
| Svenson | 1981 | 161 участник в двух странах: к верхней половине по водительскому мастерству отнесли себя 93 % американцев и 69 % шведов, а по безопасности таких оказалось 88 % и 77 %. |
| Alpert & Raiffa | 1982 | Слушатели Гарвардской школы бизнеса, знакомые с анализом решений: за границы заявленных 98-процентных интервалов попадало 34 % истинных значений вместо ожидаемых 2 %. После обучения с обратной связью осталось 19 %. |
| Buehler, Griffin & Ross | 1994 | 37 студентов курса дипломной работы Университета Ватерлоо предсказывали срок сдачи в среднем 33,9 дня, а сдавали за 55,5. Даже собственный пессимистический сценарий (48,6 дня) оказался оптимистичнее реальности. |
| Kruger & Dunning | 1999 | Четыре исследования на студентах Корнелла: попавшие в нижнюю четверть по тестам на юмор, логику и грамматику имели в среднем 12-й перцентиль, а оценивали себя в 62-м. В статье нет кривой с «пиком глупости», там четыре графика по квартилям результата. |
| Klayman, Soll, González-Vallejo & Barlas | 1999 | Сверхуверенность резко зависит от формата вопроса: в вопросах с выбором из двух вариантов её почти нет, а в субъективных интервалах она выражена сильно. |
| Krueger & Mueller | 2002 | Асимметрия ошибок самооценки исчезала при контроле статистической регрессии или общего смещения «лучше среднего». Крюгер и Даннинг в ответ показали, что после поправки на ненадёжность тестов переоценка у худших сохраняется на уровне около 30 перцентильных пунктов. |
| Soll & Klayman | 2004 | Заявленные 80-процентные интервалы содержали правильный ответ в 48 % случаев. Ширина субъективных интервалов местами составляла лишь 40 % от необходимой для честной калибровки. |
| Burson, Larrick & Klayman | 2006 | 12 заданий в трёх исследованиях: на умеренно трудных задачах лучшие и худшие оценивают своё место одинаково плохо, а на самых трудных лучшие ошибаются сильнее худших. Картина объясняется моделью «шум плюс смещение». |
| Nuhfer и др. | 2016 | Симуляции на случайных числах и 1154 парных измерения: квартильный график, которым пользовались Крюгер и Даннинг, воспроизводится чистым шумом и потому сам по себе ничего не доказывает. |
| Sanchez & Dunning | 2018 | Шесть исследований: новички начинают не сверхуверенными, заметный разрыв появляется примерно с десятой попытки и достигает пика на двадцать седьмой из шестидесяти, где составляет почти 13 процентных пунктов. Механизмом служит преждевременное построение теорий после нескольких удач. |
| Gignac & Zajenkowski | 2020 | 929 взрослых из общей популяции: при корректных методах (тест гетероскедастичности и квадратичная регрессия) точность самооценки интеллекта одинакова по всему спектру способностей, то есть эффект Даннинга-Крюгера в основном статистический артефакт. |
| Jansen, Rafferty & Griffiths | 2021 | Около 4000 участников в каждом из двух исследований: рациональная байесовская модель данные не объясняет, ведь низкорезультативные хуже определяют, правилен ли их конкретный ответ, и этот остаток эффекта к артефакту не сводится. |
Разбор
В статье 1999 года четыре графика, и на всех по горизонтальной оси стоят четыре квартиля фактического результата, а по вертикальной идёт перцентиль самооценки. Ни «пика глупости», ни «долины отчаяния», ни «плато просветления» там нет. У мем-кривой по горизонтали отложен опыт, непрерывная величина, которой в данных нет вовсе, так что из четырёх квартилей эту кривую нельзя построить в принципе.
Квартильный график, на котором эффект показывали, воспроизводится случайными числами (Нуфер и др., 2016-2017, 1 154 измерения). Гиньяк и Заенковский (2020, 929 взрослых из общей популяции) при корректных методах эффекта не находят, Магнус и Пересецкий (2022, 665 студентов) выводят его из ограниченности шкалы. С другой стороны, Янсен, Рафферти и Гриффитс (2021, около 4 000 участников в каждом из двух исследований) показывают, что рациональной моделью данные не объясняются: слабые действительно хуже определяют правильность своего конкретного ответа. Уцелела именно эта часть, и именно её формулирует урок.
Работа реальна (Санчес и Даннинг, 2018, шесть исследований), но вывод другой. Новички не начинают сверхуверенными: заметного разрыва нет примерно до десятой попытки из шестидесяти, пик приходится на двадцать седьмую и составляет почти 13 процентных пунктов. Механизм авторы называют преждевременным построением теорий, а не эйфорией от первой удачи. Опасна не первая удача, а момент, когда из нескольких удач уже собрано правило.
Термины
- сверхуверенностьoverconfidence
- Общее имя для трёх разных сбоев: переоценки своего результата, переоценки себя на фоне других и излишней узости интервалов. Сила каждого зависит от формата вопроса.
- сверхточностьoverprecision
- Уверенность, что твоё знание точнее, чем оно есть. Проявляется в слишком узких интервалах: заявленные 98 % ловят правильный ответ примерно в двух третях случаев.
- эффект «лучше среднего»better-than-average effect
- Склонность помещать себя в верхнюю половину по умению. Величина сильно зависит от страны и от вопроса: по водительскому мастерству это 93 % в американской выборке Свенсона и 69 % в шведской.
- субъективный интервалsubjective confidence interval
- Диапазон, который человек называет сам, приписывая ему степень уверенности («уверен на 90 %»). Служит прямым и быстрым измерением сверхточности: достаточно посчитать попадания.
- эффект Даннинга-КрюгераDunning-Kruger effect
- Наблюдение, что слабые в некотором умении хуже судят о собственном результате. В исходном виде эффект показан квартильным графиком, который воспроизводится и случайными числами. Уцелевшая часть касается оценки правильности конкретного ответа.
- статистический артефактstatistical artefact
- Закономерность, возникающая из способа обработки данных, а не из изучаемого явления. Проверяется просто: та же процедура запускается на случайных числах и смотрят, появится ли картинка.
- ошибка планированияplanning fallacy
- Систематическая недооценка срока и стоимости собственного дела при знании, что похожие дела раньше затягивались. Не лечится добавлением запаса: пессимистический прогноз берётся из той же головы.
- взгляд снаружиoutside view
- Оценка задачи по статистике похожих задач, а не по сценарию её выполнения. Противоположность взгляду изнутри, то есть подробному воображению того, как всё пойдёт.
Практикум · Калибровка на десяти вопросах
Первая калибровочная серия курса. Вторая ждёт в уроке 15, там и сравните результаты.
- Возьмите десять вопросов с числовым ответом, которых вы точно не знаете: длина экватора, население города, год события.
- Для каждого задайте интервал, в котором вы уверены на 90 %. Не точечную догадку, а интервал.
- Проверьте ответы и посчитайте, в скольких случаях правильное число попало в ваш интервал.
- Попаданий должно быть около девяти. У большинства выходит от четырёх до шести.
- Повторите серию с новыми десятью вопросами, сознательно расширив интервалы. Запишите оба результата, они понадобятся в модуле 8.
Вопросы для самопроверки
После десятка уроков языка человек заявляет: «Да я уже понял, как этот язык устроен!» Какой эффект, скорее всего, работает?
- Хорошая методика: за десяток уроков она успевает дать основу грамматики
- Калибровка: человек честно оценил свой уровень
- Из нескольких удач собрана преждевременная теория, а разрыв между уверенностью и умением как раз в этой точке и растёт
- Врождённый талант к языкам: такие люди действительно есть
«Неделю читаю гороскоп, и всё сбывается!» Что, скорее всего, происходит?
- Неделя была особенной: событий выпало больше обычного
- Человек замечает совпадения и не считает промахи
- Это якорение: первый прочитанный прогноз задал ожидания
- Гороскоп действительно точен, просто работает не у всех
После сериала про маньяков человек стал бояться ходить вечером по своему спокойному району. Что произошло?
- Это регрессия к среднему: после спокойного периода тревога вернулась к норме
- Он стал внимательнее и теперь замечает то, что раньше пропускал
- Яркие образы подняли ощущение вероятности, не изменив саму вероятность
- Район и правда стал опаснее, иначе бы он не тревожился
Разработчик оценил задачу «на неделю», делал месяц, и так почти с каждой задачей. Что поможет больше всего?
- Верить в себя сильнее: именно неуверенность и растягивает сроки работы
- Не давать оценок вообще: сроки всё равно не угадать
- Опираться на свою статистику прошлых задач, а не на ощущение
- Умножать все оценки на два: поправка на оптимизм лечит любую задачу
HR: «Я по глазам вижу, подойдёт ли кандидат. Ещё ни разу не ошибся!» Каких данных не хватает, чтобы проверить его чутьё?
- Мнения коллег о принятых новичках, собранные через полгода работы
- Судьбы отклонённых кандидатов: возможно, они работали бы отлично
- Средней текучки по рынку труда для сравнения
- Доли принятых, которые прошли испытательный срок
Ответы и разбор открываются в самопроверке урока: она считает результат и отмечает урок пройденным. Пройти самопроверку.
Что читать
- Nuhfer и др., «Random Number Simulations Reveal How Random Noise Affects the Measurements and Graphical Portrayals of Self-Assessed Competency», Numeracy, 2016: Короткая и на редкость понятная работа: авторы прогоняют ту же процедуру на случайных числах и получают знаменитый график. Лучший из известных нам примеров того, как проверяют, не является ли закономерность артефактом обработки.
- Sanchez & Dunning, «Overconfidence among beginners: Is a little learning a dangerous thing?», Journal of Personality and Social Psychology, 2018: Первоисточник «пузыря новичка» и хороший повод сверить пересказ с оригиналом самостоятельно. Кривая роста разрыва по номеру попытки там приведена, и она не похожа на то, как эту работу обычно передают.