Тест Тьюринга: что проверяет и что такое китайская комната
Что проверяет игра в имитацию и чего не хватает синтаксису для семантики
Тест Тьюринга проверяет способность порождать текстовое поведение, неотличимое от человеческого, в диалоге с заинтересованным судьёй. Понимание, переживания и интеллект вне языкового канала он не проверяет, а сам Тьюринг в 1950 году заменил им вопрос «могут ли машины мыслить». Китайская комната Сёрла 1980 года отрицает лишь то, что исполнения программы достаточно для психики. Про языковые модели урок разводит четыре вопроса: референция, представления, понимание, сознание.
MIT 24.09 «Minds and Machines» (A. Byrne), лекции 2-5 · Oxford set text: Turing (1950) · 45 мин · обновлено 01.10.2026
После урока вы сможете
- После урока вы сможете объяснить, почему Тьюринг заменил вопрос «могут ли машины мыслить» операциональным, и что из этого следует для интерпретации теста.
- Вы сможете восстановить аргумент китайской комнаты в посылках и указать посылку, вокруг которой идёт весь спор.
- Вы сможете перечислить ответы, которые Сёрл включил в статью 1980 года, и его контрответы.
- Вы сможете отличить четыре вопроса о языковых моделях, которые обычно смешивают: референция, внутренние представления, понимание, сознание.
- Вы сможете объяснить, почему из теорем Гёделя не следует превосходство человеческого ума над машиной.
Статья Тьюринга («Computing Machinery and Intelligence», Mind 59, № 236, 1950, с. 433-460) начинается с вопроса «Могут ли машины мыслить?» и почти сразу его отбрасывает. Вопрос, по Тьюрингу, «слишком бессмысленный для обсуждения», потому что ответ целиком зависит от того, как условиться употреблять слова «машина» и «мыслить». Вместо определений он предлагает замену: игру в имитацию. Судья по текстовому каналу общается с человеком и машиной, не зная, кто где. Если он не может надёжно их различить, машина игру выигрывает.
Логика замены важнее самого теста. Тьюринг не утверждает, что прохождение игры означает мышление по определению. Он утверждает другое: при таком поведении отказ приписать мышление станет произвольным. И ещё: спор об определениях лучше заменить операциональной процедурой. Это ход операционализма, характерный для эпохи, и оценивать его надо как таковой: он покупает проверяемость ценой того, что вопрос переформулируется, а не решается.
Поэтому важно сказать точно, что тест проверяет и чего нет. Проверяет: способность порождать текстовое поведение, неотличимое от человеческого, в диалоге с заинтересованным судьёй. Не проверяет: наличие переживаний, понимание, интеллект вне языкового канала. Тест одновременно слишком строг и слишком слаб. Слишком строг: высокоинтеллектуальная система может провалить игру, потому что не притворяется человеком, то есть не делает арифметических ошибок, не устаёт. Слишком слаб: успех достижим за счёт уклонения, имитации опечаток и болтливости, что было понятно уже по эффекту ELIZA (Вейценбаум, 1966). В науке о сознании тест Тьюринга как тест на сознание не используется, и это не упрёк Тьюрингу: он его для этого и не предлагал.
Возражения, которые Тьюринг разобрал сам
Половина статьи посвящена разбору девяти возражений, и это лучшая её часть с точки зрения техники: Тьюринг сам формулирует их в наиболее сильной форме. Возражения: теологическое, «спрячем голову в песок» (последствия слишком страшны, поэтому этого не может быть), математическое (со ссылкой на теоремы Гёделя). Дальше: от сознания, от различных неспособностей («машина никогда не сможет X»), леди Лавлейс (машина не создаёт ничего нового). И последние три: от нервной непрерывности, от неформальности поведения, от экстрасенсорного восприятия.
Разберите два его ответа как образцы. Возражение от сознания у Джефферсона звучит так: пока машина не почувствует, а не просто просигналит, мы не признаём её мыслящей. Тьюринг отвечает симметрией: если требовать уверенности в наличии переживаний, то последовательное применение требования ведёт к солипсизму. Ведь в отношении других людей у нас нет такой уверенности, и мы держимся «вежливой конвенции». Ответ не доказывает, что у машины есть переживания. Он показывает, что критерий, предлагаемый возражением, никого не пропускает, включая людей. Это ход на уровне бремени доказательства, и оценивать его надо так.
На возражение леди Лавлейс Тьюринг отвечает, что «ничего нового» есть эмпирическое утверждение о том, чего машины не делают, а не следствие их устройства. Отдельно стоит его ответ на математическое возражение: он признаёт формальные ограничения, но отрицает, что они дают асимметрию в пользу человека. Именно здесь возник самый устойчивый миф темы: аргумент Лукаса-Пенроуза от теорем Гёделя к превосходству ума над машиной. Разбор стоит в уроке 3, где он и уместен: там же точный список того, чего теоремы не утверждают.
Статья занимает двадцать восемь страниц в философском журнале Mind, а не в техническом издании: она написана как философский аргумент. Структура: постановка игры в имитацию, обсуждение понятия «машина» и универсальной цифровой машины, затем девять возражений с ответами, затем раздел об обучающихся машинах. В тексте есть и знаменитый прогноз (что к 2000 году машина будет обманывать среднего судью в 30 % пятиминутных сессий). Это историческая деталь, которую полезно отделять от аргумента: прогноз не является посылкой ни одного из рассуждений Тьюринга, и его судьба ничего не решает в вопросе о том, что тест измеряет.
Китайская комната: синтаксис и семантика
Сёрл («Minds, Brains, and Programs», Behavioral and Brain Sciences 3, № 3, 1980, с. 417-457) атакует не тест, а тезис, который называет сильным ИИ: правильно запрограммированный компьютер тем самым обладает психикой. Сценарий: человек, не знающий китайского, сидит в комнате с корзинами китайских иероглифов и книгой правил на английском. По правилам он сопоставляет входящие последовательности символов с исходящими. Его ответы неотличимы от ответов носителя. Китайского он не понимает. Значит, и компьютер, исполняющий ту же программу, не понимает.
Мишень аргумента надо держать в поле зрения: это не утверждение, что машина не может мыслить. Сёрл прямо говорит, что мозг есть машина и что мозг причиняет психику. Отсюда его дополнительный шаг: система, порождающая психику, должна обладать причинными способностями, эквивалентными мозговым. А программа сама по себе их не даёт. Отрицается ровно одно: что исполнения программы достаточно.
(A1) Программы формальны, то есть синтаксичны.
(A2) Психика имеет ментальное содержание, то есть семантику.
(A3) Синтаксис сам по себе не конститутивен и не достаточен для семантики.
(C1) Следовательно, программы не конститутивны и не достаточны для психики.
(A4) Дополнительно против сильного ИИ: мозг причиняет психику.
(C2) Следовательно, всякая система, порождающая психику, должна обладать причинными способностями, эквивалентными мозговым, а исполнение программы их не даёт.
Заметьте: из (C1) не следует, что машина не может мыслить, а следует лишь, что программы для этого недостаточно. Спорна в этом аргументе посылка (A3), и почти вся литература о ней. Она либо тривиальна, либо предполагает вывод. Сторонники вычислительной семантики отрицают, что синтаксис бывает «сам по себе». Синтаксическая структура, реализованная в причинном порядке и подходящим образом связанная с миром, по их мнению, может конституировать семантику. А тогда (A3) ложна в интересном прочтении и верна лишь в неинтересном, где «синтаксис» означает абстрактную форму вне всякой реализации.
Ответы, которые Сёрл включил в статью, и его контрответы
Редкое достоинство статьи 1980 года: Сёрл сам перечисляет возражения и отвечает на них, так что спор можно проследить в одном тексте. Системный ответ (Беркли): понимает не человек, а система целиком, то есть человек плюс правила плюс бумага. Сёрл: интернализуем всю систему в голову человека, пусть он выучит правила наизусть, но понимания всё равно нет. Критика этого контрответа (Чалмерс и Коупленд, а также Деннет и Хофштадтер, «The Mind's I», 1981): интернализация меняет случай, реализуемая система не тождественна человеку, и интуиция о человеке на систему не переносится.
Ответ робота (Йель): добавим сенсоры и эффекторы, символы окажутся заземлены. Сёрл: добавление преобразователей ничего не меняет для синтаксиса. Возражение: именно заземление и даёт причинные связи, которые требуются для семантики. Симулятор мозга (Беркли, MIT): пусть программа моделирует нейрон за нейроном. Сёрл: симуляция пожара не жжёт. Возражение: для вычислительных свойств симуляция и есть реализация, и различение «симуляция против реализации» оказывается ключевым пунктом всего спора. Другие сознания: если мы приписываем понимание людям по поведению, почему не машине? Сёрл: вопрос не в том, как мы узнаём, а в том, что там есть. Много обителей: если ИИ будет дублировать причинные силы мозга иным способом, Сёрл не возражает, и это признание точно очерчивает мишень.
Итог. Большинство философов сознания вывод Сёрла отвергает, но общепризнанного опровержения нет, и интуитивную силу эксперимента признают все. Продуктивно подавать китайскую комнату не как доказательство и не как ошибку. Это тест на то, где вы стоите по вопросу о конституирующей роли реализации: достаточно ли причинно организованной структуры для содержания.
О китайской комнате: «система не понимает» 67,12 %, «понимает» 17,85 %, другое 15,13 % (N = 1031). Интуиция Сёрла о случае, таким образом, разделяется большинством. Но обратите внимание, что именно спрашивали: понимает ли система в этом сценарии, а не следует ли из этого общий вывод о невозможности машинного понимания. Про сам тест Тьюринга вопроса в опросе не было ни в 2009, ни в 2020 году, поэтому процентов о нём привести нельзя, и любые называемые цифры будут выдуманными.
Вычислительная теория разума
Есть позитивная программа, которую китайская комната задевает лишь частично. Вычислительная теория разума утверждает: психические процессы это вычисления над репрезентациями. К ней ведёт прямая линия из урока 10: если психическое определяется функциональной ролью, а не материалом, естественно спросить, какого рода функции реализуются, и ответ «вычислительные» даёт проверяемую механику мышления. Фодор («The Language of Thought», 1975) добавил гипотезу языка мысли: мышление осуществляется в структурированной символической системе с композициональной семантикой. Главный довод опирается на систематичность (Фодор и Пилишин, «Connectionism and Cognitive Architecture», Cognition 28, 1988):
(1) Когнитивные способности систематичны: кто способен помыслить «Иван любит Марию», способен помыслить «Мария любит Ивана».
(2) Систематичность объясняется тем, что репрезентации имеют комбинаторную синтаксическую и семантическую структуру, а процессы чувствительны к этой структуре.
(3) Ассоциативные архитектуры без структурированных репрезентаций систематичность не гарантируют, а лишь допускают.
(4) Следовательно, классическая символическая архитектура объяснительно предпочтительнее.
Шаг (3) сегодня оспаривается эмпирически: обученные сети без явных символических правил демонстрируют высокую, хотя и не идеальную, композициональную генерализацию. Это ослабляет (3) как эмпирическое утверждение, но не решает, реализуют ли такие сети структурную чувствительность имплицитно. Другая трудность теории состоит в тривиализации реализации. Патнэм (1988) и Сёрл («The Rediscovery of the Mind», 1992) утверждали, что любая достаточно сложная физическая система реализует любой автомат, вплоть до «стена реализует WordStar». Чалмерс («Does a Rock Implement Every Finite-State Automaton?», Synthese 108, 1996) ответил, что при требовании поддерживать контрфактуалы и воспроизводить причинную структуру тривиализация не проходит.
Интенциональность и внешний детерминизм значения
Под спором о понимании лежит вопрос, который стоит с 1874 года. Брентано («Психология с эмпирической точки зрения») назвал интенциональность (направленность на объект) отличительным признаком психического. Проблема для любой физикалистской теории: как физическое состояние может быть о несуществующем (о Пегасе), об абстрактном (о числе семь), и как оно может быть ошибочным?
Натуралистические теории содержания предлагали разные механизмы. Причинно-информационные: содержание это информация, которую состояние надёжно несёт (Дрецке, «Knowledge and the Flow of Information», 1981). Фодор («Psychosemantics», 1987) добавил асимметричную зависимость: ложные срабатывания зависят от истинных, но не наоборот. Их центральная трудность есть проблема дизъюнкции: если состояние вызывается и лошадьми, и коровами в темноте, почему его содержание «лошадь», а не «лошадь или корова в темноте»? Телеосемантика (Милликен, 1984) задаёт содержание собственной функцией, то есть историей отбора, а ошибку понимает как сбой функции. Установленной теории содержания нет.
И ещё один результат, который понадобится в уроке 23. Значение слов, по влиятельной линии аргументов, определяется не только внутренним состоянием говорящего, но и внешними обстоятельствами: причинно-исторической цепью употреблений и участием в практике сообщества. Так считают Патнэм («Meaning and Reference», 1973, мысленный эксперимент с Землёй-Двойником), Крипке и Бёрдж. Если это верно, то вопрос «о чём говорит эта система» нельзя решить, глядя только внутрь системы, что немедленно меняет постановку следующего сюжета.
Большие языковые модели: что корректно и что некорректно говорить
Здесь требуется дисциплина, потому что четыре разных вопроса обычно сливаются в один. (a) Отсылают ли слова, произведённые системой, к чему-либо. (b) Есть ли у системы внутренние представления с семантической структурой. (c) Понимает ли она. (d) Есть ли у неё переживания. Аргументы за (a) или (b) не дают ни (c), ни (d). Держите это разделение под рукой. Аргумент Бендер и Коллер («Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data», Proceedings of ACL 2020):
(1) Значение есть отношение между формой (последовательностью символов) и чем-то внешним ей: коммуникативным намерением, референтом, условиями истинности.
(2) Обучающие данные модели состоят исключительно из форм, а целевая функция есть предсказание формы по форме.
(3) Из формы не следует связь с внешним, и никакое количество формы такого доступа не даёт.
(4) Следовательно, модель не имеет доступа к значению, она моделирует распределение форм.
В их мысленном эксперименте гипер-разумный осьминог перехватывает переписку двух людей на островах. Он поддерживает беседу, но на просьбу «на меня напал медведь, скажи, что делать» ресурсов не имеет. Ведь он никогда не был связан с медведями. Родство с китайской комнатой очевидно.
Что здесь сохраняет силу и что нет. Сохраняет силу методологический пункт: успех на бенчмарке не является свидетельством понимания без отдельного аргумента о валидности бенчмарка, и риск переприписывания реален. Это тезис о том, как читать результаты, и он не зависит от метафизики. Подорвана сильная версия «стохастического попугая», в смысле «только статистика поверхностной формы, никаких моделей мира». Ли и др. («Emergent World Representations», ICLR 2023) обучили модель исключительно на записях ходов настольной игры и обнаружили внутреннее представление состояния доски, причём каузально влияющее на вывод: вмешательство в это представление меняет ходы. Как эмпирическое утверждение «никаких внутренних моделей» это опровергает. Понимания или референции это не устанавливает.
Дальше следуют позиции, которые надо знать, а не выбирать за студента. Пиантадози и Хилл («Meaning without reference in large language models», 2022) рассуждают так. Если верна семантика концептуальной роли, значение состоит в отношениях представления к другим представлениям и к выводам. И тогда отсутствие сенсомоторного заземления само по себе не влечёт отсутствия значения. Возражение: концептуально-ролевая семантика сама остаётся спорной теорией и не отвечает на вопрос об интенциональности. Мандэлкерн и Линцен («Do Language Models’ Words Refer?», Computational Linguistics 50(3), 2024) применяют экстернализм. Референция определяется причинно-исторической цепью и участием в языковой практике. А входы модели не произвольные строки, а тексты с естественной историей, произведённые людьми, чьи слова уже стоят в референциальных цепях. Значит, этого может быть достаточно. Тезис намеренно скромен: авторы утверждают, что стандартный скептический аргумент неудачен, а не что вопрос решён. Возражение: участие в практике обычно требует намерения отсылать к тому же, что и предшественники, а есть ли такие намерения, остаётся открытым вопросом.
Сознание у ИИ: индикаторный подход
О сознании нужно говорить отдельно и с большей осторожностью, чем о значении. Три пункта устанавливаются без спекуляции. Первый: словесные самоотчёты систем свидетельством не являются. Языковые модели обучены в том числе на человеческих самоотчётах о переживаниях, поэтому вывод «система говорит, что чувствует, значит чувствует» не работает. Симметрично не работает и её отрицание. Второй: признанного теста нет. Сама наука о сознании не имеет установленной теории (урок 11), а значит, нет и критерия для небиологических систем. Тест Тьюринга к этому вопросу не относится в принципе. Третий: вопрос зависит от нерешённого. Если верна биологическая теория или нефизикализм, функциональное дублирование сознания не гарантирует.
Текущий лучший методический подход строится на индикаторных свойствах. Батлин, Лонг и соавторы (19 авторов, включая Чалмерса, Сета, Бёрча) выпустили работу в 2023 году (arXiv:2308.08708). Рецензированная версия вышла под названием «Identifying indicators of consciousness in AI systems», Trends in Cognitive Sciences, 2025. Они берут ведущие научные теории: рекуррентной обработки, глобального рабочего пространства, высшего порядка, схемы внимания, предиктивной обработки, агентности и воплощённости. Из каждой выводят вычислительно специфицируемые индикаторы и оценивают системы по числу выполненных. Вывод работы: ни одна существующая система ИИ не является сильным кандидатом на сознание. При этом очевидных технических барьеров к созданию систем, удовлетворяющих многим индикаторам, авторы не видят. Метод опирается на вычислительный функционализм как рабочее допущение, и авторы это явно оговаривают.
Список того, чего утверждать нельзя, состоит из запретов, а не из осторожных формулировок. Что современные системы сознательны: свидетельств нет. Что они принципиально не могут быть сознательны: следует лишь из спорных посылок. Что мы узнаем по поведению: оно недоопределяет вопрос, ровно это показывают китайская комната и зомби. Что числовая мера даёт ответ: ни одна метрика для небиологических систем не валидирована. Рабочая формулировка урока: это не вопрос, ожидающий данных, а вопрос, в котором данные интерпретируемы только через нерешённую теорию. Поэтому от любого утверждения в любую сторону надо требовать явной теоретической посылки.
Ключевые работы и аргументы
| Тьюринг | 1950 | «Computing Machinery and Intelligence», Mind 59: заменяет вопрос о мышлении игрой в имитацию и разбирает девять возражений. |
| Сёрл | 1980 | «Minds, Brains, and Programs», BBS 3: синтаксис не достаточен для семантики, поэтому исполнения программы недостаточно для психики. |
| Фодор | 1975 | «The Language of Thought»: мышление осуществляется в структурированной символической системе с композициональной семантикой. |
| Фодор и Пилишин | 1988 | «Connectionism and Cognitive Architecture»: систематичность мышления объясняется комбинаторной структурой репрезентаций. |
| Бендер и Коллер | 2020 | «Climbing towards NLU», ACL: обучение на формах не даёт доступа к значению. Методологическое возражение против чтения бенчмарков как понимания. |
| Ли и др. | 2023 | «Emergent World Representations», ICLR: в модели, обученной только на ходах игры, найдено внутреннее представление состояния доски, каузально влияющее на вывод. |
| Батлин, Лонг и др. | 2023 | Индикаторный подход (рецензированная версия вышла в Trends in Cognitive Sciences, 2025): ни одна существующая система ИИ не является сильным кандидатом на сознание. |
Что выдержало критику, а что нет
Тьюринг предлагал замену вопроса, а не определение. Игра проверяет способность порождать текстовое поведение, неотличимое от человеческого. Утверждение статьи в том, что при таком поведении отказ приписать мышление станет произвольным, а не что победа в игре есть мышление по определению. Тестом на сознание игру в имитацию не считал ни Тьюринг, ни наука о сознании, которая ею не пользуется. Прогноз о 30 % пятиминутных сессий к 2000 году есть историческая деталь, а не посылка какого-либо его рассуждения.
В буквальном, сильном прочтении тезис эмпирически подорван: пробы обнаруживают структурированные внутренние представления, а в модели, обученной исключительно на записях ходов настольной игры, найдено представление состояния доски, каузально влияющее на вывод (Ли и др., ICLR 2023). Обнаружены представления пространства и времени (Гарни и Тегмарк, 2024). Модели демонстрируют систематическую генерализацию на новые комбинации, что несовместимо с чистым запоминанием. При этом методологическое ядро позиции Бендер и Коллер (ACL 2020) сохраняет силу независимо от метафизики: успех на бенчмарке не есть свидетельство понимания без аргумента о валидности бенчмарка, а обобщение не равно пониманию. Формулируйте так: «никаких моделей мира» опровергнуто, а «форма не даёт значения сама по себе» открыто и зависит от того, какая теория значения верна.
Интуиция о случае разделяется большинством: 67,12 % отвечают, что система в сценарии не понимает (N = 1031). Но вывод Сёрла большинство философов сознания отвергает, при этом общепризнанного опровержения нет. Спор сосредоточен на посылке (A3), то есть на том, что синтаксис сам по себе не достаточен для семантики: она либо тривиальна, либо предполагает вывод, поскольку сторонники вычислительной семантики отрицают само понятие синтаксиса «самого по себе» вне причинной реализации и связи с миром. Дополнительно: аргумент нацелен на символьные системы с явными правилами, и применим ли он к обученным распределённым представлениям, остаётся отдельным открытым вопросом. Формулируйте так: китайская комната не доказательство и не ошибка, а тест на то, считаете ли вы причинно организованную реализацию достаточной для содержания.
Термины
- игра в имитациюimitation game
- Процедура Тьюринга: судья по текстовому каналу пытается отличить человека от машины. Неразличимость считается выигрышем машины.
- сильный ИИstrong AI
- Тезис, который атакует Сёрл: правильно запрограммированный компьютер тем самым обладает психикой, а не только моделирует её.
- синтаксис и семантикаsyntax and semantics
- Различение формы символов и их содержания. Посылка (A3) китайской комнаты утверждает, что первое не достаточно для второго.
- вычислительная теория разумаcomputational theory of mind
- Психические процессы суть вычисления над репрезентациями. Ближайший союзник функционализма урока 10.
- язык мыслиlanguage of thought
- Гипотеза Фодора (1975): мышление осуществляется в структурированной символической системе с композициональной семантикой.
- систематичностьsystematicity
- Свойство когнитивных способностей: кто может помыслить одну комбинацию элементов, может помыслить и обратную. Главный довод за символическую архитектуру.
- интенциональностьintentionality
- Направленность состояния на объект, свойство быть «о» чём-то. Это, по Брентано (1874), отличительный признак психического.
- заземление символовsymbol grounding
- Проблема того, за счёт чего символы внутри системы связаны с тем, о чём они. Ответ робота в споре о китайской комнате опирается на неё.
- семантический экстернализмsemantic externalism
- Значение и референция определяются не только внутренними состояниями говорящего, но и средой и практикой сообщества.
- индикаторные свойстваindicator properties
- Вычислительно специфицируемые признаки, выведенные из научных теорий сознания, по числу которых оценивают систему. Текущий рабочий подход к вопросу о сознании ИИ.
Практикум · Найти спорную посылку китайской комнаты и построить контрпример
Аргумент Сёрла удобен для тренировки, потому что автор сам его формализовал: посылки выписаны, и работа сводится к тому, чтобы найти оспариваемую и понять, почему её нельзя ни просто принять, ни просто отбросить. Отдельная задача: проверить собственную интуицию на модификации сценария.
- Выпишите (A1), (A2), (A3) и (C1) своими словами и проверьте, что вывод действительно следует из посылок: если да, спорить можно только о посылках. Затем сформулируйте (A3) в двух прочтениях: сильном («никакая реализованная синтаксическая структура, как бы она ни была причинно связана с миром, не даёт содержания») и слабом («абстрактная форма вне реализации не даёт содержания»). Запишите, при каком прочтении посылка правдоподобна и при каком аргумент интересен: это и есть диагноз «либо тривиальна, либо предполагает вывод».
- Модифицируйте сценарий: человек в комнате выучил все правила наизусть и обрабатывает символы в уме. Сёрл считает, что понимания по-прежнему нет. Напишите два предложения за возражение Чалмерса и Коупленда: почему интуиция о человеке может не переноситься на реализуемую им систему.
- Постройте свой контрпример к (A3): опишите систему, у которой, по вашему мнению, содержание есть, и укажите, что именно, кроме формы, его обеспечивает. Затем проверьте, не вводите ли вы это «что-то» просто как ярлык.
- Сравните с аргументом Бендер и Коллер (ACL 2020): выпишите его в четыре строки и укажите, какая его посылка соответствует (A3) у Сёрла, а какая добавляет новое.
- Финальная проверка на точность: напишите три предложения о языковых моделях, каждое из которых вы готовы защищать, и три, которые звучат правдоподобно, но не подкреплены. Проверьте по уроку, не спутали ли вы вопрос о референции с вопросом о понимании или о переживании.
Вопросы для самопроверки
Почему Тьюринг заменил вопрос «Могут ли машины мыслить?» игрой в имитацию?
- Он доказал, что машины мыслят, и игра понадобилась ему лишь для наглядности
- Он считал, что мышление по определению тождественно способности вести неотличимую от человеческой беседу
- Он хотел показать, что вопрос о сознании машин решается наблюдением за поведением, как и всякий другой эмпирический вопрос об устройстве системы
- Он считал исходный вопрос зависящим от произвольной условленности о словах и предложил операциональную процедуру вместо спора об определениях
Аргумент китайской комнаты: (A1) программы синтаксичны, (A2) психика имеет семантику, (A3) синтаксис сам по себе не достаточен для семантики, следовательно, (C1) программы не достаточны для психики. Где сосредоточен спор?
- На (A3): она либо тривиальна, либо предполагает вывод, ведь спорно понятие «чистого» синтаксиса
- На (A1): программы в действительности не синтаксичны, а обладают собственной внутренней семантикой
- На (A2): у психики нет никакой семантики, а есть только каузальные роли между входами и выходами
- На валидности вывода: (C1) не следует из посылок, потому что слово «достаточно» употребляется в них в разных смыслах
Что показал результат с Othello-GPT (Ли и др., ICLR 2023), где в модели, обученной только на записях ходов, нашли внутреннее представление состояния доски?
- Что модель понимает игру, раз держит её состояние во внутреннем представлении
- Что сильная версия тезиса «только статистика поверхностной формы, никаких моделей мира» как эмпирическое утверждение опровергнута
- Что у модели есть референция к доске: её внутренние состояния указывают на реальные позиции фигур, а это и есть искомое отношение «о»
- Что модель обладает переживаниями, раз у неё есть внутренние состояния о внешнем предмете
Как корректно описать текущее положение с вопросом о сознании у систем ИИ?
- Вопрос решён отрицательно: небиологические системы сознательными быть не могут
- Вопрос решается наблюдением за поведением системы
- Индикаторный подход (Батлин, Лонг и др., 2023): сильных кандидатов среди систем нет, очевидных барьеров тоже, а признанного теста не существует
- Вопрос решается измерением подходящей числовой метрики
Почему аргумент Лукаса и Пенроуза от теорем Гёделя к превосходству человеческого ума не работает?
- Потому что теоремы Гёделя ложны
- Потому что человек не может понять доказательство теоремы
- Потому что машины тоже выводят гёделево предложение своей системы
- Теорема условна: гёделево предложение истинно, если система непротиворечива, а знать непротиворечивость произвольной теории человек не может
Ответы и разбор открываются в самопроверке урока: она считает результат и отмечает урок пройденным. Пройти самопроверку.
Что читать
- A. Turing, «Computing Machinery and Intelligence», Mind 59, № 236 (1950), с. 433-460: Читать целиком, включая раздел с девятью возражениями: это образец того, как формулировать возражения против себя в сильнейшей форме.
- J. Searle, «Minds, Brains, and Programs», Behavioral and Brain Sciences 3, № 3 (1980): Публикация вместе с комментариями и ответом автора даёт редкую возможность увидеть спор целиком в одном месте, а не в пересказе.
- E. Bender & A. Koller, «Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data», ACL 2020: Первоисточник аргумента об осьминоге. Обратите внимание на методологическую часть, которая не зависит от метафизики значения.
- Stanford Encyclopedia of Philosophy, «The Chinese Room Argument» и «The Turing Test»: Полная карта ответов и контрответов с библиографией. Читать, чтобы не пересказывать спор по популярным изложениям.