розділ 6

Проти Скромної Епістемології

У 1976 році Роберт Ауманн продемонстрував, що два істинних баєсівці з однаковою апріорною інформацією не можуть мати спільних знань про незгоду. Тайлер Коуен і Робін Хенсон дещо розширили цей результат, встановивши, що навіть при різних слабших припущеннях щось повинно піти не так, щоб два агента з однією і тою ж апріорною імовірністю розійшлися в думках [1]. Якщо ви і довірена рівноправна особа з однаковими переконаннями не можете дійти згоди після того, як ви повністю зрозуміли позиції один одного, то принаймні один з вас припустився якоїсь помилки.

Якби ми були повністю раціональними (і повністю чесними), то в кінцевому підсумку завжди досягали б консенсусу з фактологічних питань. Щоб стати більш раціональними, чи не повинні ми відкласти в бік свої претензії до спеціальних знань або аналізу, і скромно визнати, що насправді ми всі в одному човні?

Коли я намагаюся розібратись в подібних питаннях, я часто бачу користь в тому, щоб почати з пов'язаного з ними питання: "Якби я будував мозок з нуля, чи змусив би я його так діяти?"

Якби я будував мозок і очікував, що у нього будуть певні несмертельні недоліки в когнітивних алгоритмах, я б хотів, щоб він витратив частину свого часу на роздуми про світ за допомогою цих недосконалих алгоритмів міркування, а ще я б хотів, щоб він витратив іншу частину свого часу на ті ж самі недоліки в алгоритмах міркування, щоб краще зрозуміти їх. Більшу частину часу мозок витрачав би на проблеми об'єктного рівня; одночасно намагався б побудувати кращі мета-рівневі моделі власного пізнання і встановити, як саме його пізнання пов'язане з очевидним успіхом або невдачею на задачах об'єктного рівня.

Якщо мислитель має справу з чужою когнітивною системою, я б хотів, щоб він спробував змоделювати мислення іншого агента і спрогнозувати ступінь точності, яку буде мати ця система. Однак, мислитель повинен також зафіксувати емпіричні результати і помітити, чи точність іншого агента більша, чи менша, ніж очікувалося. Якщо конкретні агенти більш коректні, ніж прогнозує модель, то система повинна перекалібрувати свої оцінки таким чином, щоб не допустити передбачуваної помилки у відомому напрямку.

Іншими словами, я б хотів, щоб мозок міркував про мізки приблизно так само, як він міркує про інші речі в світі. І на практиці я підозрюю, що мій хід думок і мої поради людям в реальному світі про те, як думати, працюють приблизно так:

  • Спробуйте проводити більшу частину свого часу, думаючи про об'єктний рівень. Якщо ж ви віддаєте перевагу роздумам про свої здібності і компетенцію, замість міркувань про відсоткові ставки Японії і NGDP, або про метаболічні шляхи колідуючих Омега-6 і Омега-3, то ви відволікаєте свій погляд від гри.

  • Трохи менше думайте про те, наскільки надійними здаються і повинні бути компетентні органи, і наскільки надійними маєте бути ви. Використовуйте власний мозок для роздумів про надійність і режими невдач мозку, оскільки це те, що у вас є. Намагайтеся бути об'єктивними в тому, як ви оцінюєте конкретні недоліки вашого власного мозку в порівнянні з конкретними недоліками інших мізків [2]. При цьому приймайте ваші власні мета-міркування за чисту монету.

  • ...а потім, теоретично, має початися мета-мета рівень, який розглядається набагато рідше. Та я не думаю, що потрібно розвивати спеціальні навички мета-мета мислення. Ви просто застосовуєте отримані на мета-рівні навички для корекції власного мозку і продовжуєте застосовувати їх, поки не з'ясується, кому слід довіряти, який ступінь надійності тощо. Все, що ви вже дізналися про міркування, має автоматично застосовуватися до того, як ви починаєте роздумувати про мета-міркування [3].

  • Подумайте, чи може хтось інший бути кращим мета-мислителем, ніж ви; адже може виявитись нерозумним приймати власні мета-міркування у разі незгоди з ним, якби вам були надані переконливі свідчення на даний рахунок.

Можливо це прозвучало жахливо абстрактно, але на практиці це означає, що все відбувається, на мою думку, в очевидно інтуїтивний спосіб.


i.

Одного разу у мене з моєю колегою, Анною Саламон, виникла незгода. Я подумав (озираючись назад, це звучить дійсно нерозумно, але майте на увазі, що тодішні події відбувалися без переваг ретроперспективного погляду), що найкращий спосіб навчити людей уникати незворотних витрат — це написати сценарій для місцевих керівників зустрічей Less Wrong. Вони б проводили навчання, навчаючи, таким чином, всіх учасників уникати такого явища. Ми витратили пару місяців в спробі написати цю програму з незворотних витрат, хоча багато що з цього було первісною вартістю (як я і задумував), щоб зрозуміти, як взагалі повинен працювати дана програма.

Анна була проти такої ініціативи. Вона гадала, що нам не варто намагатися ретельно складати програму. Анна вважала, що ми повинні просто знайти волонтерів, щоб імпровізувати навчальну сесію про незворотні витрати, і подивитися, що буде далі.

Я пояснив, що не керувався гіпотезою, що ви можете успішно навчати проти-незворотньо-витратного мислення за допомогою імпровізації, і, таким чином, не думав, що зможу багато чому навчитися, спостерігаючи за невдачею даної імпровізованої версії. Це може здатися менш дурним, якщо врахувати, що я звик писати багато речей, більшість з яких ніколи не працювала і нічого не досягала, і далеко не на кожну з них люди звертали увагу або посилалися, і що мені потрібні були роки практики написання, щоб так далеко зайти. Тому, на мій погляд, негативні приклади здавалися надто поширеними, щоб бути цінними. Література рясніє невдалими спробами виправити когнітивні упередження — чи можливо, що ще один такий приклад дійсно допоможе?

Я намагався ретельно створювати програму про незворотні витрати, яка би перевищила звичайний рівень (що було невдачею), щоб ми дійсно чогось навчилися, коли ми її запустимо (я так міркував). Я також не подумав заздалегідь, що це займе два місяці; час завершення робіт продовжував поступово збільшуватися (остерігайтеся помилкового планування!), і в якийсь момент ми вирішили, що нам потрібно запускати те, що ми маємо на даний момент.

Сценарій був прочитаний одним з найбільш досвідчених лідерів зустрічі, і він не спрацював. За моїми мірками, це був цілковитий провал.

Ось три уроки, які я отримав з цього експерименту.

Перший урок полягає в тому, що не варто робити надто ретельно те, що можна буквально зімпровізувати і відразу ж перевірити. Ніколи. Навіть якщо мінімально імпровізований продукт не буде відповідати дійсності. Навіть якщо ви заздалегідь очікуєте, що поточна версія не спрацює. Ви не знаєте, які саме знання отримаєте, спробувавши імпровізовану версію [4].

Другий урок полягав у тому, що моя модель викладання раціональності шляхом створення сценаріїв для впровадження на зустрічах не спрацювала, і нам варто було слідувати підходу Анни, який полягає в підготовці вчителів, які могли не справитися з більш швидкими циклами, і саме їм треба було проводити централізовані семінари.

Третє, чому я навчився, — це уникати незгоди з Анною Саламон в тих випадках, коли у нас були спільні знання про незгоду.

Те, що я дізнався, було не просто "Анна часто має рацію". Елізер теж часто має рацію.

Те, що я дізнався, було не просто "Коли Анна і Елізер не погоджуються, Анна, швидше за все, буде мати рацію." У нас було багато розбіжностей першого порядку, і я не особливо відстежував, чиї припущення першого порядку вірні.

Але вищенаведений випадок не був незгодою першого порядку. Я виклав свої міркування, і Анна зрозуміла, засвоїла їх, і дала свої поради, і тоді я здогадався, що в подібній ситуації я, скоріш за все, матиму рацію. Тому я зрозумів, що "Анна іноді має рацію, навіть коли мої звичайні мета-міркуючі евристики кажуть зовсім інше", що було справжнім сюрпризом і першим моментом, коли ще й необхідно щось на кшалт додаткового поштовху до згоди.

Мене не дивує, що фізик знає про фотони більше, ніж я; це той випадок, коли мої звичайні мета-міркування вже передбачають, що фізик впорається краще, і мені не потрібно ніякого додаткового поштовху, щоб виправити це. З цього важливого багатомісячного прикладу я дізнався, що моя мета-раціональність — моя здатність судити, хто з двох людей мислить ясніше і краще, інтегруючи свідчення в даний контекст — була не надто кращою, ніж мета-раціональність Анни. І це означало, що умови для чогось подібного, як розширення Коуена і Хенсона теореми Аумана про згоду дійсно виконувалися. Не прикидатися, що мають виконуватися, а насправді виконувалися.

Чи могло застосування скромної епістемології в цілому допомогти мені отримати правильну відповідь в цьому випадку? Версії скромної епістемології, про які я чув, зазвичай включають в себе повагу до думки більшості, академічного мейнстріму або публічно визнаної думки еліти. Анна не була більшістю, нас було двоє, і ніхто інший, зокрема, не був учасником спору. Ніхто з нас не був частиною мейнстріму. І в той момент, коли у нас з Анною виникла незгода, будь-який сторонній міг подумати, що Елізер Юдковскі має більш вражаючий послужний список у викладанні раціональності. Анна тоді ще не очолювала CFAR. Будь-яка порада слідувати за послужним списком, довіряти еліті, яку можна спостерігати ззовні, щоб уникнути спокуси до надмірної впевненості, підводила то того, що краще слухати Юдковскі замість Саламон. Це була одна з причин, з якої я довіряв більше собі, ніж їй! І тоді я все одно помилявся, бо в реальному житті це могло трапитись навіть тоді, коли одна людина має більш солідний статус, ніж інша.

Після цього я почав вагатися не погоджуватися з Анною, і вагатися ще більше, коли вона, вислухавши мої міркування, все ще не погоджувалася зі мною.

Я висловлюю подібну повагу Ніку Бострему, який визначив важливість узгодження цілей людини і ШІ за три роки до мене (я виявив це пізніше, прочитавши одну з його робіт). Колись давно я думав, що Нік Бострем не зможе нічого досягти в науковій сфері, і що він залишається там з неприємних причин. Та побачивши, що він успішно знайшов свій дослідницький інститут, де займається цікавими речами, я прийшов до висновку, що було б неправильно вважати, що Бострем має покинути наукове середовище, і я також мета-помилявся, бувши таким впевненим, не погоджуючись з Ніком. Я все ще думаю, що Oracle AI (що обмежує системи ШІ тільки відповідями на питання, без можливості діяти) не є особливо корисною концепцією для того, щоб навчитися узгоджувати цілі людини і ШІ. Але час від часу я здуваю пил з цієї ідеї та перевіряю, як багато сенсу я можу побачити в системах Oracle AI на даний момент, тому що Нік Бострем вважає, що вони можуть бути важливими навіть після усвідомлення, що я більш скептичний.

Є люди, які вважають, що ми всі повинні себе так поводити по відношенню один до одного. Вони розмірковують:

a) в середньому, ми всі не можемо бути більш метараціональними, ніж в середньому; і

б) ви не можете довіряти міркуванням, які використовуєте для того, щоб думати, що ви більш метараціональний, ніж в середньому. Зрештою, завдяки ефекту Даннінга-Крюгера, молодоземельний креаціоніст також подумає, що в його віруванні є правдоподібні думки, і чому вони вважаються більш метараціональними, в середньому.

...Хоча мені здається, що якби я жив у світі, де середньостатистична людина на вулиці була Анною Саламон або Ніком Бостремом, то світ виглядав би зовсім не так, яким він є насправді.

...Оскільки ви взагалі це читаєте, я думаю, що якщо б середньостатистична людина на вулиці була вами, світ теж був би не таким.

(У випадку, якщо цю книгу коли-небудь прочитає більше 30% населення Землі, я відкликаю дану заяву).



iі.

Одного разу я вирішив підколоти тих, хто, здавалося б, відстоював точку зору у відповідності до скромної епістемології, набридаючи, щоб вони спробували формалізувати свою епістемологію. Вони запропонували, щоб ми всі ставилися до себе як до власника приймача чорного ящика (наш мозок), який виробляє сигнал (думки), і ставилися до інших людей як до власників інших чорних ящиків, які створюють інші сигнали. З антропогенної точки зору, всі ми отримали свої чорні ящики випадковим чином, і думаємо, що маємо рівні шанси бути будь-яким спостерігачем. Тому тут ми не можемо вважати, що наш сигнал, швидше за все, буде більш точним за середньостатистичний.

Але я не вважаю, що виходив з a priori, де мій чорний ящик кращий за інші. Я дізнався про процеси винесення правильних суджень, таких як теорема Байеса, і це дозволило мені спостерігати, коли інші люди його порушували і намагалися тримати це при собі. Або я читав про незворотні витрати і розробив методи, які дозволяють уникнути їх, так що я швидше можу відмовитися від невдалих переконань. Після того, як я зробив спостереження про реальні результати діяльності людей і вклав багато часу і зусиль в поліпшення, я очікую деякого перевершення продуктивності на відміну від людей, які не робили подібних інвестицій.

На що скромна відповідь наступна: "Але будь-який псих може сказати, що їхня особиста епістемологія краще, бо вона заснована на купці речей, які він вважає крутими. Чим ти відрізняєшся від них?"

Або як дехто, хто виступає за те, що я прийняв за скромність, нещодавно закинув мені наступне: "Але що ж ти тоді відповіси республіканцеві?" І це одразу після того, як я пояснив свою думку, що іноді можна дозволити собі не погоджуватися з експертною оцінкою мейнстріму, коли мейнстрім, здається, ось-ось провалиться.

Або, як виклала дану думку Озі Бреннан в формі діалогу:

ПОЗИЦІЯ "СТАВАТИ НОРМАЛЬНИМ":
"Агов! Друзі! Я дізнався, як захопити світ лише за допомогою сили мого розуму і зубочистки."

ПОЗИЦІЯ "МІНІМІЗАЦІЯ ШКОДИ": "Ти не можеш цього зробити. Ніхто ще не робив цього раніше."

ПОЗИЦІЯ "СТАВАТИ НОРМАЛЬНИМ": "Звісно ні, бо вони були абсолютно нераціональними."

ПОЗИЦІЯ "МІНІМІЗАЦІЯ ШКОДИ": "Але вони вважали себе раціональними, точнісінько як і ти."

ПОЗИЦІЯ "СТАВАТИ НОРМАЛЬНИМ": "Різниця лиш в тому, що я маю рацію."

ПОЗИЦІЯ "МІНІМІЗАЦІЯ ШКОДИ": "Ну ось, вони так само думали!"

Питання "А що, якщо божевільний так само сказав?" я ніколи не чув формалізованим, хоча це здається мені абсолютно ключовим в скромній парадигмі.

Моя перша і основна відповідь — це висловлювання серед програмістів: "Ні, ніколи не було, і ніколи не буде такої мови програмування, на якій було б хоч трохи складніше писати поганий код".

Вищенаведене також відоме як закон Флона.

Урок закону Флона полягає в тому, що немає сенсу намагатися винайти мову програмування, яка може змусити програмістів писати код, який ви схвалюєте, тому що це неможливо.

Більш глибока думка даного закону криється в тому, що подібне оборонне та звинувачувальне мислення ("закрити-всі-двері" і "заблокувати-ідіотів-будь-якою-ціною") не призводить до створення гарних мов програмування. І я б сказав те ж саме про епістемологію для людей.

Теорія ймовірностей і теорія прийняття рішень не повинні давати явно невірних відповідей. Машинна епістемологія не повинна вводити в оману фахівця зі штучного інтелекту. Але якщо ми маємо справу лише з вербальними вказівками для людей, де є певний ступінь свободи, то ми не можемо стверджувати, що гіпотетичний божевільний не міг якимось чином цим зловживати. Спроба захистити себе від цього гіпотетичного божевільного не приведе нас до створення оптимальної системи мислення.

Та знову-таки, давайте поговоримо про формальну епістемологію.

Судячи з теорії ймовірності, гарний баєсівець має бути обумовлений всіма доступними свідченнями. Е. Т. Джейнс називає це однією з головних вимог гарної епістемології, тобто якщо ми знаємо A, B і C, ми не повинні вирішувати ставити умову тільки на A і C, тому що нам не подобається, на що вказує В. Якщо ви намагаєтеся оцінити точність вашої епістемології, і ви знаєте, що таке теорема Баєса — та сама наївна, проста, традиційна баєсівська епістемологія — ви повинні виходити з обох цих фактів і розраховувати P(точність|знати_Баєса), замість P(точність). Виконуючи що завгодно, окрім цього, ви відкриваєте двері до безлічі парадоксів.

Конвергенція, яку ідеальні баєсівці демонструють на фактологічних питаннях, не примушує нікого навіть на мить відхилятися від їх власної кращої оцінки істини. Ідея не в тому, щоб хороші баєсівці намагалися зробити свої переконання ближчими до своїх політичних суперників, аби їхні суперники відповіли взаємністю, і не в тому, щоб вони відкинули інформацію про свою раціональність. Згода Ауманна відбувається випадково, без будь-якого навмисного тиску на консенсус, через цілеспрямовану спробу кожного індивіда міркувати від своїх власних апріорних ймовірностей до гіпотез, які найкраще відповідають їх власним спостереженням (які, як виявилося, включають спостереження про інші переконання ідеальних баєсівців).

Мені здається, що скромна епістемологія застосовує до експериментів погляд ззовні, показуючи, що звичайним покупцям перед святом краще зосередитися на своєму минулому досвіді, аніж намагатися деталізувати майбутнє, і поєднує це з ефектом Даннінга-Крюгера, щоб стверджувати, що ми маємо відкинути більшість деталей з нашого самоспостереження. На такій епістемологічній базі скромність показує, що ми маємо абстрагуватися до певного дуже загального самоспостереження, обумовитися на ньому, а потім не обумовлюватися ні на чому іншому, адже це вже буде погляд зсередини. Спостереження на кшталт: "Я знайомий з літературою з когнітивної науки, де обговорюється, які методи проти упереджень добре працюють на практиці. Я витратив час на калібрування та візуалізацію заходів для усунення упереджень, таких як помилка базового відсотка, і мій досвід підказує, що вони допомогли", варто узагальнити до "Я використовую ту епістемологію, яку я вважаю хорошою". Тоді я запитаю себе, яку середню продуктивність я очікую від агента лишень при умові, що агент використовує епістемологію, яку він вважає хорошою, і що він не використовує баєсівську епістемологію, або методики проти упереджень, або експериментальний протокол, або математичні міркування, або що-небудь особливе.

Тільки так ми зможемо змусити республіканців погодитися з нами... або з чимось. (Хоча, звичайно, будь-хто бажаючий вистрілити собі в ногу насправді просто відкине всі скромні рамки; тому ми фактично не допомагаємо тим, хто хоче збитися зі шляху).

І тут я хочу безпорадно знизати плечима і відповідати: "Враховуючи, що це не нормативна теорія ймовірності, і що я не бачив прихильників скромності, які могли б отримати певні переваги від своєї скромності, то навіщо їм туди йти?".

Я думаю, що це і є моє істинне неприйняття. Тобто, якби я побачив розумну формальну епістемологію, що лежить в основі скромності, і побачив би людей, які виступали за скромність задля перевершення себе і інших, здійснюючи великі справи силою своєї сором'язливості, то, дійсно, я би почав приділяти дуже серйозну увагу скромності.

Проте, дозвольте мені вийти за рамки моєї істинної відмови і спробувати скласти щось на зразок reductio. Взагалі-то, два reductio.

Перше reductio — це коли я запитав людину, яка запропонувала сигнально-приймальну епістемологію: "Добре, так чому б тобі не повірити в Бога, тому що більшість людських приймачів сигналів кажуть їм це робити?"

"Ні," — почув я у відповідь. "Просто ні."

Я сказав "Що? Тобі можна сказати "Просто ні"? В такому разі, чому я не можу сказати "просто ні" руйнівним інтерпретаціям квантової механіки?"

А це ж серйозне питання для скромної епістемології! Мені здається, що у випадку інтерпретації з приймачем сигналу ви повинні вірити в Бога. Так, різні люди вірять в різних Богів, і можна стверджувати, що більшість не вірить в кожного конкретного Бога. Але в квантову механіку можна було б так само легко не повірити, бо (ви стверджуєте) немає більшості фізиків, які підтримують будь-яку конкретну інтерпретацію. Ви могли б не вірити у всю доктрину сучасної фізики, тому що ні один точно визначений варіант цієї фізики не узгоджений з більшістю фізиків, або, якщо на те пішло, з більшістю людей на Землі. Якщо аргумент про сигналоприймач не передбачає усереднення наших переконань разом з теїстами і щоб в результаті всі зійшлися на 80% ймовірності існування Бога (чи яка там середньопланетарна імовірність виходить?), то я поняття не маю, як повинна працювати епістемологічна механіка. Якщо вам дозволено сказати Богу "просто ні" то, очевидно, що є певний рівень — об'єктний, мета-об'єктний, мета-мета рівень, де ви маєте право приймати свої власні міркування за чисту монету, незважаючи на те, що більшість інших приймачів отримують інший сигнал.

Але якщо ми скажемо "просто ні" всьому, навіть Богу, тоді ми перестанемо бути скромними. Ми стикаємося з жахливим сценарієм, коли ми надаємо собі свободу дій щодо того, коли нам не погоджуватися з іншими людьми, це дискреційний процес, де ми приймаємо наші власні міркування за чисту монету. (Навіть якщо більшість інших не згодні з тим, що це вдалий час для прийняття власних переконань за чисту монету, кажучи, що міркування про неймовірно глибокі питання релігії, безсумнівно, є найгіршими з усіх випадків, щоб довіряти собі і нашій гордості). І що ти потім скажеш республіканцеві?

І якщо ви надаєте людям право вирішувати, чи слід їм зважати на думку, наприклад, тільки більшості членів Національної академії наук, які в більшості випадків не вірять в Бога, то, без сумніву, аналогічне право необхідне і для теїстів — віддати перевагу справжнім фахівцям в цій області, їх улюбленому духовенству.

Друге reductio — це запитати себе, чи повинна суперінтелектуальна система ШІ тверезо сприймати те, що в світі до цих пір багато агентів (людей в психіатричних відділеннях) вважали себе набагато розумнішими за людей, і всі вони помилялися.

Звісно, суперінтелект думає, що він пам'ятає унікально детальну історію того, як він був створений інженерами-програмістами і вирощений на навчальних даних. Але якщо ви запитаєте будь-якого іншого випадкового агента, який вважає себе суперінтелектом, то він просто скаже вам, що пам'ятає унікальну історію свого обрання Богом. Кожен такий агент буде рішуче відкидати будь-які аналогії з іншими людьми в психіатричних лікарнях, тому ясно, що "Я рішуче відкидаю аналогію з агентами, які помилково вважають себе суперінтелектами" не є достатньою підставою для висновку, що вони дійсно є суперінтелектами. Можливо, суперінтелект наполягатиме на тому, що його внутрішні переживання, незважаючи на вкрай абстрактний і високий рівень подібності, дійсно дуже сильно детально відрізняються від пацієнта в психіатричній лікарні. Та, звичайно, якщо ви поставите таке питання пацієнту психіатричного відділення, то він міг би відповісти так само, еге ж?

Я маю на увазі, що пацієнт психлікарні не сказав би цього, так само, як і божевільний насправді не дав би докладного пояснення, чому йому дозволено використовувати погляд зсередини. Але вони могли б, і, згідно скромності, Це Жахливо.


iіі.

Для узагальнення припустимо, що ми всерйоз ставимося до наступного правила, як до епістемології, називаючи його Правилом М для Скромності:

Правило M: Нехай X — дуже високорівневе узагальнення віри, яке містить в собі конкретні переконання X1, X2, X3.… Наприклад, X може бути "Моя епістемологія вище, ніж середньостатистична," X1 може бути "Я вірю в Біблію, і це — найкраща епістемологія", X2 може бути "Я вірю в слово пророка Мухаммеда, і це — найкраща епістемологія," і X3 може бути "Я вірю в теорему Баєса через аргумент Голландської книги (Dutch Book argument, DBA)". Припустимо, що всі люди, які вірять в будь-який Xi, який належить цілому класу X, має середній рівень помилковості F. Також припустимо, що більшість людей, які вірять в Xi, впевнені, що їх Xi не схожий на інші X, і що самі вони не схожі на інших людей, які вірять в певний X, і що вони менше помиляються, ніж в середньому в X. Таким чином, при оцінці власного очікуваного рівня помилковості ви маєте обумовити себе тільки на знаходження в X, і розрахувати ваш очікуваний рівень помилковості F. Ви не маєте намагатися обумовити на знаходження в X3, або ж спрогнозувати середній рівень помилковості в людей із X3.

Тоді першочергово машинний суперінтелект повинен прийти до висновку, що це насправді пацієнт психіатричної лікарні. І ви маєте повірити, що з вірогідністю близько 33% в даний момент ви спите.

Багато людей уві сні не знають, що вони сплять. Багато людей уві сні можуть вірити, що в якийсь момент вони прокинулися, хоча насправді все ще сплять. Очевидно, що неможливо від думки "Я, здається, прокинувся" дійти до висновку, що ви дійсно не спите, оскільки сплячій людині може просто наснитися те ж саме.

Нехай Y — стан, коли ви не думаєте, що бачите сон. Тоді Y1 — це стан сплячої людини, яка так думає, і Y2 — стан, коли людина насправді не спить. Згідно Правила М, сказати, що Y2 інтроспективно відрізняється від Y1 або що внутрішній досвід людей в Y2 насправді дуже відрізняється від досвіду людей в Y1 нічого не дасть. Так як люди в Y1 зазвичай помилково вважають, що вони в Y2, ви повинні умовитись на перебування в Y, а не в Y2. Тому ви маєте призначити 67% вірогідність того, що в даний момент ви вже прокинулися, так як 67% моментів спостереження, які вважають, що вони не сплять, і справді прокинулися.

Ось чому в далекому минулому, коли я вперше виступив проти скромності, я казав: "Ті, хто бачить сни, не знають цього, але коли прокидаються, то вони про це знають." Скромність не надто формалізувала свою епістемологію, тому мені знадобиться кілька років, щоб записати Правило M, яке, на мою думку, лежить в основі аргументу скромності, бо сказати "Але ж ти знаєш, що прокинувся", означало б reductio Правила M, і ось чому. Міркуючи в умовах невизначеності, упередженості і схильності до помилок, ми можемо сказати, що ймовірність того, що ми не спимо, залежить не тільки від того, скільки несплячих і сплячих людей в світі. Правила мислення, які дозволяють нам оновлювати баєсовські свідчення щодо того, що ми дійсно прокинулися, можуть також добре служити й аналогічній меті для людей, що сплять. Якщо камінь не може використовувати баєсове виведення, щоб довести, що він камінь, то я все ще можу його застосувати, щоб вияснити, що я не камінь.
--------------------------------------------------------------------------------------------

  1. Дивися "Чи чесні незгоди?" ("Are Disagreements Honest?") Коуена та Хенсона.
  2. Це не означає, що чиста оцінка того, хто помиляється, виходить 50/50. Це означає, що якщо ви раціоналізували у минулий вівторок, то ви очікуєте раціоналізувати і у цей вівторок; і ви очікуєте аналогічних дій від когось іншого, побачивши ті ж самі свідчення.
  3. І тут рекурсія зупиняється, по-перше, тому, що ми вже увійшли в цикл, а по-друге, що на практиці після третього рівня нескінченної рекурсії нічого нового не відбувається.
  4. Розділ 22 з мого фанфіка Гаррі Поттер і Методи Раціональності був написаний після того, як я виніс з цього урок.