розділ 5

Сліпий емпіризм

Теза, яку необхідно протиставити скромності, не є твердженням, що кожен може щоразу обходити свою цивілізацію. Справа не в тому, що ми повинні бути такими людьми, які бачать світ божевільним і реалізують стратегію віри в недооцінені акції і інвестування в них всіх коштів.

Просто це нормально — міркувати про те, де цивілізація може бути неадекватною, нормально врешті-решт повірити, що ви можете встановити кращу грошово-кредитну політику, ніж ту, якої дотримується Банк Японії, нормально звіряти це зі спостереженнями, якщо у вас є така можливість, і нормально оновлюватися щодо результатів в будь-якому напрямку. Це нормально — діяти згідно моделі того, в чому, на вашу думку, добре розбирається решта світу, і ця модель повинна бути чутливою до специфіки різних випадків.

Чому це може бути не нормально?

Може бути, що "діяти згідно моделі" — підозріло, принаймні, коли йдеться про складні макрофеномени. Розглянемо різницю між "їжаками" (які більше покладаються на теорії, моделі, глобальні переконання) і "лисицями" (які більше покладаються на дані, спостереження, власні переконання), концепцію яких запропонував Ісайя Берлін. Багато людей, яких я знаю, вважають лисицю кращою за їжаків на тій підставі, що вона володіє великим імунітетом до фантазування і догматизму. Дослідження Філіпа Тетлока показали, що політичні експерти, які в значній мірі покладаються на прості всеосяжні теорії — люди, які використовують слово "більш того" частіше, ніж "однак", — в середньому значно гірше орієнтуються в задачах прогнозування [1].

Або, можливо, підозрілим може бути момент, коли моделі "чутливі до специфіки різних випадків". У 2002 році Бюлер, Гріффін і Росс в своєму дослідженні попросили групу експериментальних суб'єктів надати багато подробиць про свої плани про покупки товарів на Різдво: де, коли і як. В середньому, ця експериментальна група очікувала завершити покупки більш, ніж за тиждень до Різдва. У іншої групи просто запитали, коли вони очікують завершити різдвяні покупки, і середня відповідь була 4 дні. Обидві групи справилися приблизно за 3 дні до Різдва. Аналогічним чином, студентів запитали, коли вони виконали свої завдання, і вони відповіли "за день до крайнього терміну", хоча планували все завершити за 10 днів до нього. Це говорить про те, що використання погляду ззовні є ефективною відповіддю на помилковість планування: замість того, щоб намагатися передбачити, скільки заминок і затримок відбудеться з вашими планами, детально обдумуючи особливості кожного плану ("погляд зсередини"), ви можете зробити все краще, просто припускаючи, що ваші майбутні плани будуть працювати приблизно так само добре, як ваші попередні плани.

Як вже було сказано, все це може бути дуже гарними заходами подолання упереджень. Та мене, однак, хвилює, що багато людей почнуть зловживати і застосовувати концепцію "погляду ззовні" незабаром після того, як вони дізнаються про її існування, і що багато людей занадто сильно пов'язують своє ментальне уявлення про те, як виглядає гарне мислення зі стереотипом скромної емпіричної лисиці. Нещодавно я виділив це в окрему загальну тему, яка витекла з трьох моїх нещодавніх розмов.

Я не можу переказати ці розмови так, щоб вони виглядали справедливо по відношенню до людей, з якими я спілкувався, тому, будь ласка, ставтеся до моєї розповіді не як до нейтрального викладу фактів, а як до несправедливої та упередженої ілюстрації актуальних ідей. Моя мета — зобразити ті моделі мислення, які, на мою думку, завдають епістемічну шкоду, тобто я хочу вказати на декілька канарок у вугільній шахті і пояснити, що коли я говорю про скромність, то я говорю не тільки про мажоритаризм Хела Фінні або явне переконання в адекватності цивілізації.


i.

Бесіда 1 була присвячена важливості написання коду для тестування ідей штучного інтелекту. Я припустив, що коли люди намагалися написати код для перевірки ідеї, яку я вважав важливою, я захотів би побачити код до початку експерименту, або, не знаючи результату, подивитися, чи зміг би я правильно його передбачити.

Я був здивований, отримавши відмову на мою пропозицію; тому я відповів, що мати можливість зробити попередні експериментальні прогнози важливо з двох причин.

По-перше, я подумав, що важливо заздалегідь розробити навичку і методологію прогнозування "подібних речей", тому що після певного рівня розвитку при роботі з розумнішим-за-людину штучним інтелектом, якщо ви не бачите куль до початку експерименту, то експеримент вбиває вас. У зв'язку з цим мені потрібно було якомога активніше випробовувати це вміння, що означало спробу зробити експериментальні прогнози заздалегідь, щоб сам себе перевірити .

По-друге, якби мені вдалося правильно передбачити результати, це означало б, що експерименти не показали б нічого такого, що я б не зміг вияснити з минулого досвіду і теоретики. Я турбувався, що хтось може скористатися результатом, який я вважав очевидним прогнозом в моїх нинішніх поглядах, і сказати, що це було доказом проти моєї теорії або методології, оскільки їх часто неправильно розуміють [2]. Якщо ви хочете використати експеримент щоб показати, як та чи інша теорія/методологія не дає результатів, то ви повинні дати можливість прихильникам теорії/методології заздалегідь сказати, який саме результат вони прогнозують, і внести його до протоколу, щоб жодна сторона не змогла змінити правила гри.

І я знову отримав відпір від прихильника MIRI з сильною технічною базою; тому я продовжив говорити далі.

Тепер я підозрюю (принаймні, я думаю, що так і було), що їх розумовий контраст між емпіризмом і теоретицизмом був настільки сильним, що вони вважали небезпечним взагалі мати теорію. Що наявність теорії перетворила вас на поганого їжака з однією великою поганою ідеєю замість гарної лисиці, у якої є багато маленьких спостережень. Що був проведений поділ між тим, щоб зробити попередній прогноз, замість того, щоб провести експеримент, проти проведення експерименту без попереднього передбачення. Наприклад, я підозрюю, що кожен раз, коли я говорив "робити прогноз", вони чули "робити прогноз замість проведення експерименту" або "чіплятися за те, що ви передбачаєте, і ігнорувати експеримент".

Я розумію, як буде розвиватися таке бачення. Стратегія складання прогнозів для перевірки вашого розуміння, можливості його протестувати передбачає, що ви можете використати методику "швидко сказати "ой" і відмовитися від старих переконань" в тому випадку, якщо прогноз виявиться неправильним. А так як "швидко промовити "ой" і відмовитися від старих переконань" не вдається переважній більшості людей, можливо, на індивідуальному рівні людям краще намагатися бути чисто лисицями і тільки збирати спостереження і намагатися не заводити ніяких великих теорій. Може бути, що середньостатистичний випадок когнітивного використання полягає в тому, що якщо у вас є велика теорія і спостереження суперечать їй, ви знайдете спосіб зберегти велику теорію і тим самим приректи себе (ефект "Помилки були зроблені, але не мною").

Але з моєї точки зору вибору немає. Потрібно просто навчитися говорити "ой", щоб мати теорії і робити експериментальні прогнози. Навіть на строго емпіричному рівні ви дізнаєтеся менше, якщо вам не дозволено мати моделі і ви не робите свої передбачення заздалегідь. Емпірик такого роду може тільки дізнатися поверхневі узагальнення про те, чи виглядає це явище на перший погляд, як явище, замість того, щоб будувати причинно-наслідкові моделі і випробовувати їх.
iі.

Розмова 2 була про веб-додаток в процесі розробки, і виглядало це приблизно так.

ЗАСНОВНИК СТАРТАПА 1: Я хочу, щоб (примітивна версія продукта) якнайшвидше з'явилася у користувачів, щоб побачити, захочуть вони нею користуватися чи ні.

ЕЛІЗЕР: Я передбачаю, що користувачі не захочуть працювати з такою версією.

ЗАСНОВНИК 1: Ну, з того, що я читав про стартапи, я зрозумів, що важливо якомога раніше перевірити, чи сподобається твій продукт користувачам, і не займатися надмірною розробкою.

ЕЛІЗЕР: Концепція "мінімального життєздатного продукту (MVP)" не є мінімальним продуктом, який можна скомпілювати. Це мінімальний продукт, який є кращим в світі інструментом для вирішення певної задачі або організації робочого процесу. Якщо у вас немає MVP в цьому сенсі, то користувачі, звичайно, не будуть на нього перемикатися. Таким чином, у вас не буде гіпотези, яку можна протестувати. А це значить, якщо користувачі не захочуть використовувати ваш продукт, то ви так нічому не зможете навчитися [3].

ЗАСНОВНИК 1: Жоден план бою не витримує зіткнення з реальністю. Важливо просто якомога швидше надати продукт користувачам, щоб ми могли побачити, що вони думають. Ось чому мене засмучує те, що (група користувачів) не захотіла використовувати (ранню версію продукту).

ЕЛІЗЕР: Це нагадує мені розмову про штучний інтелект, яка у мене була двічі за останній місяць. Дві окремі персони стверджували, що ми навчимося чомусь емпірично, експериментуючи, і я сказав, що в подібних випадках я хотів би побачити опис експерименту заздалегідь, щоб мати можливість робити попередні прогнози і випробовувати свою здатність передбачати події, не підставляючи свою голову під їх удар.

В обох розмовах мені було дуже важко передати наступну ідею: наявність у мене теорії не означає, що я маю бути нечутливим до свідчень; свідчення перевіряють теорію, потенційно її фальсифікують, але для цього потрібно заздалегідь зробити експериментальні прогнози. Думаю, я міг би сказати вам заздалегідь, що (група користувачів) не захотіла б використовувати (ранню версію продукту), оскільки (група користувачів) намагається виконати (завдання 1), і ця версія продукту не є найкращим доступним інструментом, який вони могли б використовувати для виконання (завдання 1).

Я не можу передати це дуже добре з усіма відредагованими деталями, але склалося враження, що ідея "недовіри до теоретизування" стала настільки сильною, що Засновник 1 перестав намагатися детально моделювати користувачів і порахував непотрібним робити попередні прогнози. Але якщо ви не можете детально моделювати користувачів, ви не можете думати про робочі процеси і завдання, які користувачі намагаються виконати, або про те, в який момент ви станете помітно кращим інструментом для виконання певного робочого процесу (мінімально життєздатний продукт), з яким коли-небудь стикався користувач. Судячи з того, що я бачив, альтернативою було мислити в термінах "функцій" і якомога швидше показати продукт користувачеві і подивитися, чи хочуть вони такий набір функцій.

Існує версія цієї гіпотези, яка має сенс: коли у вас є мінімальний компільований продукт, з яким користувач фізично може взаємодіяти, ви можете попросити одного з ваших друзів сісти перед ним, потім зробити передбачення, які саме моменти йому не сподобаються або виявляться складними, і тоді ви зможете перевірити, наскільки вірні ваші прогнози. Може бути, що ваш продукт дійсно провалиться набагато раніше, ніж ви очікували.

Але це не те ж саме, що змусити ранніх користувачів добровільно прийняти ваш продукт. Йдеться про те, щоб якомога раніше побачити, як добровольці реагують на нежиттєздатні версії вашого продукту, щоб дізнатися, що потрібно швидко виправити і чи витримують оголені частини вашої теорії й досі.

Мені здається, що скромна реакція на деякі види надмірної самовпевненості або помилки, сприйнята багатьма віруючими в скромність, на практиці означає, що теорії тільки втягують вас в неприємності, і ви можете робити передбачення або ж дивитися на реальність, але не те й інше водночас.


iіі.

Розмова 3 велася із Засновником Стартапа 2, членом спільноти ефективного альтруїзму, який займався створенням Матеріальних Об'єктів — буду називати їх "Снігоступи", — який зазначив, що сучасний венчурний капітал зацікавлений тільки в 1000x прибутковості, а не в 20x.

Я запитав, чому він не намагався отримати 1000x прибутку з його нинішньою компанією з продажу снігоступів — чи вимагало це більше занепокоєння/зусиль, ніж він хотів би докласти?

Він відповів, що більшість компаній в суміжній галузі — Ласти — не були настільки великими, і йому здавалося, покладаючись на погляд ззовні, що він не повинен очікувати, що його компанія стане більше, ніж середньостатистична компанія в галузі Ласт. Він запитав, чи кажу я йому, щоб він був більш впевненим?

Я відповів, що ні. Я хотів би, щоб він використовував ортогональне мислення, коли йдеться про скромність, а не про впевненість. Я помітив, що сценарій використання клієнтом Ласт насправді сильно відрізнявся від випадку зі Снігоступами, і запитав, чи задумувався він, скільки буде застосувань Попередньої Версії Снігоступів у світі, і яка буде користь від їх заміни на більш розвинену версію Снігоступів, яку він створив.

Він відповів, що це здалося йому надто схожим на оптимізм або фантазію, в порівнянні з питанням, що його компанія має робити далі.

Я запитав, які переваги можуть надати клієнтам нові та вдосконалені Снігоступи, бо моя базова модель каже, що стартапи з більшою ймовірністю будуть успішними, якщо вони забезпечать реальну економічну цінність — таку ж, як і Danslist, якщо б досяг більшого за Craigslist успіху, і таку, яку надає Craigslist, перевершуючи газетні оголошення. Звісно, змусити людей купувати ваш продукт — це окреме питання, на відміну від того, чи забезпечить він реальну цінність такого роду. Крім того, існує очевидний режим невдач, коли ви любите свій продукт і перебільшуєте його цінність або недооцінюєте витрати для користувача. Також є очевидний режим невдач, коли ви просто дивитеся на реальну економічну цінність і тішитеся з цього приводу, не ставлячи подальшого необхідного питання про те, скільки осіб, які приймають рішення, оберуть саме ваш продукт; або, можливо, ваше маркетингове повідомлення є непрозорим або його легко підробити; або конкуренти отримають його першим, якщо вони побачать ваш успіх на ранньому етапі; або чи можете ви захистити високу ціну в умовах конкуренції. Але питання реальної економічної цінності, як мені здається, є одним з факторів, що впливають на шанси стартапу на успіх, бо успіх Craigslist частково пояснюється реальною вигодою від його існування, і варто врахувати це при обговоренні питань прийняття рішень та формування вартості для покупця [4].

Втім, я не намагався змусити Засновника 2 бути більш оптимістичним (хоча, з огляду на його Снігоступи, я думав, що він повинен хоча б спробувати бути більш амбітним). Мені здалося, що погляд ззовні змінює його причинно-наслідкову модель того, як і чому люди можуть використовувати його продукт, на наступну: "Просто спробуйте створити свої Снігоступи і подивитися, що відбувається; і не чекайте успіху більше, ніж в середньому по галузі". Але я не думаю, що ви зможете досягти навіть середнього рівня виживання компанії, якщо у вас немає причинно-наслідкової моделі (той самий жахливий погляд зсередини) того, куди ваша компанія повинна йти і які ресурси необхідні для досягнення цієї мети.

Я питав: "До якого рівня ти хочеш вирости? Що необхідно зробити для того, щоб твоя компанія так виросла? Які перешкоди на шляху до наступного кроку?" І ... я думаю, для нього було нескромно стверджувати, що його компанія може вирости до певного рівня; тому він думав тільки про те, що зможе спробувати, рухаючись вперед, виходячи з того, де він знаходиться, а не в зворотному напрямку, оскільки в цьому випадку йому не потрібно було нескромно думати про досягнення успіху на конкретному рівні або схвалювати погляд зсередини на той або інший варіант розвитку подій.

Я думаю, що деталі його бізнес-плану мали ту ж саму проблему погляду ззовні. У галузі виробництва Ласт продавалися дві поширені версії — Ласти Deluxe і Ласти Basic. Загалом, Ласти Deluxe створювалися з попередньо зібраних Ласт Basic, але вони продавалися за набагато вищу ціну, ніж Basic, незважаючи на простоту їх збірки.

Ми говорили про потенційну варіацію його Снігоступів, і він сказав, що поставка версії Deluxe обійдеться занадто дорого, а поставка Basic — недоцільною, і, згідно погляду ззовні, затребуваним буде щось середнє між цими двома варіантами.

Я запитав його, чому в галузі виробництва Ласт версія Deluxe продається за таку високу ціну в порівнянні з Basic, коли так просто було з Basic створити Deluxe? Чим ця підвищена ціна підтримувалася?

Він припустив, що, можливо, люди дійсно цінують ту маленьку частку комфорту саме від покупки Deluxe, не Basic.

Я припустив, що в цій великій галузі, де продаються декілька різних типів Ласт, можливо, багато чутливих до ціни споживачів купують тільки версію Basic, що означає, що лише одиниці покупців (а саме — покупців Deluxe) були до них нечутливими. Потім я знову відмітив, що кращий сценарій використання його продукту сильно відрізнявся від стандартного сценарію використання в виробництві Ласт, і що у нього не було нормальної прямої конкуренції. Я припустив, що його клієнтів, які, між іншим, не були клієнтами індустрії Ласт, не надто хвилює ціноутворення: вони куплятимуть як Deluxe, так і Basic, який легше доставляти.

І я помітив, що здається доволі нерозумним взагалі дивитися на загадкову цінову надбавку і припускати, що ви можете її отримати. Ви не могли просто проаналізувати середню ціну категорії Deluxe і вважати, що отримаєте її. Загалом, це вказує на свого роду орендну плату або ринковий бар'єр, а там, де є потік орендної плати, будуть зведені стіни, щоб відгородити інших осіб від живлення з цього джерела. Може бути, що високі ціни на Deluxe означали, що цим покупцям було важко знайти щось подібне на ринку або вони навряд чи готові змінити постачальника. Ви не могли просто прийняти погляд ззовні про те, що зазвичай продукти Deluxe продаються так.

Він відповів, що не вважав мудрим говорити, що ви повинні повністю зрозуміти кожну частину ринку, перш ніж що-небудь зробити; особливо тому, що якщо вам потрібно зрозуміти, чому продукти Deluxe продаються з підвищеною ціною, було би просто придумати пояснення.

Знову ж таки, з точки зору середнього когнітивного сценарію використання я розумію, звідки він це все взяв. Коли я намагаюся пояснити будь-яке явище, я теж неявно покладаюся на свою здатність використовувати таку техніку, як "навіть не починай раціоналізувати". Це вміння, яке я почав практикувати у віці 15 років і на відпрацювання якого пішло десять років, щоб привести його в надійну і продуктивну форму. Я також використовував техніку "помічати, коли тебе щось бентежить", щоб задати питання, і ще ряд інших ментальних звичок і методів для пояснення загадкових явищ — для початку, "виявлення пристосованості" (перевіряти, чи не здається пояснення "примусовим") і "спробувати ще раз критично оцінити відповідь". Можливо, немає сенсу намагатися пояснювати, чому продукти Deluxe продаються за високою ціною на противагу Basic, якщо у вас ще не набралося чимало когнітивної техніки, щоб не вигадувати жахливих пояснень для загадкових явищ, а також досить економічного досвіду, щоб зрозуміти, які речі є в першу чергу важливими загадковими явищами, які пояснення правдоподібні і так далі.

Але в той же час мені здається, що тут можна освоїти навичку, яку, принаймні, підприємці та венчурні інвестори повинні мати, якщо вони хочуть досягти успіху не щасливим випадком, а навмисно.

Потрібно вміти виявляти загадкові процеси ціноутворення і продажів, читати достатньо економічних термінів, щоб говорити простою мовою для своїх гіпотез, аби потім не вигадувати жахливих раціоналізацій. Необхідно вивчити ключові відповіді на питання про те, як працює проблемна галузь, а це значить, що потрібно мати чіткі гіпотези, які можна якомога раніше перевірити.

Інакше ви... хоч і не зовсім приречені самі по собі, але з точки зору когось на кшталт мене, вас буде десятеро з поганими ідеями проти одного, у кого буде гарна ідея. І люди, у яких є гарні ідеї, не зрозуміють, які людські проблеми вони вирішують, які мотиви їх потенційних користувачів або які їхні основні перешкоди на шляху до успіху.

З огляду на те, що аналіз ідей відбувається на певному рівні, я можу зрозуміти, чому люди говорять, що марно намагатися аналізувати ідеї, або що важливіші команди, ніж ідеї. Я і не кажу, що ні підприємці, ні венчурні інвестори не могли б, зусиллям волі, раптово стати гарними ідейними аналітиками. Та здається, що концепція погляду ззовні, разом з ідеєю Лисиця=Добре/Їжак=Погано, Спостереження=Добре/Теорія =Погані новини, включаючи пов'язане з цим сприйняття MVP як "просто створити щось і показати це користувачам", не дозволяє людям навіть почати розвивати ці навички. Принаймні, я помітив, що деякі особи заходять занадто далеко у своєму скептичному ставленні до побудови моделей [5].

Можливо, тут є ціле поле поганої раціональності, а від проникнення на нього захистить заборона не намагатися мати теорій, причинно-наслідкових моделей або упереджених прогнозів. Але спочатку, якби справа дійшла тільки до цих альтернатив, я б вважав за краще, щоб двадцять початківців-раціоналістів потерпіли невдачу, поки один з них не набув би необхідних навичок, аніж щоб не було взагалі нікого з такими вміннями. А по-друге, дідько його візьми, має бути кращий спосіб.




iv.

У ситуаціях, які беруться з бочки схожих причинних ситуацій, коли людський оптимізм бушує, а непередбачені проблеми є типовими, погляд ззовні перевершує погляд зсередини. Однак в нестандартних ситуаціях, коли причинно-наслідкові механізми відрізняються, погляд ззовні не дає результатів, бо подібні випадки можуть бути відсутні або може бути неоднозначно, які саме подібні справи є правильними, щоб звертати на них увагу.

Коли дві сторони розходяться в думках, це може призвести до проблеми референтного класу, де обидва учасники постійно будуть наполягати на тому, що їх власний "погляд ззовні" є правильним, ґрунтуючись на різних інтуїтивних уявленнях про те, які саме подібності мають відношення до справи. Якщо не ясно, що таке набір "подібних історичних випадків" або які висновки з них ми повинні зробити, то ми вимушені використовувати погляд зсередини на причинний процес, щоб відрізнити пов'язану зі справою схожість від неактуальної.

Не слід уникати міркувань в стилі "погляд ззовні" в тих випадках, коли це може спрацювати, наприклад, при плануванні різдвяних покупок. Але в багатьох випадках зовнішнє бачення просто не може конкурувати з хорошою теорією.

Інтелектуальний прогрес загалом представляв собою процес переходу від поверхневої аналогії до більш технічного розуміння особливостей. Екстремальні приклади цього дуже поширені в науці і техніці: глибокі причинно-наслідкові моделі світу, які дозволяють людям, наприклад, визначити траєкторію польоту першої місячної ракети до її запуску, або дають змогу нам перевірити, чи працюватиме комп'ютерний чіп ще до того, як він буде виготовлений.

Якщо предмети в референтному класі відрізняються причинно-наслідковим чином більше, ніж на дві різдвяні поїздки по магазинах, які ви запланували, або на два університетських есе, які ви написали, або якщо є спокуса вибрати саме той референтний клас речей, який ви вважаєте "схожим" на даний феномен, або де конкретні упередження, що лежать в основі помилкового планування, просто не є фактором, то вам в більшості випадків краще займатися важкою когнітивною працею з побудови й тестування і діяти на основі моделей того, як явища насправді працюють, навіть якщо ці моделі є дуже грубими і дуже невизначеними. Або визнати безліч виключень і нюансів. І, звичайно ж, під час і після побудови моделі, ви повинні подивитися на дані. Вам все ще потрібна увага до деталей в стилі лисиці, і вам точно потрібен емпіризм.

Ідея не в тому, щоб "Бути їжаком, а не лисицею". Вона скоріш полягає в тому, що розробка точних уявлень вимагає як спостереження за даними, так і розробки моделей і теорій, які можуть бути перевірені за допомогою цих даних. У більшості випадків немає реальної альтернативи тому, щоб ризикувати своєю головою, навіть знаючи, що реальність може вас здивувати і її відрубати.
_______________________________________________________________________________________

  1. Дивись Філіп Тетлок "Чому лисиці прогнозують краще за їжаків."

  2. Наприклад, моя концепція проблеми злому системи винагород для систем навчання з підкріпленням (reinforcement learning systems, RL) полягає в тому, що зниження певного порогового рівня потенціалу, що робить систему розумнішою, часто призводить до все більш корисної поведінки, вважаючи, що винагорода – це помірно гарне наближення реальних цілей, які нам потрібно, щоб система досягла. Проблема використання лазівок системи і пошуку методів збільшення максимальної винагороди небажаними методами, як правило, виникає, коли винахідливість системи висока, а простір для пошуку достатньо великий, щоб оператори не могли навіть в загальних рисах передбачити, як будуть виглядати стратегії, орієнтовані на максимізацію винагороди. Якщо дану ідею спростити лише до «робити систему RL розумнішою завжди тягне за собою зменшення її відповідності цілям оператора», то дослідник буде неправильно тлумачити те, що вважається свідченням за чи проти присвоєння високого пріоритету дослідженню злому системи винагород. Також існує багато інших випадків, коли ідеї задачі вирівнювання ШІ доволі часто неправильно розуміють, і основна причина цьому те, що абревіатура «ШІ» сприймається як сучасні застосунки. Звісно, можна провести корисні експерименти з сучасним програмним забезпеченням, щоб дізнатися більше про майбутні системи загального штучного інтелекту (AGI), але «бачиш, цей алгоритм підйому на гору не демонструє тієї поведінки, яку ти передбачав для висококваліфікованих баєсівців» загалом відображає неправильне уявлення про те, що взагалі робить концепція баєсівського мислення в теорії вирівнювання AGI.

  3. Надмірна розробка — це коли ви намагаєтеся надати виробу гарний вигляд або додати додаткові цікаві функції, які, на вашу думку, сподобаються користувачам... а не коли ви намагаєтеся реалізувати ключові ключові функції, необхідні для того, щоб ваш продукт став найкращим інструментом, який користувач коли-небудь бачив для хоча б одного його робочого процесу.

  4. І засновник стартапу обов'язково має задати собі це питання і відповісти на нього, перш ніж виходити на ринок і намагатися залучити венчурний капітал від інвесторів, які шукають 1000x прибутку. Не скидайте з рахунків справу вашої компанії до того, як вона розпочнеться. Вони зроблять це за вас.

  5. Тетлок в своїй книзі "Суперпрогнозування" виніс в окрему дискусію обмеження моделі лисиця/їжак: "Моделі повинні спрощувати речі, і тому навіть найкращі з них недосконалі. Але вони необхідні". Наш розум сповнений моделей. Ми не могли б функціонувати без них. І ми часто функціонуємо досить добре, тому що деякі з наших моделей є пристойним наближениям реальності.