Ми живемо у цікавий час для соціальних досліджень. За кілька минулих десятиліть такі дисципліни, як соціальна психологія чи поведінкова економіка, здавалося, розгадали багато таємниць людського життя, але й самим ученим, і звичайним людям все було мало. Журналісти з ентузіазмом писали про те, як одні пристойні члени суспільства, отримавши необмежену владу над іншими, можуть перетворюватися на чудовиськ і садистів, що, як передбачалося, показав Стенфордський тюремний експеримент. І всі навколо були в захваті від того, як спритно проводяться дослідження, які привертають увагу.
Останнім часом, однак, світ соціальних наук загруз у протиріччях. Самі дослідники стали відзначати, що результати багатьох відомих експериментів спростували, як це відбулося з тим самим Стенфордським експериментом, чи їх просто неможливо повторити. Вчені відтворили 100 експериментів, звіти про які публікувалися в трьох впливових журналах з психології, і лише 36% дали результати, що відповідають початковим висновкам.
Що ще гірше, з’явилися численні звинувачення в неетичному використанні даних і деякі з них підтвердилися. Порушення включали, наприклад, так званий p-хакінг – обробку даних у пошуках хибних взаємозв’язків та публікацію їх як достовірних результатів. Зустрічався і прямий обман, коли автори змінювали дані, щоб вони відповідали заздалегідь визначеному висновку.
Після подібних подій природною реакцією багатьох людей за межами області соціальних наук став серйозний скептицизм: чи взагалі можна довіряти дослідженням, заснованим на поведінкових експериментах. Щоб знайти відповідь на це питання, доведеться заглянути за лаштунки і розібратися, як працюють дослідження, чому щось може піти не так, як їх читати і чому вірити.
Чому соціальні дослідження бувають недостовірними
Невдалі дослідження трапляються у соціальних науках — природні страждають дуже схожих труднощів. Це пояснюється рядом недоліків. Наприклад, експерименти надто малі, щоб їм довіряти, їх плани погано складені або висновки виявляються вірними завдяки спритності рук і фактично не мають сенсу. Але недолік, що найбільш укорінився, — це академічна упередженість, викликана прагненням отримати конкретні результати заради кар’єри.
У науковому світі діють досить жорсткі правила. У деяких сферах професору треба опублікувати десятки дослідницьких статей, щоби отримати посаду. Уявіть, що ви витрачаєте 10 років на навчання в університеті та аспірантурі, а потім ще 10 років на дослідження, поєднуючи їх із величезним викладацьким навантаженням. І все це лише для того, щоб ваша кар’єра повністю залежала від рішення університетського комітету.
У провідних вишах недостатньо навіть опублікованих досліджень, проведених за всіма стандартами. Тема має бути продуманою, а результати в ідеалі мають бути несподіваними. Емпіричні докази того, що собаки кусають людей, не заслуговують на велику довіру. Геніальний експеримент, який показує, що люди кусають собак у 73,4% випадків, — це інша справа.
Не дивно, що такий стимул — зосередитися на парадоксах, що чіпляють, призводить до проблем. Розглядаючи мотиви, які змушують вчених зрізати кути або навіть відверто шахраювати, їх колеги підкреслюють, що, хоча «пряник» і може стимулювати продуктивну та якісну роботу навіть у разі зовні неупередженого дослідження, «батіг» може стримувати помилки та негідну поведінку. Але вони також зазначають, що помилки та негідна поведінка у дослідженнях буває важко виявити, а це фактично не дає їх розслідувати. Таким чином, пряник сильно переважує батіг, що передбачувано впливає на достовірність роботи.
Але й наявність посади сама собою не усуває гарантовано інші проблемні мотиви. Старші наукові співробітники легко стають жертвами своєї зарозумілості і не звертаються за порадами та конструктивною критикою. Крім того, люди з великим досвідом у певній галузі, як правило, реагують гірше, ніж люди з меншим досвідом, коли одержують спростовні відгуки. Іншими словами, вони не хочуть чути про те, що не мають рації. І ставки тільки зростають в епоху, коли вчені-біхевіористи можуть стати суперзірками за межами академічних кіл, заробляючи на виступах і книгах про свої захоплюючі «єретичні» відкриття.
Як визначити достовірність соціального дослідження
У цьому допоможуть три основні правила.
1. Неправдоподібні на перший погляд результати, найімовірніше, такі і є
За останні роки три соціологи – Урі Сімонсон, Лейф Нельсон і Джозеф Сіммонс – здобули популярність завдяки своїм розслідуванням, націленим на розкриття хибних і сфабрикованих результатів досліджень. Щоб довести, що багато, здавалося б, «обґрунтованих» висновків не заслуговують на довіру, вони «знущалися» над одним конкретним набором даних, поки що не отримали очевидно неможливий результат: прослуховування пісні When I’m Sixty‑Four гурту The Beatles може буквально зробити людину молодшою.
Тому до вкрай незвичайних результатів поведінкових експериментів варто ставитись із підозрою. Якщо вони звучать неправдоподібно або суперечать здоровому глузду, їх краще ігнорувати, бо ризик того, що вони виявляться хибними, занадто високий.
Ще можна провести тест на дідуся. Уявіть, як переказуєте результати дослідження своєму дідусеві і що він вам відповідає: «Дідусь, я тут прочитав нове класне дослідження про те, що зради роблять шлюб щасливішим. Що думаєш?”
2. Ідеї повинні «добре постаріти»
Важливо звертати увагу на те, наскільки свіжим є дослідження. Опублікована понад 20 років тому наукова робота, швидше за все, надто стара, щоб відбивати поточні соціальні умови. А якщо дослідження надто нове, інші вчені, мабуть, ще не приділили йому достатньо уваги – не відтворювали та не спростовували його.
Тому, перш ніж підкріплювати свою думку даними нового експерименту, навіть якщо він здається якісним і заслуговує на довіру, треба дати йому трохи часу «настоятися», як хорошому вину. Наприклад, зберегти в закладки і поспостерігати за тим, що буде далі і як його результати впишуться до більш загальної системи соціальних досліджень.
3. Корисне краще, ніж розумне
Проблеми з мотивами є не лише в академічному співтоваристві. Багато наукових журналістів цінують новизну більше, ніж користь, і часто пишуть про дослідження, які з більшою ймовірністю виявляться сумнівними, коли хтось спробує їх відтворити. Це не тільки заплутує читачів, але ще й призводить до неправильного розуміння суті поведінкової науки, яка полягає не в тому, щоб надавати освітньо-розважальні послуги, а в тому, щоб пропонувати ідеї, здатні покращити добробут людей.
Крім перевірки методів, даних та дизайну експериментів, ці три правила допомагають орієнтуватися у світі недосконалих досліджень. У житті ми постійно стикаємося з різними примхами і хитрощами: новими моделями поведінки, способу мислення і самого існування або легкими способами отримати бажане. Будь то політика, любовні стосунки, віра чи спорт — якесь чергове модне дослідження з суперечливими результатами вимагає від нас відмовитися від старих знань і прийняти нову мудрість.
Проте сучасна культура, одержима новинками та технологіями, сповнена поганих ідей та дезінформації — аналогів результатів p‑хакінгу, хибних висновків та відвертого шахрайства заради особистої вигоди. Тому завжди варто запитувати себе, чи не надто хороші результати дослідження, щоб бути правдою, давати їм час наполягати і думати про те, корисні вони чи просто нові.
