Перебільшені обіцянки так званого об'єктивного інтелектуального аналізу даних


Нобелівський лауреат Річард Фейнман одного разу попросив своїх студентів Кальтекського університету розрахувати ймовірність того, що, якщо він вийде за межі аудиторії, перший автомобіль на стоянці матиме певний номерний знак, кажуть 6ZNA74. Припускаючи, що кожен номер і буква однаково вірогідні і визначаються самостійно, студенти оцінювали ймовірність менше 1 на 17 мільйонів. Коли студенти закінчили розрахунки, Фейнман показав, що правильна ймовірність 1: Він бачив цей номерний знак на шляху до класу. Щось надзвичайно малоймовірне взагалі, якщо це вже сталося.

Пастка Фейнмана – розбирання даних для моделей без будь-яких упереджених уявлень про те, що шукають, – це ахілесова п'ята досліджень, заснованих на інтелектуальному аналізу даних. Знайти щось незвичайне або дивне після того, як воно вже відбулося, не є ні незвичайним, ні дивовижним. Шаблони обов'язково будуть знайдені і, ймовірно, вводять в оману, абсурдні або гірше.

У своїй книжці 2001 року Добре до ВеликогоДжим Коллінз порівняв 11 компаній, які перевершили загальний фондовий ринок за останні 40 років, до 11 компаній, які цього не зробили. Він виділив п'ять відмінних рис, які мають спільні успішні компанії. "Ми не почали цей проект з теорією, щоб перевірити або довести", – хвалився Коллінз. "Ми прагнули побудувати теорію з нуля, отриману безпосередньо з доказів".

Він увійшов у пастку Фейнмана. Коли ми оглядаємося в часі в будь-якій групі компаній, кращій або найгіршій, ми завжди можемо знайти деякі загальні характеристики, тому знайти їх взагалі нічого не доводить. Після публікації Добре до ВеликогоПоказники 11 прекрасних акцій компанії Collins були чітко посередні: п'ять акцій зробили краще, ніж загальний фондовий ринок, а шість – гірше.

У 2011 році Google створив програму штучного інтелекту під назвою Google Flu, яка використовувала пошукові запити для прогнозування спалахів грипу. Програма збору даних компанії Google проаналізувала 50 мільйонів пошукових запитів і визначила 45, які були найбільш тісно пов'язані з захворюваністю на грип. Це ще один приклад пастки даних: чинне дослідження заздалегідь визначить ключові слова. Після видачі звіту Google Flu переоцінив кількість випадків грипу за 100 з наступних 108 тижнів, в середньому майже на 100%. Google Flu більше не робить прогнозів грипу.

Інтернет-маркетолог подумав, що може збільшити свій дохід, змінивши свій традиційний синій колір веб-сторінки на інший колір. Після декількох тижнів тестів компанія виявила статистично значущий результат: мабуть, Англія любить чирок. Дивлячись на кілька альтернативних кольорів для сотень країн, вони гарантували, що вони знайдуть збільшення доходу для якогось кольору для певної країни, але вони не мали жодної ідеї заздалегідь, чи буде чирок продавати більше в Англії. Як з'ясувалося, коли колір веб-сторінки в Англії змінювався на бірюзовий, доходи впали.

Стандартний експеримент з неврології включає демонстрацію волонтером в машині МРТ різних зображень і задавання запитань про зображення. Вимірювання є шумним, підбираючи магнітні сигнали з навколишнього середовища і від змін щільності жирової тканини в різних частинах мозку. Іноді вони пропускають мозкову діяльність; іноді вони пропонують діяльність, де її немає.

Аспірант Дартмута використовував машину МРТ для вивчення активності мозку лосося, оскільки на ній були показані фотографії та задані питання. Найцікавіше в дослідженні було не те, що лосось вивчався, а лосось мертвий. Так, мертвий лосось, придбаний на місцевому ринку, був поміщений в машину МРТ, і були виявлені деякі моделі. Існували неминучі закономірності – і вони були незмінно безглуздими.

У 2018 році професор Єльського економічного факультету та аспірант розрахували співвідношення між щоденними змінами цін на біткоїни та сотнями інших фінансових змінних. Вони виявили, що ціни Bitcoin позитивно співвідносяться з прибутком запасів у споживчих товарах і галузях охорони здоров'я, і ​​що вони негативно співвідносяться з прибутковістю акцій у готовій продукції та металургійній промисловості. "Ми не даємо пояснень, – сказав професор, – ми просто документуємо цю поведінку". Іншими словами, вони можуть також поглянути на співвідношення цін Bitcoin з сотнями списків телефонних номерів і повідомити про найвищі співвідношення.

Директор Корпорації Корнельського університету «Харчова і торгова лабораторія» створив (або співавтором) понад 200 рецензованих робіт і написав дві популярні книги, які були перекладені на більш ніж 25 мов.

У блозі 2016 року під назвою «Студент, який ніколи не говорив ні», він написав про аспіранта, якому були надані дані, зібрані в італійському буфеті «все, що можна їсти».

З'явилася кореспонденція електронною поштою, в якій професор порадив аспіранту відокремити відвідувачів на «чоловіків, жінок, любителів обідів, любителів вечері, людей, що сидять окремо, людей, що їдять з групами 2, людей, які їдять у групах 2+, людей, які замовляють алкоголь люди, які замовляють безалкогольні напої, люди, які сидять поруч із фуршетом, люди, які сидять далеко, і так далі… ”Тоді вона може дивитися на різні способи, якими можуть відрізнятися ці підгрупи:“ # шматки піци, # поїздки, рівень заливки вони принесли десерт, вони замовили напій, і так далі … "

Він прийшов до висновку, що вона повинна «наполегливо працювати, витискувати певну кров із цієї скелі». Ніколи не сказавши ні, студент отримав чотири статті (тепер відомі як «піци»), опубліковані професором Корнелла як співавтор. Найвідоміша газета повідомляє, що чоловіки їдять 93% більше піци, коли їдять з жінками. Це не закінчилося добре. У вересні 2018 року факультетський комітет Корнельського комітету дійшов висновку, що він «здійснив академічні проступки в своїх дослідженнях».

Хороші дослідження починаються з чіткого уявлення про те, що шукає і очікує знайти. Інтелектуальний аналіз даних просто шукає шаблони і неминуче знаходить деякі.

Проблема стала ендемічною в даний час, тому що потужні комп'ютери так добре грабують великі дані. Шахтарі даних знайшли кореляцію між словами Twitter або пошуковими запитами Google і кримінальною діяльністю, серцевими атаками, цінами на акції, результатами виборів, цінами Bitcoin і футбольними матчами. Ви можете подумати, що я роблю ці приклади. Я не.

Існують ще більш сильні кореляції з чисто випадковими числами. Big Data Hubris вважає, що корельовані дані мають бути значущими. Знаходження незвичайної картини у «Великих даних» не є більш переконливим (або корисним), ніж пошук незвичайного номерного знака поза класом Фейнмана.

ДЕРЖАВНЕ ДУМКА публікує твори, написані зовнішніми авторами і представляє широкий спектр точок зору. Читайте більше думок тут. Надішліть опубліковану публікацію на opinion@wired.com


Більше великих WIRED Stories