Лінейная (аг | рэг) рэсія
1.33K subscribers
83 photos
3 files
138 links
Пра даныя і як іх прыстасаваць да штодзённасці

Мяне можна знайсці

У твітары: https://twitter.com/aliaksandr_k
Англ: https://twitter.com/unfriendlydata
На лінкачы: https://www.linkedin.com/in/aliaksandr-kazlou-b5a86411b/
Ці ў тг: @shurackapalieski
Download Telegram
Як часта даследчыкі нас падманваюць?

Гучыць смешна, але калі іх апытаць ананімна, яны шмат у чым прызнаюцца. Вядома як мінімум 12 такіх апытанняў, з 2012 па 2022 год. У твітэры іх сабралі ў адзін графік. У асноўным псіхолагі, але ёсць і іншыя дысцыпліны. Па маіх прыкідках, сумарна там адказы ~5.000-7.000 навукоўцаў. Будзем глядзець толькі на максімальныя лічбы па кожнай катэгорыі, бо а) мне лянота падлічваць сярэднія б) вядома, што людзі спрабуюць выглядаць лепш, чым яны ёсць нават у ананімных апытаннях.

Як і як часта нам хлусяць даследчыкі:

• Прамая фальсіфікацыя даных, калі яны малююцца ад рукі - 10% даследчыкаў
• Спроба замаскіраваць праблемы з аналізам, якія ставяць пад пытанне высновы аўтараў - 24% даследчыкаў
• Выкіданне даных, якія не падыходзяць пад гіпотэзу - 43% даследчыкаў
• Падгонка пад адказ, калі перабіраюць даныя, знаходзяць патэрн, пастфактум прыдумляюць гіпотэзу, якая б гэты патэрн “тлумачыла”, а потым робяць выгляд, што спачатку прыдумалі гіпотэзу, а потым даказалі яе данымі - 54% даследчыкаў
• Выбарачны рэпорцінг вынікаў, калі паказваюць толькі тое, што падыходзіць пад гіпотэзу аўтараў, а астатні аналіз апускаюць - 64% даследчыкаў

Мой любімы слоган 2020 году: СА-БАЧ-КУ TRUST THE SCIENCE!
Размеркаванне вынікаў 9.524.071 марафонскіх забегаў па часе. У паперы шмат цікавага, мне спадабаліся наступныя факты:

1. Людзям падабаюцца прыгожыя лічбы: "4:00", "3:30" і г.д. Не самы нечаканы факт
2. Людзі пачынаюць змяняць тэмп, каб трапіць у прыгожую лічбу, напрыканцы марафону
3. Працуе гэта ў абодва бакі: тыя, хто не паспявае да прыгожай лічбы, пачынаюць наганяць. А тыя, хто ідзе да яе з запасам, пачынаюць зніжаць тэмп
Мы недаацэньваем, наколькі выпадковым ёсць статыстычны аналіз. Ён падобны на латарэю, дзе дробныя змены ў метадалогіі прыводзяць да прынцыповых зменаў у высновах.

Я калісьці спрабаваў праілюстраваць гэта жартам пра аўтаматычны генератар навуковых артыкулаў. Абіраеш патрэбную выснову паўзунком, а пад яе генеруецца тэкст: даныя, статыстычная мадэль, тэарэтычныя аргументы, спіс літаратуры. Даныя рэальныя, метадалогія цалкам легальная, спіс літаратуры - агульнапрыняты. Ніякага падману.

За аснову я ўзяў даследаванні пра дэмакратыю і эканамічны рост. Простым пераборам скамбінаваў стандартныя метадалагічныя рашэнні і атрымаў 9.148 унікальных рэгрэсій. У гэтым генератары кожны знойдзе нешта для душы. Хочаш, згенеруе паперу, як дэмакратыя абвальвае эканомікі ў 90-ыя, да радасці Кірыла Рудага і адэптаў аўтарытарнай мадэрнізацыі. Хочаш - дэмакратыя будзе прыводзіць да эканамічнага росквіту і шчаслівага канца гісторыі, як завяшчаў дзядуля Фукуяма.

Код для генерацыі папер таксама ідзе ў камплекце.
Я неяк распавядаў пра ўстойлівасць “элітнасці” праз пакаленні - нашчадкі багатых фларэнтыйцаў сярэднявечча і ў 21 стагоддзі зарабляюць больш, чым астатнія італьянцы.

Пабачыў аналагічную паперу пра Кітай. З ~1945 па 1976 Кітай перажываў рэвалюцыі: ад камуністычнай да культурнай. Мерапрыемствы былі вясёлыя, з масавым забойствам старой эліты праз публічныя лінчаванні, пахаванні жыўцом і нават канібалізм.

Аднак, па стане на 2010 год нашчадкі старой кітайскай эліты зноў зарабляюць больш і адукаваныя таксама больш.

Мне падумалася, што не да ўсіх рэвалюцыя дабралася, кааптаваўшы частку элітаў у новыя інстытуты. Але графікі паказваюць іншае: тыя элітныя дзеці, хто нарадзіўся цягам актыўнай фазы, і зараблялі менш, і мелі меншы шанец атрымаць адукацыю, чым астатнія кітайцы (графік перасякае нуль). Але для тых, хто нарадзіўся пасля актыўнай фазы, сітуацыя заўважна выпраўляецца і яны зноў на кані.

У паперы цікавыя дыскусіі пра каналы перадачы дабрабыту. Іх даволі шмат. На месцы жыхароў Новай Баравой, таму, я б глядзеў у будучыню з аптымізмам.
Мяне здзіўляе, наколькі эфектыўныя антыдэпрэсанты. Яшчэ больш мяне здзіўляе, наколькі эфектыўным у лячэнні дэпрэсіі з’яўляецца плацэба.

Гэты мета-аналіз сцвярджае, што плацэба эфектыўнае на 68% ад эфектыўнасці антыдэпрэсанатаў. Гэты - што на 82%. Гэты - што розніца “маргінальная”. Гэты - што калі параўноўваць толькі з “актыўным” плацэба (пра гэта ніжэй), розніцы няма. Агульны матыў большасці мета-аналізаў (праглядзеў я штук 15) у тым, што статыстычная розніца ёсць, але клінічная значнасць яе маленькая. Напрыклад, тут па HDRS шкале (ад 0 да 52, дзе 52 - самая моцная дэпрэсія) перавага над плацэба ацэньваецца ў 2.5 пункты, тут - у 2.18 і 2.68, ну і г.д.

Цікава, што эфектыўнасць плацэба расце з гадамі (графік 1). Адна з гіпотэз у тым, што раней у антыдэпрэсантаў былі больш заўважныя пабочкі, а плацэба было часцей пасіўным. Цяпер пабочак менш, а плацэба часцей актыўнае - выклікае фізіялагічныя рэакцыі ў целе. Складаней таму зразумець, у эксперыментальнай ты ці кантрольнай групе, людзі адчуваюць, што нешта ў арганізме адбываецца і дэпрэсія праходзіць.

Другая асіметрычнасць - па cтупені: чым дэпрэсія больш цяжкая, тым большая розніца паміж антыдэпрэсантамі і плацэба (графік 2). Аўтары так і пішуць: перавагі антыдэпрэсантаў над плацэба для лёгкай, сярэдняй і цяжкай дэпрэсіі альбо не існуе, альбо яна нязначная, для вельмі цяжкай дэпрэсіі - значная.

Трэба памятаць да таго ж, што ў гэтых даных ёсць скажэнні на карысць антыдэпрэсантаў. Кшалту такога ці такога. Бо гэта мільярдны бізнес. За плацэба такіх фінансавых стымулаў няма.
Распавяду вам пра новае моднае даследаванне, пра якое гудзіць акадэмічны твітэр.

73 камандам (161 даследчык) раздалі аднолькавыя даныя каб адказаць на адное і тое ж пытанне: ці вядзе масавая іміграцыя да зніжэння ў грамадстве падтрымкі сацыяльных палітык. Само пытанне не вельмі важнае.

Важныя вынікі. Яны цудоўныя: адказы акуратна размазаныя ад моцна негатыўнай да моцна пазітыўнай залежнасці. Дакладней, 25.4% адказаў - за негатыўны эфект, 16.9% - за пазітыўны, а 57.7% каманд не знайшлі статыстычнай значнасці. Больш за тое - ніводныя 2 каманды не прыйшлі да аднаго і таго ж адказу. 73 унікальныя адказы на 73 каманды, тобок. Ні ўзровень навукоўцаў, ні асабістае стаўленне да пытання не прадказваюць вынікаў.

Чаму так адбываецца? Уявіце, што ў вас ёсць апытанне. На яго ў сярэднім адказвалі за 3 хвіліны. Але ёсць тыя, хто за <30 секунд. Вы можаце: нічога не рабіць, выкінуць 1% найбольш хуткіх адказаў, як нерэалістычны шум, выкінуць 5%, 10%, выкінуць не па працэнтах, а па абсалютным значэнні ў 30 секунд і г.д. Загадзя прадказаць, як гэта паўплывае на аналіз, цяжка. Сказаць, якая опцыя лепш - таксама, яны ўсе слушныя. Па выніку, мільёны ўнікальных камбінацый.

Калі вам распавядаюць, што колькасць зброі вядзе да росту забойстваў. Ці да падзення колькасці забойстваў. Ці порна вядзе да росту гвалту. Ці порна зніжае гвалт. Памятайце: вам прэзентуюць адзін з мільёнаў магчымых аналізаў.

Насамрэч, нічога новага. Гэта не першае такое даследаванне і не апошняе. Я сам удзельнічаю зараз у праекце па рэплікацыі вядомых папер пра эканоміку, псіхалогію, сацыялогію і г.д. Апублікуем - распавяду. Але адказ і так усім зразумелы.
Рабяты сабралі даныя па тым, як розныя культуры складаюць зоркі ў сузор’і. І прыйшлі да высновы, што складаюць іх падобным чынам. Графік чытаецца так: чым больш тлустыя рэбры паміж парамі зорак, тым часцей іх групуюць у сузор’е.

Аргумент у тым, што эвалюцыянавалі мы ўсе разам і схільнасці да фармавання візуальных патэрнаў у нас ва ўсіх падобныя. Культура можа гуляць ролю, але не такую значную.

Даставіла таксама што з 27 культур у датасэце ёсць і беларуская. Ну, не дзіва.
Калі вам знаёмы сіндром самазванца, ці вам падаецца, што на працы вы займаецеся не працай, а імітацыяй, згадайце гэты графік.

У часопісе Advances in Materials Science and Engineering ёсць вось такі артыкул. Галоўнае там - дзявяты графік. Часта на графікі дадаюць т.з. “error bars” - рыскі, якія дазваляюць ацаніць давяральныя інтэрвалы. На гэтым графіку яны таксама ёсць. Толькі гэта не error bars, а літары “T”, літаральна, якія на графік проста дамалявалі, каб ён выглядаў больш навукова.

Захапляльна
Спадабалася, шмат цікавага. Напрыклад:

- "Свядомых" заўважна больш (14%), чым "русіфікаваных" (4%)
- Але заўважна менш, чым "савецкіх" (29%)
- Важнасць беларускай мовы для самавызначэння нізкая, але пакрыху расце - з 19% да 25% за 2020-2022 год
- Аматараў "братского тріедінства" шмат, але робіцца менш - з 61% да 49% за апошнія 2 гады
- І маё любімае: свядомых, якія вераць у астралогію - 19%, русіфікаваных - 41%
Кароткая пятнічная гісторыя

Ёсць група акадэмікаў, якія вывучаюць экзістэнцыяльныя рызыкі, звязаныя са штучным інтэлектам. Пераедуць ці нас тэслы на дарогах, парабацяць ці нас нашыя галасавыя памочнікі, ці здабудуць свядомасць матрычныя перамнажэнні і г.д.

Ім надавалі столькі грошаў, што яны не ведаюць, што з імі рабіць і перажываюць. На днях яны набылі сабе палац, каб у ім тусавацца. Дакладней, цэлае абацтва - Wytham Abbey.

Не перажываю цяпер за будучыню чалавецтва. Расчараваны, што яны не набылі San Francisco Armory, але як ёсць

Зычу вам такіх ж праблем у жыцці і добрай пятніцы
Паразмаўляем пра медытацыю і яе доказную базу.

Як чалавеку, які вырас на баевіках 90-ых, мне падабалася ідэя, што можна крыху пасядзець з перакрыжаванымі нагамі, а потым раскідаць ворагаў ва двары вяртухамі. Цяпер мяне больш цікавіць той факт, што такая эзатэрычная тэма мае салідную навуковую базу. Прынамсі, эксперыментаў правялі сотні.

Некалькі прыкладаў:

Медытацыя і сон. Мета-аналіз 18 эксперыментаў. Высновы - медытацыя мае пазітыўны, доўгатэрміновы, слаба-сярэдні эфект на сон, параўнальны з больш класічнымі інтэрвенцыямі, напрыклад іншымі тэхнікамі супакаення. Важным нюансам ёсць адсутнасць карэляцыі паміж працягласцю сесій і эфектам - што 20 хвілін, што 2 гадзіны, эфект аднолькавы

Медытацыя і ўвага. Мета-аналіз 13 эксперыментаў пра тое, што па-англійску называецца executive functions ці executive control - розныя формы ўвагі, працоўную памяць, здольнасць супрацьстаяць парывам і раздражняльнікам і г.д. Выснова - слаба-сярэдні пазітыўны эфект. У суседнім мета-аналізе высновы аналагічныя.

Медытацыя і трывожнасць, дэпрэсія. Мета-аналіз 23 эксперыментаў, слаба-сярэдні пазітыўны эфект, нізкая якасць эксперыментаў, моцнае падзенне эфектыўнасці медытацыі ў параўнанні з актыўным кантролем (актыўнае плацэба, іншыя тэхнікі дапамогі і г.д.). Яшчэ адзін мета-аналіз 34 эксперыментаў прыйшоў да падобных выснаваў - слаба-сярэдні эфект, крыху большы для стрэсу і трывожнасці, чым для дэпрэсіі

Медытацыя і картызол. Мета-аналіз 10 эксперыментаў з замерамі праз кроў паказваюць сярэдні пазітыўны эфект. Аднак размова ідзе пра групы рызыкаў - людзей, якія жывуць у моцным стрэсе. Калі мераць картызол праз сліну, 21 эксперымент, эфекту няма агулам, але ёсць, зноў, для людзей у моцным стрэсе.

Як для сябе я інтэрпрэтую гэтыя вынікі. Эфекты не вельмі моцныя, але інтэрвенцыя танная, без пабочак. Калі мне падаецца, што я разгублены на працы, думкі перад сном мяне атакуюць крыху больш, чым звычайна і г.д., я магу арганізаваць сабе тыдзень штодзённай медытацыі. Без фанатызму і гвалту, пераважна таму, што сама практыка мне падабаецца. Калі мне робіцца лянота, я перастаю. Гэта дапамагае мне назапасіць энтузіязм да наступнага разу праз пару месяцаў.

Крыху карысных відэа:

Падкаст Губермана на 2.5 гадзіны пра тое, як гэта можа працаваць на фізіялагічных узроўні, працытавана шмат цікавых даследванняў, прыведзеныя прыклады некаторых практык
• Пра нейрафізіялогію медытацыі за 13 хвілін
• Не настолькі інфарматыўны, але лёгкі і ненапружны google talk на гадзіну
Медытацыі па-беларуску
Не чакаў, што мой утульны канал для знаёмых і сяброў набярэ за год 1.1к удзельнікаў, але вось мы тут. Вырашыў сабраць для вас 20 пастоў за год, якія мне падаюцца цікавымі. Дзякуй за вашую ўвагу, падтрымку беларускай мовы, жадаю вам добрых Калядаў і каб 2023 нарэшце пачаў нас радаваць. Ура 🎄

1. Вітамін D: што такое норма і колькі прымаць
2. Ягадзічныя мышцы і прысяданні
3. Пры Кірыла Рудага, які не ведае элементарнай статыстыкі
4. Як з дапамогай статыстыкі шукалі самага расісцкага суддзю і выйшлі на чорнага
5. Як людзі губляюць грошы на форэксах і іншых біржах
6. Вядомыя факты з псіхалогіі, якія былі абвергнутыя
7. Што значыць "навукоўцы даказалі" і "статыстычная значнасць"
8. Як "правільна" займацца ў трэнажорцы
9. Пра "статыстычную значнасць" у беларускіх апытаннях
10. Чалы, Шрайбман, "раскол" і непрадказальнасць беларусаў
11. Пераломы, узрост і прыганне з мастоў праз каханне
12. Пра менструальныя цыклы і паліталогію
13. Мадэль прадказання распаду пуцінскай расіі
14. Расцяжка не зніжае верагоднасць траўмы
15. Чаму беларусы былі рэкардсменамі па колькасць шэнгенаў
16. Порназорка і яе сацыялагічныя даследаванні пра сексуальныя фантазіі
17. Чаму я не давяраю Вардамацкаму
18. Навукоўцы прызнаюцца, як яны нам хлусяць
19. Як даказаць любую гіпотэзу з дапамогай статыстыкі
20. Пра эфектыўнасць плацэба ў лячэнні дэпрэсіі
Студзень - час актывізацыі пралескаў у трэнажорках, тобок нас з вамі. Таму, паразмаўляем пра бялкі і як іх есці, каб раслі мышцы. Вакол тэмы шмат міфаў і гарадскіх легенд, будзем разбірацца разам.

Самы вялікі мета-аналіз, які я знайшоў, сцвярджае, што ўплыў спажывання бялку на павелічэнне мышачнай масы памяншаецца пасля таго, як спажыванне перавышае 1.3 г/кг масы цела/суткі. Карысць усё роўна ёсць, проста не такая моцная. Самы вялікі эфект людзі назіраюць пры пераходзе з ~0.5 г/кг на 1 г/кг.

У гэтым аглядзе сцвярджаецца, што асаблівай розніцы, калі пхаць у сябе бялок, няма - перад трэніроўкай, гадзіну пасля, ці дзве гадзіны пасля. Прынамсі, калі мы глядзім на рост мышцаў на дыстанцыі, скажам у 10 тыдняў (адно з даследаванняў у аглядзе).

Як дадатковы аргумент можна спаслацца на гэтае даследаванне. Адна група спажывала бялок роўнымі порцыямі ўвесь дзень, другая - 66% з яго за вячэрай. У ім усяго 14 чалавек, я стараюся такія даследаванні ў канал не цягаць. Але яны набралі выбарку падобных людзей, сачылі за імі 8 тыдняў і не знайшлі розніцы. Можам сысціся на тым, што ў даследаванні на 14 чалавек розніцу разглядзець не атрымалася. Агулам, у суседніх даследаваннях вынікі падобныя.

Высновы я зрабіў наступныя. Варта імкнуцца да ~1.3 г/кг бялку. Не атрымалася - нічога страшнага. Аблівацца пратэінавым шэйкам прама ў распранальні трэнажоркі не варта. Агулам, якасная, збалансаваная дыета і задавальненне ад жыцця - больш важна, чым дакладны таймінгі ці грамы. Калі толькі вы не прафесійны атлет, ці 40-гадовы мужык, які спрабуе сваёй новай фітнэс-ідэнтычнасцю закрыць экзістэнцыяльную дзірку ў сэрцы.
Пабачыў цікавы твітэр-трэд. Ён пра даследаванне 186 амерыканскіх блізнятак і тое, наколькі старымі яны выглядаюць па ацэнках іншых людзей. Раз блізняты аднаяйкавыя, генетычныя фактары выключаныя - застаецца толькі лайфстайл: кураць ці яны, як моцна п’юць, ці чытаюць беларускія навіны і іншыя рэчы, якія могуць састарыць чалавека.

Мяне зацікавіла курэнне. Атрымліваецца, што 10 год актыўнага курэння дакідваюць +2.5 гады. Не выглядае, як шмат. Але гэта самы моцны, самы статыстычна значны чыннік. Астатнія чыннік - колькасць сонца, алкаголь, індэкс масы цела - паўплываюць яшчэ менш.

Я пачаў шукаць падобныя даследаванні. Але ва ўсіх, што знайшоў, гісторыя распавядаецца такая ж: як толькі мы кантралюем генетычныя фактары, фактары паводзінаў не драматычна паўплываюць на тое, як мы выглядаем.

Паглядзім на падобнае даследаванне на блізнятах з Даніі. Нас цікавіць максімальная розніца ў ацэнках узросту паміж 52 парамі аднаяйкавых блізнятаў. Максімальная розніца была 5 год: адна жанчына 68 год выглядала на 63, як блізнятка - роўна на свае 68. Агулам аўтары сцвярджаюць, што тое, наколькі вы выглядаеце, на 61% абумоўлена генетыкай.

У наступным даследаванні людзі спрабавалі адгадаць узрост 173 белых жанчын. Рэальны сярэдні ўзрост быў 45.9, адгаданы - 44.9. Жанчыны выглядалі ў сярэднім на год маладзейшымі, тобок. Самая вялікая розніца паміж рэальным і адгаданым сярэднім узростам, якую я тут знайшоў - каля 10-12 год. У ацэнках людзей да 35 памыляюцца ў сярэднім на 5 год, у ацэнках людзей 35-50 год - на 6.6, за 50 - на 6.8 год.

Высновы: калі давяраць гэтым даным, то ў сярэднім у ацэнцы вашага ўзросту пасля 50 будуць памыляцца на 6.8 год - у 55 могуць даць 48, могуць - 62. Пры гэтым, 61% гэтай памылкі абумоўлены вашай генетыкай. Калі б вы жылі ў Даніі і ў вас была б аднаяйкавая блізнятка, у вас было б вельмі мала шанцаў ва ўзросце 68 год выглядаць на >5 год маладзейшай за яе.
Раз мы на хвалі хайпу да нейронак, GPT-3, ChatGPT і г.д., давайце распавяду пра нашага суайчынніка, без якога ўся гэтая гісторыя не здарылася б.

Завуць яго Дзмітрый Багданаў, ён з Гомеля і прыдумаў механізм “attention” альбо “увагі”. Вось ягоны артыкул, які працытаваны 27.000 разоў, вось ягонае інтэрв’ю.

Паспрабую проста патлумачыць, што канкрэтна ён прыдумаў. Пабудаваць нейронку, якая будзе генерыраваць тэкст, не складана: даем ёй уводныя даныя з N сімвалаў і просім прадказаць N+1 сімвал. Вось як выглядае тэкст, згенерыраваны такой нейронкай, навучанай на тэкстах Караткевіча:

"а майка цяліцыга не было можа таком да выкрывага да стаў на ног, сяброў у такой стале па думкі і далёкага на караской адразу пад яго да стаялола страшны адна з нашкат.”

Нешта ёсць, але слабенька. Можна лепш – скарміць ёй больш тэкстаў, даўжэй яе трэніраваць – але інтуітыўна зразумела, што вучыцца прадказваць наступны сімвал – гэта занадта нізкі ўзровень абстракцыі і таму неэфектыўны.

Далей народ спрабаваў прадказваць цэлыя словы. Працавала лепш, але не ідэальна. Праблема тут у тым, што сэнс пэўнага слова можа залежыць не ад папярэдняга слова, а ад слова напачатку сказа ці ўвогуле ў іншым сказе. А вучацца яны ўсё роўна крок за крокам, слова за словам.

Дзмітрый прыдумаў, як гэта абыйсці і даць магчымасць нейронкам вывучваць складныя сэнсавыя залежнасць у тэкстах. Назваў ён гэта “механізмам увагі” - кажучы проста, гэта матэматычны апарат, які дазваляе нейронцы аналізаваць словы ў камбінацыі з іншымі словамі ў тэксце, групамі. Звяртаць увагу на кантэкст і ігнараваць тыя часткі тэксту, якія для кантэксту няважныя.

Уявіце пераклад сказу:

Ты мая рыбка, ты мая пцічка, раньшэ работала в школе цехничкай

Пры перакладзе слова “рыбка”, на слова “работала” такая нейронка зверне больш увагі, а слова “раньшэ” праігнаруе, бо слова “работала” дае дадатковы кантэкст - размова пра асобу жаночага роду.

Бонус такога падыходу яшчэ і ў тым, што нейронку не трэба вучыць крок за крокам, можна гэта рабіць у паралелі, што і дазволіла скарміць тэрабайты тэкстаў у GPT-3, пра які мы чуем з кожнага праса апошнія месяцы