Лінейная (аг | рэг) рэсія
1.32K subscribers
81 photos
3 files
136 links
Пра даныя і як іх прыстасаваць да штодзённасці

Мяне можна знайсці

У твітары: https://twitter.com/aliaksandr_k
Англ: https://twitter.com/unfriendlydata
На лінкачы: https://www.linkedin.com/in/aliaksandr-kazlou-b5a86411b/
Ці ў тг: @shurackapalieski
Download Telegram
Dan Aierly, ягоны сабака і фальсіфікацыя дадзеных

#science

На гэтым тыдні распавяду вам пра тое, як навукоўцы фальсіфікуюць дадзеныя.

Ёсць такі эканаміст і псіхолаг Dan Aierly. Дэн - навуковец папулярны, ягоныя TED размовы глядзяць мільёны людзей, размовы ў гугле - сотні тысяч. Там ён распавядае пра кагнітыўныя скажэнні, ірацыянальнасць, чаму людзі хлусяць, дурнаватых мэйнстрымавых эканамістаў, пра іншыя модныя рэчы. Ягоныя працы працытаваныя 58 тысяч разоў.

Выглядае, што Дэн таксама выдумляе свае дадзеныя.

Зразумелі гэта на прыкладзе ягонага даследавання пра хлусню з прабегам аўтамабіляў. Пры розных справах са страхоўкамі ў вас могуць спытаць пра прабег. Людзі схільныя прабег заніжаць - каб павысіць шанцы на атрыманне выплат, напрыклад. Таму часам у канцы дамовы вас просяць падпісаць нешта кшталту “дадзеныя, якія я прадставіў, праўдзівыя”. Дэн прыдумаў гіпотэзу, што калі прасіць людзей падпісаць гэта перад тым, як запытваць пра прабег, а не ў самым канцы, людзі перастаюць хлусіць. І даказаў! - прабег у сярэднім пачаў вырастаць на 10.3% альбо на 3.862 кіламетры.

Цяпер, пра вясёлае.

1. Па-першае, у эксэль файле роўна 50% дадзеных у шрыфце Calibri, а іншыя 50% - у Cambria. Пры гэтым, на любога кліента страхавой у Calibri, можна знайсці амаль такога ж кліента ў шрыфце Cambria. Тобок увесь эксэль файл складаецца з кіроўцаў-двайнікоў - проста ў розных шрыфтах

2. Любы кіроўца ў шрыфце Cambria адрозніваецца ад свайго двайніка з Calibri на выпадковую велічыню ад 0 да 1000. Ну, як калі б нехта зрабіў Ctrl+C -> Ctrl+V, а потым, каб яго не злавілі, дадаў выпадковы лік ад нуля да тысячы да копіі

3. Калі б не розныя шрыфты, гэтага маглі б і не заўважыць. Але чаму розныя шрыфты? Хутчэй за ўсё, арыгінальныя дадзеныя ад страхавой кампаніі былі ў Calibri, а ўсе маніпуляцыі Дэн праводзіў на сваім камп'ютары з Cambria у эксэль ці іншай праграме, якой карыстаўся

4. Лікі ў гэтым эксэль файле агулам выглядаюць, як вынік рандомнага генератара. Калі ў людзей спытаць, колькі яны праехалі, нашмат больш людзей адкажа “нуу, 200.000 кіламетраў”, чым “нууу, 201.034 кіламетры”. А ў гэтых дадзеных месцамі няма пікаў на круглых лічбах

Але гэта яшчэ ладна - трэба было лезці і капацца. Калі вы лічыце, што навукоўцы часта пераправяраюць адзін за адным працу - гэта вы дарма. Пісаць арыгінальныя працы нашмат больш карысна для кар’еры, чым за кімьсці нешта правяраць, а калі правяраць усялякіх навуковых зорак, яны могуць у адказ паламаць табе кар’еру

Але ёсць у гэтым эксэль файле яшчэ больш смешнае. Ці Дэн адчаяны, ці яму проста пляваць, мне сказаць складана. Там ёсць размеркаванне кіламетражу за ~2 гады. Як людзі ездзяць на машынах? - нехта забіў і зусім не ездзіць, нехта ездзіць вельмі шмат, большасць ж ездзіць з сярэдняй інтэнсіўнасцю. Але ў Дэна ў дадзеных раўнамернае размеркаванне. Ну, кажучы проста, тых, хто праехаў адзін кіламетр за два гады прыкладна столькі ж, колькі тых, хто праехаў 100, 1.000, 10.000, ці 80.467 кіламетры (50.000 міль). Тых, хто праехаў больш, няма. Ну, тобок, як быццам б дадзеныя атрыманыя рандомным генератарам ад 0 да 50.000. Для таго, каб гэта пабачыць, трэба пабудаваць роўна адзін просты графік.

Гісторыя скончылася даволі стандартна для сучаснай акадэміі: артыкул адклікалі, Дэн сказаў “гэт не я”, ну і з большага ўсё. Узніклі пытанні і да іншых ягоных прац, але цяпер ён проста адказвае, што дадзеныя з’еў сабака згубіліся. Такія справы.

Прыемных TED і Google Talks відэа!
Працягваем пра падман у навуковых артыкулах

#science

Ёсць (быў) такі навуковец Brain Wansnik. Ён дыетолаг (?), карацей food researcher - спецыяліст па харчаванні. Па стане на ўчора ў яго было 17 адкліканых навуковых артыкулаў, яшчэ 23 - пад разглядам, а сам ён вылецеў з працы.

Чаму гэта важная гісторыя? Таму што пра такія навуковыя артыкулы часта пішуць артыкулы ў СМІ: “навукоўцы даказалі, што кава выклікае рак пяткі” і кшталту таго. Больш за тое, яны кладуцца ў розныя дзяржаўныя праграмы, на падставе іх прымаюцца законы і г.д. Таксама, у яго ёсць даволі папулярная кніжка пра пераяданне, у якой на амазоне рэйтынг 4.5 з 5.

Вось некалькі сфабрыкаваных ім артыкулаў і высноў:

Калі есці з вялікіх талерак, людзі пераядаюць, калі вымушаць дзяцей “даядаць усё да чыстай талеркі”, яны таксама потым пераядаюць, калі шмат глядзець баевікоў ці токшоў, таксама, ага ага, пераядаеш, калі называць моркву “СУПЕРМОРКВА для СУПЕРГЕРОЯЎ”, дзеці больш з'ядаюць і г.д.

Усё гэта лухта. Не ў тым сэнсе, што гэтыя эфекты не могуць быць сапраўднымі (канешне дзеці будуць больш ахвотна есці буракі, чым, прабач госпадзі, “свёклу”), а ў тым сэнсе, што доказаў у гэтых артыкулах няма.

Цяпер. Адкуль мы ведаем, што доказаў там няма і там напісаная няпраўда? У адрозненні ад астатніх падманшчыкаў, якія фальсіфікуюць дадзеныя так, каб іх не злавілі, спадар Браян не запарваўся з хітрымі стратэгіямі, а проста маляваў лічбы ад балды. Уявіце, што вы пішаце: “у маіх дадзеных 20% людзей дашкольнага ўзросту”. Зразумела, што людзей не дашкольнага ўзросту ў вас павінна быць 80%. А Браян гэтымі матэматычнымі фармальнасцямі не абмежаваны: у яго можа быць і 80%, і 90%, і 50%.

Звычайна, калі заўважаюць такія памылкі, выпускаюць карэкцыі. У выпадку з Браянам, спачатку даўжыня гэтых карэкцый была больш, чым даўжыня арыгінальных артыкулаў, а потым людзі кінулі і пачалі іх проста выдаляць, маўляў занадта шмат пісаць. Аднойчы, на 4 артыкулы знайшлі 150 памылак. Натуральна, памылкі былі заўсёды ў той бок, які даказвае гіпотэзы нашага дыетолага. Ну, тобок.
Зоркі, геі і аплікацыя ў дзіцячы садок

#science

Героя самай фенаменальнай гісторыі пра навуковую фальсіфікацыю, якую я ведаю, завуць Michael LaCour. Не ведаю, як правільна чытаць ягоная імя (Міхаэль?), таму сёння ён будзе Мікалай.

Мікола быў дактарантам у Каліфарнійскім універсітэце ў Лос-Анджэлесе. Мікола, на маю думку, быў самай вялікай зоркай у 2015 годзе, прынамсі сярод студэнтаў і маладых навукоўцаў. Што ён такога зрабіў? Ён правёў даследаванне, дзе прадэманстраваў, што калі хадзіць з палітычнай агітацыяй ад дзвярэй да дзвярэй і размаўляць пра геяў з кансерватарамі, гэта зніжае іхнюю гамафобію, тут і зараз. Але праз 9 месяцаў эфект знікае - кансерватары вяртаюцца да сваіх гамафобій. Але! Калі з імі будуць размаўляць не проста агітатары, а агітатары-геі, гэта зніжае гамафобію у доўгую - яны і праз 9 месяцаў не вярталіся на свае гамафобныя пазіцыі. Больш за тое, гамафобія пачынала зніжацца спачатку ў гэтай хаце сярод сваякоў, а потым і сярод суседзяў.

Артыкул быў настолькі паспяховым, што яго апублікавалі ў Science - самым прэстыжным, аўтарытэтным і папулярным навуковым часопісе. Ён за кароткі час увайшоў у топ 5% самых папулярных навуковых артыкулаў у гісторыі. Шок-кантэнт. Мікалаю адразу прапанавалі пазіцыю ў Прынстане (і шмат яшчэ дзе, ён выбіраў), абвешалі грантамі і ўзнагародамі.

Але не ўсе маглі спакойна спаць побач з такім поспехам. Група маладых навукоўцам вырашыла паглядзець уважліва ў ягоныя дадзеныя. Тое, што яны там знайшлі - гісторыя легендарная. Знайшлі яны тое, што ніякага эксперыменту ніколі не было: дадзеныя былі сцягнутыя з іншага даследавання і крыху мадыфікаваныя, фірма, якая нібыта праводзіла апытанні, не ведала ні пра даследаванне, ні пра Мікалая і шмат, шмат чаго яшчэ.

Апынулася, што ўсё ягонае CV (рэзюмэ) таксама складаецца з фальсіфікацый: выдуманыя гранты на мільёны грошаў, якія ён не атрымліваў, конкурсы, у якіх ён не перамагаў, узнагароды, якіх ён не атрымліваў і г.д. На хвалі бязмежнага ўгару людзі праверылі яго магістарскую і там таксама знайшлі фальсіфікацыі. Калі я перастаў сачыць за гісторыяй, народ правяраў ягоныя бакалаўрскія працы і агульнае меркаванне было ў тым, што сваю аплікацыю ў дзіцячы садок ён таксама сфальсіфікаваў.

Чым скончылася ягоная навуковая кар'ера? Поўным разгромам: ён не атрымаў PhD (ці яго адразу ж забралі), пазбавіўся пазіцыі ў Прынстане, ад усіх схаваўся і здаецца пагражаў суіцыдам. Але паранёк ён спрытны, не такі просты. Пару год ён ляжаў на дне, потым змяніў імя на Лідзію Ярмошыну Michael Jules і наколькі я разумею працуе дата сайнцістам у Snapchat. І я не здзіўлены. Студэнтам ён быў відавочна таленавітым: ведаў шмат статыстыкі, меў крутыя навыкі візуалізацыі дадзеных, умеў прадаваць (нават занадта) свае даследаванні. Мяне здзіўляе ягонае рашэнне фальсіфікаваць дадзеныя - даволі відавочна, што статус навуковай зоркі ён б мог атрымаць і без гэтага. Сэ ля ві.
#B12

Прыветы. Давайце ка адцягнемся ад навін і паразмаўляем на гэтым тыдні пра В12. Я разумею, што цяжка, у мяне самога не вельмі атрымліваецца. Але гэтага ад нас і хочуць. А я хачу, каб вы былі здаровымі, рэсурснымі і шчаслівымі. Так што.

Чаму В12:
Падпісчык хоча разабрацца, чаму ён адчувае сябе менш разумным: праз дэфіцыт вітаміна В12, кавід ці проста праз узрост. Нагадваю, што мне можна пісаць і прасіць чаго-небудзь прааналізаваць.

Што будзем рабіць:
В12 мне не вельмі цікавы, таму я вырашыў распавесці пра яго па-іншаму. Я буду спрабаваць разабрацца ў літаратуры і дзяліцца з вамі кожным крокам: чаго я ведаю, чаго не ведаю, куды палез глядзець інфу, як змяняю сваё меркаванне і г.д.

Навошта:
Я такім аналізам зарабляю на жыццё. У адпаведнасці, у мяне ён крыху больш структураваны і эфектыўны, па часе і якасці, чым у сярэднестатыстычнага грамадзяніна. Спадзяюся, вы для сябе вынесіце нешта карыснае і яно, карыснае, будзе эканоміць вам час і нервы.

Лэтс, як кажуць, гоў.
B12 і кагнітыўныя функцыі: частка 1

#B12

Перад такім аналізам, калі не лянота, я задаю сабе некалькі пытанняў: якія плюсы і мінусы таго, што я раблю; што я ўжо ведаю перад аналізам; якая ў мяне стартавая пазіцыя/меркаванне; якія ў мяне могуць быць скажэнні і забабоны. Гэта выглядае як лішняя і нудная праца, але яна насамрэч эканомяць час, а не забірае яго.

Плюсы і мінусы:

Ну, калі вітамін В12 дапамагае не атупець, плюсы відавочныя. Мінус у дадзеным выпадку стандартны - грошы на вітаміны і магчымая таксічнасць. Ёсць і менш відавочная, але істотная рызыка. Калі моцна паверыць у тое, што В12 - магічная пілюля, а яна насамрэч не магічная, можна падзабіць на іншыя істотныя рэчы - дыету, сон, дастатковую колькасць вады і г.д.

Што я ведаю:

Я нічога не ведаю ні пра вітамін В12, ні пра ягоны ўплыў на кагнітыўныя функцыі. Маё разуменне механікі такіх працэсаў нулявое. Я крыху больш ведаю пра кагнітыўныя функцыі, таму што а) перыядычна аналізую такія артыкулы па працы б) я пэўны час гэта вывучаў у якасці хобі. Маё разуменне статыстыкі дастатковае, каб зразумець любы статыстычны аналіз, які я магу сустрэць у гэтым падарожжы.

Стартавая пазіцыя (prior beliefs):

Стартавай пазіцыі ў дадзеным выпадку ў мяне ніякай няма, апроч таго, што экстрэмальны (нізкі ці высокі) узровень вітамінаў - гэта дрэнна, а нармальны ўзровень - гэта нармальна. Калі б у мяне быў дэфіцыт В12, мне было б цікава даведацца, на што гэта можа паўплываць і наколькі шмат гэтаму навуковых доказаў, але пры амаль любых раскладах я б пайшоў у аптэку і паспрабаваў прывесці яго ў норму.
Таксама не лічу, што дадзеныя пра В12 могуць быць моцна сфальсіфікаваныя - вітаміны гэта не новыя прэпараты, няма такіх фінансавых стымулаў хлусіць.

Якія ў мяне могуць быць скажэнні:

Чалавек, які замаўляў аналіз, веганіў і вегетарыяніў. А я - пескетарыянец. Гэта крыніца двух іранічна супрацьлеглых скажэнняў. Па-першае, часам я падазраю веганаў у адчуванні маральнай перавагі нада мной - тым, хто спажывае рыбу і малочныя прадукты. Гэта нават мае рацыю з пункту гледжання маіх уласных этычных арыенціраў. Таму мне прыемна, калі навука на маім баку: чым цяжэй сфармаваць здаровую веганскую дыету, тым больш у мяне аргументаў для абароны. З іншага боку, я адчуваю з імі пэўную салідарнасць і таму маю стымул бараніць іхнія дыеты ад нападкаў мясаедаў. Першае скажэнне мне падаецца нашмат большым, чым другое.

План:

1. Пагартаць cochrane library і examine.com для агульнага ўяўлення пра даступныя даследаванні па В12
2. Залезці у google scholar на прадмет клінічных даследаванняў менавіта пра кагнітыўныя функцыі
2. Кагнітыўныя функцыі - тэрмін занадта шырокі. Паразважаць пра тое, як канкрэтныя замеры падчас эксперыментаў транслююцца ў штодзённае жыццё. Бывае, замяраюць хуткасць зборкі кубіка рубіка ў дзяцей да 10 год, потым сядзі думай, што гэта значыць для цябе 30-гадовага і тваёй канцэнтрацыі на зум-мітынгах.
4. Ацаніць, якая эпідэміялагічная сітуацыя ў веганаў з В12
5. Мабыць пашукаць інфармацыю пра веганскія дыеты ў разрэзе В12 менавіта на сайтах і форумах для веганаў. Хутчэй за ўсё, на гэты конт былі вялікія срачы, у якіх можна знайсці асноўныя аргументы і зразумець, куды капаць
5. Падсумаваць усю гэтую радасць і зрабіць практычныя рэкамендацыі

Спадзяюся справіцца за тыдзень.
беражыце сябе
#war #пуцінхуйло

Пра вітамін В размову мы пакуль запаркуем, але нешта вам трэба ўсё ж распавесці. Распавяду вам пра статыстыку пуцінскай вайны супраць Украіны.

Так, гэта тэрапеўтычны пост. Але ягоны тэрапеўтычны характар не робіць гэтую статыстыку несапраўднай.

Танкі

На 31 дзень вайны расійская федэрацыя мае 296 задакументаваных стратаў па танках. Пад задакументаванымі стратамі маецца на ўвазе наяўнасць фота альбо відэа. Няма фота альбо відэа - няма страты. За 10 год у Афганістане СССР згубіў 147 танкаў. Так, за месяц вайны з Украінай пуцінскае войска згубіла 200% ад лічбаў з Афганістана. У ~120 разоў хутчэй, прыкладна. Наколькі поўная колькасць адрозніваецца ад колькасці задакументаваных мне складана сказаць, але большасць людзей, з якімі я размаўляў, лічыць, што можна дакідваць 20% без асаблівых праблем.

Забітыя

Я давяраю дадзеным амерыканскай разведкі. Пакуль што яны нас не падводзілі. Па стане на 23 сакавіка ацэнка была ад 7.000 да 15.000. Я проста ўзяў сярэднюю ад гэтага дыяпазону. Такім чынам, пуцінскае войска згубіла 80% ад забітых у Афганістане. Пры гэтым, мы ўжо некалькі дзён як перавысілі чачэнскія лічбы (абедзве вайны) - зараз у нас 11.000, там было ў сукупнасці 9.614 забітых.

Астатняе можна паглядзець на графіку
#war #пуцінхуйло

З нагоды "основные задачи спецоперации России на Украине выполнены" абнавіў вам графік. Дакінуў туды іншыя канфлікты, у якіх удзельнічала расія. Зрабіў іх шэрымі, каб акцэнтаваць увагу на Украіне. Нагадваю, што ўсё прыведзена да % ад стратаў у Афганістане. Таксама нагадваю, што гэта толькі задакументаваныя страты: няма фота ці відэа - няма страты
Пра колькасны аналіз і ваенныя рашэнні

#war

Аперацыя “Бура ў пустыні” часта апісваецца ў тэрмінах тэатральных: вытанчаная харэаграфія амаль мільённага войска, якая прывяла да знішчэння 20.000 - 50.000 іракскіх вайскоўцаў пры ўсяго 292 забітых з боку кааліцыі. Таксама, менавіта такія відэа пра гэтую аперацыю асацыююцца ў мяне з тэрмінам “тэатр ваенных дзеянняў”.

Таму мне падаўся цікавым гэты пост, заснаваны на ўспамінах былога аналітыка Ўпраўлення разведкі Міністэрства абароны ЗША, які прымаў удзел у планаванні аперацыі. На ягоную думку, усе статыстычныя разлікі, сімуляцыі, аналізы, якія каштавалі мільёны грошаў, не мелі ў выніку ніякага ўплыву на рашэнні, якія прымаліся суб'ектыўна і спантанна.

Кантэкст, пра які ён распавядае - гэта спроба аналізу таго, калі пачынаць наземную аперацыю. Камандуючы аперацыяй Норман Шварцкопф шукаў метадалогію ацэнкі поспеху паветранай кампаніі, каб зразумець, калі іракская армія будзе аслабленая настолькі, што наземныя сілы здолеюць паспяхова выканаць пастаўленыя задачы.

Па-першае, мне падалося цікавым, наколькі дэцэнтралізаваным быў аналіз. Аналітыкі Цэнтральнага камандавання ЗША, Упраўлення разведкі Міністэрства абароны ЗША, яшчэ нейкіх абрэвіятур, якія я не здолеў расшыфраваць. Па выніку, у камандуючага было на выбар некалькі аналізаў і мадэляў, якія канкурыравалі за ягоную ўвагу.

Па-другое, існавала праблема, знаёмая ўсім, хто будаваў статыстычныя мадэлі для прыняцця рашэнняў: частка мадэляў была занадта складаная і ўпакаваныя ў лішнія элементы, адзіная задача якіх - зрабіць так, каб мадэль выглядала больш “навукова”; іншая частка - занадта спрошчанай, па словах крыніцы: “і трэцякласнік б прыдумаў лепшую”.

У выніку, няздольны абраць паміж рознымі аналізамі, Шварцкопф проста сказаў: “да гары ўсё агнём, пачынаем наземную аперацыю, калі знішчым 50% іракскай арміі”. Пры гэтым, калі верыць крыніцы, гэта было мала таго, што непатрэбна, але яшчэ і недасягальна.

Цікава, што калі верыць гэтаму афіцыйнаму дакументу ад 2014 году, амерыканская армія і зараз надае мала ўвагі выключна колькаснаму аналізу. Працэс ацэнкі баявой моцы падсумоўваецца наступным чынам: “…хоць у працэсе і выкарыстоўваецца колькасны аналіз, ацэнка ў значнай ступені суб'ектыўная. Ацэнка баявой моцы патрабуе аналізу як матэрыяльных, так і нематэрыяльных фактараў, такіх як маральны дух і ўзровень падрыхтоўкі”

Мой уласны досвед, а таксама размовы з калегамі, падказвае, што гэта ўвогуле стандартная гісторыя. Калі ў таго, хто прымае рашэнні, ёсць на выбар некалькі колькасных ці іншых аналізаў, якія занадта складаныя/метадалогію якіх ён не разумее, даволі часта абіраецца проста той, які супадае з ягонай суб'ектыўнай ацэнкай. Адсюль і жарты пра тое, што бізнес аналітыкі, дата сайнцісты і іншыя аналітыкі дадзеных існуюць для таго, каб цешыць эга кіраўніцтва тым, што іхняя інтуіцыя супала са страшэннай матэматычнай вундэрфавляй, якую чарговы раз прыцягнулі “яйцагаловыя” са сваіх лабараторый кабінетаў. Нешта ў гэтым ёсць.
#sport #everyday

У твітэры ўзнікла спрэчка, фундаментальная для будучыні чалавецтва: ці можна развіць ягадзічныя мышцы з дапамогай прысяданняў. Адказваю

- Так, у прысяданнях “ягадзічныя” мышцы не з'яўляюцца асноўнымі. Пры класічных прысяданнях “да паралелі” актывацыя biiceps femoris і gluteus maximus у 2-3.5 разы менш, чым актывацыя “ног”.

- Калі прысядаць глыбока, за паралель, сітуацыя мяняецца. Актывацыя gluteus maximus (тыя самыя “ягадзічныя мышцы”) у пазітыўнай фазе ў 1.2 - 1.5 разы больш, чым актывацыя vastus medialis і vastus lateralis (тое, што мы называем “мышцы ног”)

- Калі прысядаць звычайна, да паралелі, максімальна ўключыць ягадзічныя мышцы можна з дапамогай больш шырокай пастаноўкі ног. Але розніца з любой іншай пастаноўкай ног не такая драматычная - усё роўна ў асноўным працуюць менавіта яны (ногі)

Высновы:
- Так, прысяданні вам у гэтым дапамогуць
- Яшчэ больш яны дапамогуць вашым нагам
- Можна спрабаваць прысядаць за паралель, але гэта патрабуе добрай тэхнікі і зайздроснай гнуткасці. Калі вы не цяжкаатлет, лепш пераключыцца на больш спецыфічныя практыкаванні
#war #пуцінхуйло

прайшоў амаль месяц з апошняга абнаўлення графіку па задакументаваных (толькі фота ці відэа) стратах расійскай імперыі. асноўныя высновы:

- калі давяраць дадзеным брытанскай разведкі, расія згубіла забітымі на 1000 чалавек больш, чым ссср за 10 год у афганістане. альбо ў 1.5 разы больш, чым за 2 чачэнскія
- у катэгорыі "танкі" украінцы імкліва іх набліжаюць да 400% ад згубленых у афганістане

нагадваю, усе канфлікты прыведзеныя да % ад афганістану. вайна ва ўкраіне - чырвоным, каб лепш было бачна, астатнія канфлікты - адценнямі шэрага
Дзякуй дзеду за перамогу мабільнасць паміж пакаленнямі

#statistics #history

Звычайна кажуць, што ў сучасным грамадстве карэляцыя паміж заробкам ці дабрабытам паміж пакаленнямі падае геаметрычна: калі карэляцыя заробку дзяцей і бацькоў - 0.5, карэляцыя з заробкам дзеда будзе 0.25, з заробкам прадзеда - 0.125 і г.д.

Ёсць забаўная папера, якая спрабуе гэта праверыць на дыстанцыі ў 20 пакаленняў. Калі ёй верыць, залежнасць куды больш сур'ёзная.

Трэба адразу сказаць, што ў паперы шмат статыстычных рашэнняў, у якіх лёгка накасячыць. Мне лянота іх правяраць, я ў палове не разбіраюся. Веру ў тое, што рабяты пастараліся.

А рабяты і праўда пастараліся. Знайшлі падатковыя дадзеныя жыхароў Фларэнцыі за 1427, прабач госпадзі, год. Знайшлі такія ж дадзеныя, але за 2011 год. Праз прозвішчы, нейкім чынам супаставілі, хто чый продак і ацанілі, як заробак і дабрабыт продка з 1427 году карэлюе з заробкам і дабрабытам нашчадка з 2011. Ёсць разбіўка па прафесіях нават, абсалютна захапляльна.

Што знайшлі. Знайшлі эластычнасць у 0.045 па заробку. Ну, тобок: дзед Джавані зарабіў за 1427 год 36.2 флорыны (сярэдні заробак). А сам Джавані за 2011 зарабіў 10000 еўра. У сябра Джавані дзед зарабіў 72.4 флорыны, у два разы больш. Тады сябар Джавані зарабляе прыкладна 10450 еўра ў год, на 450 еўра больш. З аднаго боку, не так шмат. З іншага боку, 600 год прайшло

Больш паказальная карціна, калі ўсіх разбіць на вышэйшы, сярэдні і ніжэйшы клас, па 33% кожны. Сачыце за рукамі:

Калі ў твайго продка не было ніякіх накапленняў у 1427 і ён трапляў у ніжэйшы клас, твае шанцы там застацца ў 2011 - 42%. А вось калі ў цябе быў багаты продак, твае шанцы трапіць у ніжэйшы клас у 2011 - толькі 27%. Нагадваю, прайшло 600 год.
Presentation Vardomatskiy.pdf
1.7 MB
Трымайце яшчэ вынікі сацыялагічнага апытання пра стаўленне беларусаў да пуцінскай вайны з Украінай. Я запытаў, ці публічная гэтая прэзентацыя, мне сказалі, што так. Скрыншоты з яе ўцягнулі ў твітэр яшчэ раніцай. Так што будзем лічыць, што публічная
Зоркі аўтарытарнай мадэрнізацыі і беларуская эканамічная навука

#statistics #belarus

Ёсць такая зорка беларускай аўтарытарнай мадэрнізацыі як Кірыл Руды. Кірыл Руды - прафесара кафедры сусветнай эканомікі і доктар эканамічных навук. У яго ёсць артыкул у часопісе “Банкаўскі веснік”, за люты 2021, пад назвай “О политэкономии финансовой стабильности”. Там ён мадэлюе “взаимосвязь между долгосрочным экономическим ростом и динамикой политических предпочтений”. Ну, груба кажучы, спрабуе “прадказаць” ці “патлумачыць”, чаму ў некаторых краінах падтрымліваюць дэмакратыю, у некаторых - аўтарытарных лідараў, ці ваенных і г.д.

Нас цікавіць ягоная лінейная мадэль “прадказання” ці “тлумачэння” узроўню падтрымкі ваенных. R^2 гэтай мадэлі - 1. Калі вам не смешна, віншую - вы здаровы чалавек. Мне вельмі смешна і зараз я буду тлумачыць так, каб і вам было. Спачатку будзе крыху нудна, але заставайцеся на сувязі - потым будзе забаўна.

Я буду спрошчваць і апускаць дэталі, але для папулярнага тлумачэння пойдзе. Уявіце сабе, як у школе, каардынатную плоскасць. X у нас будзе “аб’ём экспарту фіялак”, а Y - “колькасць забойстваў на душу насельніцтва”. Цяпер паставім адну кропу, Беларусь. Праз нашую няшчасную Беларусь можна правесці прамую лінію. Цяпер дакінем яшчэ кропку, Уганду. Праз любыя 2 кропкі на каардынатнай плоскасці таксама можна правесці прамую лінію. Такім чынам, усе нашыя кропкі ляжаць на прамой лініі і гэтая прамая лінія ідэальна “тлумачыць” залежнасць колькасці забойстваў ад экспарту фіялак, і фіялкамі можна беспамылкова прадказваць забойствы. R^2, альбо “якасць падгонкі” такой лінейнай мадэлі будзе 1, ідэальная. Як у Кірыла Рудага. А вось калі мы дакінем яшчэ кропку, прамую лінію ўжо не абавязкова атрымаецца правесці так, каб усе тры з іх ляжалі на ёй. Можна, але не абавязкова.

Цяпер уявім трохмерную прастору: экспарт фіялак, папулярнасць гурту РСП і колькасць забойстваў. Праз адну, дзве ці тры кропкі на гэтай прасторы заўсёды можна правесці плоскасць. І R^2 будзе 1. Ідэальная мадэль. А праз чатыры - ужо не абавязкова. Не складана здагадацца, як гэта абагульніць: калі на прасторы, сфармаванай N пераменнымі, ляжыць N ці менш кропак, праз іх заўсёды можна правесці N-1 гіперплоскасць. І заўсёды атрымаць R^2 = 1 (насамрэч для той мадэлі, якой карыстаецца Руды, гэта справядліва і для N+1 кропак, але тое тэхнічныя дэталі).

Іншы папулярны метад стрэльнуць сабе ў нагу і атрымаць ідэальную мадэль - гэта прадказваць пераменную з дапамогай гэтай ж пераменнай. Ну, колькасць забойстваў з дапамогай колькасці забойстваў. Ідэальнае прадказанне, R^2 = 1.

Што канкрэтна нарабіў Кірыл Руды я не ведаю. З таго, што напісана ў тэксце, памылку рэканструяваць нельга. У яго 38 краін для аналізу і 13 пераменных. Падазраю, недзе згубіў больш паловы сваіх назіранняў.

Памылкі робяць усе. Памылкі такога кшталту ўвогуле здараюцца часта. Нармальная рэакцыя на гэта - пабачыць, што ў цябе R^2 = 1, зрабіць кавы і пачаць разбірацца, дзе ты накасячыў. Тое, што ў Кірыла Рудага, ці ў аспірантаў у ягоным рабстве, якія насамрэч пісалі гэты артыкул, нічога не стрэльнула ў галаве, ёсць даволі іранічным. Тое самае тычыцца рэцэнзентаў, якія гэты артыкул правяралі і дапускалі да публікацыі.

А разгадка простая: беларуская эканамічная навука ў заўважнай ступені - карга-культны карга-культ, дзе шмат у каго мала ўяўлення пра тое, чым яны спрабуюць займацца.
pdf_rudy.pdf
290.2 KB
Шмат у каго не працуе спасылка на артыкул вышэй, то трымайце пдфку
#science

Тут у твітэры чарговы рускі ліберал не можа разабрацца, як можна квантавую фізіку выкладаць па-ўкраінску. Пра беларускую мову таксама часта чуў такі аргумент.

Разбіраць імперскія комплексы рускіх лібералаў у мяне жадання няма, як і "русскость" слоў "квантавая" і "фізіка", а вось паглядзець на лінгвістычны ландшафт сучасных навук - заўсёды калі ласка.

Ёсць базы дадзеных, Web of Science і Scopus, якія індэксуюць навуковыя артыкулы. За 2018 год 93-95% усіх навуковых артыкулаў былі напісаныя па-англійску. На рускай было напісана прыкладна 0.5% усіх навуковых артыкулаў - у два разы менш, чым на іспанскай і прыкладна столькі ж, колькі на партугальскай.

Выснова з гэтага вельмі простая - ніякай мовай навукі руская не з'яўляецца. Вучыць рускую як "мову навукі" мае столькі ж сэнсу, як вучыць партугальскую. Калі вы хочаце займацца навукамі, трэба вучыць англійскую. Натуральна, ёсць выключэнні, напрыклад гісторыя - там людзі вучаць мовы тых рэгіёнаў, якімі займаюцца.
#war #statistics #belarus

Пад’ехала чарговае апытанне пра стаўленне беларусаў да пуцінскай вайны з Украінай. У адрозненні ад папярэдняга апытання, якое я скідваў, цяпер у нас не тэлефоннік, а інтэрнэт-панэль.

З большага, лічбы падобная. Жадаюць удзелу Беларусі ў вайне супраць Украіны 3% (магія). У тэлефонніку такіх было 11%.

Падтрымліваюць дзеянні расіі ў той ці іншай форме 8% - 39%, у залежнасці ад пытання. У тэлефонніку было ~25-40%

Самай “папулярнай” формай падтрымкі ёсць “Поддержать действия России, но не вступать в военный конфликт” - 28%. Не жадаюць падтрымліваць расію, хочуць вываду войска/нейтралітэту/падтрымаць Украіну/ваяваць за Украіну - 45%.

З большага, гэтая пара апытанняў выглядае адэкватна: на інтэрнэт-панэлі лічбы крыху лепш, на тэлефонніку - крыху горш, але з большага яны падобная. З улікам таго, што нічога лепшага мы верагодна не атрымаем, я б на іх арыентаваўся як на лепшую прыкідку.
Слава расійскім палітолагам!

#war

Ёсць кароткі артыкул, які ідэальна прадказаў тое, як будзе развівацца вайна расіі супраць Украіны. Апублікаваны ён 3 лютага 2022 і называецца “Прогнозы кровожадных политологов”. Назва падабаецца мне вельмі. Аўтар артыкула: “Михаил Михайлович Ходаренок – экс-начальник группы 1-го направления 1-го управления Главного оперативного управления Генштаба ВС РФ, полковник”

Я рэкамендую яго прачытаць: ён кароткі і па прашэсці 70 дзён вайны - прарочы. Але размаўляць я хачу не пра яго, а пра тое, як атрымалася, што сотні палітолагаў, журналістаў, каментатараў, іншых спецыялістаў тысячы талентаў, да нават ваенных экспертаў прадказвалі хуткую перамогу расіі, а былы афіцэр расійскага генштабу прадказваў будучыню.

Уявім, што ў групы людзей увогуле ёсць экспертыза наконт нейкай сферы. Ну, у афіцэраў расійскага генштабу наконт ваенных розных спраў. Экспертыза ў іх мабыць ёсць, а вось стымулаў дзяліцца з намі - няма. Затое, верагодна, ёсць стымулы не дзяліцца і не выпадаць раптоўна з акна. Наколькі шмат стымулаў у іх было дзяліцца са сваім палітычным кіраўніцтвам - тое яшчэ пытанне. З палітолагамі ўсё наадварот.

Калі каротка, у такіх сітуацыях варта прыглядацца да людзей яшчэ з нейкай экспертызай, але ўжо без супольных інтарэсаў. Адстаўнікі, прадстаўнікі сумежных, але іншых сфер і г.д. - лепшыя варыянты. Формула, натуральна, не ідэальная - адстаўнікі могуць быць пакрыўджанымі на сваіх былых калег, сярод нават сумежных сфер можа быць канкурэнцыя за рэсурсы - але месцамі вельмі працоўная.

Цяпер да нашага аўтара. Афіцэр генштаба, але ў адстаўцы. У ёй ён даўно, але, калі верыць гуглу, ваенную аналітыку піша рэгулярна. Экспертыза павінна быць, супольных інтарэсаў можа ўжо і не быць. Добры прыклад.

Хто б мог чакаць, але яшчэ адным добрым прыкладам ёсць Гіркін. Экспертыза ў тэрарыстычнай дзейнасці на тэрыторыі Украіны ў яго - памерам з боінг, а супольных інтарэсаў з генштабам расіі не так шмат: ні туды, ні ўвогуле да кармушкі яго не пусцілі. Месцамі бачна, што ён пакрыўджаны, але аналіз вайны ва Украіне і прагнозы ў яго пакуль надзіва якасныя.

У навуках такое здараецца часта, калі трэба выкрыць фальсіфікацыі, падман, дрэнныя навуковыя практыкі. З трох аўтараў папулярнага, шэсць тысяч разоў працытаванага, артыкула пра фальсіфікацыі ў псіхалогіі, два - не псіхолагі. John Ioannidis, аўтар артыкулу пра тое, чаму большасць навуковых адкрыццяў - няпраўда, увогуле страляе без разбору: у псіхолагаў, эканамістаў, дыетолагаў і г.д. Сядзіць сабе ў іншым горадзе ў сваёй Stanford School of Medicine і што ты яму зробіш. Экспертыза ў іх усіх гіганцкая, а супольных інтарэсаў з тымі, каго яны крытыкуюць, няма.

Мараль тут простая: ніколі б не падумаў, але рады, што ў расіі так шмат палітолагаў.