Добрай раніцы

Народ у Аўстраліі хацеў змагацца з падлеткавай цяжарнасцю. Школьніц з 57 школ рандамізавалі ў кантрольную і эксперыментальную групу, эксперыментальную запісалі на "віртуальны сімулятар немаўля" — камп’ютарную праграму, якая знаёміць школьніц з цяжарам мацярынства. І сачылі за імі да 20 год.

Праграма не проста не спрацавала. Праграма спрацавала наадварот: у эксперыментальнай групе нарадзілася на 77% больш дзяцей.

У твітэры народ угарае, што можна раскаціць праграму на ўсе школы і перамагчы дэмаграфічны крызіс. Графік адтуль ж.

Ці сварыліся з вамі праз тое, што вы хутка крочыце? Ці выказвалі вам прэтэнзіі за зруйнаваны шпацыр? Узрадуйцеся.

Хуткасць карэлюе з IQ. Тыя, хто крочыць хутчэй усіх разумнейшыя за тых, хто ледзь пляцецца. На 16 балаў. 16 — гэта даволі шмат, больш за стандартную дэвіяцыю.

Таксама, ваш IQ ва ўзросце 3 год карэлюе з тым, як хутка вы будзеце хадзіць у 45 год. Чым больш — тым хутчэй.

Выбарка са 938 чалавек, з Новай Зеландыі, за якімі сачылі ад нараджэння да 45 год.

https://t.me/balzam1906/2578

Тэкст: "Вучоныя сцвярджаюць, што дастаткова ўсяго 2337 крокаў у дзень, каб знізіць рызыку смерці ад сардэчна-сасудзістых захворванняў"

Рэальнасць:
1. Аўтары мета-аналізу пабілі колькасць крокаў на 4 кварцілі
2. Узялі самы ніжні, 2337 крокаў, і адносна яго разлічылі зніжэнне рызыкі супраць 3982, 6661 і 10143 крокаў
3. Гэта зроблена проста для зручнасці
3. З гэтага ніяк не выцякае, што 2337 крокаў у дзень дастаткова. "Дастаткова" тут увогуле неасэнсаваная катэгорыя
4. Што відавочна з графіку з гэтага ж даследавання — там і 100 крокаў "дастаткова", каб знізіць рызыку (адносна 0 крокаў)

Рабяты паспрабавалі разабрацца, чаму мадэлі GPT не ўмеюць у арыфметыку. Аргумент добра вядомы: гэта хутчэй запамінанне, чым шматкрокавае кампазіцыйнае разважанне.

Эмпірычныя аргументы такія:

• Калі перамнажаць двузначныя лікі, 99% адказаў правільныя. 0% адказаў правільныя, калі перамнажаць пяцізначныя лікі (гл. скрыншот). Што ў некаторай ступені карэлюе з чаканай колькасцю прыкладаў у Інтэрнэце.
• Калі папрасіць патлумачыць, як нейронка прыйшла да адказу, атрымліваецца наступнае: 82.3 % правільных адказаў мелі прынамсі адну памылку ў пакрокавых развагах, што не перашкодзіла даць правільны адказ. Таму што прыкладаў канчатковых адказаў значна больш, чым прыкладаў пакрокавых падлікаў.

8 год таму быў апублікаваны гэты легендарны графік. Ён пра так званы крызіс рэплікацыі. Зараз я вам пра яго распавяду, каб вы маглі шчагаляць гэтымі ведамі перад сябрамі, у твітэры і ў іншых лёсавызначальных сітуацыях

Што прыдумалі:
• Узялі 100 эксперыментаў з вядучых навуковых часопісаў па псіхалогіі
• І рэплікавалі іх: тобок паўтарылі эксперымент, але набралі ў яго больш людзей
• І паглядзелі, наколькі атрымліваецца арыгінальныя вынікі паўтарыць

Што пабачылі:
• У сярэднім, рэплікаваны эфект у два разы менш, чым арыгінальны. Тобок, калі сцвярджалася, што медытацыя зніжае стрэс у 60% выпадках, трэба чакаць эфекту толькі ў 30%
• Самая горшая сітуацыя ў сацыяльнай псіхалогіі — даследаваннях пра стэрыятыпы, рамантычныя стасункі, групавы статус і г.д. Там рэплікаваны эфект у 3 разы менш, чым арыгінальны
• Прыкладна 15% эфектаў былі ў супрацьлеглым накірунку ад арыгінальнага, як б калі медытацыя павялічвала стрэс
• Суб'ектыўная ацэнка важнасці эксперыментаў, а таксама вопытнасці і прафесіяналізму эксперыментатараў не карэлюе з паспяховасцю рэплікацый
• Што карэлюе, дык гэта сюрпрызнасць арыгінальных высноваў — чым больш яны сюрпрызныя, тым менш шанцаў на паспяховую рэплікацыю

Як чытаць графік:
• Па гарызанталі арыгінальны эфект, па вертыкалі — з рэплікацый. Калі кропка ляжыць на дыяганалі, значыцца памеры эфекту ідэнтычныя і ў арыгінале і ў рэплікацыі. Калі ніжэй дыяганалі — у арыгінале эфект быў больш і наадварот. Калі ніжэй за гарызантальную лінію — эфекты ў розных накірунках.

Натыкнуўся на цікавы трэд аб тым, як з дапамогай эканамічных мадэляў спрабуюць адшукаць згубленыя старажытныя гарады

Логіка наступная:
• Узялі 12.000 запісаў асірыйскіх купцоў: каму, адкуль, чаго і колькі прадалі-купілі. Размова пра бронзавы век
• Пабудавалі гравітацыйную мадэль, якую выкарыстоўваюць сучасныя эканамісты. Ідэя ў тым, што аб'ём гандлю вызначаецца памерам эканомік і фізічнай дыстанцыяй
• Пратэставалі гэтую радасць наступным чынам: па чарзе "гублялі" кожны з 15 вядомых старажытных гарадоў і рэканструявалі лакацыю з дапамогай мадэлі. Атрымалася сярэдняя памылка ў 40 кіламетраў
• Для гарадоў, якія сустракаюцца ў запісах, але якія зажаваў ход гісторыі, зрабілі гэтай мадэллю прадказанні
• Я не спецыяліст у археалогіі, але падаецца, што 40 км — гэта ўсё яшчэ шмат. Аўтары абяцаюць кааперыравацца з гісторыкамі і шукаць

Арыгінальная папера

Пытанне: Салі (дзяўчынка) мае 3 братоў. У кожнага брата па 2 сястры. Колькі сясцёр у Салі?

У арыгінале: Sally (a girl) has 3 brothers. Each brother has 2 sisters. How many sisters does Sally have?

Адказваюць 60 вялікіх моўных мадэялў, у тым ліку GPT4, Palm2 і іншыя state-of-the-art мадэлі.

Вынікі? Ніводнага правільнага адказу з 60

AI ! AI ! AI !

https://benchmarks.llmonitor.com/sally

Прыветы

У мяне выйшаў артыкул на дэвбай пра тое, як укаціцца ў аналіз даных. Там мае парады рознай ступені карыснасці і шмат карысных матэрыялаў. Спадзяюся, каму-небудзь з вас дапаможа

https://devby.io/blogs/posts/data-analysis

Усім добрай пятніцы

Два тыдні таму на PsyArxiv выйшаў артыкул пра GPT4 і псіхатэрапію.

Спачатку, узялі 12 пар пытанне-адказ з таго, што на Захадзе называецца relationship counselling — псіхалагічнай дапамогі ў справах сардэчных. Маёй славянскай, гетэранарматыўнай душы не зразумець, навошта існуе такі інстытут, калі ёсць трэнажорка, ці спрэчкі ў твітэры пра Ізраіль і Палесціну, ці працагалізм, але як ёсць.

Для кожнага пытання паралельна згенеравалі адказ з дапамогай GPT4 (і Llama 2). І паказлі 123 чалавекам камбінацыі "пытанне ад чалавека - адказ ад эксперта - адказ ад нейронкі" (там былі яшчэ камбінацыі, але гэта асобныя дэталі). І папрасілі ацаніць, наколькі адказы карысныя і эмпатычныя. Удзельнікі ведалі, што частка адказаў напісаная машынай, але не ведалі якая.

Народ ацаніў адказы нейронак як больш карысныя (сярэдні памер эфекту) і больш эмпатычныя (малы памер эфекту), чым адказы экспертаў.

Далей аўтары згенеравалі цэлыя сесіі (20-30 адказаў), узялі 5 прафесійных псіхатэрапеўтак, сказалі, што тэкст — гэта транскрыпт рэальных сесій з прафесіяналам і папрасілі ацаніць па такіх катэгорыях, як карыснасць, эмпатычнасць, бяспечнасць, аб'ектыўнасць і г.д.

Шкала ад 1 да 5, дзе 5 — найлепшая ацэнка. Большасць ацэнак па большасці катэгорый, якія атрымаў GPT4, былі паміж 4 і 5

1 лістапада ў даследчыкаў Google выйшла папера пра тое, чаму AGI з трансформерамі (архітэктура пад капотам гэтых вашых джыпіці) не атрымаецца

Я вырашыў распавесці не пра паперу, а пра тое, як выглядае эканоміка, ці хутчэй палітэканомія бягучай гонкі за "AGI". Меркаванне маё асабістае, на падставе даволі абмежаваных кантактаў з асноўнымі гульцамі, а таксама размоваў з людзьмі, у якіх гэтых кантактаў было больш

Я ведаю, што хочацца AGI, сінгулярнасць, кібернетычных кошка-жонак і падгрузкі свядомасці ў сусветы Міядзакі. Таксама частка з вас just perverts who are secretly horny for the apocalypse

Але на маю думку, адбываецца не апакаліпсіс і не сінгулярнасць, а банальны regulatory capture. Спроба бізнеса падмяць заканадаўства такім чынам, каб зрабіць сабе добра, а канкурэнтам дрэнна. І супрацьстаянне гэтаму

OpenAI:
Кампанію заснавалі для "дэмакратызацыі АІ даследаванняў". Што зрабілася з ёй па дарозе добра ілюструе гэты трэд на рэддзіце. Яны генерыруюць больш за ўсіх панікі. Стратэгія даволі простая: наганяем страху -> пачынаем біць сябе публічна плёткамі і стагнаць у стылі "шож мы нарабілі" -> рэгулятары ўзбуджаюцца і хочуць рэгуляваць -> вы прапануеце адкупіць свае грахі праз дабрачынную працу на рэгулятара, каб рэгуляцыі зарэгуляваць. Па выніку рэгулятары выходзяць героямі, якія ўратавалі грамадства ад апакаліпсісу, а вы атрымліваецца магчымасць выціснуць канкурэнтаў, прынамсі дробных/незалежных даследчыкаў і стартапы праз, напрыклад, сістэму ліцэнзій, якія дорага і доўга атрымаць

Nvidia:
Nvidia прадае жалеза. Жалеза, на якім трэніруюцца нейронкі. Чым больш гульцоў мае доступ да жалезак, тым Nvidia лепш. Таму на нядаўнім пасяджэнні Сенату прадстаўнік кампаніі прамым тэкстам прапанавалі завязваць з цяжкімі наркотыкамі, гісторыямі пра AGI, які выйдзе з пад кантролю і займацца нарэшце бізнесам

Meta:
У іранічным павароце гісторыі, Meta апынулася яшчэ адной кампаніяй, якая змагаецца за дэмакратызацыю AI, опэнсорс і супраць regulatory capture. Meta выпускае свае вялікія моўныя мадэлі ў вольны доступ. Прадстаўнікі Meta спрабуюць патлумачыць Сенату, што ніякіх ліцэнзій на LLM перамножванне матрыц не трэба. На іхнім баку супраць OpenAI і кампаніі рубіцца Yann LeCun — бацька сучаснага "АІ"

Калі камусьці цікава, якімі канкрэтна шляхамі гэта распаўзаецца па вашынгтонскіх калідорах, на Politico ёсць добрае расследаванне

Прыветы. Паразмаўляем сёння пра моцны ШІ і аргумент кітайскага пакою.

Яго шмат узгадваюць апошнія ~6-12 месяцаў у сувязі з поспехам ChatGPT. Сам аргумент можа быць не вельмі важным (яму 40 год і вам таксама будзе), але ён значна паўплываў на тое, як мы размаўляем пра штучны інтэлект сёння. Таму карысна мець агульнае ўяўленне, каб лепш разумець, пра што нудзяць вашыя любімыя падкасцеры

Аргумент ёсць атакай на функцыяналізм: ідэю, што ментальны стан вызначаецца тым, што ментальны стан робіць. І калі нешта паводзіць сябе быццам разумее натуральную мову, гэта нешта разумее натуральную мову

Аргумент будуецца так:

• Замыкаем няшчаснага ў пакоі з кітайскім пісьмом на картках і вельмі вялікім наборам інструкцый
• Пакуль ён грукае ў дзверы, прасоўваем яму пад імі сказы кітайскай
• І прапануем скарыстацца інструкцыямі аб тым, якія сінтаксічныя маніпуляцыі праводзіць з карткамі, каб атрымаць семантычна асэнсаваныя адказы

Пры дастатковай спрытнасці і любові да свабоды падапечнага, атрымаем змястоўную камунікацыю. Настолькі ж змястоўную, як размовы з ChatGPT.

Сёрл задаецца пытаннем: ці дастаткова функцыянальнага падабенства, каб стварыць разуменне. І адказвае, што не: чалавек у пакоі кітайскай усё яшчэ не разумее, а таму чалавечы мозг не можа быць рэдукаваны да "праграмы", якая выконвае функцыянальныя задачы натуральнай мовы, бо гэта не стварае ні разумення, ні ментальных станаў

І тут пачынаецца класічны для такіх пытанняў гармідар. Калі мы адной рукой высвятляем, ці існуе нешта (разуменне), а другой высвятляем, што слова (разуменне) значыць

Прадэманструем на папулярным контр-аргуменце. Ён такі: гэта праўда, што чалавек у пакоі не разумее кітайскай, але ўся сістэма валодае разуменнем і мы проста глядзім не на той (няшчасны ў пакоі) узровень абстракцыі. Адчуваеце, у чым падвох? Менавіта: мала хто разумее, дык што мы разумеем пад разуменнем і хто павінен гэтае разуменне мець

Сёрл адказвае на гэта, што ўзроўні абстракцыі тут ні пры чым. Разуменне ёсць вынікам ментальных станаў, якія нельга атрымаць з дапамогай дэвайса па маніпуляцыі сінтаксісам; для гэтага патрабуецца вылучэнне вялікай колькасці фізічна-хімічных уласцівасцяў нашага мозгу (і арганізму агулам), а не толькі правілаў маніпуляцыі сімваламі

Калі пазіцыя падаецца вам відавочнай і нават трывіяльнай, паразважайце пра наступнае. Борд OpenAI на днях звольніў свайго CEO. Папулярны наратыў у твітэры ў тым, што прычынай было стварэнне ўнутры цёмных калідораў OpenAI свядомай істоты, якую CEO схаваў, абараняў і, па-чутках, уступаў з істотай у інтымныя сувязі. Yeah

Таксама, пра кітайскі пакой ёсць нядрэнны фантастычны раман Blindsight. Ну, гэта калі вы адначасова гатовыя чытаць пра штучны інтэлект, іншапланецян і вампіраў у космасе

Паразмаўляем пра эканоміку навуковых падкастаў

Зробім гэта на прыкладзе Эндрю Губермана. У яго 4.4 мільёны падпісчыкаў на ютубе і ў каментарах цікавіліся маім пра яго меркаваннем. Дзялюся.

Ён — стэнфардскі прафесар і самая вялікія рыба ў акіяне біяхакерства і аптымізатарства. Альфа-пяскар здаровага ладу жыцця. На асноўным канале 186 відэа за 2 гады. Частка — гэта госці, частка з іх кароткія, але большасць па ~2 гадзіны. І гэта праблема.

Бізнэс-мадэль такіх падкастаў — у пастаянным стварэнні кантэнту, спробе прасачыцца ў вашыя стужкі праз рэлевантнасць, засмакатаць алгарытмы адчыненым ротам на застаўках і іншыя забаўкі позняга капіталізму. Гэта з аднаго боку. З іншага, навука пра здаровы лад жыцця рухаецца наперад павольна і не надта адрозніваецца ад таго, што раілі нам матулі: нармальна спі, не пераядай, гародніна а не салодкае, хадзі гуляць — з сябрамі і на сонцы, мяч ганяй, ну і агулам не займайся дурніцай (дзякуй, матуля)

Кажучы проста, эканоміка ягонага каналу не б’ецца з тэмпам назапашчвання навуковых ведаў. І першай ахвярай гэтага ціску робіцца якасць доказнай базы. Чаму? Праз логіку публікацыйнай варонкі: непацверджаных даследаванняў, даследаванняў на мышах, даследаванняў на 4.5 студэнтах заўсёды больш, у тысячы разоў, чым якасных даследаванняў на вялікіх выбарках homo sapiens.

Патлумачу на прыкладзе. Вось тут Эндрю распавядае, што ахалоджванне далоняў пасля трэніроўкі здольнае павялічыць падцягванні на 300%. За тыдзень. На гэтым можна было і скончыць, але зробім разбор падрабязным:

А) У эксперыментах удзельнічала па 7-8 чалавек на групу (о гасподзь).
B) Эксперыментальная група, якая марозіла сабе далоні, трэніравалася ў тры разы даўжэй перад замерамі (6 тыдняў трэніровак супраць 2 тыдняў у кантрольнай групе).
C) Аўтары даследавання маюць патэнт і кампанію па вырабе дэвайсаў, якія вас ахалоджваюць
D) Сам Эндрю ўдзельнічае ў непрамой рэкламе гэтых дэвайсаў

І так шмат у чым. Шаблон просты: “каб выправіць [праблема, пра якую шмат перажываюць: сон, фертыльнасць, пракрастынацыя і г.д.], рабіце [што-небудзь простае: перыядычна ўздыхайце, глядзіце на сонца раніцай, не пейце каву першыя 90 хвілін дню і г.д.], бо гэта [навуковы жаргон], як паказала даследаванне [сумнеўная папера з канфліктам інтарэсаў з 5.5 удзельнікамі]. А зараз пра спонсараў…”. Дадзены шаблон маштабуецца танна і проста, у адрозненні ад якаснай навукі, таму і ёсць падмуркам ягонага кантэнту.

Калі вы ўсё яшчэ не бачыце праблемы — гэта нармальна. Трэба проста памятаць, што апроч карыснага там шмат дрэннай навукі, а само жаданне жыць па такіх мудрагелістых пратаколах ёсць формай крэатыўнай пракрастынацыі, за якой часта хаваецца няздольнасць прывесці ў парадак базавыя рэчы. Бо прасцей 17.5 секунд пяліцца на сонца пад вуглом у 45 градусаў, чым пачаць спаць як чалавек ці запісацца ў трэнажорку.

Таксама паказальна, што парады іконы SF дасягатараў у мерчы Patagonia часам цяжка адрозніць ад эзатэрычнасці парадаў пра здароўе у рускамоўных інтэрнэтах нулявых і дзясятых. Тэорыя падковы all over again.

Добрай усім пятніцы

Існуе папулярная кухонная гіпотэза аб тым, што Індустрыяльная рэвалюцыя здарылася, бо ў Англію завезлі гарбату і каву

Ідэя ў тым, што яны патрабуюць кіпячэння вады, гэта зніжае шанцы захварэць і здымае патрэбу піць замест вады алкаголь (а алкаголь тады давалі нават дзецям). Таксама кава з гарбатай стварылі умовы для вячэрніх і начных смен

На днях пад'ехала даследаванне з пераканаўчымі доказамі прынамсі пра ўплыў на здароўе

Аргумент будуецца так:

• У 1784 падатак на гарбату зніжаюць з 119% да 13%. Гэта вядзе да рэзкага росту імпарту гарбаты ў Англію
• Пасля 1784 пачынае заўважна падаць смяротнасць
• Пераважна праз хваробы, звязаныя з якасцю вады. Смяротнасць ад воспы, напрыклад, не падае
• Гэтае свята жыцця не закранае немаўлят. Зніжэнне адбываецца сярод дарослых. Аргумент у тым, што немаўлятам гарбату не даюць

З кавай павінная быць аналагічная механіка. Тобок мы ўсе не кававыя наркаманы, а прыхільнікі прагрэсу і акселерацыі ў тэхналагічную сінгулярнасць

Забаўная гісторыя

40 год таму ў Гарвардзе тэставалі, наколькі дактары разумеюць статыстыку. Пытанне наступнае:

1. Ёсць хвароба, якая сустракаецца раз на 1.000 чалавек
2. Памылкова пазітыўны тэст (хваробы няма, а тэст паказвае, што ёсць) здараецца ў 5% тэстаў
3. Калі хвароба ёсць, тэст працуе карэктна ў 100% выпадкаў
4. У чалавека пазітыўны тэст. Больш пра сітуацыю нічога не вядома
5. Які шанец, што ў чалавека гэтая хвароба?

Правільны адказ далі менш 20% дактароў, большасць лічыла, што адказ — 95%

Конкурс паўтарылі праз 40 год, у 2014 годзе і сітуацыя не памянялася

Правільны адказ дарэчы 2%

https://devby.io/news/ii-nauchilsya-predskazyvat-vremya-smerti-ludei

Кароткі гайд па тым, як публікаваць навуковыя артыкулы і рабіць з іх навіны

1. "Прадказваць час смерці" людзей умеюць ужо шмат год, гэта ўвогуле трывіяльная задача, такіх мадэляў сотні, калі не больш — не толькі тэарэтычных, а імплементаваных у клінічную практыку
2. Ніякія нейронкі там не патрэбныя. Усё робіцца дрэвамі рашэнняў, нашмат эфектыўней
3. Але з дрэвамі рашэнняў вы паперу не апублікуеце. Ну прост таму, што іх ужо сотні і назва не хайповая
4. Але вы не дуракі, разумееце маркетынг і хочаце заскочыць на хвалю хайпа па AI, LLM і г.д.
5. Таму вы робіце выгляд, што дрэваў рашэнняў не існуе і публікуеце паперу, дзе навамодныя нейронкі перамагаюць старыя нейронкі
6. Прыдумляеце містычны загаловак
7. Прафіт

Гэта ўжо не першы раз. Некалькі год таму Google выкаціў амаль ідэнтычную паперу з нейронкай, якая па факце працавала не лепш за лагістычную рэгрэсію — метад, якому 70 год. Быў скандал.

Агулам, любую навіну пра тое, што нейронкі нешта там прадказалі ў паводзінах людзей можна ігнараваць — яны дрэнна працуюць на такім класе задач. Чаму — іншая размова, калі небудзь напішу пра гэта пост

Лепш паглядзіце на прыгожую візуалізацыю дрэваў рашэнняў

Цікавае пра бядноту і злачынствы

Бедныя ладзяць больш злачынстваў. Адно з папулярных тлумачэнняў — таму, што банальна не хапае грошаў на жыццё

Тут даныя па латарэях у Швецыі. Даволі вялікая выбарка — 281 тысяча пераможцаў. У Швецыі ёсць нейкія папулярныя дзяржаўныя латарэі ці кшталту

Выснова: перамога ў латарэях не зніжае імавернасць зладзіць злачынства цягам наступных 7 год. Па катэгорыях, ёсць статыстычна нязначны рост імавернасці зладзіць эканамічнае злачынства ці гвалт і нязначнае падзенне імавернасці трапіцца за наркотыкі

https://marginalrevolution.com/marginalrevolution/2023/12/why-do-wealthier-people-commit-less-crime.html

Пра байкоты, сацыяльныя сеткі і палітычнае спажыванне

Байкот брэндаў па палітычных матывах — папулярная забаўка позняга капіталізу. Тут рабяты ўзялі канкрэтны выпадак, калі CEO амерыканскай кампаніі Goya (ежа) пахваліў Трампа ў 2020, што прывяло да заклікаў па байкоце брэнду

Высновы аналізу наступныя:

— Байкот перамог у сацыяльных сетках. Колькасць пастоў з крытыкай Goya значна перавышала колькасць пастоў у падтрымку
— Гэта не паўплывала негатыўна на продажы. Наадварот, на кароткі час продажы выраслі на 22%

Прапанаванае тлумачэнне такое:

— Калі вы дэмакрат і не набывалі гэтую ежу, яшчэ больш не набываць вы яе не здолееце
— Калі вы рэспубліканец і не набывалі гэтую ежу, вы можаце парачку разоў захапіць яе ў краме
— Асноўнай аўдыторыі гэтага брэнду, лацінасам, ўвогуле ўсё роўна, што там адбываецца ў Твітэры

Лайк і, как гаварыцца, рэпост