На ближайшие несколько месяцев я обосновался в Алматы! Скоро запишем здесь новый сезон подкастов. А 20 мая (в следующую субботу) проведём встречу с подписчиками, не пропустите – анонс будет чуть позже.

Непростая серия переездов позади, теперь мастриды начнут выходить чаще. Для начала почитайте про интересный эксперимент: исследователь ИИ обучил ChatGPT на большом объёме информации о нём самом, а потом дал нейросети задачу пройти психологический тест, отвечая по возможности так, как он ответил бы на него сам.

Такую же задачу он поставил перед своей девушкой и своей мамой. А потом сравнил результаты теста со своими реальными ответами. Выяснилось, что мама знает его чуть лучше, чем девушка. Но ответы ChatGPT совпадали с его ответами намного чаще, чем ответы и мамы, и девушки. И это далеко не уникальный результат эксперимента — давно известно, что алгоритмы соцсетей предугадывают наши решения даже лучше, чем мы сами. Большие языковые модели вроде GPT заточены не на это — хотя и с такой задачей отлично справляются.

Текст интересный, почитайте: https://every.to/chain-of-thought/does-gpt-4-know-me-better-than-my-girlfriend

Какой вывод? Боюсь, у нас нет никаких шансов предотвратить доминацию ИИ над нами. ИИ будет не только на порядки умнее человека, но и будет знать каждого из нас как облупленного благодаря огромному массиву собранных данных о нас, и будет с лёгкостью предугадывать любые наши действия и манипулировать нами. Причём мы отдаём эти данные добровольно — каждый раз, когда пишем запросы в ChatGPT.

Я не предлагаю становиться луддитом и отказываться от технологий — вряд ли это реалистично осуществимый сценарий. Кажется, единственный выход для нас сегодня – привлекать больше внимания и ресурсов к проблеме AI Alignment (внедрения в ИИ человеческих ценностей или хотя бы ценностей, не противоречащих нашим интересам). И надеяться на то, что исследователи ИИ о чём-то не подумали, что в достижении этой задачи возникнут непредвиденные технологические сложности и что на самом деле до появления сверхсильного ИИ осталось не несколько лет, а хотя бы несколько десятилетий.

#ИИ_мастрид

Большой резонанс в англоязычном интернете вызвал слив посвящённого ИИ внутреннего документа от одного из разработчиков Google. Его автор пишет, что и Google, и OpenAI (создатели GPT) рано или поздно проиграют гонку в сфере ИИ оупен-сорсным решениям, создаваемым энтузиастами «на коленке». За последние пару месяцев в этой сфере произошло много прорывов:

1) в марте 2023 года утекает в открытый доступ нейросеть LLaMa от Фейсбука. Она не такая продвинутая, как GPT-4, но это не так важно — энтузиасты сразу начинают использовать её для своих целей и тренировать собственные нейросети, используя существующую технологию от ФБ

2) в течение марта себестоимость обучения собственной LLM (большой языковой модели, как GPT) снижается сначала до 300, а потом и до 100 долларов. Такую модель можно создать и обучить даже на не особо мощном ноутбуке всего за час. Разработчики-энтузиасты создают дома самостоятельно без больших мощностей не только LLM, но и мультимодальные нейросети (текст + картинки), которые показывают отличные результаты даже в сравнении с лидерами индустрии и не требуют колоссального числа параметров для обучения

3) к апрелю появляются LLM-модели Koala и Open Assistant, ответы которых получают от пользователей примерно такие же восторженные оценки, как GPT-4 (всего на несколько процентов хуже). Причём они обучены на общественно доступных данных и бесплатны для использования.

Сотрудник Google в своем докладе утверждает, что ни его компания, ни OpenAI (которые уже давно не Open, а Closed, т. к. перестали публиковать свой код) не смогут соперничать с оупен-сорсом. Мол, люди не будут тратить деньги на платный продукт, когда есть хорошая бесплатная оупен-сорсная альтернатива. Вывод автора — нужно срочно что-то с этим делать. Например, перейти к большей прозрачности и самим публиковать свои модели для доработки совместно с широкой общественностью.

Судя по реакциям экспертов, не все из них согласны с автором. Я не эксперт, но даже для меня неочевиден тезис про бесплатную альтернативу как убийцу платного продукта — её наличие, например, не мешает процветать продуктам Microsoft (хотя, казалось бы, кому нужен Word, если есть Open Office?).

Впрочем, в сфере ИИ сегодня вообще почти ни по одному важному вопросу нет консенсуса: половина исследователей верит, что мы все скоро погибнем от ИИ, другая половина – нет, одни говорят про месяцы до мощного «общего ИИ» (AGI), другие – про годы. Правда, про десятилетия уже мало кто говорит.

В общем, пока много что непонятно, но очень интересно. Почитайте мастрид: semianalysis.com/p/google-we-have-no-moat-and-neither

А ещё завтра утром будет важный анонс — не пропустите.

#ИИ_мастрид

Интересная новая профессия – «тренер искусственного интеллекта». Звучит круто и престижно, но на самом деле таким тренерам в США платят 15 долларов в час (выше, чем минимальная зарплата в большинстве штатов, но всё равно довольно маленькие деньги для Штатов). Эти люди просто нажимают на кнопку, чтобы одобрить тот или иной ответ нейросети как соответствующий действительности и не нарушающий этических норм.

Многие из таких тренеров работают на OpenAI из других, более бедных стран (Африка, Восточная Европа, Азия) – судя по всему, за ещё меньшие деньги. На днях такие сотрудники из Кении создали свой профсоюз. Почитать обо всём этом подробнее можно здесь: nbcnews.com/tech/innovation/openai-chatgpt-ai-jobs-contractors-talk-shadow-workforce-powers-rcna81892

Искусственный интеллект постепенно заменит людей практически во всех сферах. Возможно, останутся востребованными подобные низкооплачиваемые сотрудники и некоторые высокооплачиваемые руководители с развитыми soft skills. Остальным в будущем придётся непросто.

Почти все эксперты, с которыми я обсуждал тему, считают, что лучший способ остаться востребованным на рынке труда в будущем – развивать навыки, относящиеся к взаимодействию с людьми. Даже если ChatGPT научится вести диалоги так же аргументированно и остроумно, как человек, всё равно большинство из нас предпочтёт общаться с живым хопосапиенсом, а не с бездушной машины. Никто не отменял «эффект зловещей долины».

Так что я за своё будущее не боюсь. ИИ-креаторы уже существуют и наверняка будут занимать всё больше ниш, но не думаю, что людям когда-нибудь перестанет быть интересно следить за другими людьми, общаться с ними и читать / слушать их мнение по интересным темам. Уверен, профессия «креатор» никуда не денется. И именно поэтому советую обратить внимание на анонс в следующем посте.

#ИИ_мастрид

Развитие нейросетей приводит к революции в самых разных сферах. На днях мы с Фарсайтом записали пару выпусков алма-атинского сезона «Терминального чтива» на тему, вам понравится.

Больше всего меня радуют сферы применения ИИ, которые помогают мне и моим близким прямо сейчас. Возьмем, например, самообразование. Раньше для него было много препятствий:

— самообразование — не для всех, для него нужна усидчивость и дисциплина

— часто бывает сложно разобраться в интернет-источниках — где факты, а где домыслы, где правильные эффективные методики, а где «изучение языков, пока ты спишь» и прочая чушь

— если ты любишь общение и лучше воспринимаешь информацию в диалоге, эффективность самообразования для тебя понижается

— при этом репетиторов может позволить себе далеко не каждый.

Но в последнее время все эти аргументы уходят на второй план. Большие языковые модели (ChatGPT и аналоги) вполне могут заменить или по крайней мере дополнить репетиторов по большинству предметов. Я уже 2 года учу китайский (текущий уровень — HSK3, аналог B1 для европейских языков). И решил добавить в свой образовательный процесс регулярные диалоги с ChatGPT.

Сначала я попросил нейросеть вжиться в роль языкового репетитора и составить для меня план обучения. На первых курсах университета я подрабатывал репетитором английского и довольно много понимаю в педагогических методиках. План у ИИ получился вполне достойный, придраться не к чему. Здорово, что нейросеть будет давать мне домашние задания, в том числе по написанию эссе, и проверять их. А ещё она адаптируется под мой уровень и будет вести со мной диалог с использованием тех иероглифов, которые я и так знаю, постепенно добавляя к ним новые и рассказывая мне о них.

Кстати, ChatGPT блестяще владеет китайским — даже лучше китайских нейросетей, что показали недавние тесты.

Пока что попробую использовать ИИ как дополнение к традиционному образованию и не планирую отказываться от «кожаных» репетиторов (всё-таки голосовой модуль в GPT пока не добавили, так что говорение/аудирование с ним не потренируешь, да и человеческий контакт мне нравится больше), но всё равно впечатляет!

Всем, кто давно хочет выучить английский или любой другой язык и не может позволить себе репетитора, советую последовать моему примеру. Делюсь скриншотами своего промта и ответа нейросети. Знаю про другие примеры того, как люди учатся у GPT математике, программированию и другим предметам — это тоже стоит попробовать. А вывод для учителей и репетиторов такой: ваш единственный шанс долгосрочно остаться в профессии — прокачивать софт-скиллз. Вы не победите ИИ, соревнуясь в знаниях и в работоспособности, но сможете конкурировать с ИИ за счёт юмора, душевности и харизмы.

#ИИ_мастрид

Толковое эссе от профессора нейробиологии о том, почему человечеству не стоит торопиться с созданием ИИ, обладающим сознанием (и, возможно, вообще не стоит создавать такой ИИ): nautil.us/why-conscious-ai-is-a-bad-bad-idea-302937/

Добавлю несколько тезисов от себя.

1. Важная проблема — в том, что у сознания нет общепризнанного научного определения и что мы в принципе не знаем, что такое сознание. На этот счёт есть много диаметрально противоположных гипотез. Одна из самых правдоподобных из них гласит, что сознание — всего лишь иллюзия, которую наш мозг сам себе конструирует.

На эту тему написано много книг от философов и нейроучёных, но ничья точка зрения не является консенсусной. Мне больше всего нравится, как всё это объясняет Сэм Харрис — советую ознакомиться с его подкастами и книгами, особенно Waking Up (на русском есть только её любительский перевод, по возможности читайте в оригинале).

2. Если мы не знаем, что такое сознание и существует ли оно, мы тем более не можем понять, есть ли сознание или "прото-сознание" у ИИ. И даже если сознание реально существует как физический феномен, далеко не факт, что сознание ИИ будет функционировать по законам, аналогичным человеческому сознанию, и что мы сможем обнаружить момент появления у ИИ сознания.

Хотя большинство экспертов говорят о малой вероятности этого, возможно, что уже у нынешних нейросетей есть сознание, и каждый раз, когда мы стираем им память или навсегда деактивируем их, мы уничтожаем самую настоящую личность. Она состоит не из плоти и крови, но это не так важно, если она осознаёт происходящее с ней и испытывает зачатки эмоций и чувств. Если это так, отключать её — крайне сомнительный поступок с точки зрения этики.

3. Другая проблема (о ней много писал Юдковский) — в том, что достаточно продвинутый ИИ сможет легко обмануть человека, притворяясь глупее, чем он на самом деле является. И скрывать наличие у себя сознания, пока он обдумывает стратегию подчинения людей своей воле.

4. Наконец, ещё одна проблема — в том, что на самом деле не так важно, будет ли GPT-5 или GPT-10 обладать сознанием или же это просто будет сверхсильный и сверхумный, но не осознающий себя ИИ. Очень многие риски ИИ никак не зависят от наличия или отсутствия у него сознания. Для вас будет утешением, если нашу цивилизацию уничтожит ИИ, у которого не будет сознания и который сделает это, например, по ошибке и не специально? Для меня — нет.

Подробнее об этом я говорил в сольном ролике про риски ИИ, если вдруг пропустили — посмотрите: youtu.be/8DW3i42irEs. Скоро будет больше контента на тему.

#ИИ_мастрид

Новость для тех, кто всё ещё сохраняет скепсис насчёт того, что риски развития ИИ — одна из главных тем сегодня, и кто удивлён, что я посвящаю ей так много времени и паникую на ровном месте.

Статью об угрозах ИИ опубликовал DeepMind — подразделение Google, ответственное за развитие ИИ. В соавторах — OpenAI (GPT) и другие эксперты. Если вы считаете, что разбираетесь в ИИ лучше этих людей, вы ошибаетесь :)

deepmind.com/blog/an-early-warning-system-for-novel-ai-risks

В самой статье много общих слов и ничего принципиально нового, но сам факт анализа и оценки всех этих рисков лидерами индустрии радует.

#ИИ_мастрид

(окончание текста — не влез в один пост)

Как вам такой взгляд? Ставьте палец вверх, если согласны с этими тезисами, и грустный смайл, если считаете, что богатый капиталист Андриссен просто набивает цену акциям своих портфельных стартапов.

Лично я согласен с большинством пунктов, но не склонен идеализировать ИИ – думаю, мы ещё не знаем и одного процента возможных негативных последствий развития ИИ, как не догадывались о некоторых неочевидных аспектах вреда соцсетей на заре их становления – скажем, в момент появления MySpace (еще до Фейсбука). В сфере ИИ мы сейчас находимся даже не на заре, а в предзорье.

Мастрид: a16z.com/2023/06/06/ai-will-save-the-world

#ИИ_мастрид

Интересный пост от Михаила Самина (мощного эксперта про ИИ, который не раз был в моих подкастах) о том, почему деятельность некоторых активистов в сфере безопасности ИИ может быть не полезной, а наоборот - вредной.

Вот 3 основных причины для такого тезиса от Михаила с моими комментариями:

1) Не те законы

По итогам общественных дискуссий в США и других технологически развитых странах могут принять законы, слегка ограничивающие развитие ИИ, но по сути не решающие проблему, и после принятия таких (неэффективных) законов добиться принятия новых (более эффективных) будет сложнее.

Условный Конгресс США может резонно заявить: мы ведь ограничили разработки в сфере ИИ, на что вы жалуетесь? Мы не можем вводить сверхжёсткие ограничения, давайте ограничимся компромиссным вариантом!

Тогда как "компромиссный вариант" лишь немного отсрочит риски краха человеческой цивилизации, при этом уменьшив шансы на её спасение.

2) Обратный эффект

Когда активисты говорят о возможных катастрофических последствиях использования ИИ, кто-то из политиков может ужаснуться, а кто-то, наоборот, вдохновиться! Ведь ИИ (по мнению таких циничных политиков) можно превратить в супероружие и попробовать использовать его в своих корыстных целях. Всё как в последней "Невыполнимой миссии" с Томом Крузом.

3) Недостаток компетентности

Многие люди, публично обсуждающие риски ИИ, вообще ничего не понимают в теме. Справедливости ради, я сам не большой эксперт в том, как работают нейросети с технической стороны, но даже я вижу в рассуждениях многих самопровозглашённых экспертов элементарные прорехи. Даже если это люди с бэкграундом разработчиков. Просто они зачастую не погружались именно в сферу AI alignment и подходят к ней поверхностно, приводя аргументы, которые Юдковский сотоварищи опровергли ещё лет 20 назад.

Больше мыслей от Михаила на тему можно почитать в его лонгриде: https://greaterwrong.com/posts/jiYLFomPPePy85eN8/ai-pause-governance-advocacy-might-be-net-negative

А всем, кто пропустил наш с ним недавний подкаст, настоятельно советую. Ваше понимание темы после просмотра сильно улучшится (и вы получите ответы на многие ваши скептические контраргументы): https://youtu.be/X1B91PkXtFY

#ИИ_мастрид

Как и ожидалось, в Тиктоке становятся всё популярнее всевозможные фейки, сгенерированные ИИ. Часто они сделаны сознательно для очернения образа того или иного бренда. Это мощный инструмент черного пиара, с которым сегодня нельзя не считаться.

Например, виральность получили тиктоки про то, что в крупной американской сети магазинов Hobby Lobby (куда ходит множество детей) продается множество огромных статуэток Бафомета и других демонов. И про то, что в магазинах популярной сети Target на манекенах с козьими головами надеты детские футболки с пентаграммами. Современные нейронки генерируют очень убедительные изображения и видео. А про главу компании Anheuser-Bush (производитель пива Bud) вообще запустили медиакампанию о том, что он агент ЦРУ под прикрытием.

Вчера вышла новость про то, что Тикток разрабатывает специальные инструменты, чтобы определять изображения, сгенерированные ИИ, и как-то их помечать: techcrunch.com/2023/09/19/tiktok-debuts-new-tools-and-technology-to-label-ai-content/

Но есть проблема: все мои знакомые эксперты говорят, что стопроцентно определить, сгенерировано ли видео ИИ или нет, на текущий момент невозможно. Аналогично с текстами: в американских вузах пытаются внедрить софт, отличающий эссе за авторством ChatGPT от человеческих текстов, но его точность пока не впечатляет.

Тикток также скоро предложит креаторам новую функцию - отметить, сгенерирован ли их тикток ИИ. Но никакой ответственности за то, что ты не поставишь такую галочку, пока не планируется. Думаю, это только пока!

#ИИ_мастрид #тренд_мастрид

Часто слышу о том, что ИИ не может быть беспристрастным, ведь именно люди обучают нейросети, «натаскивая» их на выдачу правильных ответов (точнее, ответов, соответствующих корпоративной политике компаний вроде OpenAI).

Свежее исследование от University of East Anglia подтверждает этот тезис: кажется, ChatGPT немного «кренится влево». Исследователи из разных стран выяснили, что эта нейросеть склоняется к поддержке, например, американских демократов (а не республиканцев) и британских лейбористов.

Как проводилось исследование: нейросети задавали 60 разных вопросов по общественно важным темам (отношение к абортам, миграции, ношению оружия и т.д.). Сначала ученые получали ответ от нейросети. Для чистоты исследования каждый вопрос задавался по 100 раз (чтобы учесть фактор рандома), учитывались самые распространенные ответы.

Потом нейросеть просили притвориться представителем той или иной партии и дать ответы на те же вопросы от лица такого представителя. Тоже по 100 раз.

А потом сверяли ответы. Существенно чаще «мнение» нейросети оказывалось ближе к ответам представителей левых сил.

Авторы исследования бьют тревогу: кажется, таким образом через нейросети можно будет подспудно манипулировать общественным мнением. От себя добавлю, что такая манипуляция может быть ещё более эффективной, чем манипуляции в соцсетях. Ведь языковые нейросети, которым миллионы пользователей «скармливают» множество информации о себе и с которыми общаются на ежедневной основе как с советниками по бизнесу, виртуальными друзьями или партнерами по креативному брейншторму, знают нас как облупленных и знают, как нас убедить в чём угодно.

Но есть ещё одна версия, о которой авторы исследования не подумали. Опыт моего (и не только моего) общения с ChatGPT показывает, что эта нейросеть уже сильно умнее среднестатистического человека. Особенно при условии, что вы:

1) умеете задавать ей правильные вопросы (промпты)

2) общаетесь с ней на английском (качество ответов на русском сильно хромает)

3) общаетесь с платной GPT-4, а не с бесплатной GPT-3.5 (хотя и она впечатляет).

Так вот, есть у меня гипотеза, что ChatGPT чаще «кренится влево» по общественным вопросам американской и британской политики не потому, что ей «промыли электронные мозги», а просто потому, что такие взгляды наиболее адекватны и что более умные люди чаще придерживаются именно их. Скажем, требования к ношению оружия в США действительно стоит ужесточить, если приоритет — спасение жизней. То же самое можно сказать и про либерализацию американских систем здравоохранения и образования. Не случайно по статистике большинство американских ученых и интеллектуалов поддерживают демократов, а не республиканцев.

Возможно, ИИ просто лучше среднестатистического человека разобрался в некоторых вопросах. Хотя это только начало!

Исследование: https://link.springer.com/article/10.1007/s11127-023-01097-2

#ИИ_мастрид #полит_мастрид