Новости сообщества LessWrong
1.24K subscribers
20 photos
1 file
814 links
Новости русскоязычной части сообщества LessWrong. Интересные статьи, новые переводы и встречи.
Download Telegram
Продолжаем читать и обсуждать книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби".

В четверг, 7 декабря мы обсудим эссе "A Technical Explanation of Technical Explanation", которое завершает том "Просто реальность".

После этого мы перейдём к тому "Просто доброта" и обсудим введение к нему от Роба Бенсинджера "Ends: An Introduction".

Встреча пройдёт в онлайне, на платформе Zoom. Ссылка для подключения будет в телеграм-группе https://t.me/lwreading

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
Продолжаем читать и обсуждать эссе из подборки "Best of Lesswrong", составленной на основе ежегодных голосований за лучшие эссе соответствующего года.

В понедельник, 11 декабря, мы переходим к обсуждению лучших эссе 2020 года. Начнём с тома "Reality & Reason" и поговорим про следующие эссе:

- The First Sample Gives the Most Information (Mark Xu)
- What Money Cannot Buy (johnswentworth)
- Reality-Revealing and Reality-Masking Puzzles (AnnaSalamon)
- To listen well, get curious (benkuhn)

Начало встречи в 20:00 по московскому времени (UTC+3).

Встречи проходят в онлайне на Discord-сервере.

Обсуждение встреч проходит в телеграм-чате: https://t.me/readthesequences
Продолжаем читать и обсуждать книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби".

В четверг, 14 декабря, мы начинаем обсуждать цепочку "Фальшивые предпочтения", в которой Юдковский рассуждает, какие ошибки обычно делают люди, когда рассуждают о ценностях. Поговорим про следующие эссе:

- Не ради одного лишь счастья;
- Фальшивый эгоизм;
- Фальшивая мораль;
- Фальшивые функции полезности.

Встреча пройдёт в онлайне, на платформе Zoom. Ссылка для подключения будет в телеграм-группе https://t.me/lwreading

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
image_2023-12-13_00-28-24.png
76.9 KB
#когнитивные_искажения #LLM

Довелось мне недавно поэкспериментировать с YaGPT, и в процессе я частенько сталкивался с галлюцинациями этой нейросетки. Поразмыслив на эту тему, я пришел к выводу, что "когнитивные искажения в человеческом мозге" и "галлюцинации в больших языковых моделях (LLM)" - суть вещи одного порядка и имеют общее происхождение. Ну, по крайней мере, в определенных сценариях.

Подробнее о том, чему рационалисты могут научиться у специалистов по ML (и наоборот) - в этой заметке:
https://telegra.ph/Gallyucinacii-LLM-i-kognitivnye-iskazheniya---dve-storony-odnoj-medali-12-12

На КДПВ - один из моих первых опытов общения с YaGPT-1.
Для тех, кто ассоциирует себя с движением "Эффективного альтруизма". "Rethink Priorities" опубликовала очередной опрос на тему, насколько вас устраивает происходящее в движении и какие приоритеты вы считаете наиболее важными. (Опрос на английском.)

https://rethinkpriorities.qualtrics.com/jfe/form/SV_1G37guBPVAl9TtI?source=shared
На lesswrong.com начался традиционный ежегодный процесс определения лучших эссе прошлого года. Процесс состоит из предварительного голосования, написания обзоров и итогового голосования.

Подробности: https://www.lesswrong.com/posts/B6CxEApaatATzown6/the-lesswrong-2022-review

Подборки лучших эссе за 2018 - 2020 годы можно посмотреть в разделе Best of Lesswrong, результаты голосования за эссе 2021 года - в соответствующей записи.
Продолжаем читать и обсуждать книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби".

В четверг, 21 декабря мы обсудим вторую часть цепочки "Фальшивые предпочтения", в которой Юдковский рассуждает, какие ошибки обычно делают люди, когда рассуждают о ценностях. Поговорим про следующие эссе:

- Ошибка выломанного рычага;
- Dreams of AI Design;
- The Design Space of Minds-In-General.

Встреча пройдёт в онлайне, на платформе Zoom. Ссылка для подключения будет в телеграм-группе https://t.me/lwreading

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
Продолжаем читать и обсуждать эссе из подборки "Best of Lesswrong", составленной на основе ежегодных голосований за лучшие эссе соответствующего года.

В понедельник, 25 декабря, мы продолжаем обсуждать эссе из тома "Reality & Reason". Поговорим про следующие эссе:

- The Felt Sense: What, Why and How (Kaj_Sotala)
- The Solomonoff Prior is Malign (Mark Xu)
- The Treacherous Path to Rationality (Jacob Falkovich)
- Anti-Aging: State of the Art (JackH)

Начало встречи в 20:00 по московскому времени (UTC+3).

Встречи проходят в онлайне на Discord-сервере.

Обсуждение встреч проходит в телеграм-чате: https://t.me/readthesequences
#LW_вики

В этом году я написал совсем немного постов - отчасти из-за того, что уйму времени потратил на работу над мега-постом про безопасность ИИ, а отчасти - потому что много писал не в канал, а в вики русскоязычного рацио-сообщества. Началось всё с того, что мне захотелось иметь возможность поставить в посте ссылку на "эпистемический статус" и "эпистемическое усилие", а подходящей статьи в интернете не было - и, как водится, пришлось написать ее самому (а заодно и узнать, как же, черт возьми, в вики создавать новую страницу). Ну и тут всё заверте...

По странице "Вклад" на вики я подсчитал, что сделал за это время суммарно правок на +149.732 и -1.671 символов, а это, на секундочку, по объему как 10 постов "Насколько сложно менять(ся)". Что-то перекочевало из моих постов в этом канале (раз уж я хорошо разобрался в проблеме, то почему бы не осветить ее и в вики?): Калибровка и Калибровочное ЧГК, Теорема Ауманна и Игра Ауманна о согласии, Охота на оленя (пока в сильно сокращенном виде) и Безопасность искусственного интеллекта (и много-много ссылок на релевантные материалы).

Из страниц же на новые темы, которые я написал целиком или почти целиком сам (все-таки вики - это коллективное творчество), я - в качестве компенсации за отсутствие постов в канале - могу посоветовать вам прочитать вот эти (достаточно большие и содержательные):
* Уровни симулякров - про интересную концепцию о том, как люди постоянно говорят одно, а транслируют сообщение совсем о другом;
* Ask, Guess, Tell Culture - про разные культуры коммуникации: "резать правду-матку словами через рот" vs "попробуй угадать, что я имею в виду", их плюсы и минусы, и какой ужас творится при столкновении двух разных культур;
* Дилемма заключенного - далеко не только про классическую, но и про повторяющуюся, и про вариацию с доступом к исходному коду своего оппонента;
* Общее знание - на этой концепции основана теорема Ауманна, а еще Охота на оленя, и вообще это очень важная штука, полезная много где (а еще в статье есть про то, как островитяне-байесианцы бросаются в жерло вулкана, узнав цвет своих глаз);
* AI Boxing - про классическое "Вы боитесь, что ИИ вас уничтожит? А почему бы вам просто не запереть его в песочнице/Матрице, чтобы он не мог ничего сделать в реальном мире?" и почему это не работает.

Конечно, было много и мелких статей, и небольших доработок, и правок самой структуры вики. Так, по итогам примерно года моей активной работы над этой конструкцией целиком, мне, пожалуй, удалось существенно облагородить ее в некоторых моментах (впрочем, и фундамент, заложенный изначальными создателями вики, уже был весьма хорош - но работы оставался еще непочатый край):
* помимо написания новых статей я улучшал и актуализировал старые;
* переработал Глоссарий и добавил Запросы на создание страниц;
* дорабатывал структуру категорий;
* провел в Байесовом саду и КЗиСе голосование за присвоение некоторым страницам статуса "Золотая страница", и по результатам - раздал статьям-победителям соответствующие лычки;
* на основе всей предыдущей работы - переформатировал заглавную страницу вики: оформил ее в виде блоков и добился того, чтобы в каждом блоке было сравнительно немного страниц, но зато не было ничего лишнего и неактуального; теперь там только то, что действительно достойно чтения (а статьи на более специфические темы можно найти либо поиском, либо через дерево категорий, ссылка на которое есть внизу заглавной страницы).

Так что если года два-три назад вы заходили на вики и прочитали там всё, что было стоящего - загляните туда еще раз: наверняка найдете что-то новое и заметите некоторые улучшения!

А еще я записал видео-гайд по тому, как писать и редактировать статьи на этой вики. С момента записи гайда я узнал по теме кое-что новое, но это уже детали и рюшечки, а в гайде - вечно актуальная база. Если вы тоже хотите приложить руку к улучшению вики (между прочим, сейчас над ней работают и другие участники, далеко не я один), то обязательно начните с просмотра этого видео - а дальше уже будет гораздо проще!
Продолжаем читать и обсуждать книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби".

В четверг, 28 декабря, мы начинаем обсуждать цепочку "Теория ценности", в которой Юдковский рассуждает о том, что мешает построить новую теорию, и об интуиции на тему, какой эта теория должна быть. Поговорим про следующие эссе:

- Где заканчивается рекурсия обоснований;
- My Kind of Reflection;
- No Universally Compelling Arguments;
- Created Already In Motion.

Многие эссе из этой цепочки не переведены на русский, оригиналы можно найти на соответствующей странице на lesswrong.com.

Встреча пройдёт в онлайне, на платформе Zoom. Ссылка для подключения будет в телеграм-группе https://t.me/lwreading

Начало в 18:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
Продолжаем читать и обсуждать книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби".

В четверг, 4 января мы продолжим обсуждать цепочку "Теория ценности", в которой Юдковский рассуждает о том, что мешает построить новую теорию, и об интуиции на тему, какой эта теория должна быть:

- Раскладывание камней в правильные кучи;
- Двуместные и одноместные слова;
- Что вы сделаете без морали?
- Changing Your Metaethics.

Последнее эссе не переведено на русский язык.

Встреча пройдёт в онлайне, на платформе Zoom. Ссылка для подключения будет в телеграм-группе https://t.me/lwreading

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
Продолжаем читать и обсуждать эссе из подборки "Best of Lesswrong", составленной на основе ежегодных голосований за лучшие эссе соответствующего года.

В понедельник, 8 января, мы продолжаем обсуждать эссе из тома "Reality & Reason". Поговорим про следующие эссе:

- Search versus design (Alex Flint)
- Radical Probabilism (abramdemski)
- Introduction To The Infra-Bayesianism Sequence (Diffractor, Vanessa Kosoy)
- When Money Is Abundant, Knowledge Is The Real Wealth (johnswentworth)

Начало встречи в 20:00 по московскому времени (UTC+3).

Встречи проходят в онлайне на Discord-сервере.

Обсуждение встреч проходит в телеграм-чате: https://t.me/readthesequences
Продолжаем читать и обсуждать книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби".

В четверг, 11 января мы продолжим обсуждать цепочку "Теория ценности". Поговорим про следующие эссе:

- Could Anything Be Right?
- Morality as Fixed Computation;
- Magical Categories;
- Настоящая дилемма заключенного.

Встреча пройдёт в онлайне, на платформе Zoom. Ссылка для подключения будет в телеграм-группе https://t.me/lwreading

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
Новость для жителей Израиля.

В четверг, 11 января, в Тель-Авиве состоится встреча с участием Михаила Самина, на которой будут обсуждаться вопросы регулирования ИИ и проблемы безопасности ИИ в целом.

Михаил в прошлом организовал краудфандинг на печать книг "Гарри Поттер и методы рационального мышления" (который на некоторое время стал крупнейшим краудфандингом в России), а сейчас занимается вопросами регулирования ИИ.

Встреча пройдёт в Bitcoin emBassy, начало в 19:30.

Язык встречи: английский.

Подробности: https://www.facebook.com/events/1309702593021902/
Запись доклада Антона Желтоухова "Сила Убеждений или Убеждения не равны", в котором рассказывалось о модели анализа убеждений.

https://www.youtube.com/watch?v=Vhlyi5sooyU

Доклад был сделан 23 декабря на праздновании Светского Солнцестояния в "Кофемашине Тьюринга". На всякий случай предупрежу, что запись делалась на мобильный с рук, поэтому качество, мягко говоря, не слишком хорошее. Однако речь и прочие необходимые для понимания детали различить вполне можно.
Слава Меритон и Ян Лютнев представляют: Ознакомительный мини-курс по фундаментальной рациональности

Цена: Курс бесплатен (популяризация рациональности)

в него входит вводная встреча + 4 занятия

Слово автора (Слава Меритон)
Навык рациональности, как я его понимаю, – это НЕ знание полезных инструментов, это такая привычка, тенденция, склонность жить таким образом, что цели достигаются. Содержание этого курса построено вокруг попытки передать такое понимание и частично, первично сформировать такой навык. Это весьма нетипичный подход к изучению рациональности.

Программа ОЧЕНЬ авторская.

Описание курса:
Это курс длиной в 4 недели, который нужен чтобы создать впечатление о том, как может выглядеть изучение LW рацио. В нём много обсуждений и групповой работы. Он не сделает вас рационалистом. Но возможно создаст более или менее достойное представление о том, что вообще значит быть рационалистом, и позволит принять решение, стоит ли лично вам изучать рациональность.

Цель курса:
У этого курса две главные цели, с которыми участники могут приходить на него:
Получить представление — о чём речь в парадигме LessWrong рациональности и как это должно работать (с точки зрения автора курса).
Попробовать подход на себе.

Платформа:
Zoom

Даты
:
встреча 0 вводная - 23 января 22-00 мск (вт)
встреча 1 - Что такое LessWrong рациональность. Идентичности. Карта и территория - 27 января 22-00 мск (сб)
встреча 2 - Шестерёнки. Исправление неверного вопроса - 3 февраля 22-00 мск (сб)
встреча 3 - Воспринимая идеи всерьёз. Кризис веры. - 10 февраля 22-00 мск (сб)
встреча 4 - Повторение. Итоги. Практика - 17 февраля 22-00 мск (сб)

Как попасть:
вступить в группу
Продолжаем читать и обсуждать эссе из подборки "Best of Lesswrong", составленной на основе ежегодных голосований за лучшие эссе соответствующего года.

В понедельник, 15 января, мы переходим к обсуждению тома "Coordination and Constraint". Поговорим про следующие эссе:

- Coordination as a Scarce Resource (johnswentworth)
- Transportation as a Constraint (johnswentworth)
- Interfaces as a Scarce Resource (johnswentworth)
- Seeing the Smoke (Jacob Falkovich)

Начало встречи в 20:00 по московскому времени (UTC+3).

Встречи проходят в онлайне на Discord-сервере.

Обсуждение встреч проходит в телеграм-чате: https://t.me/readthesequences
В последнее время здесь было много анонсов онлайновых читательских клубов, и я решил сократить их число. Теперь анонсы будут появляться не каждую неделю, а при переходе к новой Цепочке/тому/книге или при каких-то ещё интересных событиях.

Вероятно, все желающие следить за деятельностью читательских клубов уже и так подписались на их группы, но на всякий случай напомню ещё раз:

1. По понедельникам в 20:00 (время здесь и далее московское, UTC+3) идёт обсуждение эссе из раздела Best of Lesswrong. Это эссе, написанные в последние годы и признанные лучшими по результатам голосования в сообществе.

Сейчас идёт обсуждение тома "Coordination & Constraint". Встречи проходят на Discord-сервере.

Следить за анонсами можно в телеграм-группе: https://t.me/readthesequences

2. По четвергам тоже в 20:00 обсуждается книга Элиезера Юдковского "Рациональность: от ИИ до Зомби". Сейчас участники разбирают раздел "Теория ценности" / "Value Theory".

Эти встречи проходят в Zoom'е, ссылка для подключения обычно публикуется перед началом встречи в телеграм-группе: https://t.me/lwreading