Есть у меня хороший товарищ, Дима Крюков, человек разнообразных интересов: транспортный энтузиаст, меломан, спортивный журналист, поэт, собиратель интересной живописи и прочее. Когда-то мы с ним работали вместе, подружились и с тех пор иногда пересекаемся по разным проектам и просто так.

Я давно знал, что один из проектов Димы это его собственная коллекция "интервью с интересными людьми" (не на youtube, а по старинке, буковками). Но не ожидал, что он позовёт поговорить меня — в списке интервьюируемых я непонятно как оказался в компании, например, Леонида Фёдорова, Максима Поташёва и кучи других интересных людей. Так или иначе, некоторое время назад разговор состоялся, и вчера Дима опубликовал его у себя на сайте. С одной стороны всё это довольно забавно, учитывая, что я так ничего особо умного там и не рассказал, но с другой стороны, текст получился честный и с кучей каких-то занятных мелочей, включая, в частности, историю возникновения и наименования этого канала

В общем, если на каникулах у вас есть время на лонгрид — почитать можно тут :)

Эффект uncanny valley в гостях у рубрики "странные роботы": аниматронический "ребёнок" от британской компании johnnolanstudio, занимающейся спецэффектами к разным блокбастерам. Источник — инстаграм дизайнера Карла Галливана, но в твиттере есть отличная озвученная версия от фанатов, рекомендую.

Напишу немного про создание языков. Я уже как-то упоминал про Interslavic, но есть и другие странные штуки. На сленге специально рассчитанные языки называются conlangs (constructed languages), а люди, которые их делают — conlangers. Самый известный conlanger, конечно, Толкиен, но есть и другие. Например, Дэвид Питерсон — он, в частности, создал пару языков для Игры Престолов. У Дэвида есть неплохая книга "Искусство создания языков", я её ещё не дочитал, но посмотрел запись его прошлогодней лекции "сделаем язык за час" в лектории Гугла. А для тех, кому не хочется самостоятельно разбираться с построением непротиворечивой системы фонетики, морфологии и так далее, есть готовые генераторы, например, рекомендую посмотреть систему Vulgar.

Ну или можно просто сыграть в игру "отличи имя персонажа Толкиена от названия антидепрессанта" или почитать про проект перевода фразы "мойте руки" на 500 обычных человеческих языков.

Внезапно: Star Wars мод для Microsoft Flight Simulator. Страница проекта.

Что-то все молчат про ThisAnimeDoesNotExist. Много их уже было, но тут качество заметно выше предыдущих, и есть классный видео режим прямо на сайте. Автор модели Aydao, фронт от NearCyan, подробный разбор технической части от Gwern.

Немного напишу про CLIP, как это работает и что с ним можно сделать.

Как все уже слышали, OpenAI в начале января анонсировала (но не выложила и даже пока толком не описала) модель DALL-E, которая (судя по отобранным примерам) очень неплохо рисует картинки по текстовому описанию. Поиграть с отобранными примерами можно на странице проекта, но это не так интересно. Интереснее, что они выложили отдельную модель CLIP, которую использовали в DALL-E. Этот самый CLIP умеет переводить тексты и картинки в вектора одного общего латентного многомерного пространства. Другими словами, он сопоставляет любой картинке или любому тексту вектор чисел фиксированной длины, причём так, что у надписи, подходящей к картинке, числа будут близкими к числам самой картинки. Вот тут можно посмотреть на случайные области картинок в этом пространстве.

С момента публикации народ начал пытаться использовать CLIP для генерации картинок. В открытом доступе есть много неплохих GAN-моделей, использующих своё собственное латентное многомерное пространство, каждой точке которого соответствует картинка, а близким точкам -- близкие картинки. (Там бывают и осмысленные направления, о которых пишутся научные статьи, но нам сейчас это не так важно.) К сожалению, пространства CLIP и какого-нибудь GAN никак не связаны. Но всё равно можно организовать поиск подходящей картинки, упрощённо говоря, так: начинаем из любой точки пространства GAN, делаем из неё картинку, картинку отдаём CLIP и смотрим, насколько далеко мы от точки в пространстве CLIP, заданной целевым текстом, и куда надо сдвинуться в пространстве GAN. И так ползём в сторону текста.

Самое бодрое из таких попыток, что я видел за этот месяц — проект Райена Мёрдока The Big Sleep на базе BigGAN. Народ вроде собирается поднять для проекта отдельный сайт, а пока можно поиграться в авторский колаб (или в русскую адаптацию колаба от @bomze). Работает оно жутко медленно и довольно криво, и конкретные объекты (особенно не из ImageNet-а) ему даются плохо. Но если проявить воображение и набрасывать абстрактные запросы, то можно наловить неплохих картинок.

В следующей пачке картинок одна — от автора модели ("a cityscape in the style of Van Gogh"), остальные — мои: "8-bit forest", "Escher's space", "Sierpinski hat" и "Hokusai Christmas".

Я недавно писал про проекты по генерации картинки по тексту с помощью сетки CLIP, а тут я решил попробовать обратную схему: собрал поиск точки в пространстве сети Optimus (это такой текстовый VAE), оптимальной с точки зрения близости к картинке в CLIP-пространстве. В целом, получилось довольно плохо, судя по всему, из-за характеристик самого пространства Optimus, буду думать и пробовать ещё. Но на сдачу получился простой скрипт, который просто выбирает подпись к картинке из заранее фиксированного пула текстов.

В качестве базы для экспериментов я взял ~8000 заголовков сатирического новостного агентства The Onion (это такой англоязычный прообраз ИА Панорама), и внезапно получилось очень смешно. Вот вам 4 примера на картинке и колаб, где можете попробовать сами с любой своей картинкой (а чуть поправив код -- и со своей базой текстов).