Вот вам музыкальные котики от SG3 (самое прикольное, что работает в режиме реального времени – 25 кадров у секунду)

Автор

Вертикальный вывод в Colab

Colab продолжает по тихому вводить новые крутые штуки. Сегодня узнал, что вывод можно делать не после ячейки, а параллельно ей. Очень удобно.

Что бы так сделать, надо в начало ячейки вставить:

#@title Название {vertical-output: true}

#Colab #tricks

StyleGAN3 Music Video

Вдохновившись танцующими котиками, сделал демку для генерации музыкальных видео. Можно использовать со всеми доступнами моделями StyleGAN и с любыми музыкальными трэками (привзяно к частотам)

💻Играть в моем колабе

#GAN #demo #audio

Machine Learning Application for the Event Horizon Telescope 🔭

Продолжается серия увлекательных докладов Physics meets ML.
Доклад (20ого октября) можно послушать тут.

#ScientificML #meetings

Машинное обучение для гамма-излучения в центре галактики 🌌

Природа гамма-излучения Ферми в галактическом центре (GCE) до сих пор остается загадкой. Хотя избыток в целом совместим с излучением, ожидаемым из-за аннигиляции темной материи, объяснение в терминах, например, миллисекундных пульсаров, остается жизнеспособным.

Авторы используют методы оценки плотности с использованием нормализующих потоков, чтобы охарактеризовать вклад моделируемых компонентов (что именно выдаёт излишки гамма-излучения).

По сравнению с традиционными методами, основанными на статистическом распределении числа фотонов, их метод, основанный на машинном обучении, способен использовать больше информации, содержащейся в модели излучения Галактического центра, и, в частности, может выполнять апостериорную оценку параметров с учетом пространственных корреляций между пикселями на карте гамма-излучения. Это делает метод заметно более устойчивым к некоторым формам неправильной спецификации модели.

Статья
Код

#ScientificML #physics #flows

Естественно РНФовские сммщики не умеют ставить прямые ссылки, но тем не менее, рад для разнообразия написать и про российских ученых (я имею ввиду тех, которые работают в России).

Искусственный интеллект уже способен решать абсолютно разные задачи: от написания новостей до управления автомобилем. Что же нас ждет в будущем? Исследователи не останавливаются на достигнутом и используют искусственный интеллект в экспериментах на Большом адронном коллайдере для поиска физических законов, не входящих в Стандартную модель физики частиц.

О технологиях искусственного интеллекта, которые позволяют обрабатывать физические данные, симулировать события и происходящее на микроуровне, и даже планировать будущие эксперименты, расскажет Денис Деркач, PhD, доцент, старший научный сотрудник Лаборатории методов анализа больших данных Высшая школа экономики, победитель Президентской программы Российского научного фонда.

Какая досада, что уже прошло и я даже не глянул.

How Underspecification Presents Challenges for Machine Learning

Модели машинного обучения (ML), при использовании в реальных областях, часто демонстрируют неожиданное поведение. Например, модели компьютерного зрения могут проявлять удивительную чувствительность к нерелевантным характеристикам, а модели обработки естественного языка могут непредсказуемо зависеть от демографических корреляций, не указанных непосредственно в тексте. Некоторые причины этих неудач хорошо известны: например, обучение ML-моделей на плохо обработанных данных. Некоторые - только изучаются.

В статье, авторы из Google, показывают, что предсказание на реальных данных проваливается из-за недоопределения. Идея недоопределения заключается в том, что хотя модели ML тестируются на проверенных данных, этой проверки часто недостаточно, чтобы гарантировать, что модели будут иметь четко определенное поведение, когда они используются в новых условиях.

Блог-пост

#training #inference

SSAST: Self-Supervised Audio Spectrogram Transformer

Вообще стараюсь не писать про статьи без кода, но тут прям круг замкнулся. Следите за руками. Сначала придумали DL для картинок, потом попробовали применять этот картиночный DL к сигналам, поняли что что-то не так. Придумали использовать его на спектрограммах (2х мерное представление звука) - заработало. Потом придумали трансформеры, что бы работать непосредственно с time-series. Класс, все работает. Но! Потом придумали трансформеры для картинок (Visual Transformers - ViT), а теперь их же используют для спектрограмм. У меня все.

📎Статья

#transformer #signal #sound #SSL

WeightWatcher (WW) - это диагностический инструмент с открытым исходным кодом для анализа глубоких нейронных сетей (DNN), не требующий доступа к обучающим или даже тестовым данным. Он может быть использован для:

* анализа предобученых сетей
* контроля за переобучением или перепараметризацией
* прогноза точности тестов для различных моделей, с обучающими данными или без них
* выявления потенциальных проблем при сжатии или точной настройке предварительно обученных моделей

И ещё много чего. Библиотека основана на серьезных исследованиях лаборатории в Беркли. Собираюсь дать этой штуке шанс и посмотреть насколько это все полезно в реальных задачах.

🖥 Код

#training #inference #theory

Предсказание формулы в Google Sheets

Сотни миллионов людей пользуются электронными таблицами, и формулы в этих таблицах позволяют пользователям выполнять сложный анализ и преобразования данных. Хотя языки формул проще, чем языки программирования, написание этих формул все равно может быть утомительным и чреватым ошибками, особенно для не очень опытных пользователей.

В статье, Google описывает новую модель, которая учится автоматически генерировать формулы на основе богатого контекста вокруг целевой ячейки. Когда пользователь начинает писать формулу со знаком "=" система генерирует возможные релевантные формулы для этой ячейки, изучая шаблоны формул в исторических электронных таблицах. Модель использует данные, присутствующие в соседних строках и столбцах целевой ячейки, а также строку заголовка в качестве контекста.

Функция, основанная на этой модели, теперь общедоступна для пользователей Google Sheets.

🔭Блог-пост

The Cocktail Fork Problem:‌‌‌‌
Three-Stem Audio Separation for Real-World Soundtracks

Проблема коктейльной вечеринки (как разделить речь нескольких, говорящих одновременно, людей на разные дорожки) уже давно вдохновляет исследования по разделению источников звука (source separation). Недавние усилия в основном были направлены на отделение речи от шума, речи от речи, музыкальных инструментов друг от друга или звуковых событий друг от друга.

Однако разделение аудио смеси (например, звуковой дорожки фильма) на три широкие категории: речь, музыка и звуковые эффекты (под которыми здесь понимается шум окружающей среды и естественные звуковые события) осталось практически неисследованным, несмотря на широкий спектр потенциальных применений.

И конечно же, именно такую сеть сделали и описали в статье. Пиратский дубляж ликует!

📎 Статья
📽 Проект

#sound #audio #signals

О вулканах и людях

Меня сегодня упомянули в подкасте @ofvolcanoesandmen (классная отсылка на исландский фильм Of Horses and Men).

Мой добрый товарищ Кирилл говорил о геологии, геохимии, о том как и зачем искать метеориты, и нужно ли учить исследователей методам машинного обучения.

🍏 Apple Podcast
🤖 Google Podcast

#этополюбви

Multi-label Classification with Partial Annotations using Class-aware Selective Loss

Большие датасеты для классификации с несколькими метками (multi-label classification) аннотированы лишь частично. То есть, для каждой выборки аннотируется только небольшое подмножество меток, и это плохо.

Что можно сделать? Неаннотированные метки можно обрабатывать выборочно в соответствии с распределением классов в датасете в целом и вероятностью конкретной метки для текущего батча.

📎 Статья
🖥 Код

#training #classification

This is Halloween 🎃

В Colabе появился специальный праздничный режим. Доступно из панели Инструменты -> настройка -> Другое

НейроМЕРЧ 🎨

Я, совместно с брендом украшений MONOLAMA, выпустил коллекцию брошек сгенерированных нейросетью VQGAN+CLIP.

Подробнее о проекте почитать можно тут, а заказать себе брошку тут.

#этополюбви

CLOOB: Modern Hopfield Networks with InfoLOOB Outperform CLIP

За 2021 год, мы увидели множество прорывов в области self-supervised learning (это когда человек вообще не размечал данные). Одним из таких прорывов был CLIP, который умеет соотносить между собой текст и картинки (предвестник безумного ML-арта).

У CLIP есть проблема - иногда он «срезает» углы и предсказывает что-то, на основании ложных признаков (как в истории про умную лошадь по имени Ганс, которая «умела» в математику). Эту проблему можно решить с помощью сетей Хопфилда, которые служат в качестве ассоциативной системы памяти.

Что подводит нас собственно к CLOOB (Contrastive Leave One Out Boost)- новому методу self-supervised обучения, в котором сети Хопфилда повышают эффективность обучения. CLOOB преодолевает проблему срезания «углов», характерную для CLIP с помощью замены признаков входной картинки/текста на признаки, которые извлекаются из сети Хопфилда.

🔭 Блог-пост
📎 Статья
🖥 Код

#multimodal #text #image #hopfield #SSL

Я тут делаю курс по машинному обучению для науки. Поделитесь в комментариях, какие на ваш взгляд самые бомбические применения ML в науке? Желательно те, которые существуют уже, но можно и те, которые в разработке.

ByteTrack 👀

Многообъектное отслеживание (MOT) работает путём определения границ и идентификации объектов в видео. Большинство методов определяют один и тот же ли это объект на разных кадрах путем объединения блоков обнаружения, чьи оценки превышают пороговое значение. Объекты с низкой оценкой обнаружения, например, перекрытые объекты, просто отбрасываются, что приводит к пропуску истинных объектов и фрагментации траекторий.

В статье, авторы объясняют, что так делать не надо, а надо брать объекты с вообще всеми оценками, а потом их перевешивать.

📎 Статья
🖥 Код
🤩 Онлайн-демо

P.S.: демка работает только с фото, но на гитхабе код норм для видео.

#video #tracking #demo

This is Heloween

На просторах твиттера откопал колабчик, который позволяет преобразовать любое лицо во что угодно с помощью текста (CLIP). Самое то для следующих выходных 🎃

💻 Colab

#gan #text2image #CLIP

🤯 wav2CLIP

Новый метод обучения аудиопредставлений путем дистилляции из контрастивного предварительного обучения языку и изображению (CLIP).

Авторы оценивают Wav2CLIP на различных аудиозадачах, включая классификацию, поиск и генерацию, и показывают, что Wav2CLIP превосходит общедоступные алгоритмы предварительного обучения audio representation.

Wav2CLIP проецирует аудио в общее пространство эмбедингов с изображениями и текстом, что позволяет использовать его в мультимодальных задачах, таких как классификация zero-shot и кросс-модальный поиск. Более того, Wav2CLIP требуется всего ~10% от данных необходимых для supervised learning.

📎 Статья
🖥 Код

#clip #audio #video #multimodal

Квантовые симуляции NFT

Кибер-панк подъехал откуда не ждали. Умельцы додумались продавать квантовые симуляции как NFT. Надо видимо волны от землетрясений тоже в NFT заминтить. Ну а чего?

Показывают тут