💥DL-новости из МИФИ
В марте этого года сотрудники Института интеллектуальных кибернетических систем МИФИ предложили новый метод для обучения ограниченной машины Больцмана, позволяющий оптимизировать процессы семантического кодирования, визуализации и распознавания данных. Доказав, что что классическое правило обучения этой нейросети является частным случаем предложенного метода, ученые подчеркивают перспективы семантического хеширования с помощью глубоких автоассоциативных нейросетей для поиска изображений, компьютерного зрения, распознавания речи и задач биоинформатики. https://na.ria.ru/20180621/1522975977.html

🦋Почти месяц назад, 10 июня, Яндекс обновил свой поиск, добавив 2100 улучшений и новые генеративные нейросети YaLM, чтобы ускорить нахождение нужных данных не только в тексте, но и в видео. Теперь по смыслу текстового запроса поисковик не только найдет ролик, но и начнут его показ с соответствующей секунды. NN-модели YaLM уже успешно себя зарекомендовали: Алиса с их помощью генерирует около 20% своих реплик, они используются для составления подзаголовков объектных ответов и ранжировании их в поиске Яндекса. YaLM-модели обучены на терабайтах русских текстов, а самая мощная из них содержит 13 миллиардов параметров. https://yandex.ru/company/press_releases/2021/2021-06-10

🌸Синтез изображений: не только GAN – июльские новости от Google
Задачи синтеза изображений обычно выполняются глубокими GAN-сетями, VAE и авторегрессионными моделиями. Все они способны синтезировать высококачественные выборки на сложных наборах данных с высоким разрешением, но каждая имеет свои недостатки. Например, GAN часто страдают от нестабильного обучения, а модели авторегрессии обычно работают медленно. Исследователи из Google AI предлагают обойти эти ограничения с помощью диффузионных моделей, впервые предложенных в 2015 году. Сегодня они переживают второе рождение, стабильно выдавая отличные результаты при генерации изображений и звука. Модели диффузии искажают обучающие данные, добавляя гауссовский шум и медленно стирая детали, превращая исходные данные в чистый шум, а затем обучая нейросеть на обратном процессе восстановления. При выполнении обратного искажения данные синтезируются из чистого шума путем его постепенного снижения до получения чистого образца. Эту процедуру синтеза можно интерпретировать как алгоритм оптимизации по градиенту плотности данных для получения вероятных выборок.
Июльское исследование Google представляет два связанных подхода, которые расширяют границы синтеза изображений для моделей диффузии: SR3 и CDM. SR3 обеспечивает высокие результаты сверхвысокого разрешения изображения лучше GAN. А CDM генерирует высокоточные образцы ImageNet, которые намного превосходят BigGAN-deep и VQ-VAE2 по шкале FID и по точности классификации. https://ai.googleblog.com/2021/07/high-fidelity-image-generation-using.html

🕺🏼Умный ковер от ученых MIT
Это не ковер-самолет, но он может распознавать динамику и статику людей без использования камер, что пригодится для автономного персонализированного здравоохранения, умного дома и игр. Недорогая ковровая дорожка 10 метров на 60 см сделана из коммерческой, чувствительной к давлению пленки и проводящей нити с более чем девятью тысячами датчиков, каждый из которых преобразует давление человека в электрический сигнал. Система обучена синхронизированным тактильным и визуальным данным человеческих движений на примере таких физических упражнений, как отжимания от пола.
Видеокамеры использовались только для создания обучающего датасета, фиксируя момент, когда человек выполнял действие. Выводы о трехмерной человеческой фигуре и характере ее движения делала глубокая нейросеть, используя только тактильную информацию с ковровых датчиков. Эта DL-модель смогла предсказать позу человека с погрешностью менее 10 сантиметров. Для классификации конкретных действий система была точной в 97% случаев. https://www.csail.mit.edu/news/intelligent-carpet-gives-insight-human-poses

💨Структура белков от DeepMind AI
Нейросеть AlphaFold, разработанная лондонской дочерней компанией Google DeepMind, недавно предсказала структуру почти всех из 350 тысяч белков человеческого организма, а также сделала тоже самое для мышей, кукурузы, малярийных паразитов и еще пары десятков других живых существ и растений. Впервые DeepMind удивил сообщество медико-биологических наук в 2020 году, когда обновленная версия AlphaFold приняла участие в двухгодичном исследовании по прогнозированию белков, структуры которых были определены экспериментально, но еще не опубликованы. Некоторые прогнозы AlphaFold очень точно совпадали с экспериментальными моделями. А в июле 2021 DeepMind опубликовал исходный код последней версии AlphaFold и подробное описание того, как она была разработана. Компания доработала эту нейросеть, чтобы повысить эффективность кода: раньше некоторые прогнозы рассчитывались целыми днями, а теперь обновленная версия AlphaFold может сделать это за пару часов или даже несколько минут.
https://www.nature.com/articles/d41586-021-02025-4

👻NLP с Deep Learning: 3 перспективных ИИ-стартапа
За последние несколько лет в ИИ-обработке естественного языка подходы на базе глубокого обучения все чаще заменяют классические статистические методы. Самым ярким примером здесь стала нейросеть GPT-3, способная генерировать текст, неотличимый от человеческого, и формировать программный код. Но, это не единственный интересный кейс применения DL к NLP-задачам. Сегодня рассмотрим три разных стартапа: Explosion, Huggingface и John Snow Labs, которые сочетают DL-модели с NLP-подходами.
Explosion – разработчик популярной open-source NLP-библиотеки spaCy, написанной на языках Python и Cython. Она без труда справляется с огромными рабочими нагрузками и идет в ногу с новейшими NLP-технологиями, включая конвейеры на предварительно обученных Transformer-моделях, таких как BERT, с возможностью интеграции PyTorch и TensorFlow. Также Explosion предлагает коммерческий продукт Prodigy, который позволяет создавать выразительные аннотации наборов данных с возможностью создания сценариев, Поддерживая аннотирование изображений, аудио и видео, с Prodigy DS-специалисты могут снизить затраты на создание богатых датасетов и более совершенных DL-моделей.
Huggingface – компания, которая создала библиотеку PyTorch и постоянно выпускает множество Transformer-моделей NLP для разных доменов и языков. Решения Huggingface используется во множестве продуктов, от Grammarly до решений Microsoft, Google и Facebook. А недавно Huggingface выпустил библиотеку Accelerate, которая упрощает обучение больших моделей на множестве распределенных машин.
John Snow Labs продвигает Spark NLP для реализации множества приложений: распознавание именованных сущностей, поиск информации, классификация и анализ настроений с помощью огромного количества DL-моделей и более 400 конвейеров для различных приложений. NLP-модуль использует преимущества масштабирования Apache Spark, что упрощает его распределенное развертывание. Из практических кейсов Spark NLP от John Snow Labs стоит отметить Healthcare AI - управляемую платформу поверх Kubernetes для анализа и исследований в сфере здравоохранения с набором дополнительных пакетов для распознавания и связывания клинических объектов, извлечения медицинских концепций из текста и пр. Здесь же упомянем другой коммерческий продукт - Spark OCR для распознавания текста, который может захватывать области изображения с буквами и выводить их в форматах DICOM и PDF, поддерживая сквозное извлечение именованных сущностей. https://www.infoworld.com/article/3621022/3-ai-startups-revolutionizing-nlp.html

🎲Не только GAN: DL-метод NeRF для генерации трехмерных изображений
Neural Radiance Fields — метод глубокого обучения для генерации изображений любых новых ракурсов для конкретного фотосета. Нейросеть обучается на ограниченном числе фотографий. Широкой публике NERF был представлен на конференции ECCV весной 2020 года. Благодаря включению в вычислительную функцию данных о координатах точки в пространстве, RGB-цветах и вектору направления, NeRF позволяет получить весьма фотореалистичные изображения. Так можно симулировать спекулярные view-dependent отражения на основе пары десятков фотографий с разных углов, чтобы они показывали заметное пересечение областей.
У большинства других методов сканирования и генерации изображений со стандартным рендерингом текстурных Mesh’ей спекуляры получаются не очень хорошо. Это преимущество позволяет с помощью NERF получать новые виды трехмерной сцены с различных ракурсов и высокой детализацией, что актуально для производства рекламных роликов и художественных фильмов, а также научных исследований.
Однако, при всех своих достоинствах фон на фотографии вызывает сильное переобучение нейросети и вносит значительный шум в генерируемую сцену. Эта проблема решается удалением фона на обучающей фотографии. Кроме того, NeRF-модели очень долго обучаются и требуют много аппаратных ресурсов. Для ускорения можно использовать версию NeRF от Google Research с элементами JAX и распараллеливания на нескольких GPU и TPU.
Наконец, главным недостатком является заточенность NERF под конкретную сцену из-за особенностей архитектуры нейросети. Чтобы восстановить непрерывное представление новой сцены, требуется заново тренировать нейросеть на новом наборе фотографий. Хотя сегодня активно ведутся исследования в сторону универсализации этого метода и DS-специалисты ищут способы получения novel views на сценах, которых не было в обучающей выборке.
Больше подробностей про NERF:
https://www.matthewtancik.com/nerf
https://github.com/google-research/google-research/tree/master/jaxnerf
https://habr.com/ru/company/twin3d/blog/569174/

🏂Китайская DL-нейросеть Wu Dao 2.0 превзошла GPT-3
Обученная на китайском и английском языках на 4,9 терабайт изображений и текстов, эта нейросеть от Пекинской AI-академии имеет 1,75 трлн параметров, что в десять раз больше GPT-3 и Google Switch Transformer. Wu Dao 2.0 вышла в июне 2021 года, всего через 3 месяца после выпуска первой версии в марте 2021. В отличие от аналогов, эта DL-нейросеть универсальна: она может генерировать тексты, изображения и предсказывать 3D-структуры белков как AlphaFold, требуя небольшого количества новых данных для решения новых задач. Продуктом уже заинтересовался Xiaomi и другие известные китайские компании: Meituan, Kuaishou и пр.
https://habr.com/ru/news/t/560854/

🔥SeqSNR от Google AI
Хотя многозадачное обучение фиксирует взаимозависимости между разными объектами, его сложно реализовать на практике: совместно выполняемые задачи часто мешают друг другу, вызывая эффект «отрицательной передачи». Исследователи Google AI предлагают смягчить эту проблему с помощью автоматической оптимизации распределения информации между задачами за счет последовательной подсетевой маршрутизацией (SeqSNR, Sequential Sub-Network Routing). SeqSNR – это адаптация временного ряда SNR-архитектуры, которая объединяет уровень глубокого встраивания (Deep Embedding) со слоями рекуррентной нейросети (RNN). Разделяя маршрут распространения данных на несколько модулей, между блоками разных уровней, можно снизить отрицательную передачу и отфильтровать данные. По сути, это означает, что каждая задача использует свой путь в модели.
Ощутимое повышение производительности SeqSNR наблюдается при небольшом количестве обучающих меток. Эта модель была протестирована в прогнозировании клинических исходов у пациентов отделения интенсивной терапии на датасете EHR MIMIC-III, который данные о 36 498 взрослых из 52 038 госпитализаций в клинику Beth Israel Deaconess Medical Center в период с 2001 по 2012 год. https://ai.googleblog.com/2021/07/multi-task-prediction-of-organ.html

🗣AdaShare: глубокое мультизадачное машинное обучение
Многозадачное обучение - открытая и сложная проблема компьютерного зрения. Обычно с глубокими нейросетями используются вручную созданные схемы, которые разделяют все начальные уровни и разветвляются в одной точке или применяются отдельные сети для конкретных задач с дополнительным механизмом совместного использования/слияния фич. Альтернативой этим методам является адаптивный подход к совместному использованию, который решает, что разделять при выполнении каких задач для достижения наилучшей точности распознавания с учетом эффективности использования ресурсов. Основная идея подхода в том, чтобы изучить шаблон совместного использования с помощью политики для конкретной задачи, которая выборочно выбирает, какие уровни выполнять для нее в многозадачной сети. Оптимизация политики для конкретной задачи выполняется вместе с весами сети, используя стандартное обратное распространение. Такой дифференцированный подход к эффективному многозадачному обучению позволяет получить единую сеть, которая поддерживает отдельные пути выполнения для разных задач.
На практике это актуально для беспилотных автомобилей, где нужно выполнять несколько задач в режиме реального времени, например, обнаружение объектов и оценку глубины. Метод реализован в модели AdaShare, представленной на конференции NeurIPS 2020 и вызвавший широкой интерес профессионального DS-сообщества.
https://github.com/sunxm2357/AdaShare
https://pythonrepo.com/repo/sunxm2357-AdaShare-python-deep-learning

🎯Универсальное ИИ-решение от DeepMind
Компания DeepMind, специализирующаяся на глубоком обучении, планирует разработать многоцелевую AI-архитектуру, которая сможет обрабатывать все типы данных, решая любые задачи: от распознавания образов до синтеза текстов. Поэтому в 2021 году на международной ML-конференции ICML сотрудники DeepMind представили Perceiver - архитектуру общего назначения на базе Transformer, которая способна обрабатывать данные: изображения, облака точек, аудио, видео и их комбинации. Но Perceiver ограничен задачами с простыми выходными данными, такими как классификация. Чтобы снять эти ограничения, проект получил развитие в виде Perceiver IO - более общая версия архитектуры Perceiver, которая может выдавать широкий спектр выходных данных из множества различных входных данных. Благодаря этому Perceiver IO можно применять к различным областям реального мира, используя в NLP, CV, мультимодальном понимании и сложных играх, например, StarCraft II.
https://deepmind.com/blog/article/building-architectures-that-can-handle-the-worlds-data
https://arxiv.org/abs/2107.14795
https://github.com/deepmind/deepmind-research/tree/master/perceiver

⚡️ Ситимобил запускает митапы о применении Data Science в городских и геосервисах, логистике и технологиях умных городов - Citymobil Data Meetup.
Первый митап состоится 12 августа в 18:00, онлайн.
Звездный состав спикеров с очень интересными темами:
🚕 Артём Солоухин (Product Owner Surge Pricing в Ситимобил) поделится своими знаниями о «Switchback-экспериментах и сетевом эффекте»
🏢 Андрей Критилин (Руководитель центра моделирования ЦИАН) расскажет о «Работе с географически неоднородными данными в моделях онлайн-оценки»
🚖 Фёдор Лаврентьев (Head of Internal Efficiency в Yandex Go) выступит с докладом «Границы Москвы: эволюция географии в отчетности Яндекс Такси»
После докладов будет дискуссия со спикерами в которой смогут принять участия слушатели.
Ведущий мероприятия – Алексей Чернобровов.
❗️Регистрация по ссылке: https://citymobil.timepad.ru/event/1730682/

🥁2 датасета разговорного NLP от Google AI
Главная проблема обработки естественного языка – это создание диалоговых агентов, которые могут понимать реальную речь живых людей, которые не всегда заранее обдумывают, что именно они собираются сказать. Естественная беседа прерывается междометиями, повторами и исправлениями, а также более сложными семантическими отклонениями, когда изменяется основное значение фразы. Еще понимание разговора часто требует знания временных отношений, когда одно событие предшествует другому или следует за ним. Большинство современных разговорных агентов NLP часто сталкиваются с трудностями при обработке таких данных. Отчасти это связано с отсутствием тренировочных датасетов, включающих разговорную речь.
Поэтому GooGle AI в августе 2021 представил TimeDial и Disfl-QA:
• TimeDial предназначен для понимания времени с аннотированным тестовым набором из более чем 1,1 тысяч диалогов;
• Disfl-QA - первый датасет, содержащий контекстные неточности в настройке поиска информации, а именно ответы на вопросы в отрывках из Википедии, с примерно 12 тысячами неудобных вопросов, аннотированных людьми.
Эти наборы данных тестов являются первыми в своем роде и демонстрируют значительный разрыв между производительностью человека и современными моделями НЛП.
https://ai.googleblog.com/2021/08/two-new-datasets-for-conversational-nlp.html

Глубокое обучение и голография в медицинских исследованиях
Группа ученых из Калифорнийского университета Лос-Анджелеса разработала быстрый и экономичный датчик агглютинации частиц на базе голографической визуализации и глубокого обучения. Одноразовые капиллярные устройства позволяют анализировать реакцию агглютинации менее чем за 2 цента. Мобильный и недорогой голографический микроскоп снимает этот процесс, наблюдая за процессом кластеризации частиц в течение 3 минут. Созданный мини-фильм быстро обрабатывается обученными DL-нейросетями для автоматического измерения целевой концентрации аналита в образце. Это позволяет быстро и дешево определять антигены для выявления множества заболеваний.
https://phys.org/news/2021-08-deep-holography-point-of-care-sensor.html

☀️TensorFlow Lite – DL-платформа, не требовательная к аппаратным ресурсам
Эта open-source среда глубокого обучения адаптирована к небольшим вычислительным устройствам с малым размером. Она помогает разработчикам запускать свои ML-модели на совместимом оборудовании и устройствах IoT. Необходимо выбрать подходящую модель в зависимости от варианта использования. Платформа также позволяет переобучить существующую модель на настраиваемом наборе данных и является совместимой с TensorFlow. Настройка параметров оптимизации и квантования позволяет уменьшить размер модели и время ожидания. TensorFlow Lite поддерживает несколько платформ, включая мобильные телефоны Android и iOS , встроенный Linux и микроконтроллеры, позволяя разрабатывать ML-программы на Java, Swift, Objective-C, C ++ и Python. https://www.tensorflow.org/lite

💨Не только AlphaFold: альтернатива от ученых Вашингтонского университета
RoseTTAFold – нейросеть предсказания структуры белка, разработанная исследователями University of Washington. Как и AlphaFold2, она представляет собой сложную многослойную нейронную сеть, которая выводит предсказанные трехмерные структуры белка по заданной последовательности аминокислот. Поскольку компания Deep Mind, которой принадлежит авторство AlphaFold2, летом 2021 года открыла ее код на Github, разработчики RoseTTAFold тоже позволяют всем заглянуть под капот своей модели, разместив предпринт на Biorxiv https://www.biorxiv.org/content/10.1101/2021.06.14.448402v1
Интересно, что RoseTTAFold с AlphaFold с самого начала шли «ноздря в ноздрю», соревнуясь в производительности и качестве DL-моделей. https://www.wired.com/story/without-code-for-deepminds-protein-ai-this-lab-wrote-its-own/

🚀Компания ATF Media (https://t.me/atflife ) решила сделать визионерский проект в помощь всем разработчикам продуктов на ИИ.

Запускается международный каталог продуктов, реализованных на искусственном интеллекте TopAI.me
Каталог будет рассылаться в более чем 25000 крупнейших компаний, правительствам стран, венчурным фондам.
В каталоге представлены решения из разных сфер разработки искусственного интеллекта.
Если вы являетесь разработчиками в сфере ИИ, наш каталог будет полезен вам для поиска инвесторов и интересных сотрудничеств.
Если вы являетесь инвестором и в поиске проектов, то наш каталог будет полезен вам для поиска новых инструментов для инвестирования и внедрения.

Отбор проектов по модерации.
P.S. Регистрация на TopAI занимает 20 секунд.

🚀Краткий ликбез по функциям активации DL-нейросетей
В нейросетях функция активации действует как (нелинейный) активатор нейрона на следующем сетевом уровне после учета смещения и весовых коэффициентов, позволяя DL-сети изучать многомерные сложные данные, а не просто выводить линейную комбинацию входов. Для глубоких нейросетей, например, сверточных (CNN), чаще всего применяются нелинейные функции активации: Sigmoid, ReLU и Softmax.
В частности, сигмоида используется для масштабирования выходного сигнала от 0 до 1 и отлично подходит для двоичной классификации с одним выходным блоком или даже с несколькими метками, когда каждое наблюдение может принадлежать более чем одному классу. А вот Softmax требует, чтобы входные данные принадлежали только одному классу. Обычно Softmax используется на конечном выходном слое. Ее главный недостаток – это высокие вычислительные затраты, а также проблемы с градиентами.
ReLU (Rectified Linear Unit) определяется как нулевое значение для отрицательного входа и равное входу для нулевого или положительного числа. Поскольку ReLU возвращает ноль для любого отрицательного входного сигнала, это может привести к остановке или зависанию активации ReLU в процессе обучения при обратном распространении сигнала. Из-за этого градиенты активации равны нулю, а нейроны с этой функцией активации не будут обновлять свои параметры (смещения и веса). ReLU обычно применяется в скрытых слоях нейросети. Утранить недостатки этой функции активации можно с помощью Leaky ReLU, которая допускает небольшое отрицательное число, пропорциональное входу, вместо нуля. Функции на основе ReLU считаются более надежными для глубоких сетевых уровней из-за стабильного обучения, однако склонны к неограниченному возрастанию, что выводит из строя узел нейросети.
Решить проблемы расходящихся градиентов и переобучения нейросети поможет простой, но мощный метод пакетной нормализации. Например, расширение ReLU6 ограничивает активацию этой функции выше заданного положительного порога. Однако, на практике оно используется нечасто. https://ai.plainenglish.io/my-notes-on-deep-learning-activation-functions-9d89cd326488

функции активации нейросетей

🤜🏻ТОП-5 достоинств TensorFlow
TensorFlow - это ML-платформа с открытым исходным кодом, созданная в 2015 году DL-исследователями Google. В этом фреймворке Python выступает в качестве интерфейсного API для создания приложений, транслируя их код C ++. В 2019 году вышел TensorFlow 2.0, который включает Keras API для обучения моделей. Основными преимуществами TensorFlow являются следующие:
• Многофункциональность: множество различных инструментов, библиотек и пользовательских ресурсов
• Переносимость: обучайте и развертывайте ML-модели независимо от языка и платформы
• Мощь: создавайте сложные топологии c Keras Functional API и API подклассов моделей
• Быстрая и интуитивно понятная отладка
• Несколько уровней абстракции для любых пользовательских потребностей
Наконец, TensorFlow имеет большое и активное сообщество ML-профессионалов, которое способствует развитию и популяризации этого фреймворка.