🤜🏻Deep Learning vs Machine Learning
Машинное обучение (Machine Learning) и глубокое обучение (Deep Learning) - две самые хайповые области искусственного интеллекта, которые чаще всего используют нейросетевые методы и их часто путают между собой. Но преимущество нейросетей глубокого обучения заключается в том, что им не обязательно нужны структурированные/маркированные данные. DL-нейросети отправляют входные данные через разные уровни сети, каждый из которых иерархически определяет конкретные характеристики входных данных. Это очень близко к тому, как работает человеческий мозг для решения проблем: передавая запросы через различные иерархии концепций и связанных тем, чтобы найти ответ.
Так, ключевое различие между DL и Ml в способе представления данных системе. ML-алгоритмы почти всегда требуют структурированных данных, а Dl-сети полагаются на уровни ИНС. ML-алгоритмы созданы для того, чтобы учиться делать что-то, понимая помеченные данные, и использовать их для дополнительных результатов с большим количеством информации. Но их необходимо переучивать с помощью человека, когда фактический результат не соответствует желаемому.
DL-сети не требуют вмешательства человека, поскольку вложенные слои нейронных сетей передают данные через иерархии различных концепций, которые учатся через свои собственные ошибки. Но и они могут давать неверные результаты, если качество данных недостаточно хорошее.
Таким образом, для глубокого обучения требуется гораздо больше данных, чем для традиционного ML-алгоритма. Поэтому Deep Learning – отличный инструмент, если нужно решать задачи, слишком сложные для классического машинного обучения, и/или есть огромное количество данных с неограниченными вычислительными ресурсами для тренировки сетей.
Но если у вас есть данные, которые можно структурировать, и вы хотите использовать преимущества ИИ в типичных задачах, например, распознавание изображений, рекламные рекомендации и прочие маркетинговые задачи – выбирайте проверенные и успешно работающие решения.
https://hackernoon.com/deep-learning-vs-machine-learning-a-simple-explanation-47405b3eef08

🙌🏻Пара открытых вебинаров от ученых MIT

1) https://www.csail.mit.edu/event/cbmm-special-seminar-banach-space-representer-theorems-neural-networks
8 июня в 14:00 EST (UTC/GMT -5 часов) Профессор Роберт Д. Новак имеет докторскую степень в области инженерии в Университете Висконсин-Мэдисон, где его исследования сосредоточены на обработке сигналов, машинном обучении, оптимизации и статистике. Он расскажет про «Теоремы о представителе пространства Банаха (Banach Space Representer) для нейронных сетей». В докладе представлена вариационная структура для понимания свойств функций, изученных нейронными сетями, соответствующих данным. Структура основана на полунормах полной вариации, определенных в области Радона, которая, естественно, подходит для анализа функций нейронной активации (ридж-функций). Нахождение функции, которая соответствует набору данных с небольшой полунормой, представляет собой бесконечномерную вариационную оптимизацию. Выводим теорему о представителе, показывающую, что нейронные сети конечной ширины являются решением вариационной задачи. Теорема о представителе напоминает классическую теорему о репрезентаторе воспроизводящего ядра в гильбертовом пространстве, но мы показываем, что нейронные сети являются решениями в негильбертовом банаховом пространстве. Хотя задачи обучения ставятся в бесконечномерном функциональном пространстве, их можно преобразовать в задачи обучения конечномерных нейронных сетей. Эти задачи обучения нейронной сети имеют регуляризаторы, которые связаны с хорошо известными регуляризаторами убывания веса и норм пути. Таким образом, результаты дают новое представление о функциональных характеристиках сверхпараметризованных нейронных сетей, а также о регуляризаторах нейронных сетей. Результаты также обеспечивают новую теоретическую поддержку ряда эмпирических открытий в архитектурах глубокого обучения, включая преимущества «пропуска соединений», разреженности и низкоранговых структур.
Zoom: https://mit.zoom.us/j/97306008379?pwd=OVR2MU1uNXcrcU5DZkRncmlnZndMZz09
Код доступа: 289045

2) https://www.csail.mit.edu/event/cbmm-special-seminar-next-generation-recurrent-network-models-cognitive-neuroscience
15 июня в 14:00 EST (UTC/GMT -5 часов) Гуаню Роберт Ян расскажет про модели RNN-сетей нового поколения для когнитивной нейробиологии. По сравнению с традиционными вычислительными моделями в нейробиологии, рекуррентные нейросети (RNN) лучше позволяют объяснить сложное поведение и паттерны нейронной активности, а также быстро генерировать механистические гипотезы для когнитивных вычислений. RNN также обеспечивают естественный способ гибкого объединения восходящих биологических знаний с нисходящими вычислительными целями в сетевых моделях. Но ранние разработки этого подхода сталкиваются с фундаментальными проблемами, о чем и будет рассказано в докладе. Также вы узнаете про несколько недавних шагов, которые позволяют их решить и создать RNN-модели следующего поколения для когнитивной нейробиологии.
Zoom: https://mit.zoom.us/j/94734403753?pwd=YW5udzZJdndqVnc1NnkyQ0s3L0hVUT09
Код доступа: 080128

🕸Подробный пример реализации рекуррентной нейросети Mask RCNN на пользовательском наборе данных Python.
Сегментация экземпляра - это функция распознавания контуров объекта на уровне пикселей, одна из самых сложных задач и востребованных сегодня компьютерного зрения. Код с объяснением https://towardsdatascience.com/mask-rcnn-implementation-on-a-custom-dataset-fd9a878123d4

😜Нужен бесплатный курс по основам Deep ML и не только?
6 модулей обучающей программы от немецкого профессора Andreas Maier с наглядными видео и примерами кода https://towardsdatascience.com/under-the-hood-of-modern-machine-and-deep-learning-d76fc1249467

💥Deep Fake или создание фото-и видео-подделок с помощью нейросетей глубокого обучения – один из самых ярких и неоднозначных трендов применения AI в последние пару лет. Нейросетевые алгоритмы изучают, как выглядит исходное лицо под разными углами, чтобы перенести его на другого человека, словно маску. Правдоподобность достигается благодаря методу генеративных состязательных сетей (GAN), когда один ML-алгоритм создает подделки, а другой распознает их, таким образом обучая друг друга. Результаты впечатляют: кадры с давно ушедшими актерами в современных съемках, провокационные заявления от политиков и инфлюенсеров, а также нестандартная реклама. От Тома Круза до Сальвадора Дали: 14 незабываемых Deep Fakе примеров 2019-2021. https://www.creativebloq.com/features/deepfake-examples

👀Cоздать собственный Deep Fake без долгого обучения нейросетей? Легко!
4 бесплатных сервиса:
- https://reface.app/
- https://avatarify.ai/
- https://www.wombo.ai/
- https://www.myheritage.com/deep-nostalgia?lang=RU
Достаточно просто загрузить фотографию или сделать селфи с мобильного телефона, чтобы получить правдоподобное видео с лицом другого человека. Например, MyHeritage, генеалогический веб-сайт, позволяет «оживить» давно ушедших родственников, генерируя мини-видео, на котором они смотрят и улыбаются. Однако, помните, что генерация фальшивок с целью скомпрометировать кого-то может рассматриваться как клевета и преследуется по закону!👆🏻

⚽️🏃‍♂️Такой футбол нам нужен!
Deep Learning для выявления новых закономерностей и предсказания будущих событий в игре: что будет, если вратарь пропустит гол или насколько вероятен выигрыш вашей любимой команды в этом сезоне. ML-модели, обученные на данных о силе и физической форме игроков, помогут отслеживать их усталость лучше, чем тренеры-люди, и рекомендовать отдых до того, как футболист получит травмы.
Над проектом работает компания DeepMind, пытаясь объединить компьютерное зрение, статистическое обучение и теорию игр, чтобы помочь командам находить закономерности в огромных массивах данных, делая игроков и тренеров умнее, владельцев клубов – богаче, а фанатов - счастливее.
https://www.wired.co.uk/article/deepmind-football-liverpool-ai

🥗ProtoTree: объяснимый Deep Learning или решение проблемы черного ящика DL-моделей
Самое большое препятствие на пути внедрения ИИ-систем в реальную жизнь – невозможность объяснить, на чем основаны результаты анализа. Чтобы решить проблему черного ящика в глубоком обучении, ученые Университета Твенте создали алгоритм Neural Prototype Tree (ProtoTree) для интерпретируемой классификации изображений внутри самой NN-модели. Обычно деревья решений не используются для классификации изображений, но в ProtoTree каждая точка принятия решения содержит небольшое, значимое для человека, изображение, которое легко интерпретировать. А называемые «прототипы», которые выделяются в точках принятия решения, автоматически обнаруживаются только на основе данных из примера изображения. При этом не требуется человеческого экспертного понимания, достаточно лишь нескольких примеров. Данный подход весьма перспективен для медицинских исследований, например, распознавание переломов с помощью рентгеновских лучей. https://techxplore.com/news/2021-06-prototree-black-box-nature-deep.html

💥От GPT-2 до StyleGAN: краткий обзор ТОП-10 генеративно-состязательных сетей с примерами их практического использования при работе с изображениями, текстами и музыкой.
GAN (Generative Adversarial Networks) - одна из самых актуальных тем в глубоком обучении. Генеративная модель способна генерировать новые данные по тому же распределению, что и исходный набор данных, на котором она была обучена. Даже первые попытки использования таких моделей, как гауссовы миксы, скрытые цепи Маркова, машины Больцмана или вариационные автоэнкодеры, были весьма успешными в конкретных кейсах. Применение методов глубокого обучения в генеративном моделировании действительно позволило применять GAN-сети к сложным наборам данных: изображениям, видео, текстам и музыке благодаря доступности огромных датасетов и мощных вычислительных ресурсов. Главный плюс GAN-методов в том, что они не нуждаются в размеченных данных – даже немаркированного датасета достаточно для обучения генеративной модели. Именно GAN-сети лежат в основе множества фото- и видео дипфейков, созданных в последнюю пару лет ради забавы или компрометации известных людей.
https://www.deeplearningweekly.com/p/deep-learning-weekly-generative-modeling

🙌🏻Deep Fake не пройдет: ПО для обнаружения подделок
DS-специалисты Facebook умеют не только идентифицировать дипфейки, но и находить, откуда они взялись. Вместе с учеными Мичиганского университета они разработали ПО, которое находит на фейковых фото, аудио и видео недостатки, оставшихся в процессе производства, позволяя обнаружить GAN-модель, сгенерировавшую подделку. Эта идея расширяет прошлогодний DL-продукт от Microsoft Video Authenticator, который анализирует изображение или каждый кадр видео, чтобы найти манипуляции, незаметные невооруженным глазом.
https://techxplore.com/news/2021-06-facebook-ai-software-deepfake-images.html

👻Нужны глубокие знания по глубокому обучению?
Подробное исследование истории развития Deep Learning и будущее DL-методов от Йошуа Бенжио (Yoshua Bengio), Янн ЛеКун (Yann Lecun) и Джеффри Хинтон (Geoffrey Hinton), лауретов премии ACM имени Тьюринга 2018 года. Изучая прошлые взлеты и падения глубокого обучения, ученые ищут ответ на вопрос, как высокопараллельные сети простых нелинейных нейронов могут решать сложные задачи типа распознавания объектов и понимание смыслов. В чем секрет успеха Deep Learning: большие обучающие выборки, архитектура нейросетей или множество сложных вычислений? Просто о сложном – статья 2021 года на английском языке из июльского номера ведущего ежемесячного журнала Ассоциации вычислительной техники Communications of the ACM
https://cacm.acm.org/magazines/2021/7/253464-deep-learning-for-ai/fulltext

🎯Deep Learning для андронного коллайдера
Исследователи из CERN и Google разработали новый метод ускорения глубоких нейронных сетей для выбора протонных столкновений на Большом адронном коллайдере. Его суть в сжатии глубинной нейронной сети за счет снижения числовой точности параметров, которые ее описывают во время обучения сети, позволяя ей адаптироваться к изменениям без потери производительности. Так можно определить, какая числовая точность лучше всего подходит для конкретного случая использования с учетом аппаратных ограничений и других доступных ресурсов. Метод можно использовать на ПЛИС в детекторах частиц и в других устройствах, которым требуются сети с быстрым временем обработки и небольшими размерами.
Для многих периферийных устройств обычно нужен эффективный вывод, сокращение размера модели, задержки и энергопотребления. Одним из методов ограничения размера модели является квантование, которое подразумевает использование меньшего количества битов для представления весов и смещений, что приводит к снижению производительности. Новый метод проектирования оптимально неоднородно квантованных версий моделей глубоких нейросетей обеспечивает высокоточный наносекундный вывод с минимальными энергетическими затратами и поддерживает полностью автоматизированное развертывание на кристалле. С помощью послойной процедуры автоматического квантования для каждого параметра и выборки из широкого диапазона квантователей, уменьшены размер модели и потребление энергии, с сохранением высокой точности.
В перспективе исследователи хотят использовать предложенный подход для разработки нового типа триггерной системы обнаружения столкновений, которые могут указывать на новую физику, выходящую за рамки стандартной модели физики элементарных частиц.
https://www.nature.com/articles/s42256-021-00356-5

🚗Заводы и фабрики будущего: цифровизация с глубоким обучением
Уже сегодня стартапы Covariant, Ocado's Kindred и Bright Machines используют ML и обучение с подкреплением (reinforcement learning, RL), чтобы изменить способ управления машинами на фабриках и складах, например, заставляя роботов обнаруживать и собирать объекты разных размеров и форм из контейнеров. Это очень выгодно: рынок промышленного контроля и автоматизации в 2020 году оценивался в 152 миллиарда долларов, а автоматизация логистики - более чем в 50 миллиардов долларов. Еще в 2016 году GoogleX рекламировал свои роботизированные «фермы рук» - пространства, заполненные роботизированными руками, которые учились схватывать предметы и учить других делать то же самое. Это был один из первых опытов обучить RL-алгоритм отрабатывать движения в реальной среде и измерить успех его действий. Индустриальная история применения DL- и RL-методов и будущие перспективы в статье от CEO компании, которая разрабатывает и внедряет AI-решения в промышленность и логистику.
https://techcrunch.com/2021/06/17/deep-reinforcement-learning-will-transform-manufacturing-as-we-know-it