Нейроморфные чипы для нейросетей

Достижения в области машинного обучения напрямую связаны с увеличивающимеся (с годами) вычислительными ресурсами. Но есть нюанс - ML требует больше ресурсов быстрее, чем эти ресурсы становятся доступны (например OpenAI посчитали что ресурсы необходимые для достижениня SOTA удваиваются каждые 3.4 месяца).

В качестве решения предлагают использовать нйероморфные чипы - то есть чипы, которые тем или иным способом иммитируют природные мозги. Например, у человеческого мозга крайне низкие энергозатраты - всего 20 ватт. Для сравнения, для GPT-3 нужно 20 Мегаватт.

В статье рассказывается про современные подходы к реализации нейроморфных чипов:
1) Spiking Neural Networks
2) Highly Parallel Systems
3) Analogue Computing

И про лабы и стратапы, которые такие чипы уже делают.

#hardware

Тэги доступные в канале на данный момент:
#alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, #contrastivelearning, #course, #datasets, #debugging, #demo, #depth, #detection, #diffusion, #dilation, #dimensionality, #distillation, #earthscience, #economics, #explainability, #gan, #generative, #geometric, #gnn, #gpt, #gpu, #graph, #hardware, #holdontoyoirpapers, #image2text, #images, #inference, #joke, #julia, #jupyterlab, #jupyterlite, #labeling, #latex, #lnl, #medicine, #metrics, #mlp, #money, #multimodal, #nas, #news, #nlp, #noise, #novelviews, #optimizer, #outliers, #physics, #presentation, #python, #resnet, #resources, #rl, #rnn, #rocauc, #science, #scientificml, #segmentation, #SSL, #XAI, #separation, #sequences, #signal, #social, #sound, #speech, #styletransfer, #superresolution, #tabular, #text2image, #theory, #torrent, #training, #transformer, #translate, #tutorial, #twominutespapers, #video, #visualization, #waveforms, #гумунитарии, #дьяконов, #книги, #отборочные

Deep physical neural networks trained with backpropagation.

Глубокое обучение уже повсюду. Однако, оно присутствует только в виде кода. Исследователи предложили делать бэкпроп сразу на физических приборах (обучение с учетом физики). Подобно тому, как глубокое обучение реализует вычисления с помощью глубоких нейронных сетей, состоящих из слоев математических функций, этот подход позволяет обучать глубокие физические нейронные сети, состоящие из слоев управляемых физических систем.

Коллектив авторов обучил различные физические нейронные сети, основанные на оптике, механике и электронике, для экспериментального выполнения задач классификации аудио и изображений. Физические нейронные сети способны выполнять машинное обучение быстрее и более энергоэффективно, чем обычные электронные процессоры, и, в более широком смысле, могут наделять физические системы автоматически создаваемыми физическими функциями, например, для робототехники, материалов и интеллектуальных датчиков.

📎 Статья

#physics #chip #hardware

Ускорители для AI (GPU, TPU, IPU)

В 📓серии из 5 постов Adi Fuchs рассказывает все, что только можно об ускорителях - как они работают, чем отличаются и зачем нужны.

А если читать вам нравится меньше, чем смотреть - то есть 🎥 видео версия/пересказ на канале у Яника.

#hardware #gpu #tpu #ipu