Пара обращающих на себя внимание вещей из области brain-machine interfaces:

1. Обезьяна, которая играет в пинг понг через Neuralink https://neuralink.com/blog/

"We are pleased to reveal the Link’s capability to enable a macaque monkey, named Pager, to move a cursor on a computer screen with neural activity using a 1,024 electrode fully-implanted neural recording and data transmission device, termed the N1 Link"

2. Подход к декодированию активности мозга, регистрируемой при помощи магнитоэнцефалографии: Deep Recurrent Encoder: A scalable end-to-end network to model brain signals https://arxiv.org/abs/2103.02339

"We propose an end-to-end deep conv net, trained to predict brain responses from the experimental conditions and using *all* the data (continuous recordings and multiple subjects)"

Твиттер-тред https://twitter.com/jrking0/status/1379775034579947520 и код на GitHib https://github.com/facebookresearch/deepmeg-recurrent-encoder

#AI #BMI

Узнал, что новый китайский УК, принятый 1 марта, запрещает "нелегальные врачебные практики", к которым относится, помимо прочего, модификация человеческого генокода.

"The new section is an amendment to Article 336 of China’s Criminal Law, and officially outlaws “the implantation of genetically-edited or cloned human embryos into human or animal bodies, or the implantation of genetically edited or cloned animal embryos into human bodies,” — with penalties ranging from fines to seven years imprisonment"

Надежды на появление синтетических кошкодевочек в ближайшее время тают 🙁

https://biohackinfo.com/news-china-gene-editing-criminal-law-article-336-march-2021/

#Bioengineering

На днях команда Huawei анонсировала создание языковой модели ("PanGu-α: Large-scale Autoregressive Pretrained Chinese Language Models with Auto-parallel Computation", https://arxiv.org/abs/2104.12369), превосходящей по количеству параметров известный OpenAI GPT-3 в 2 раза ("up to 200 billion parameters"). Архитектура модели - вариация на тему привычных трансформаторов (sparse attention не применялся), авторы использовали датасет на китайском языке размером в 1.1Tb (и довольно подробно описали детали сборки в статье).

На первый взгляд, ничего необычного. За исключением того, что тренировка модели такого размера была выполнена полностью на специализированном железе Huawei, без задействования привычных акселераторов NVidia Tesla, Google TPU и т.д. Авторы использовали 2048 акселераторов Huawei Ascend 910, каждый из которых внешне напоминает Tesla V100 - с похожим энергопотреблением (350W), HBM2 памятью на чипе, и двойной (по сравнению с V100) заявленной производительностью при вычислениях с половинной точностью. (В статье это не указно, но из кода видно, что модель считалась в FP16). Силикон для Ascend 910 разработан Huawei вместе с HiSilicon, архитектура фигурирует под названием Davinci, и производится по технологии 7nm (TSMC N7+). Единственным существенным импортным компонентом платформы остаются процессоры Intel Xeon. Поскольку существующие фрэймворки (Tensorflow, Pytorch, JAX) не поддерживают Ascend/Davinci, Huawei сделал свой, чем-то походий на Pytorch - Mindspore, который поддерживает CPU, GPU (NVidia CUDA) и Ascend/Davinci.

Создание полного стэка - выглядищих конкурентноспособными акселераторов и собственного ML фрэймворка - который работает настолько неплохо, что с его использованием можно выполнить тренировку модели в 200B параметров - это, конечно, замечательные результаты. Это примерно как Google со своим стэком TF+TPU. Остается заменить процессоры Xeon и можно это называть примером успешного импортозамещения.

код и релизы моделей (пока самая большая из выложенных - 13B): https://git.openi.org.cn/PCL-Platform.Intelligence/PanGu-Alpha
про DaVinci: https://www.anandtech.com/show/14756/hot-chips-live-blogs-huawei-da-vinci-architecture
Mindspore: https://www.mindspore.cn/doc/note/en/master/design/mindspore/architecture.html
некоторые детали по Ascend: https://www.servethehome.com/huawei-ascend-910-provides-a-nvidia-ai-training-alternative/

#AI