Что-то накопилось статей, никак не разберу. поэтому попробую поделиться просто интересными и релевантными, даже если не успеваю сделать краткий обзор.

Вот, например, интересные изменения законодательства по работе с персональными данными. Надо быть начеку!

https://habr.com/ru/company/leader-id/blog/553526/

И еще из отложенного:

На хабре в блоге Александр Еськов Sistemaalex опубликован цикл статей на тему управления данными:

1. Таксономия форматов времени и дат в неочищенных данных, 2012 г.
2. Очистка данных: проблемы и современные подходы 2000 г.
3. Таксономия «грязных данных» 2003 г.
4. Проблемы, методы и вызовы комплексной очистки данных 2003 г.
5. Формульное определение проблем качества данных 2005 г.
6. Обзор инструментов качества данных 2005 г.

И еще из накопившегося: статья про использование data build tool в Wheely.

Кстати, DBT довольно интересный и набирающий популярность инструмент для упралвения DWH, достойный отдельного изучения. А в статье описывается как этот инструмент позволяет орагнизовать работу с большим количеством структур данных в Wheely.

https://m.habr.com/ru/company/wheely/blog/549614/

несколько базовых вещей про MLOps, для того, что бы немного погрузиться в эту тему

https://www.datasciencecentral.com/profiles/blogs/mlops-comprehensive-beginner-s-guide

Ранее уже упоминал статью "How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh"

https://martinfowler.com/articles/data-monolith-to-mesh.html

а тут обнаружил перевод на Хабре: https://habr.com/ru/post/495670/

Еще из залежей Хабра - статья с детальным описанием аналитического хранилища Газпромбанка, которое было разработано компанией Glowbyte.

Достаточно детально описывается архитектуры, технологический стек.

https://habr.com/ru/company/glowbyte/blog/554834/

Минутка рекламы - 20 мая на конференции SmartDev 21 мы (команда SberDevices) анонсируем много новых разработок, которые выводим на рынок. В частности моя команда (технологические платформы) анонсирует сервисы

- SmartSpeech (платформа распознавания/генерации речи)
- SmartBIO (платформа биодинтификации)
- Layer (платформа распознавания в видеопотоке товаров, актеров, предметов и локаций)
- SmartHome для разработчиков (платформа умного дома с интеграцией со сторониими устройствами)
- коммуникационная платформа Jazz

А мои коллеги расскажут много интересного про виртуального асисстента Салют, сервиса CV, AR и тд

Приходите

https://smartdev21.ru

Сори, за задержку с публикациями, подготовка и проведение конференции заняли довольно много времени. Материалы в подгтовке, а пока вот запись нашего блока конференции:

https://www.youtube.com/watch?v=WxRNLjDAyv4

Друзья, и еще одна корпоративная, но важная новость. Команда SberDevices сегодня открывает доступ к датасету Golos — самому большому размеченному вручную набору речевых данных на русском языке, включающему 1240 часов аудиоданных, а также обученную на них модель распознавания речи, которая показывает точность, сравнимую с человеческой.

Вы можете использовать его абсолютно открыто, мы постарались сделать максимально удобную лицензию для разработчиков в области речевых технологий.

Кроме самих данным мы так же делаем доступной обученную на них модель распознавания речи. Она обучалась с использованием мощностей суперкомпьютера «Кристофари» от Сбера на 16 видеокартах Nvidia Tesla V100 в течение 8 дней. Доступная для использования акустическая модель QuartzNet 15x5 была обучена на данных датасетов Golos и Common Voice, а языковая модель KenLM построена на Common Crawl и аннотациях Golos.

Мы надеемся, что датасет Golos даст возможность научному сообществу России двигаться ещё быстрее в совершенствовании русскоязычных речевых технологий.

https://github.com/sberdevices/golos

MIT выпустил беспланую книгу "Algorithms for Decision Making". Очень объемное описание всей математики, лежащей под катопом систем поддержки принятия решений, прогнозирования и тп, включая даже такие темы как мультиагентные системы, соллоборативные агенты и тп.

Книжка во вложении

Как то я вот прощелкал отличный информационный инструмент, позволяющий быть в курсе технологических трендов в ИТ, и только сейчас обратил внимание на https://www.thoughtworks.com/radar

Для таких же как я делюсь ссылкой и свежим обзором технологий.

Рекомендация книги. Хочу обратить ваше внимание на книгу Романа Зыкова, основателя компании RetailRocket, в которой отвечал за функцию работы с данными и разработке системы рекомендации. Книга совсем новая, называется "Роман с Data Science. Как монетизировать большие данные" и предназначена для думающих читателей, которые хотят попробовать свои силы в области анализа данных и создавать сервисы на их основе. Она будет вам полезна, если вы менеджер, который хочет ставить задачи аналитике и управлять ею. Если вы инвестор, с ней вам будет легче понять потенциал стартапа. Те, кто «пилит» свой стартап, найдут здесь рекомендации, как выбрать подходящие технологии и набрать команду. А начинающим специалистам книга поможет расширить кругозор и начать применять практики, о которых они раньше не задумывались, и это выделит их среди профессионалов такой непростой и изменчивой области.

https://www.piter.com/collection/all/product/roman-s-data-science-kak-monetizirovat-bolshie-dannye

Несмотря на то, что Delta Lake ,книга выйдет в Апреле 2022, уже сейчас можно получить к ней доступ на O'Reilly
https://www.oreilly.com/library/view/delta-lake-the/9781098104580/

Уже завтра приглашаем на Tinkoff. AI meetup!⚡️
В этот раз направим все внимание на рекомендательные системы.

Поговорим:
— об аналитике пользовательских покупок: предсказании потребностей и роли в этом машинного обучения. Расскажем каким SOTA подходам действительно можно верить.
— о персонализированном кэшбэке: как в ранжировании спецпредложений для клиента помогают наработки в области глубокого обучения и почему одних лишь сеток недостаточно для хорошей персонализации.

Соберем круглый стол экспертов из Тинькофф, Яндекса и Сбера – обсудим опыт компаний использования рекомендательных систем.

🕖Встречаемся 3 июня в 19:00 по московскому времени
Регистрация: https://l.tinkoff.ru/ai-recsys-21

Summary книги Чистый Agile

Наконец-то осилил добить небольшое саммари в виде цитат из Мега книги “Чистый Agile. Основы гибкости” от Роберта Мартина.
Просто must red всем, кто связан с разработкой ПО вне зависимости от роли и должности. В книге не только изложена суть того, что мы называем Agile, но и в целом о профессии разработчика ПО и о тех принципах, которым следуют настоящие профессионалы своего дела.

Для тех, у кого совсем нет времени, вот тут документ с основными цитатами: https://www.dropbox.com/s/sm91e4f71enjjxl/%D0%A7%D0%B8%D1%81%D1%82%D1%8B%D0%B9%20Agile%20summary%20short.pdf?dl=0

Для тех, кто хочет увидеть цитаты в контексте книги вот тут они с фотографиями страниц: https://www.dropbox.com/s/6h8iipmd2b69q6k/%D0%A7%D0%B8%D1%81%D1%82%D1%8B%D0%B9%20Agile%20summary.pdf?dl=0

А для тех, что хочет почитать в выходные, ссылка на саму книгу: https://www.litres.ru/robert-s-martin/chistyy-agile-osnovy-gibkosti/chitat-onlayn/

утащил тут слайд из соседних каналов

🎯29 июня — Аналитическая платформа для бизнеса

На вебинаре поговорим о том, как строить собственное хранилище данных на базе платформы Yandex.Cloud.

О чем расскажем:
🔵 Как организовать сбор и анализ данных в компании, чтобы создать внешнее хранилище данных и объединить информацию из нескольких источников.
🔵 Как загружать обновления в потоковом режиме, чтобы строить витрины и управлять жизненным циклом данных и аналитическими отчетами.
🔵 Как определить подходящую архитектуру для корпоративной аналитической системы.

Кому будет полезен:
✅ Архитекторам данных и техническим директорам — чтобы выбирать подходящие инструменты и технические решения;
✅ Дата-инженерам — чтобы лучше понимать, как реализовать тот или иной сценарий в облаке;
✅ Специалистам по бизнес-аналитике — чтобы быть в курсе самых новых технологий.

Регистрация →