Дайджест статей 11/07/2021

Всем привет! Довольно много статей по теме управления данными и работы с данными вообще появляется в поле моего внимания, но делать краткие обзоры каждой сложно, а спамить в канал и пересылать каждую статью - не хочется. Поэтому решил просто делать еженедельный дайджест того, что пролетает по нашей теме на Хабре и других источниках. Публиковать буду по пятницам, что бы было чем заняться в выходные 🙂

Вот подборка этой недели:

Data Mesh: как работать с данными без монолита
https://habr.com/ru/company/dododev/blog/475476/

Как и зачем «Ашан» построил платформу для работы с Big Data в публичном облаке
https://habr.com/ru/company/mailru/blog/565664/

Как Hadoop-кластер помогает нам выполнять триллионы вычислений в день и выводить аналитику на новый уровень
https://m.habr.com/ru/company/moex/blog/566174/

Следующий этап: построение конвейера данных от периферии до аналитики
https://habr.com/ru/company/cloudera/blog/560236/

BeeTech 2021: обзор докладов big-data, искуственный интеллект, IT-архитектура, QA, Back-End
BeeTech 2021: обзор докладов big-data, искуственный интеллект, IT-архитектура, QA, Back-End / Блог компании Beeline Казахстан / Хабр

смотрите? https://youtu.be/RTpWYWIfP7Y

Воскресный офтопик (и я писал об этом в FB, но закину и сюда, может кому пригодится)

Для тех, кто много читает - я тут несколько лет мучаюсь с софтом для чтения электронных книг. iBooks - единственный достойный тул, но он ужасен, особенно на компе. Невозможно управлять классификацией книг, синхронизация загадочна, обложки не отображаются и тд.

Неожиданно наткнулся на очень достойную альтернативу (правда платную) - можно грузить свои книги, синхронизировать между устройствами, читать везде и тд и работает вроде четко.

Делюсь: https://www.bookfusion.com/

Крутой доклад про построение хардкорной Big Data архитектуры для Почты России.

Всем привет! В следующий четверг, 22 июля, в 21:00 МСК, совместно с авторами канала https://t.me/noml_digest, проведем голосовой чат на тему модных трендов в области управления данными.

Ссылка на чат для подключения: https://t.me/noml_community?voicechat

Темы: Data Warehouse, Data Lake, Data Vault, Data Lakehouse, Data Fabric, Data Mesh, Data Lab, Data Hub, DataOps, Data Governance ... ну и конечно же Big Data.

Будем разбираться что означают все эти слова, и как заложить крепкий фундамент для успешных ML/DS проектов в виде современной Data Management системы.
А именно, в повестке встречи следующее:
- Эволюция подходов в технологиях построения Data Management систем и методологиях Data Governance.
- Плюсы и минус централизации и децентрализации управления корпоративными данными, как обычно будем искать истину где-то посередине)
- Технологические аспекты и грани децентрализованной обработки и хранения данных, вспомним про Data Federation и обсудим новомодный Data Fabric.
- Как Ops добрался до данных и аналитики: процессы, роли и инструменты DataOps.
- Без качественных данных качественную ML модель не построить. Как решается задачи Data Quality с точки зрения технологий и методологий.

Участники дискуссии
- Денис Афанасьев, Head of TechPlatforms в SberDevices, основатель CleverDATA
- Сергей Абрамов, Head of Feature&ML Engineering, GlowByte Advanced Analytics
- Дмитрий Инокентьев, Архитектор Data платформ, GlowByte Consulting

Дайджест статей 16/07/2021


Платформа обработки данных Билайн
https://habr.com/ru/company/beeline/blog/567508/

Hadoop или MongoDB: что использовать для Big Data?
https://habr.com/ru/company/otus/blog/567558/

Следующий этап: построение конвейера данных от периферии до аналитики
https://habr.com/ru/company/cloudera/blog/560236/

Интеграционные тесты для Хранилища Данных – Настраиваем Slim CI для DWH
https://habr.com/ru/company/otus/blog/567916/

#книгамесяца про «Забывание» от профессора Скотта Смолла, директора исследовательского центра болезни Альцгеймера в Колумбийском университете .

В книге говорится, что до недавнего времени он и большинство других ученых считали, что забывание - это технический сбой нашего мозга.

Но недавние исследования в области нейробиологии, психологии, медицины и информатики говорят о другом. Искажение фактов и деталей в мозге не только полезны, но и психологически необходимы.

Забывчивость нам даёт когнитивный дар, который позволяет адаптироваться в суматохе жизни.

Доктор Смолл утверждает, что забывание позволяет нам адаптироваться и импровизировать лучше. А сон является ключом к удалению посторонней информации.

небольшая обзорна статья по теме Federated Learning, не менее популярная сейчас тема чем Data Mesh

https://towardsdatascience.com/federated-learning-a-new-ai-business-model-ec6b4141b1bf

опять смотрим исторический запуск 🙂

https://www.youtube.com/watch?v=ERLTF1xV-dY

ну такое себе развлечение - за 10 минут сжечь кучу денег без какой то практической пользы

Тут со мной поделились статьей, еще внимательно не изучил, но беглый просмотр показал, что статью надо постить отдельно, а не в рамках дайждеста.

https://databricks.com/discover/champions-of-data-and-ai/s2-e8-the-critical-job-of-building-a-data-culture

Начинаем через 7 минут!

Было интересно, хорошая дискуссия на актуальные темы получилась

Дайджест статей 23/07/21

The Essential Data Cleansing Checklist
https://dzone.com/articles/the-essential-data-cleansing-checklist

Обзор Databrick. Что облачный продукт может дать начинающим специалистам
https://habr.com/ru/post/568276/

What Is Data Locality?
https://dzone.com/articles/what-is-data-locality

Why Your Business Should Use a Data Catalog to Organize Its Data
https://www.smartdatacollective.com/why-business-should-use-data-catalog-to-organize-its-data/?utm_source=feedburner&utm_medium=feed&utm_campaign=Smart+Data+Collective+%28all+posts%29

Персональные данные и всё, что о них нужно знать
https://habr.com/ru/post/568364/

Databook: Turning Big Data into Knowledge with Metadata at Uber
https://eng.uber.com/databook/

Turning Metadata Into Insights with Databook
https://eng.uber.com/metadata-insights-databook/

Open Source Data Lineage Tools for Data Management
https://www.knowledgenile.com/blogs/open-source-data-lineage-tools/

Хранилище комплексных данных о клиентах и его синхронизация с Hubspot при помощи BigQuery, dbt, Looker и Hightouch
https://habr.com/ru/post/568686/?utm_source=habrahabr&utm_medium=rss&utm_campaign=568686

Data Platform: Data Ingestion Engine for Data Lake
https://dzone.com/articles/data-platform-data-ingestion-engine

Вышел новый State of DevOps Report 2021. Ранее делал анализ версии 2020 года, интересно будет сравнить что изменилось.

Дайджест статей 30/07/21

Что пролетело на радарах за неделю:

Analytics and AI Transformation
https://www.pwc.com/us/en/services/consulting/analytics.html?overlay=healthcareInfographic

What is data governance?
http://www.datasciencecentral.com/xn/detail/6448529:BlogPost:1058708

Data Collection Services Assisting Organizations to Achieve the Right Business Impact
http://www.datasciencecentral.com/xn/detail/6448529:BlogPost:1058703

Какими нормами и законами регулируется защита персональных данных?
https://habr.com/ru/company/digitalrightscenter/blog/569900/

Дайджест новостей искусственного интеллекта и машинного обучения за июль
https://habr.com/ru/post/568762/

Топ-5 инструментов для разметки данных в 2021 году
https://habr.com/ru/post/569938/

Опубликована запить митапа по Data Science, проводимого Ростелекомом.

В самом первом выступлении Максим Лисянский из LeroyMerlin рассказывает об организации функции работы с данными в компании. Как раз, в продолжении обсуждаемой ранее темы про Data Mesh, пример того как в компании сформированы распределенные продуктовые команды, вместо единой централизованной функции.

https://youtu.be/jIywXLHfG6Y

⚡️Facebook будет настраивать таргетинг рекламы на основе зашифрованных сообщений в WhatsApp

Для этого ИТ-гигант набирает команду исследователей искусственного интеллекта, в том числе нанял ключевого сотрудника из Microsoft.

Facebook - один из немногих ИТ гигантов, таких как Microsoft, Amazon и Google, которые исследуют гомоморфное шифрование.

Такой тип шифрования позволяет делать произвольные вычисления на зашифрованных данных без их расшифровки. Например, Google может делать поиск по запросу не зная, что это за запрос, можно фильтровать спам, не читая писем, подсчитывать голоса, не вскрывая конверты с голосами и многое другое.

Исследователи надеются, что эта технология позволит компании анализировать личную информацию, включая медицинские записи и финансовые данные, сохраняя при этом информацию в зашифрованном виде и защищённой от киберугроз, в случае Facebook - утечки данных рекламодателям или другим лицам.

Кристин Лаутер, которая ранее более 20 лет проработала в Microsoft, занимаясь криптографией и исследованиями конфиденциальности, присоединилась к Facebook в апреле в качестве руководителя исследования AI, в ее подчинении сейчас 120 исследователей в области шифрования, машинного обучения, робототехники и других областей искусственного интеллекта.

Неизвестно, сколько лет потребуется Facebook для внедрения такой технологии и как WhatsApp и другие пользователи Facebook отреагируют на комбинацию шифрования и рекламы.

По сравнению с другими крупными технологическими компаниями Facebook - новичок в этой области.

Например, Microsoft изучает эту технологию более 10 лет, публикуя библиотеку кода с открытым исходным кодом по этой теме и помогая создавать для нее глобальные стандарты.

А Google, IBM опубликовали код для приложений гомоморфного шифрования. IBM во время пандемии заявила, что использовала такое шифрование для анализа рентгеновских изображений для выявления у пациентов Covid-19.

Пост для любителей программной инженерии

Первый раз встретил книгу, в которой автор так конкретно и настоятельно рассказывает про методы декомпозиции требований для разработки архитектуры компонентов/сервисов программной системы, сопровождая описание отличной аргументаций и практическими примерами Я таких хороших описаний ранее не встречал (если кто встречал, поделитесь). Да и вообще, тема декомпозиции требований абсолютно не раскрыта в области Computer Science, всех учат больше кодированию, тестированию и системному дизайну с точки зрения отказоустойчивость. В вот в области декомпозиции требований и solution architect основном доминирует метод “функциональной декомпозиции”, который вроде как вообще растет из ООП и примеров в книгах на тему ООП. Собственно его все и используют, хотя по мнению автора (и не могу не согласиться) он сугубо пагубен и не приводит к возникновению элегантных и хороших архитектур программных систем, наоборот, плодя неэффективности и потери времени и денег при разработке и развитии программных систем.

Тут надо сказать, что такое “хорошая архитектура”. Как и то, что “хороший код” это код, который легко менять под изменения требований, “хорошая архитектура” - поддерживает легкое и безболезненное внесение изменений в компоненты системы. То есть задача архитектора так определить структурные компоненты системы, что бы изменение каждого из них минимально влияли на все другие. Вообще то, что изменение требований считается болью ИТ разработчиков не правильно, большинство авторов наоборот пишут о том, что изменения требований - это жизнь, это происходит и это должно быть. А наша задача вести разработку так, что бы эти изменения поддерживать.

Так вот, функциональная декомпозиция разбивает систему на структурные элементы, определяемые функциональностью системы. Один из способов выполнения функциональной декомпозиции — создание сервисов для всех разновидностей функциональности. Этот способ декомпозиции приводит к взрывному росту количества сервисов, так как система сколько-нибудь приличного размера может содержать сотни видов функциональности. В этих сервисах часто будет дублироваться большой объем общей функциональности, адаптированной для конкретного случая. Поэтому внесение изменений в систему как правило начинает затрагивать большое количество сервисов и модулей и говорить тут о красивой и элегантной архитектуре не особо приходиться.

Автор предлагает использовать другой метод - “декомпозицию на основе нестабильности” (Volatility-based decomposition). Правда тут русский перевод неточен, я бы перевел название как “декомпозиция на основе изменчивости”. Идея тут в том, что бы выделить области в требованиях, вероятность изменений которых велико и инкапсулировать эти изменения в соответсвующие компоненты/сервисы системы. Изменения при этом могут исходить из 2-х “областей”:

• Изменения требований одного пользователя системы с течением времени
• Изменения, которые формируются требованиями разных пользователей системы

Например, смотря на требования к системе биржевой торговли, видим такой список возможных областей нестабильности: нестабильность пользователей, нестабильность клиентских приложений, нестабильность безопасности, нестабильность хранения, нестабильность торговых позиций, нестабильность локального контекста и законодательства и тд - требования ко всем этим областям могут меняться как от разных пользователей, так и с течением времени по мере развития системы. После того как области нестабильности будут определены, необходимо инкапсулировать их в компонентах архитектуры.

Такой подход минимизирует количество изменений, которые надо будет вносить в компоненты системы, при изменении одного из них. Все изменения одной области “инкапсулируются” и макимально изолируются.

Мне такой подход показался очень правильным и элегантным. Это, конечно, краткое изложение идеи, подробнее читайте в первой главе книги: https://www.litres.ru/leve-dzhuvel/sovershennyy-soft-64073407/