Друзья, напоминаю, что Navicon продолжает серию вебинаров по Greenplum - 10 апреля ребята рассмотрят вопрос оптимизации запросов – особенности СУБД и интересные моменты.

Среди основных тем:
- Особенности планов запросов в Greenplum
- Узкие места в запросах
- Стоит ли использовать индексы?
- Как эффективно собирать статистику

Если вам интересно, не забудьте зарегистрироваться
https://navicons.com/events/4901/

Привет! Мы на свой митап зазвали в итоге чела от DBOS - это кластерная ОС, которую делает Стоунбрейкер сейчас. Они сделали крутое решение для облака уже, даже частично open-source, куча интересных возможностей, всем причастным к облакам и кластерам советую посмотреть. https://databaseinternals.timepad.ru/event/2835259/

Минутка философии. Кстати этот Obsidian много где мелькает, я пробовал ставить, но там без бутылки и дзена не разберешься. Sublimetext - наше все :)

Новая speech2text модель подъехала. Судя по заявленным показателям - хорошее увеличение качества.

Дайджест статей

Размышления о высококачественных данных, собранных людьми
https://habr.com/ru/companies/magnus-tech/articles/803025/

Мы так и не смогли защитить свою модель машинного обучения от состязательных атак. Пока
https://habr.com/ru/companies/isp_ras/articles/800751/

Боты и сервисы для разведки данных Вконтакте
https://habr.com/ru/articles/804709/

Создание ИИ-ассистента, который отвечает на вопросы пользователей по базе знаний
https://habr.com/ru/companies/agima/articles/805113/

Парадоксы в данных, и почему визуализация бывает необходима
https://habr.com/ru/articles/804441/

Как дисциплина управления мастер-данными влияет на продажи
https://habr.com/ru/companies/magnit/articles/805321/

How data mapping enhances data governance and lineage
https://www.datasciencecentral.com/how-data-mapping-enhances-data-governance-and-lineage/?utm_source=pocket_saves

The Future of Data-Driven Web Development: Trends and Technologies
https://www.smartdatacollective.com/future-of-data-driven-web-development-trends-and-technologies/?utm_source=pocket_saves

Интересная стать, вынес ее из дайджеста в отдельный пост. При чем мне понравилось не инсайты автора, который изучает как работают LLM, а то, что люди сначала что то придумают, а потом пытаются разобраться как оно работает :) Казалось бы - LLM это четкая математическая концепция, где все работает по заранее определенным формулам и алгоритмам, все в достаточной мере детерминистично. А нет, все равно получилась в итоге неведомая штука которую можно исследовать и писать диссертации :)

Но в целом текст интересный и небольшой: https://habr.com/ru/companies/airi/articles/804515/

Кто вчера пропустил просмотр полного солнечного затмения - вот тут wired выложил фотки красивые

https://www.wired.com/story/total-solar-eclipse-best-photos/

Пока мы тут боремся с искусственным интеллектом, у кого то системы еще загружаются с дискет 3.5 дюйма (интересно сколько человек тут помнят такие). Хороша новость, что San Francisco Municipal Transportation Agency уже планирует проведение массового и большого апдейта, похоже, что находить им новые диски что бы держать копии, становится все сложнее :)

https://www.theregister.com/2024/04/09/san_francisco_muni_floppy_disks/

Коллеги, обратите внимание на интересное мероприятие!

Как системному аналитику DWH попасть в Тинькофф? О чем спросят на собеседовании? Какие задачи предложат решать?

Все ответы — на Tinkoff DWH Connect. В апреле пройдут три онлайн-мероприятия для системных аналитиков DWH. Уровень мидл и выше.

Вот что будет:

— Открытое собеседование, 10 апреля. Посмотрите, как проходит техническая часть интервью, какие вопросы задают кандидату и какие задачи будут на реальном собеседовании.

— Weekend Offer, 20 и 21 апреля. Можете попасть в команду Тинькофф за пару дней. Пройдете все этапы собеседования за выходные — и, если все понравится, оффер ваш.

Посетите все три ивента или сразу приходите на собеседование.

Зарегистрируйтесь до 17 апреля. Детали тут

erid:2VtzqvsbCM4
Реклама. АО "Тинькофф Банк", ИНН 7710140679, лицензия ЦБ РФ № 2673

Друзья, всех причастных поздравляю с Днем космонавтики!

Дайджест статей

Всем привет! Редакция возвращается из отпуска 🙂

New AI method captures uncertainty in medical images
https://news.mit.edu/2024/new-ai-method-captures-uncertainty-medical-images-0411?utm_source=pocket_saves

Database, Data Warehouse и Data Lake: что это и когда следует использовать каждое?
https://habr.com/ru/companies/smartup_tech/articles/807379/

Data Product Manager — кто это?
https://habr.com/ru/companies/rdp/articles/806977/

How data impacts the digitalization of industries
https://www.datasciencecentral.com/how-data-impacts-the-digitalization-of-industries/?utm_source=pocket_saves

Ликбез по методологиям проектирования хранилищ данных
https://habr.com/ru/articles/806347/

Меньше работы с людьми, больше работы с данными: кому подойдет мир аналитики
https://habr.com/ru/companies/productstar/articles/806529/

Векторные СУБД и другие инструменты для разработки ML-моделей
https://habr.com/ru/companies/beeline_cloud/articles/806815/

Data Awards 2024

Коллеги, уже совсем скоро состоится церемония награждение победителей Data Awards 2024 и экспертная комиссия уже приступила к оценке проектов.
Я не публиковал тут все интервью и описания проектов, потому что их довольно много и все они опубликованы в канале https://t.me/osp_ru - посмотрите плз там, это интересно.

Особенно приятно, что в этом году компании CleverData и ЛАНИТ в очередной раз стали партнерами премии (https://t.me/cleverdata_cdp/54), так что утвердим особые призы.

Награждение состоится уже в мае! Буду держать в курсе новостей премии!

Посмотрите интересный доклад про культурные различия. Тут от ИТ в целом ничего нет, просто Александр делает обзор и показывает интересные примеры различий между кальтурами. Сейчас, в эпоху удаленки, многие работают в интернациональных командах и мне кажется этот материал будет им интересен.

Обратите внимание, что там в описании видео есть ссылка на скачивание презентации - для тех, что хочет познакомиться с материалов детальнее.

Интересный вывод там - интернациональные команды в целом работают более эффективно, тк различие культур и взглядом создает взаимодополнение и позволяет более цельно видеть картинку и решать проблемы.

https://www.youtube.com/watch?v=L99bzklcpZk&list=WL&index=5

В свое время, при проектирование организационных структур, я пришел к выводу, что в этом процессе работают точно такие же правила, как и при проектировании программных систем и архитектуры их компонентов. Если хочешь сделать эффективную орг структуру, то применяй такие подходы как: SOLID, GRASP и тд, организовывай межкомандные коммуникации по таким же паттернам как и в программных с системах - брокер сообщений, бродкаст, мультикаст - все они имеют такие же плюсы и минусы как и применительно к ПО.

А тут вот еще один интересный, "обратный", закон обнаружил: закон Конвея.

Суть его очень проста: при разработке программной системы ее компонентная архитектура будет повторять организационную структуру организации.

Более дательно объяснение из википедии: "Суть закона заключается в том, что при декомпозиции инженерами крупных задач на более мелкие для передачи части работ коллегам, возникает сложность координации между функциональными подразделениями. Во многих организациях команды разделены в соответствии с теми функциями, которые они выполняют, и существуют в отрыве от других команд. Поэтому структура программного интерфейса системы будет отражать социальные границы организации (организаций), которые её создали, что затрудняет общение. В рамках своих функций команды могут отлично справляться с выполнением своих задач. Однако для того, чтобы создать что-то новое (функцию, продукт и т. д.), командам необходимо кросс-функциональное взаимодействие и совместная работа."

https://ru.wikipedia.org/wiki/%D0%97%D0%B0%D0%BA%D0%BE%D0%BD_%D0%9A%D0%BE%D0%BD%D0%B2%D0%B5%D1%8F

Дайджест статей

Что такое дрифт ML-моделей и как его мониторить?
https://habr.com/ru/companies/selectel/articles/808335/

Predictive Analytics — все, что нужно знать (обзор ключевых моментов)
https://habr.com/ru/articles/808423/

Как бизнес-аналитику выстроить работу в проектах DWH (Data Warehouse). Структура работ
https://habr.com/ru/articles/807913/

Как я проходила стажировку в отделе аналитических решений почти без опыта работы с данными
https://habr.com/ru/companies/yoomoney/articles/807087/

Как учить большие языковые модели (теоретический туториал)
https://habr.com/ru/articles/809037/

ГАЙД по python стеку для Data Science инженеров
https://habr.com/ru/articles/809181/

How is machine learning changing the landscape of FinTech?
https://www.datasciencecentral.com/how-is-machine-learning-changing-the-landscape-of-fintech/?utm_source=pocket_saves

Using window functions for advanced data analysis
https://www.datasciencecentral.com/using-window-functions-for-advanced-data-analysis/?utm_source=pocket_saves

The Role of Data Structures and Algorithms in Software Development
https://www.smartdatacollective.com/role-of-data-structures-algorithms-in-software-development/?utm_source=pocket_saves