Глубокое :)

Знак на Бостон НЕ ЕДЕТ в Бостон!

Некоторое время назад я работала с одним прекрасным ИТ-директором в крупной инвестиционной компании. Даже спустя много лет могу сказать, что это один из умнейших людей, с которыми мне посчастливилось познакомиться. Умные и очаровательные мужчины вообще играли, играют и, я надеюсь, будут играть в моей жизни особую роль, но об этом в другой раз. И так: я, очень юная (особенно в плане понимания жизни) максималистка, была сильно потрясена, как мои заказчики внутри этой компании (как раз прямые подчиненные ИТ-директора) могут говорить одно, а делать совсем другое. Судить других людей за поступки, которые совершают сами (в частности моих же кандидатов!!!). Так вот — урок мне был преподнесён а виде великолепной истории, которую я запомнила на всю жизнь и которая мне помогает сильно в работе.
Америка. Университет. Преподаватель философии — любимец студентов, на его лекциях никто не спал, его боготворили. И вот через 25 лет любви и восхищения скандал. Уголовное дело: философ оказался педофилом. К нему приходит его толпа студентов с вопросом: “Ну как же так? Вы нам рассказывали про такие “высокие” вещи, рассуждали с нами про ценности, а тут такое?” И он им ответил (я бы с удовольствием посмотрела на это вживую): “The sign to Boston doesn’t have to go Boston. It’s just a sign”. Гениально. И просто очевидно. Он показывает — ехать не обязан. Уроку более 10 лет, а я до сих пор искренне радуюсь, когда люди говорят “правильные” вещи. Есть шанс, что если не в этот раз, то в следущий будут ещё и делать также. Но “своих” выбираю из делателей. И можно без слов. Правильных вам указателей и надежных попутчиков.

#изжизнирекрутера

Кейсы на производстве реализовывать особенно сложно, поэтому очень классно что их появляется все больше.

https://www.computerworld.ru/cio/news/260421-NLMK-vnedril-servis-prediktivnoy-analitiki-dlya-izmereniya-temperatury-stali?fbclid=IwAR1dgbUukS4T9w73Ep0xtylhGLojawMhuXhADIcxfrzeyIn4dm8YZS-m5QE

Буквально сейчас, в 11-00 начнется онлайн встреча с Simon Brawn, автором книги "Чистая архитектура" (делал обзор выше) - мега книга по разработке ПО, на тему "Как на самом деле работают команды в проектировании архитектуры."

Оказывается трансляция будет общедоступной, ниже по ссылке. Очень рекомендую.

https://www.youtube.com/watch?v=_vqAAJ8mY3w

25/05 пройдет большой форум "Культура управления данными"

https://infaday.ru

Что-то накопилось статей, никак не разберу. поэтому попробую поделиться просто интересными и релевантными, даже если не успеваю сделать краткий обзор.

Вот, например, интересные изменения законодательства по работе с персональными данными. Надо быть начеку!

https://habr.com/ru/company/leader-id/blog/553526/

И еще из отложенного:

На хабре в блоге Александр Еськов Sistemaalex опубликован цикл статей на тему управления данными:

1. Таксономия форматов времени и дат в неочищенных данных, 2012 г.
2. Очистка данных: проблемы и современные подходы 2000 г.
3. Таксономия «грязных данных» 2003 г.
4. Проблемы, методы и вызовы комплексной очистки данных 2003 г.
5. Формульное определение проблем качества данных 2005 г.
6. Обзор инструментов качества данных 2005 г.

И еще из накопившегося: статья про использование data build tool в Wheely.

Кстати, DBT довольно интересный и набирающий популярность инструмент для упралвения DWH, достойный отдельного изучения. А в статье описывается как этот инструмент позволяет орагнизовать работу с большим количеством структур данных в Wheely.

https://m.habr.com/ru/company/wheely/blog/549614/

несколько базовых вещей про MLOps, для того, что бы немного погрузиться в эту тему

https://www.datasciencecentral.com/profiles/blogs/mlops-comprehensive-beginner-s-guide

Ранее уже упоминал статью "How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh"

https://martinfowler.com/articles/data-monolith-to-mesh.html

а тут обнаружил перевод на Хабре: https://habr.com/ru/post/495670/

Еще из залежей Хабра - статья с детальным описанием аналитического хранилища Газпромбанка, которое было разработано компанией Glowbyte.

Достаточно детально описывается архитектуры, технологический стек.

https://habr.com/ru/company/glowbyte/blog/554834/

Минутка рекламы - 20 мая на конференции SmartDev 21 мы (команда SberDevices) анонсируем много новых разработок, которые выводим на рынок. В частности моя команда (технологические платформы) анонсирует сервисы

- SmartSpeech (платформа распознавания/генерации речи)
- SmartBIO (платформа биодинтификации)
- Layer (платформа распознавания в видеопотоке товаров, актеров, предметов и локаций)
- SmartHome для разработчиков (платформа умного дома с интеграцией со сторониими устройствами)
- коммуникационная платформа Jazz

А мои коллеги расскажут много интересного про виртуального асисстента Салют, сервиса CV, AR и тд

Приходите

https://smartdev21.ru

Сори, за задержку с публикациями, подготовка и проведение конференции заняли довольно много времени. Материалы в подгтовке, а пока вот запись нашего блока конференции:

https://www.youtube.com/watch?v=WxRNLjDAyv4

Друзья, и еще одна корпоративная, но важная новость. Команда SberDevices сегодня открывает доступ к датасету Golos — самому большому размеченному вручную набору речевых данных на русском языке, включающему 1240 часов аудиоданных, а также обученную на них модель распознавания речи, которая показывает точность, сравнимую с человеческой.

Вы можете использовать его абсолютно открыто, мы постарались сделать максимально удобную лицензию для разработчиков в области речевых технологий.

Кроме самих данным мы так же делаем доступной обученную на них модель распознавания речи. Она обучалась с использованием мощностей суперкомпьютера «Кристофари» от Сбера на 16 видеокартах Nvidia Tesla V100 в течение 8 дней. Доступная для использования акустическая модель QuartzNet 15x5 была обучена на данных датасетов Golos и Common Voice, а языковая модель KenLM построена на Common Crawl и аннотациях Golos.

Мы надеемся, что датасет Golos даст возможность научному сообществу России двигаться ещё быстрее в совершенствовании русскоязычных речевых технологий.

https://github.com/sberdevices/golos

MIT выпустил беспланую книгу "Algorithms for Decision Making". Очень объемное описание всей математики, лежащей под катопом систем поддержки принятия решений, прогнозирования и тп, включая даже такие темы как мультиагентные системы, соллоборативные агенты и тп.

Книжка во вложении

Как то я вот прощелкал отличный информационный инструмент, позволяющий быть в курсе технологических трендов в ИТ, и только сейчас обратил внимание на https://www.thoughtworks.com/radar

Для таких же как я делюсь ссылкой и свежим обзором технологий.

Рекомендация книги. Хочу обратить ваше внимание на книгу Романа Зыкова, основателя компании RetailRocket, в которой отвечал за функцию работы с данными и разработке системы рекомендации. Книга совсем новая, называется "Роман с Data Science. Как монетизировать большие данные" и предназначена для думающих читателей, которые хотят попробовать свои силы в области анализа данных и создавать сервисы на их основе. Она будет вам полезна, если вы менеджер, который хочет ставить задачи аналитике и управлять ею. Если вы инвестор, с ней вам будет легче понять потенциал стартапа. Те, кто «пилит» свой стартап, найдут здесь рекомендации, как выбрать подходящие технологии и набрать команду. А начинающим специалистам книга поможет расширить кругозор и начать применять практики, о которых они раньше не задумывались, и это выделит их среди профессионалов такой непростой и изменчивой области.

https://www.piter.com/collection/all/product/roman-s-data-science-kak-monetizirovat-bolshie-dannye

Несмотря на то, что Delta Lake ,книга выйдет в Апреле 2022, уже сейчас можно получить к ней доступ на O'Reilly
https://www.oreilly.com/library/view/delta-lake-the/9781098104580/

Уже завтра приглашаем на Tinkoff. AI meetup!⚡️
В этот раз направим все внимание на рекомендательные системы.

Поговорим:
— об аналитике пользовательских покупок: предсказании потребностей и роли в этом машинного обучения. Расскажем каким SOTA подходам действительно можно верить.
— о персонализированном кэшбэке: как в ранжировании спецпредложений для клиента помогают наработки в области глубокого обучения и почему одних лишь сеток недостаточно для хорошей персонализации.

Соберем круглый стол экспертов из Тинькофф, Яндекса и Сбера – обсудим опыт компаний использования рекомендательных систем.

🕖Встречаемся 3 июня в 19:00 по московскому времени
Регистрация: https://l.tinkoff.ru/ai-recsys-21