Reveal the Data
23.5K subscribers
721 photos
18 videos
3 files
563 links
Канал Ромы Бунина про визуализацию данных, дашборды и развитие BI-систем.

Подробнее про канал, рубрики, правила и контакты — https://t.me/revealthedata/386

Сайт и блог — https://revealthedata.com/
Download Telegram
🗂 Больше папок богу папок 🗂
Хайп на шеринг папок прошёл и теперь более понятно как ими пользоваться. Надеюсь, вы тоже уже сориентировались и ваши папки не превратились в кладбище каналов, которые вы не читаете. У меня с несколькими интересными, но не самыми важными для меня темами, так и случилось 🙈 В общем будете осторожны =)

🗂 Вместе с авторами каналов про датавиз собрали папку про визуализацию данных — только графики, журналистика данных и дата-арт. Если хотите именно мякотку про датавиз, заходите в папку 🗂 «Датавиз», там лампово и кайфово 🗂

🗂 Если хотите что-то пошире, с нотками аналитики и BI, я собирал такое раньше, много тех же каналов, но тематика шире — ищете в папке 🗂 «DataViz & BI».

🗂 Ещё, кстати, собрал подборку с вакансиями по BI и аналитике данных и около — вдруг вам актуально. Я ещё не публиковал эту ссылку на папку 🗂 «BI & Data Jobs».

📄 Ну и самая большая подборка, где нужно выбрать каналы самому, а не подписываться на папку, у меня в cтатье в блоге.

Надя сделала красивый дата-арт на данных наших каналов, Никита загнал данные в ChatGPT, а я посчитал количество упоминаний слова «папка» в каждом абзаце этого сообщения 🤪 Простите, настроение подурачиться =)

Количество папок по абзацам
слова и эмоджи
1 🗂🗂🗂🗂🗂🗂
2 🗂🗂🗂🗂🗂
3 🗂🗂🗂🗂
4 🗂🗂🗂
5 🗂
6 🗂
#ссылка
Вместе с коллегами закончили большой бесплатный курс по DataLens, приходите учится! Курс нелинейный, можно выбрать наиболее интересные модули, поэтому подойдет и новичкам, и чтобы прокачать какие-то конкретные темы. С момента выпуска первых модулей в прошлом году, курс попробовали более 6000 человек, очень довольны результатом!

Другие полезные материалы по DataLens собирал в этом посте и по тегу #datalens
#ссылка
🤬 Cool-modern-dashboard подгорания пост
Давно хотел написать, тема лежит в запланированных уже года два, но тут недавно встретил статью, которую шарят в каналах по дизайну, и решил, что не стоит откладывать.

Проблема
Дизайнеры мало погружаются в тему визуализации данных и поэтому, когда им нужно сделать интерфейс с графиками, применяют те же правила, что используют и для дизайна сайтов. Это приводит к парадоксу: аналитики и BI-разработчики, которые ищут как улучшить внешний вид своих дашбордов ищут что-то формата «dashboard design» и попадают, например, на такую страничку (картинка выше). А там «красота»: скругления, плавные линии, бар-чарты не от нуля, 50 оттенков одного цвета, много плашечек и тенюшечек.

Аналитики смотрят на это и думают: ну раз дизайнеры так делают, то и мне стоит делать так же 🙈 В итоге мы имеем целую плеяду «красивых» дашбордов, которые несут мало ценности или ими неудобно пользоваться.

Статья-триггер
А вот и статья, которая триггернула меня написать пост: «Как нарисовать красивый график или диаграмму». Само слово «красивые» уже насторожило =) Подсвечу две основные ошибки:

Скругление углов и добавление градиентов
«Так как в современном дизайне повсеместно используются элементы со скруглённым углами, то же самое стоит использовать и для оформления инфографики.»

Вот поясняющая статья про скругления: почему так не стоит делать. Градиенты просто лишние, создают ощущение, что метрика как-то от чего-то зависит или меняется.

Подбор палитры в зависимости от цветов дизайна и бренда
«Для того чтобы лучше вписать график в окружающий дизайн или брендированную презентацию, можно использовать основной цвет этого дизайна. Даже если вы показываете рост продаж компании, можно покрасить график в красный если это рост продаж Кока Колы»

На мой взгляд такой подход может прям сильно испортить восприятие информации. Используйте корпоративные цвета в лого, в заголовке и т.п., но не стоит их бездумно переносить на график. Самое полное исследование и рекомендации по цветам.

В статье есть и хорошие советы, но примеры к ним тоже бывают сомнительные. В общем прочитайте сами и готов обсудить в комментариях.

К чему я это всё
Моя задачу не обидеть кого-то или сказать, что дизайнеры не умеет делать работу. Просто надо знать, что информационный дизайн и визуализация данных — это отдельные навыки. Проблема в том, что такие ошибки легко подхватываются и становятся трендом. Посмотрите как много ошибок можно найти на Tableau Public по запросу «modern dashboard design» или в статье «8 самых популярных дашбордов», и даже делаются специальные сервисы, чтобы получать шаблоны таких «красивых» дизайнов в Power BI и т.п.

Когда будет искать хорошие примеры, лучше смотрите на ребят, кто занимается именно датавизом, а не просто дизайном. И включайте голову и здравый смысл! 😜

Хороший дизайна визуализации данных от дизайнеров
FX-pro
Skybonds
Секьюридж

Ну и напоследок: хороший канал «UX-notes» Антона Григорьева про дизайн, который слышит обратную связь и ссылка на рубрику «Переверстка».
#ссылка
This media is not supported in your browser
VIEW IN TELEGRAM
Никита Рокотян запилил абсолютно залипателный инструмент Market Map для анализа рынка акций. Очень круто, поздравляю его!

Никиту можно поддержать на Product Hunt — это помогает стартапам быть весомее на этапе привлечения инвестиций, приглашаю вас тоже проголосовать.
#ссылка
На следующей неделе Паша Дубинин расскажет о новом важном функционале DataLens — воркбуках и коллекциях. Это новый вариант навигации и организации контента. Он позволит проще управлять доступами, так как появятся управление группами пользователей. И удобнее копировать дашборды, так как все чарты и датасеты будут копироваться вместе с ними.

Если пользуетесь DataLens, приходите на вебинар, чтобы задать вопросы, или регистрируйтесь, чтобы получить запись.
#ссылка
🏭 Объекты загрязнения и города
Ребята из «Если быть точным» подготовили исследование и данные про объекты загрязнения на основе данных Росприроднадзора.

Я сделал небольшой виз на их основе, где наложил объекты загрязнения 1-ого класса (самые опасные) на населённые пункты с более чем 1000 жителей. Получилось интересно — есть заметные паттерны, когда объекты накладываются на города, а когда они находятся в безлюдных местах. А еще сразу выделяются промышленные центры.

🔗 Почитать исследование
🔗
Посмотреть данные и описание
💸 Помочь проекту

П.С. В данных явно есть ошибки и выбросы, ребята тоже отмечают это в статье, будьте осторожны.
#ссылка
⚡️Yandex DataLens в open source!
Сегодня для DataLens большой день, теперь доступна open-source версия инструмента. Каждый может предложить улучшения на GitHub или доработать инструмент под себя и использовать на своих серверах. Это первый релиз и со временем работа c открытой версией будет проще и удобнее. Комьюнити очень круто выиграет от того, что это не просто open source, а коммерческий проект, который будет развиваться профессиональной командой.

Я наблюдал за проектом со стороны и был удивлён тем, что выйти в open source — это совсем не «мы просто сейчас возьмём репозиторий, в github переложим и всё». Было проделано много работы: с кодом, сборкой проекта, дизайном, юридическими нюансами (оказывается их очень много!) и работой с зависимостями.

🎉 Поздравляю всю команду проекта! 💪

🔗 Ссылки
Сайт проекта
GitHub
Статья на Хабр
Чат DataLens
P.S. А ещё классный новый логотип во всех версиях =)
#ссылка
Reveal the Data
🎉 Шортлист IIB 2023 На ночь глядя пришло письмо, что моя работа Divided World попала в шортлист Information is Beautiful Awards, наверное, самой известной премии по визуализации данных. Из 800+ присланных работ осталось 84 работы. Можно поспекулировать и…
Пока все собирают бусты для сториз, я предложу вам проголосовать за работы на конкурсе Information is Beautiful. Премиум иметь не нужно, но потребуется пройти небольшое приключение зарегистрироваться на сайте премии → перейти на страницу всех работ → выбрать те, которые вам понравились → зайти на страницу работы →жмакнуть на черную кнопку «Vote» справа (или снизу если на мобильном). Зато в каждой категории можно отдать по голосу, а не только один буст на всех. =)

Если хотите поддержать меня или коллег, то вот прямые ссылки на работы, но быть залогиненным на сайте всё равно нужно:
Моя работа Divided World, категория Humanitarian
Никита Рокотян и Market Map, категория Business Analytics
Надя Андрианова и Jesus Christ Superstar, категория Art
Маша Хомутова и Кристина Уласович про загрязнение, категория Unusual

P.S. Если вы вдруг поднимете шороху на сайте и выиграю зрительские симпатии, то денежный приз отправлю на благотворительность.
#ссылка
Карточки по профессиям выше, а вот большой дашборд, где можно покопаться с данными аж с 2020 года по ссылке. К сожалению, там потерялся февраль и март 2023 и тег удалённая работа или нет, но зато можно провалиться до конкретных вакансий и пофильтровать их по названиям.
#ссылка
Russian Speaking Tableau User Group
Егор Ларин (известный как @trumassive и легенда чатика Табло) организовал русскоязычную группу Tableau User Group. Такие группы — это разновидность комьюнити Табло по городам или интересам, где можно пообщаться про инструмент и BI. Планируются онлайн-митапы с докладами, а в будущем возможно и живые встречи для обсуждения на русском языке. Мы с Сашей Бараковым будем немного помогать Егору с организацией.

👉 В группу можно вступить на сайте и зарегистрироваться там на ближайший онлайн-митап 16 ноября. Можно поучаствовать как слушатель или спикер (сбор заявок для спикеров до конца этой недели), как соберем заявки выберем доклады и объявим программу.

P.S. Картинка для привлечения внимания и небольшой личной ностальгии. Её сделал в шутку мой друг Даня из Такси, изображая меня года два назад, а сегодня она всплыла при обсуждении в рабочем чатике. Милота же =)
#ссылка
👀 Chat GPT-4v и дашбордики
Вчера на всех пользователей раскатили возможность загружать в Chat GPT картинки (статья с описанием на хабре). Я, конечно же, пошёл загружать графики и дашборды, делюсь впечатлениями.

Понимание того, что на картинке
Очень крутое. Понимает без подсказок что это дашборды и графики, может сделать базовую аналитику, понимает указания про цвет и расположение объектов, может описать абстрактные объекты аля элементы оформления и дизайна. Чума.

Считывание точных значений с графика
Если есть гридлайны, то считывает довольно точно, если нет, то начинает путаться и не может определить значение «на глаз». Ещё не умеет считать пиксели и измерять самостоятельно расстояния на картинке, предлагает идти в фотошоп. =)

Правила оформления графиков
Распознает и ругает всякую дичь в виде сотен частей пай-чарта и жуткого 3D, но какие-то однозначно плохие примеры считает хорошими или нормальными, так как применяет формальные признаки: есть легенда, подписаны оси, контрастные цвета и т.п.

Оценка дашбордов
Тут ведёт себя как джун — вроде бы все правила знает, но выводы делает чаще неверные. Хотя конечно впечатляет, что он просто может сделать такой анализ. Но сами рекомендации скорее рандомные, чем сильно осознанные и полезные.

Преврати картинку в код
С простыми графиками работает очень круто. Просто просишь JS и HTML и вуаля. Со сложными уже так не работает и приходится долго править. Ещё закинул скрин мокапа от руки и попытался сделать прототип дашбрда, в итоге получилась фигня, надоело с ним бороться и оставил как есть (37 итераций). Результаты как раз на скрине, получилось ну такое 🤪. Но поражает как он умеет «рисовать текстом». Тут точно можно докрутить, просто нужно время. Интересно попробовать ему скормить визуальные результаты работы кода, чтобы сам искал ошибки, вчера не придумал такое.

Сравни дашборд со стайлгайдом
Здесь он потерялся и, хотя пытался проанализировать, но всё сравнение было супер общим. Сказал, что дашборд соблюдает стайлгайд, хотя это было наоборот.

Выводы
Прямо сейчас, с моими текущими системными промптами и подходами, использовать эффективно не получилось. Это и успокаивает (ура, меня не уволят!) и пугает одновременно (нифига себе как он уже умеет, ещё чуть-чуть и уволят). Буду ещё экспериментировать, думаю смогу добиться результата лучше.

Тут классно подходит цитата Роя Амары "Мы склонны переоценивать эффект технологии в краткосрочной перспективе и недооценивать в долгосрочной." Целимся в долгосрок и изучаем новые инструменты!

А у вас есть идеи как можно использовать GPT для дашбордов?

P.S. В комменты покидаю сырые скрины переписки. Пошарить переписку с картинками по ссылке пока нельзя.
#ссылка #gpt
P.S. Прошлые выступления на Матемаркетинге по теме:
Процессы для построения BI-системы
— Сериал про систему дашбордов: мафия, ресторан
Как совмещать разные инструменты и строить команду
#ссылка
Через час, в 19:00 по Мск, стартуем Провели первый русскоязычный Tableau User Group, присоединяйтесь на сайте. Спасибо всем докладчикам! Были и технические косяки, но название обязывает!

Сегодня с докладами:
1. Ксения Агеева | Tableau в моделировании бизнес-процессов
Посмотреть на дашборды как на полноценный интерфейс моделирования, когда пользователь властен не только получать (если повезёт) инсайты из имеющихся данных, но и создавать новые стартовые площадки для воплощения своих бизнес-идей. Методы многослойной параметризации позволяют под другим углом взглянуть на имеющиеся данные и дашборды.

2. Анастасия Кузнецова | Советы по работе со сложными таблицами и создание уникальных представлений
Технический урок, как сделать сложную таблицу с несколькими визуализациями внутри, лайфхаки и трюки.

3. Гончик Цымжитов |Tableau server or time to scale? Оптимизация Tableau Server
Подходы к репликации и почему мы масштабировались следующим образом. Наш путь начался в области оптимизации производительности.

Приходите задавать вопросы
Спасибо всем, кто был онлайн!
👉 запись на YouTube 👈
#ссылка
🎉 DataLens Festival 🎉
В прошлом году мы провели первый фестиваль DataLens, мероприятие прошло на ура, поэтому мы решили продолжить. Вас ждут 2 недели интересного контента и ещё больше кейсов и живых примеров!

Программа
Доклады, кейсы и статьи от экспертов и пользователей продукта:
— Yandex Cloud: Как построить аналитику в облаке
— Ренессанс Страхование: Как построить систему знаний и обучения BI
— MAXIMUM Education: Как переезд с Power BI расширил число пользователей аналитики
— CARCADE: Как организовать работу 1000 пользователей BI в финсекторе
— YCLIENTS: Как анализировать работу команды разработки
— Reveal the Data: Сколько живёт дашборд и как увеличить время его жизни

Open Source
Отдельный крутой трек, посвященный open source версиям DataLens и YTsaurus от самих разработчиков:
— как развернуть у себя
— как кастомизировать UI
— как настроить базовую аутентификацию
— как интегрировать DataLens с YTsaurus

А ещё ответы на ваши вопросы на Q&A-сессии и живое афтерпати. Ну и какой фестиваль без конкурсов и сюрпризов 🎁

Участие бесплатное, 👉 зарегистрироваться 👈
#ссылка
🛠 Микро-эффективность
Перехожу на новый комп, переустанавливаю разные мелкие программы, которые сильно повышают продуктивность. Решил сделать небольшой оффтопик и рассказать вам про них тоже. Они ооочень ускоряют работу, в том числе и с BI. Все тулы бесплатные для индивидуального использования.

1. Бесконечный буфер + заданные фразы
Бесконечный буфер сильно упрощает копирование формул, заполнение форм, вставку данных в таблицы и т.п. А ещё есть вставка определённого текста по шорткатами, это просто мега фича когда можно сохранить любимые формулы для BI и вставлять их по клику. У меня так храниться десяток формул для каждой BI и много utf-символов, которые часто вставляю в дашборды.

Я использую PhraseExpress, он умеет даже делать макросы или подставлять названия скопированного поля данных в гигантскую формулу (правда только на винде). А недавно они ещё сделали интеграцию с ChatGPT и можно отправлять туда промпты и скопированный текст, если есть API ключ, чума. Пользуюсь лет десять, очень удобно, даже готов простить не самый элегантный дизайн 🙈
🔗 Ссылка: PhraseExpress (Win, Mac),ещё Саша подсказал для мака Raycast

2. Типографская расклада
Добавляет много специальных символов (– — ←→ ≠±°€²«» и т.п.) на клавиатуру через нажатый alt/option. Ускоряет печать и приходится меньше переключаться между языками, особенно на маке. Тоже пользуюсь тучу лет, не представляю как без неё жить. Фанфэкт, а вы знали, что в обычной раскладке неправильный минус -, он уже чем плюс +, а правильный такой же ширины: - – + =)
🔗 Ссылка: раскладка Ильи Бирмана (Win, Mac)

3. Скриншотелка
Мастхев при работе с дашбордами. Часто нужно выделить кусочек, подписать или нарисовать стрелочки, проверить выравнивание и т.п. Самая крутая бесплатная скриншотилка это ShareX для винды. Очень гибкая, куча дополнительных инструментов типа записи gif или пипетки для цвета, можно заливать скриншоты себе в облако или просто в буфер обмена. Мне так жаль, что её нет на mac, теперь прям мучаюсь. Если знаете хорошую альтернативу (даже платную), напишите, пожалуйста, в комментах.
🔗 Ссылка: ShareX (Win)

4. Сделать сайт приложением
Сейчас много веб-приложений, их можно легко превратить в почти десктопные версии. Делается очень просто, вот инструкции для винды (работает для всех основных браузеров, не только хром) и мака (только в последней версии ос). Я себе сделал так приложение DataLens, очень удобно.

5. Папка «не прочитанные» в телеграмме
Не приложение, но каждый раз когда вижу как кто-то ищет сообщение, то аж глаз дергается. В телеграмме можно сделать папку «не прочитанные» и не терять важные сообщения в куче каналов и мемов. Делается так: Создаем новую папку → В «Выбранные чаты» добавляем: Контакты, Не контакты, Каналы, Группы, Боты → В «Исключенные чаты» добавляем: Прочитанные и Без уведомления. Вуаля! И в целом, папки — это топ, вот мои подборки.

П.С. Если есть крутые альтернативы этим инструментам или другие полезные тулзы — делитесь в комментах.
#ссылка
📋 Опрос аналитиков
Мои хорошие знакомые из NEWHR проводят ежегодные исследования рынка продуктовых и дата-аналитиков. В основном упор на опыт, зарплаты и как они изменились за последнее время. Вот результаты опросов за прошлые года: 2019г, 2020г, 2021г.

В этом году продолжают традицию и приглашают пройти опрос. Анкета рассчитана на 20-25 минут (у меня получилось даже меньше) 👉 пройти опрос.

P.S. Визуализация данных в отчетах очень сомнительная 😛 Уже предложил коллегам прожарить публично их отчет или помочь с результатами следующего исследования.

P.P.S. А еще у ребят классные эфиры, подкасты и т.п. по теме поиска работы
у них в канале.

#ссылка
Что увидел в результатах
— Люди оценивают своё состояние (точки) более «тяжёлым», но при этом значение по шкале Бека (треугольники) меньше. Это не значит, что люди врут или полностью счастливы. Это означает, что у людей нет симптомов конкретного психического расстройства, но при этом они чувствуют себя плохо. Это может быть вызвано, например, тревожным расстройством, которое, кстати, распространено больше, чем депрессия. И на него тоже есть тест.
— В тесте 11% людей с показателями выраженной депрессии, что близко к среднему значению 5% по миру по данным ВОЗ.
— Те, кто оценил своё самочувствие как плохое, получили высокие значения и в результатах теста. Себе можно (и нужно) доверять. Если вы ощущаете себя плохо, вам не кажется, стоит сфокусировать внимание на этом и обратиться за помощью.
— Многие чувствуют себя хорошо и это радует.

Выводы
Следите за своим состоянием. Если чувствуете себя плохо, то прислушайтесь к себе, пройдите тесты и обратитесь за помощью к специалисту. Это не страшно, и даже если поймете, что сходили зря, в этом вопросе лучше перестараться. Если вас или близких коснулась депрессия, не стоит это игноирировать или, наборот, сильно бояться. Это не то, что проходит за день, но и не то, что нельзя вылечить, если этим заниматься, главное, делать это вовремя. Не стоит бросаться словами, что у вас депрессия или биполярочка, если вы не были у врача. Это обесценивает диагноз, который должен ставить специалист, и создаёт ложные представления о заболеваниях. И это, конечно, не помогает тем, кто правда болен.

Выйти из тени
Чтобы побольше узнать про тему на человеческом языке с живыми примерами, очень рекомендую материалы команды «Выйти из тени»: подкасты и канал в телеграме. Спасибо всем, кто прошёл опрос!

⚠️ Дисклеймер
— Только специалист может ставить диагноз. Тест хоть и доказательный, но имеет разброс и диагностирует только одно растройство.
— Методика нашего исследования точно не научная, за неё не ручаюсь, выводы делайте на свой страх и риск.
— Помните, что тест показывает только текущее состояние, и результаты будут меняться cо временем. У меня, например, состояние стало сильно лучше, как только закрыл все подвисшие проекты в конце года =) В общем, следить стоит регулярно, если знаете свои особенности.

🌲С наступающим! Желаю вам не сталкиваться с такими метриками! Заботьтесь о себе и помните, это нормально чувствовать себя совершенно по-разному: и весело, и грустно!
#ссылка
🧭 Какая ты феечка винкс
Наткнулся на интересный проект по аналитике. Исследователи взяли результаты опроса, который прошли 140 тысяч человек из 90 стран и обучили на них модельку. Теперь можно пройти опрос и понять на ответы какой страны похожи ваши ответы. И если в результате вероятность больше 50% для какой-то из стран, то можно сказать, что вы близки по менталитету к её жителям.

Тест из серии «какая ты сегодня феечка винкс», но на основе данных =) По-моему классное прикладное и одновременно фановое применение аналитики.

А еще в конце есть график, где можно посмотреть кластеры стран. Никогда бы не подумал, что Япония похожа на Италию, а Испания на Штаты, занимательно. Я стат значимо ни на кого не получился похож, человек мира )

🔗 Ссылка на тест

P.S. Тест удобнее проходить на компе или не забывайте листать горизонтальный скролл на мобильном. Иногда показывает рекламу и надо нажать «дальше». На русском языке тест переведен не прям идеально.
#ссылка
Алгоритм Δλ
Вчера мы больше поговорили про аналитику, чем напрямую про дашборды. Но ещё и подняли интересный вопрос про доверие к дашбордам из-за сложной структуры данных, ошибок на этапе их сбора и логических ошибок в момент анализа. Эти вещи отлично решает алгоритм визуализации данных Тани Мисютиной (ну кроме этапа подготовки данных 🤪, хотя и с этим помогает)

Алгоритм предлагает:
— идти от физической реальности, а не от табличек с данными
— находить визуальное отображение, наиболее подходящее природе данных
— показывать агрегации как в тотале и по срезам, так и доходя до самой низкой грануляции данных (транзакции, действия, клики и т.п.)
— делать удобный интерфейс без фильтров, а использовать принцип активной фильтрации.

Подробнее можно посмотреть в её выступлении на конференции или в наешм недавнем вебинаре, где мы подробно разбирали алгоритм на базе одного практического примера.

А вот какие работы получались у нас в Лаборатории данных, используя алгоритм:
Анализ рынка облигаций (рассказ про проект)
Дашборд для завода
Визуализация московского марафона
— И ещё много других на datalaboratory.ru.

P.S. Лаборатория данных ищет новые проекты, если вам нужно сделать сложный аналитический инструмент — пишите Тане. А ещё подписывайтесь на канала Лаборатории, например, сейчас там новая рубрика, где Таня разбирает визуализации данных.
#ссылка
Саша Бараков собрал в одном месте ссылки на все свои прекрасные и безумные борды в Miro. Если вам интересны вопросы построения стратегии для BI и аналитики в целом, то очень рекомендую.
#ссылка