Data driven government что это
Нельзя просто взять и влиться в data-driven — на что обратить внимание при внедрении такого подхода
Привет, Хабр! Мы в Х5 очень любим данные и умеем с ними обращаться. Недавно мы провели «Цифровой четверг» — дискуссию с представителями ИТ-компаний, облачных провайдеров и телекомов.
На встрече обсудили data-driven подход: кейсы, «грабли» и базовые моменты, о которых стоит знать. Решили поделиться ключевыми мыслями по её итогам.
Что считать data-driven подходом
Прежде чем перейти к разговору о том, какие у компаний могут возникнуть сложности, кратко разберём, что вообще стоит понимать под data-driven подходом. В общем случае он подразумевает принятие решений с упором на аналитику, а не только интуицию и личный опыт менеджеров. Методологию используют в разработке, UX, рекламе, ритейле — в тех областях, где даже незначительные решения могут повлиять на выручку компании.
Вообще изучать, что и как покупают, ритейлеры начали ещё в XIX веке, но сам термин data-driven был популяризован в 1990-х. Мы в X5 Group используем этот подход для наполнения полок в магазинах, экспериментов, скидок и так далее. Однако он не чужд и небольшим предприятиям, когда владелец локального ресторанчика, проанализировав спрос на сезонное блюдо, решает сделать его частью регулярного меню.
В экспертном сообществе пока нет единого мнения о том, какую организацию стоит называть data-driven. Одни утверждают, что она должна использовать специализированные инструменты business intelligence (BI). Другие, что методы сбора и обработки данных не имеют значения, и для этих целей подойдёт даже Excel. Более того, если руководитель записывает данные в блокнот, ведёт расчёты на бумаге и использует их для принятия решений — это тоже data-driven подход.
Плюрализм мнений и отсутствие устоявшихся лучших практик ведёт к тому, что многие организации допускают ошибки, пытаясь стать data-driven. Далее расскажу, на какие «грабли» наступили мы в X5 Group и к чему пришли в итоге.
Почему подход может не работать
Есть мнение, что для перехода на методологию достаточно начать собирать данные — например, о продажах. Но конечно, организовать корпоративный data lake недостаточно. Необходимо следить за качеством данных на входе. Если этого не делать, в таком «озере» быстро завязнут последующие аналитические процессы. Поэтому, помимо построения моделей машинного обучения, анализа и визуализации данных, до 80% времени специалистов по данным уходит на очистку данных и их подготовку — форматирование и дедупликацию.
В этом контексте важно отметить, что не стоит ориентироваться исключительно на данные, собираемые внутри компании. Информация о конкурентах, партнёрах или франчайзи, открытая статистика аналитических агентств — всё это помогает построить более полную картину рынка и бизнеса. Если эту информацию игнорировать, есть вероятность, что принимаемые решения будут оторваны от реального мира, и data-driven подход не сработает.
Ещё методология может давать сбой из-за человеческого фактора. С данными, нейросетями и алгоритмами работают люди, и в некоторых случаях «бутылочное горлышко» образуется на их стороне. Мы в X5 Group столкнулись с этой проблемой, когда внедряли систему детекции очередей. Сама по себе задача по подсчёту людей у кассы достаточно тривиальная, и её уже много раз разбирали на Хабре. Сложности возникают, если необходимо срочно открыть новую кассу в ситуации, когда все сотрудники заняты выкладкой товара.
Похожая проблема проявилась, когда мы разрабатывали систему компьютерного зрения для определения отсутствующих на полках товаров. Во время тестовых запусков она работала отлично и уведомляла администратора, что позиция закончилась. Но внедрение технологии на масштабе не принесло ощутимых результатов. Дело в том, что на выкладку товара требуется время — сотрудники магазина не могут сделать это моментально. Кроме того, директора знают, как часто заканчивается тот или иной продукт, поэтому уведомления от интеллектуальной системы не давали значительного выигрыша по времени.
С аналогичными кейсами сталкивались и другие участники «Цифрового четверга». Кирилл Меньшов, член правления ПАО «Ростелеком», привел следующий пример:
«Мы, как и любой телеком, прогнозируем отток, чтобы работать с уходящими абонентами. Мы также прогнозируем и увольнение своих сотрудников, но здесь не имеем больших результатов. С одной стороны, здорово, что вы можете за три месяца предсказать, что сотрудник от вас уходит.
С другой стороны, его руководитель, скорее всего, уже об этом знает, и все действия, которые он мог бы предпринять, он и так предпримет. Если посмотреть A/B-тестирование с алгоритмом и без него — значимого результата нет».
— Кирилл Меньшов, член правления ПАО «Ростелеком».
У себя в компании мы строим культуру data-driven уже три года. За это время были как удачные, так и неудачные проекты, и мы отточили необходимый инструментарий. Поделюсь выводами, к которым пришли за это время.
С чего можно начать
Отталкивайтесь от кейсов. Первым делом бизнесу необходимо определить задачу, которую он планирует решить с помощью данных. Уже после этого можно переходить к выбору метрик и сбору информации. Если сделать наоборот, то компания рискует попасть в ловушку — начать «подгонять» имеющиеся данные под желаемый результат. Определившись с кейсом, также важно правильно выбрать технологическую базу. Например, не стоит решать задачу с помощью нейросетей, если есть другие, менее сложные и затратные, способы. В лучшем случае компания получит неоптимальное решение, в худшем — потеряет деньги.
В качестве примера приведу всё тот же мониторинг количества товаров. Об отсутствии продукта на полке можно судить, просто анализируя чеки. Когда условные бананы есть в наличии, их «пробивают» на кассах примерно раз в 15 минут. Если временной промежуток увеличился, то товар кончился (или что-то ещё пошло не по плану). Точность такого метода ниже, чем у видеоаналитики, однако он значительно выгоднее с точки зрения окупаемости — не нужно устанавливать дополнительные камеры в 18 тыс. магазинов.
Используйте открытые данные. Компания, которая не генерирует большие объёмы данных, тоже может быть data-driven. Достаточно использовать информацию в открытом доступе. Отчёты агентств, разного рода геоаналитика — этого хватит, чтобы начать принимать взвешенные решения о векторе развития. Эту рекомендацию поддержали участники нашей беседы:
«Если маленький бизнес хочет открыть второй магазинчик, каким образом он это делает? Или просто находит помещение, или приходит в компанию, у которой есть достаточная геоаналитика с проходимостью, покрытием, населением, и на её основе принимает решение открыть магазинчик. Для этого не нужны никакие собственные данные».
— Кирилл Меньшов, член правления ПАО «Ростелеком».
Развивайте культуру data-driven. Переход на новую методологию работы подразумевает не только технологическую трансформацию, но и изменение бизнес-модели компании. Сам переход стоит проводить постепенно, заручившись поддержкой тех, кто данные генерирует и использует. Например, на внедрение системы автозаказа в магазинах «Перекресток» [когда алгоритм самостоятельно закупает товарные позиции] у нас ушло девять месяцев. Мы разделили торговые точки на три группы. Первая сразу перешла на новый алгоритм. Директора второй группы могли править предложенные системой значения в строгих пределах. В третьей группе они имели право вносить любые корректировки. Мы постепенно переводили магазины из третьей категории во вторую, а оттуда — в первую. За это время мы выявили недостатки в работе алгоритма и поправили их, ориентируясь на решения, которые принимало руководство торговых точек.
Если говорить про X5 Group в целом, то с инструментами data-driven ежедневно работает три-четыре тысячи человек — среди них рядовые сотрудники торговой сети. Для дальнейшего развития этих инструментов важно привлекать новые кадры и обучать уже имеющихся специалистов. Хорошие базовые знания по обработке данных сегодня могут дать бесплатные профильные курсы — например, на Coursera. Однако мы разрабатываем и собственные образовательные направления — в прошлом году запустили академию по теме data science. Там сотрудники оттачивают компетенции в сфере обработки данных. Мы планируем расширить спектр программ, доступных для обучения.
Как быть data driven. С самого начала
Цифры много значат для нас. Мы инвестируем в данные, слушаем и понимаем их. Мы руководствуемся ими при принятии решений. Несмотря на то, что в плане инфраструктуры работы с данными у нас еще многое впереди, сам data driven подход был с нами всегда. В этом тексте — рассказ о том, какой путь мы прошли, какие уроки выучили и какие грабли собрали.
Меня зовут Андрей Сыцко, я руководитель продуктового направления в финтех-компании ID Finance. Как я уже сказал, нам еще предстоит пройти большой путь с точки зрения методов и инструментов работы с данными. Кратный рост, который компания переживает с момента своего основания, задает недостижимый темп для аналитической инфраструктуры. Однако, вполне вероятно, что ожидания от data driven подхода просто растут опережающими темпами. В конечном итоге, как мы все понимаем, важны не какие-то конкретные инструменты и технологии, а подход, культура и мировоззрение.
Что такое data driven культура?
Что мы понимаем под data-driven культурой в компании? На мой взгляд, это когда мы внутри договорились о том, что данные могут дать хороший ответ или совет в рамках той или иной бизнес-дилеммы. Можно выделить несколько следствий такой договоренности:
Первые инфраструктурные шаги
Первое, с чем вы столкнетесь на пути к своему идеалу data driven decision making — это то, что у вас не хватает данных. В целом, их всегда будет не хватать по объективным причинам, но с чего-то надо начинать.
Для начала вы строите инфраструктуру по сбору и хранению метрик. В подавляющем большинстве проектов для бекенд данных (а у нас это, например, информация о клиентах, их кредитах и платежам по ним) сначала просто используется реплика продакшн базы. При этом придется всецело насладиться внутренней структурой данных вашего софта, которую разработчики создали без мысли о том, чтобы данные было удобно анализировать. Но зато имеем информацию, так сказать, из первых рук. В начале, обычно есть одна база данных, а структура данных относительно проста, так же как и вопросы, которые к этим данным вы захотите задать, так что это вполне рабочий вариант и инвестировать во что-то более сложное не имеет смысла.
Для фронтенд данных (просмотры страниц, взаимодействие с контролам, скроллинг, клики, ввод) можно использовать классические инструменты типа Google Analytics или Яндекс.Метрика и, например, HotJar для записи сессий. Базового функционала хватает для задач маркетинга, а для продуктовых отчетов по воронкам и а/б тестам мы достаточно быстро перешли на работу через Google Reporting API. Мы уже раньше рассказывали об этом на Хабре. Здесь и здесь.
После того, как вы выстроили базовую инфраструктуру и начали собирать основную статистику необходимо убедиться, что продукт будет развиваться синхронно с его метриками.
Т.е. когда вы собираетесь реализовать новую фичу в продукте вам нужно ответить примерно на такие вопросы:
Дальше нужно убедиться, что подсистема сбора и хранения статистики имеет достаточную важность для вашей команды разработки и IT команды. Ее важность должна быть практически равна важности продакшн системы. Например, у нас в начале была постоянная проблема с пропаданием трекинга Google Analytics с разных страниц, пока мы не обсудили важность этих вещей с разработчиками. После чего появились необходимые общие библиотеки, QA гайдлайны и т.п.
Аналитика для аналитиков
Наличие данных еще не означает их эффективное использование. Обычно возникают следующие проблемы/задачи:
Оказывается, что это достаточно объемная работа, требующая специальных навыков и умений, а, главное, времени. Так возникает потребность в создании отдела аналитики.
Наш отдел аналитики достаточно большой, по количеству людей он почти равен мидл-менеджменту. В нем есть как вчерашние студенты с хорошим знанием SQL, так и профессионалы, которые хорошо понимают, как и какие данные нужно достать, чтобы можно было принимать бизнес-решения. Поток запросов к ним традиционно превосходит их возможности.
Озера и склады данных
Одна из проблем, с которой вы наверняка столкнетесь, когда данных будет становиться все больше, это то, что они лежат в разных местах и одни аналитики умеют работать с одними хранилищами, другие — с другими. А с какими-то БД, возможно, сходу никто не умеет работать. Также становится сложно сопоставлять эти данные между собой.
Решением этой задачи могут стать системы типа data warehouse (DWH). В нашем случае, мы задумались об этом в первый раз, когда нам захотелось объединить данные о поведении пользователя на сайте и данные о его поведении как заемщика. Принципы построения DWH далеко выходят за рамки данной статьи, скажу только, какие в нашем случае были сложности/особенности:
Обычно на этом этапе в компании появляется выделенная роль data engineers — т.е. людей, отвечающих за инфраструктуру по работе с данными. На них возлагается задача поддержания и развития DWH.
Лучше сразу нанять правильных людей
С ростом компании выясняется, что не все сотрудники сходу понимают важность данных и умеют с ними работать. Возникает два вопроса: внутренний промоушн и найм правильных людей.
Что касается внутреннего промоушна, то, как говорилось выше, если основатели компании являются носителями дата-культуры, то дальше это спускается на топ-менеджемент, миддл-менеджмент и так далее. Я, например, требую от своих продакт-менеджеров рассчитать потенциальный эффект в деньгах или изменении ключевых метрик до реализации, и посмотреть план факт после реализации нового функционала. Или, скажем, для приоритизации работы, руководствоваться этими же оценками “business value”.
К насаждению data-driven культуры мы подходим с двух сторон. Наше IT подразделение может требовать от бизнес-менеджеров, чтобы в постановке задач была указана оценка эффекта в деньгах. Причем это относится ко всем подразделениям: маркетинг, саппорт, бухгалтерия. К этому мы недавно добавили требование, чтобы бизнес явно описывал метрики, по которым он будет отслеживать результаты внедряемых изменений, а IT должно проследить, чтобы эти метрики можно было достать понятным образом.
Важно, конечно, сразу при найме людей проверять, привыкли ли они ориентироваться на цифры в своей работе или нет, умеют ли они это делать. Мои любимые вопросы на собеседовании, когда мы обсуждаем опыт кандидата: как вы рассчитывали, какой эффект даст фича, как вы померили, какой эффект она по факту дала, и почему вы считаете, что этот эффект нужно отнести именно к этой фиче, а не к чему-то еще. Хороший кандидат всегда сможет логически обосновать почему он делал так, а не иначе.
С ростом бизнеса и объемов данных становится осмысленным применение более продвинутых статистических методик и более продвинутых прикладных библиотек — что-то из того, что сейчас принято называть data science.
Если говорить о data science в более широком смысле нежели нейросети и machine learning, то у нас, например, был успешный опыт перехода от классических пакетов типа SAS для построения логистической регрессии на самописный инструментарий на питоне. Это сократило время на разработку кредитного скоринга в 5 раз.
В какой-то момент поняли, что логистическая регрессия и кластерный анализ на определенных объемах так же оправдывают свое применение в маркетинге и продакт-менеджменте для задач связанных с сегментацией клиентов и определением оптимальной продуктовой или скидочной стратегии индивидуально под каждого клиента.
Учиться предсказывать будущее
Особенность кредитного бизнеса заключается в том, что мало продать товар — деньги в кредит, нужно управлять будущим денежным потоком. Соответственно, роль различных предсказательных моделей и их объединение в прогноз будущего P&L выходит на первый план. Примеры таких моделей: будущие сборы исходя из ранних данных о просрочке, средний чек исходя из данных о сегментации клиентов, количество кредитов исходя из данных о возврате и тому подобное.
Это вообще очень вдохновляет, когда есть инструментарий, который позволяет оценить влияние твоей фичи на различные ключевые метрики бизнеса и предсказать увеличение выручки компании.
Для разработки, поддержания и внедрения подобных инструментов мы сейчас развиваем отдел финансового планирования и анализа (FP&A), задачей которого будет сделать принятие бизнес-решений еще более подкрепленным данными, анализом и моделированием.
Впереди нам предстоит еще много всего интересного: дальнейшее развитие BI инфраструктуры, создание отделов, которые ее поддерживают и процессов, которые ее используют.
Подытоживая, можно выделить следующие принципы развития data-driven подхода, которых я бы придерживался:
Data Driven-подход
Data Driven-подход — это способ принимать управленческие решения, основываясь на больших данных. Его используют для построения бизнес-модели или маркетинговой стратегии, при составлении плана продаж, в программировании и даже в дизайне.
Для каждой сферы выбирают конкретный тип информации, например данные о покупках, геолокации мобильных устройств, количестве поисковых запросов по теме. При поиске помещения под новую кофейню владелец может проанализировать трафик людей на улицах и выбрать место с наибольшей проходимостью.
Полное название этого подхода — Data Driven Decision Making (DDDM), то есть информационно обоснованные решения (или data driven decisions). Он стал альтернативой устаревшему подходу HiPPO (Highest Paid Person’s Opinion) — принятию решений на основе мнения руководства. Проблема этого подхода в том, что руководитель или менеджер не могут быть объективными и компетентными во всех вопросах и знать все особенности аудитории.
Melbourne Business School проводила исследование того, как компании в 46 странах используют аналитику, и выяснилось, что только 6% из них могут считаться лидерами в этом направлении. Это тот бизнес, в котором проработана аналитическая стратегия и в нее включены все подразделения, высший менеджмент принимает решения исключительно на основе данных, а также в реальном времени мониторится ситуация на рынке.
Еще 49% компаний отнесли к категории «Исследователи», так как они частично используют данные для принятия решений, но не до конца развили инфраструктуру для полноценного Data Driven. Остальные компании отнесли к «Подражателям» и «Отстающим», так как они используют данные только в одной конкретной области или не развивают аналитику вообще.
Data Driven-подход полезен на разных этапах развития:
Например, агентство RUSFAIR GROUP проводит исследования для запуска новых продуктов на рынке электронной коммерции в Китае. Они делают анализ инфополя бренда и конкурентов, затем — анализ потенциальных площадок, исследование аудитории в WeChat — самом популярном социальном приложении в Китае, Douyin — китайском аналоге TikTok и других социальных сетях. Такие исследования позволяют определить объем необходимых инвестиций и грамотно выбрать площадки для продвижения.
Фитнес-клуб в Перми через 7 месяцев после открытия поставил перед собой задачу выйти в лидеры рынка. Для доработки продающей концепции маркетологи изучили опыт конкурентов в городе, собрали данные о том, почему люди не ходят в фитнес-клубы, что их удерживает и почему бросают занятия. В результате изменений, основанных на данных, клуб увеличил выручку в два раза.
Альфа Банк в прошлом году проанализировал всю воронку продаж и поведение клиентов, которые в итоге подали заявку на карту и получили ее на руки. На основе этих данных рекламу стали таргетировать на пользователей, которые с наибольшей вероятностью заинтересуются продуктом, благодаря чему число заявок выросло в 1,6 раза.
Решения на основе данных
Для использования Data Driven-подхода требуются навыки работы с аналитикой. Во-первых, нужно уметь считывать данные из таблиц, графиков и диаграмм, потому что иначе даже на основе самых верных данных можно сделать неверные выводы. Во-вторых, нужно критически относиться к самим данным и задавать аналитику правильные вопросы:
Управление на основе данных включает в себя три подготовительных шага:
Недостатки Data Driven-подхода
Как стать Data Driven-компанией
Data Driven-организация корректно собирает, проверяет и обрабатывает данные и использует их на пользу бизнеса. Такие компании имеют отлаженный механизм работы с данными, в котором все сотрудники четко понимают задачи: data-аналитик собирает данные, отдел маркетинга умеет ставить четкое ТЗ на сбор конкретной информации, а руководство соотносит это с бизнес-целью.
Мария Михеева, продуктовый аналитик AliExpress, считает, что организация Data Driven-подхода затрагивает такие аспекты работы компании, как миссия, идеология и обучение сотрудников. Но в основе подхода все-таки лежат качественные данные — достоверные и очищенные от лишней информации, ненужной компании. На этих данных как раз выстраивается data-менеджмент. Кроме них, есть другие важные аспекты:
Главный критерий успеха в Data Driven-подходе — понимание сотрудниками компании того, зачем нужны данные. Поэтому работу над этой управленческой стратегией стоит начинать с внутреннего PR, презентации и обучения.
В каких профессиях используется Data Driven-подход
Менеджмент
Управление на основе данных — одна из причин роста компаний. Оно помогает оптимизировать расходы, повысить клиентоориентированность, отслеживать изменения на рынке и, как результат, увеличить прибыль. Пока полноценно такой подход реализуют только крупные игроки уровня Google, так как внедрение культуры Data Driven в компании — это ресурсозатратный процесс, который не всем по карману.
Маркетинг
Data Driven-маркетинг позволяет продвигать продукт на ту аудиторию, которой он интересен, что значительно сокращает рекламные расходы. Этим инструментом пользуются, например, маркетплейсы, которые собирают информацию об истории поиска своих клиентов, их покупках и интересах, чтобы предлагать им нужные категории товаров.
Веб-разработка
Разработчики опираются на данные взаимодействия пользователей и сервиса, чтобы зацепить и удержать пользователя. Например, в одной из компаний исследовали, как внутри приложения влияет на вовлечение пользователей лента, предлагающая контент на основе машинного обучения.
Кейсы компаний, которые реализуют Data Driven-подход
Управление
Управление на основе данных позволило компании «Сибур» перестроить работу отделов и избавиться от принципа «глубокого колодца», когда специалисты имеют доступ только к информации, необходимой для выполнения их обязанностей. Автоматизация отделов происходила разрозненно, большой пласт информации скрывали, мотивируя это коммерческой тайной, поэтому у менеджмента разных сегментов было недостаточно данных для анализа работы предприятия.
Внедрение Data Driven-подхода позволило открыть доступ к 80% ранее скрытой информации, сотрудники начали самостоятельно проверять гипотезы на данных, составлять интерактивные дашборды. С помощью бизнес-симуляторов компания начала моделировать различные ситуации на рынке и рассчитывать целесообразность инвестиций или запуска новых продуктов.
Разработка маркетинговых продуктов
На туристическом рынке технологию Data Driven используют, чтобы продвигать путешествия на ту аудиторию, у которой есть интерес к направлению, а также отслеживать реальную эффективность рекламы. Например, если человек интересовался турами в Испанию, смотрел билеты или отели, то он обязательно увидит таргетированную рекламу.
Анализ аудитории
Сбербанк уже несколько лет использует Data Driven для анализа поведения заемщиков. Интерактивная анкета, которую использует банк для сбора информации, позволяет выявить один из важных психологических параметров — уравновешенность или импульсивность клиента. Для банка это важно, так как рассудительные люди являются более добросовестными заемщиками, чем импульсивные. Вопросы в анкете для заемщиков помогают определить уровень финансовой грамотности, их стабильность, опыт работы и трезвое восприятие своего финансового положения.
Получите реальные знание и навыки, необходимые для работы. Обучение на основе практики и помощь в трудоустройстве. Скидка 45% по промокоду BLOG.