Data office что это
Компетенции CDO (Chief Data Officer). Какие «профессии будущего» создадут «технологии будущего»
Развитие технологий приводит к существенному изменению рынка труда, в том числе к появлению новых профессий. Одну из ключевых ролей в цифровой трансформации компаний занимает CDO. Кто это и в чем заключается его работа? На эти и другие вопросы отвечает директор центра диагностики персонала Академии Ростеха Екатерина Лобасевич.
CDO (Chief Data Officer) — директор по цифровым технологиям, топ-менеджер, который отвечает за цифровую трансформацию компании. В последние годы вопрос цифровизации остро стоит для большинства российских организаций, поэтому неудивительно, что вакансия CDO становится все более востребована на рынке.
Министерство экономического развития РФ совместно с Ростехом, Росатомом и Агентством стратегических инициатив подготовило проект рекомендаций о функциях и полномочиях руководителей компаний по цифровой трансформации.
Согласно этому документу, CDO отвечают за разработку и реализацию стратегии цифровой трансформации компании. В частности, в зону его ответственности входит согласование бюджета, организация работы с данными, создание цифровых продуктов, сервисов и услуг, формирование корпоративного центра компетенций в сфере цифровых технологий.
Так, если IT-директор в первую очередь сосредоточен на внутренних технических процессах, то CDO выполняет стратегические задачи более широкого спектра: от построения бизнес-модели до взаимодействия с внешними заказчиками. Именно поэтому важно, чтобы CDO напрямую подчинялся первому лицу компании.
Также Минэкономразвития рекомендует в системе управления компаний CDO наделить статусом члена Правления, однако, итоговый вариант зависит от масштабов организации и специфики ее деятельности.
Какими навыками должен обладать?
По оценкам экспертов компании KMDA, позицию CDO чаще всего занимают бывшие IT-директора, на втором месте – сотрудники крупных диджитал-агентств и интернет-компаний, а также управленцы цифровых стартапов.
Безусловно, CDO должен обладать широким спектром технических знаний, а также отраслевой экспертизой, но я отдельно хочу остановиться на так называемых soft skills – гибких навыках. Именно они играют определяющую роль для данной позиции. В перечень рекомендаций профиля CDO для Ростеха, мы включили следующие soft skills:
При создании этого списка мы отталкивались от своих целей и задач. В процессе поиска CDO необходимо понять, какие приоритеты у компании, какие задачи будут у сотрудника в ближайшие несколько лет. Исходя из этого составляется перечень знаний и навыков. При поиске кандидата под конкретный профиль должности и с четко прописанными реалистичными требованиями шансы на успех значительно повышаются.
Стоит понимать, что даже самый опытный CDO не сможет провести цифровую трансформацию компании в одиночку. Его должна сопровождать команда, которая четко понимает цели цифровизации. Состав этой команды нам видится таким:
Только если вся команда объединится и будет стремиться к общей цели, процесс цифровизации пройдет успешно.
Что такое дата-центр. Объясняем простыми словами
Дата-центр (или центр обработки данных (ЦОД)) — специальное помещение, где размещается серверное оборудование.
Для хранения и обработки больших объёмов информации и бесперебойного функционирования сайтов требуются специализированные мощные компьютеры (серверы). Их размещают в специальных зданиях, где есть возможность обеспечить техническое обслуживание, нужную вентиляцию помещения, физическую сохранность оборудования и защиту от виртуальных атак. Это и есть дата-центры, или ЦОДы.
В функционировании дата-центра есть три важнейших аспекта:
Дата-центры предоставляют различные услуги:
Главный критерий качества дата-центра — аптайм, то есть время бесперебойной работы. Хорошим показателем считается 99%, когда время даунтайма (нерабочего времени) составляет не более 15 минут в день, или 8 часов в месяц.
Пример употребления на «Секрете»
«На территории дата-центра “Яндекса” в Мянтсяле начала работать станция донагрева. Она возведена на средства энергосбытовой компании MSOY. По словам представителя российской компании Владимира Исаева, это позволяет продавать выделяемое серверами тепло городским коммунальным службам, которое они, в свою очередь, используют для нагрева воды в сети горячего водоснабжения. Такое партнёрство даёт “Яндексу” возможность экономить до трети расходов на электроэнергию, необходимую для этого ЦОДа».
(Из новости о том, что дата-центр «Яндекса» будет согревать небольшой финский город.)
Нюансы
Дата-центры могут выглядеть по-разному: некоторые располагаются в специально спроектированных зданиях, некоторые на территории бывших заводских помещений, есть дата-центры в контейнерах, которые можно перевозить.
Надёжность дата-центра измеряется стандартом Tier и разделяется на 4 уровня.
Tier 1 был актуален на рубеже 60–70-х годов прошлого столетия, сегодня безнадёжно устарел.
Tier 2 — возможны простои в пределах нескольких часов в год — на время проведения ремонтно-профилактических работ.
Tier 3 — ЦОД располагает резервными мощностями и двумя трубопроводами для охлаждения системы. На время ремонта или профилактики работу такого дата-центра уже не нужно прерывать. Сегодня это самый распространённый тип дата-центров.
Tier 4 — максимальная защита данных, двойное резервирование и дублирование рабочей системы.
Дата-центры становятся всё крупнее и потребляют все больше ресурсов. Поэтому мир уже стал задумываться об их «озеленении»:
Тепло, вырабатываемое дата-центрами, используется для коммунальных услуг в близлежащих населённых пунктах.
Чернобровов Алексей Аналитик
Кто такой Chief Data Officer и зачем вам нужен директор по данным?
Сегодня данные ценятся не только как исходный материал для принятия нужных управленческих решений. Благодаря тренду всеобщей цифровизации, информация стала средством обеспечения жизнедеятельности каждого предприятия. В этой статье рассмотрим: кто такой Chief Data Officer (CDO)? Когда, кому и зачем требуется директор по данным, а также где искать и как нанимать такого ТОП-менеджера. Уточним, что под сокращением «CDO» мы рассматриваем именно директора по данным (Chief Data Officer), а не руководителя по цифровизации (Chief Digital Officer). Несмотря на некоторую близость понятий, области ответственности этих менеджеров существенно различаются.
Как появилась потребность в CDO
Распространение больших данных привело к появлению множества новых и росту популярности уже существующих профессий. Например, аналитики и исследователи данных стали настоящими «рок-звездами» современного мира Big Data, под управлением CDO. Спрос на директора по данным растет стремительно: в 2012 году эта позиция присутствовала лишь в 12% компаний из списка Fortune-1000, а в 2018 году о наличии такой должности сообщили почти 68% предприятий аналогичного уровня [1]. И это еще не предел: по прогнозу аналитического агентства Gartner, к 2021 году CDO будет в числе ТОП-менеджеров у 75% крупных компаний, наравне с ИТ-директором и руководителями других важнейших направлений, таких как, финансы, HR, операционная деятельность и т.д [2].
Потребность в директоре по данным обусловлена следующими факторами:
На самом деле, выдвижение CDO в ТОП-менеджмент вовсе не революционная идея. Многие популярные подходы к описанию архитектуры предприятия (ARIS, TOGAF, Zachman Framework и основанные на них стандарты) рассматривают данные в качестве одного из главных доменов для формализации структуры и деятельности организаций. Несмотря на более чем 20-летнюю историю этих методологий, их актуальность подтверждается востребованностью на рынке труда (по описанию вакансий с рекрутинговых сайтов). Сегодня технические возможности работы с информацией догнали соответствующие методологические основы: появились средства автоматического мониторинга, сбора и обработки данных, практики построения конвейеров (pipelines) по разработке и проверке бизнес-гипотез и аналитических моделей. CDO нужен для эффективной координации этих инструментов и специалистов, которые работают с ними в рамках операционных процессов управления данными (рис. 1).
Рис. 1. Операционные процессы управления данными для CDO [3]
Главные цели и рабочие задачи CDO
Исходя из предпосылок появления CDO, основное предназначение этой позиции – превращение данных в деньги путем разработки и внедрения инновационных идей на основе анализа накопленной информации. Поскольку в data-driven компании данные являются главным инструментом генерации продукта и потоком создания ценности, CDO, фактически, является синхронным переводчиком с разных языков (информационных представлений) в различных контекстах (производственных процессах) [4]. CDO отвечает за эффективную организацию процессов своевременной доставки корпоративных данных потребителям: приложениям и пользователям, согласно их прикладным ролям [5]. Таким образом, основными задачами CDO можно назвать следующие:
Кроме того, иногда на CDO также возлагаются обязанности ИТ-архитектора, главного аналитика и директора по цифровизации, хотя, на самом деле, это совершенно разные сферы ответственности [6]. Директор по данным, прежде всего, концентрируется на управлении информационными потоками и оптимизации бизнес-процессов за счет эффективного использования информации, предоставив операционному ИТ-департаменту ответственность за обеспечение бесперебойной работы корпоративных хранилищ данных и прикладных систем их обработки [5].
В связи с важнейшей ролью данных, CDO относится к уровню ТОП-менеджеров и подчиняется генеральному или ИТ-директору. Кстати, бывают структуры, когда ИТ-директора подчиняется CDO. Из-за широкого круга рабочих обязанностей и существенного объема стратегических задач, эффективность работы Chief Data Officer очень сложно измерить напрямую посредством каких-либо элементарных KPI. Поэтому в большинстве компаний привязывают KPI директора по данным к успеху бизнеса в целом или оценивают его деятельность в рамках внутренних проектов корпоративной цифровизации (рис.3) [8].
Рис. 3. Основные факторы для измерения эффективности работы CDO [8]
Ключевые компетенции директора по данным
Помимо основ Data Science (статистика, теория вероятностей, вычислительные методы, алгоритмы Machine Learning), технологий обработки и хранения данных (SQL, NoSQL, ETL, стек Apache Hadoop и другие инструменты Big Data), CDO также необходим опыт в бизнес-аналитике и управленческие качества. Директор по данным должен быть инноватором, способным вдохновлять сотрудников и руководство на изменения и осуществлять их на всех уровнях корпоративного управления, уделяя информационным потокам и хранилищам приоритетное внимание [3].
Поскольку CDO отвечает за построение архитектуры предприятия, управляемого данными, ему потребуется владение соответствующими архитектурными подходами (TOGAF, Zachman Framework, OBASHI и т.д.) и практиками ИТ-менеджмента (ITIL, ITSM, COBIT и пр.), а также понимание стандартов системной инженерии (ISO/IEC/IEEE 42010:2011, ГОСТ Р ИСО 15704-2008, ГОСТ Р ИСО 19439-2008) хотя бы на базовом уроне. Обязательным будет знание методологий менеджмента и разработки ПО, методов системного анализа и маркетинга, а также дисциплины Data Governance. Целью Data Governance является создание повторяемых и масштабируемых политик управления данными, процессов и стандартов их эффективного использования, а также генерация актуальных корпоративных данных и поддержание их достоверности [3].
Кроме того, директору по данным очень пригодится опыт практической работы линейным специалистом в конкретной предметной области для понимания прикладных процессов как источников и потребителей информации. Например, главный директор Центра по управлению и монетизации данных Альфа-Банка, перед тем, как занять должность CDO, проработал в банковской сфере более 12 лет [4].
Таким образом, ключевые компетенции директора по данным складываются из следующих областей знаний (рис. 4):
Где искать CDO и сколько ему платить?
С учетом дефицита квалифицированных кадров Data Science на рынке труда вообще и CDO в частности, вопрос о поиске директора по данным стоит для крупных корпораций особенно остро. Решить эту проблему можно 2 противоположными вариантами:
На практике оба этих варианта распространены одинаково. Согласно опросу NewVantage Partners, 34% руководителей из списка Fortune-1000 считают, что успешный CDO должен прийти в компанию извне, чтобы оценить ситуацию свежим взглядом. 32% придерживаются противоположной точки зрения, предпочитая «вырастить» CDO из сотрудника, который давно работает и понимает культуру организации. При этом мнения относительно профессионального бэкграунда CDO также разделились: 23% полагают, что успешный директор по данным – это бывший Data Scientist или Data Analyst, а 11% отвели эту роль руководителю бизнеса, ответственному за результаты финансовой деятельности [9].
Что касается заработной платы CDO, она является максимальной среди других ИТ-специальностей. Например, на 2019 год в США директор по данным получает от 116 до 254 тысяч долларов в год, что составляет примерно 580 – 1270 тысяч рублей в месяц. При этом, поскольку CDO относится к ТОП-менеджерам, ему также полагаются годовые бонусы за успешное достижение корпоративных и личных KPI (рис. 5) [10].
Рис. 5. Уровень зарплат CDO в США на 2019 год [10]
В большинстве случаев размер заработной платы CDO напрямую коррелирует с опытом управленческой и прикладной работы: на максимальную компенсацию может рассчитывать директор по данным, отработавший более 20 лет (рис. 6) [10].
Рис. 6. Зависимость размера заработной платы CDO от его практического опыта [10]
В России ситуация несколько иная: по состоянию на 2019 есть огромный разрыв между спросом и предложением. Экспертизу и релевантный для CDO опыт можно получить в счетном числе крупных технологических компаний. Тогда как потребность в таких специалистах возникает в самых разных нишах, от медицины и сельского хозяйства до образования и металлургии. А, с учетом актуального тренда на цифровизацию частных и государственных предприятий, распространение идей data-driven компаний и технологий для их реализации, спрос на CDO в нашей стране и по всему миру будет увеличиваться с каждым годом. Поэтому зарплаты хорошего CDO в России также начинаются от 500 тысяч рублей. Аналогичное повышение востребованности ожидает директоров по цифровизации и искусственному интеллекту, о чем я расскажу в следующей статье.
Как мы Data-Office создавали
Привет, я – Ильдар Райманов и я руковожу департаментом в «БАРС Груп», который отвечает за развитие BI-решений в компании. Имея широкий опыт по работе с данными, а также обладая отраслевой экспертизой, мы решили попробовать сформировать центр компетенций, который, позволяя обрабатывать большие массивы данных, сможет обеспечить сервис по формированию знаний на те или иные предметные запросы клиентов.
Data-Office включает в себя сразу несколько составляющих – это проработанное хранилище, включающее как «озеро больших данных», так и подготовленные витрины, процессы наполнения данных из систем источников, механизмы проверки качества данных; команда методологов, которые понимают, о чем говорят те или иные цифры согласно отраслевой специфике, ну и конечно набор различных софтверных инструментов, основным из которых является платформа бизнес-аналитики Alpha BI, разработанная компанией «БАРС Груп».
Чтобы информация воспринималась еще более понятно, постараюсь раскрыть простым языком ключевые термины, акцентировано выделенные в тексте.
Если говорить подробнее о подходах и шагах, то в рамках Data-Office нами определена следующая последовательность:
1. Разбор предметной области – выделяется Команда методологов, которая описывает предметную область, основные сущности, готовит для основного хранилища логическую модель данных.
Кто такие методологи? Это по сути отраслевые эксперты, которые понимают суть данных. Если, например, мы говорим о финансах, то это могут быть бухгалтера и финансисты, если же речь про медицину, то это врачи и иные квалифицированные медработники. Именно их понимание и позволяет построить логическую модель данных, а именно набор сущностей, который будет анализироваться вместе со связями – какое отношение какая сущность может иметь по отношению к другой.
2. На основе логической модели данных готовится нормализованная физическая модель, подключаются архитекторы данных. Тут уже, конечно, нужны ИТ-специалисты, ведь именно они набор сущностей переводят в таблицы, создают необходимые внешние ключи, атрибуты, индексы – то есть как раз и строят так называемую физическую модель.
3. Прорабатывается модель потока данных, устанавливаются источники и варианты интеграции. Модель потока данных – это набор передаваемых данных с описанными правилами: откуда и куда, по каким условиям, с какой периодичностью.
4. Как правило, поскольку речь идет о большом объеме данных, то изначально данные из источников попадают в формате «как есть» в буфер данных — первый слой «сырых данных». Тут преследуется как цель снижения времени на прогрузку данных, так и цель иметь у себя набор первичных данных, чтобы сохранить возможность в случае необходимости раскрутить цепочку анализа до самого первого значения.
5. Прорабатываются вопросы трансформации данных из буфера во второй слой — нормализованное хранилище, а также вопросы по периодичности обновления и хранения информации в буфере, тут же решается вопрос по инкрементальному обновлению. Также прорабатываются вопросы качества данных, методы и инструменты. Под качеством данных подразумевается соответствие информации требуемому логическому содержанию. Начинается все с простых валидаций форматно-логического контроля и заканчивается уже более сложными методологическими паттернами.
6. Методологи анализируют потребительские кейсы, и на основе этого описываются возможные витрины данных, то есть специально подготовленные наборы данных, которые должны помогать отвечать на те или иные вопросы.
Команда BI-разработчиков уже непосредственно формирует набор витрин, который представляет собой аналитическое хранилище данных – третий слой.
7. Стоит отметить, что параллельно ведется работа над формированием Глоссария данных (подробным методологическим описанием) и постоянной актуализацией связи самих сущностей хранилища с этим самым детальным методологическим описанием.
8. Набор инструментов в ходе описанного выше процесса может отличаться в зависимости от задач. В основном используется платформа бизнес-аналитики Alpha BI, на базе которой строятся и слои хранилище на PostgreSQL и решаются задачи ETL средствами самой платформы.
9. Непосредственно работа с подготовленными витринами также идет через Alpha BI. Получая потребность в получении знаний – изначально Команда методологов анализирует задачу и накладывает ее на имеющуюся логическую модель, далее уже Команда BI-разработчиков, получив предметно-ориентированную постановку, реализует на базе витрин необходимые выборки, ОЛАП-Кубы, дашборды, отчеты. Случается, что витрина несколько трансформируется, либо создается новая, если того требует ситуация.
Если говорить про инструменты и большие данные, нельзя не упомянуть и про опыт работы с модным «на кухне BigData» уже не первый год Hadoop – слоем для хранения большого объема сырых исторических данных.
С технической точки зрения, взаимодействие Alpha BI с Hadoop осуществляется через слой, построенный на базе массово-параллельной аналитической СУБД Greenplum с использованием протокола PXF (Platform Extension Framework). 
Аналогично с использованием Greenplum реализована и возможность оперативного анализа и работы с горячими данными, которые, к примеру, обновляются каждые 10 секунд. В случае с горячими данными взаимодействие через Greenplum строится с in-memory БД Apache Ignite также с использованием PXF протокола.
По окончании суток данные из таблицы Ignite переносятся в HDFS и удаляются из Ignite.
Подводя итоги, хочется еще раз резюмировать – данные должны работать и приносить пользу. Чтобы максимально извлекать из них знания, следует уделять внимание всем вышеперечисленным аспектам: грамотно подходить к построению хранилища, определять оптимальные потоки данных, разбираться в предметной области «цифр», подбирать инструмент под задачу.
Вместе с тем, разумеется, стоит уделять отдельное внимание формированию Команды и сегментированию ее на разные типы задач, в каждом из которых должны работать профи-единомышленники.
И тогда ваши данные своими миллионами и миллиардами строк и терабайтами памяти действительно начнут работать, давать знания, а значит приносить пользу!
Буду рад ответить на ваши вопросы в комментариях!)
Директор по данным
Chief Data Officer, CDO
С появлением CDO (директоров по данным) и других старших специалистов по работе с данными в составе высшего руководства крупные организации меняют свой подход к управлению данными.
Содержание
Функции Офиса по Данным
Специалисты по работе с данными являются движущей силой инноваций и дифференциации, осуществляют революцию существующих бизнес-моделей, улучшая коммуникацию компании с целевой аудиторией и раскрывая новые возможности повышения эффективности бизнеса.
Стремление к повышению эффективности использования информационных ресурсов приведет к резкому росту числа компаний, имеющих в штатном расписании пост директора по данным (CDO), считают аналитики Gartner. Однако лишь половина из них к концу 2019 года добьется успеха в решении поставленных задач. Директорам по данным придется создавать стратегию, в которой будут определены показатели, связывающие их деятельность с поддающимися измерению результатами в области бизнеса.
Сочетание больших ожиданий и низкой осведомленности о технологиях управления данными может затруднить директорам по данным получение бюджетов и обеспечение содействия бизнес-пользователей, что необходимо для успеха проектов, отмечают аналитики. Многие директора уже сообщают о конфликтах с ИТ-службой по поводу контроля над информационными ресурсами. Но успешным директорам по данным удается наладить контакт с директорами ИТ-служб, преодолеть сопротивление и возглавить реформы. Аналитики рекомендуют разъяснять руководителям компании роль данных и информации в бизнесе. Кроме того, рекомендуется выделить базовый уровень монетизации данных и управления информацией, относительно которого можно измерять прогресс.
Ключевые факторы, влияющие на роль в компании директора по данным:
1. Квалификация директора по данным
Директора по данным должны быть инноваторами и пропагандистами, способными осуществлять изменения на всех уровнях организации, уделяя приоритетное внимание управлению данными. 94% опрошенных не считают технические навыки значимыми, директора по данным привлекаются с разных позиций в отрасли, однако вдохновляющий лидер должен иметь успешный опыт руководства на высшем уровне и предпринимательскую жилку.
Постоянно развивающиеся технологии и непрерывный рост объема данных переопределяют ответственность за архитектуру и повышают значимость данных. Внедрение «облачных» решений переместило акцент с it-архитектуры в область миграции данных и управления изменениями. Поэтому организации все более сосредоточивают внимание на точности данных, которая становится главным приоритетом.
3. Переход к цифровой форме
Рост цифровых технологий влечет за собой дифференциацию и инновацию, которые вынуждают организации искать новые бизнес-модели и источники дохода. Такой переход к цифровой форме требует от лидера управления данными и всестороннего понимания связанных с ним возможностей. CDO должны преобразовывать данные в ценность для бизнеса и встраивать их в структуру организации.
4. Нормативно-правовое регулирование и управление
Директора по данным должны достойно решать этические вопросы, которые сопровождают процессы обработки, использования и применения данных.
Алгоритм для формирования службы CDO
Организация информационного департамента компании по принципу «машинного отделения» (CDO Organization as an Engine Room): служба CDO обеспечивает в компании оперативный оборот данных, сосредоточившись на внутренних потребителях. Список задач включает мониторинг любых действий с данными, а также полный контроль за использованием информационных активов, управление и аналитику информационных потоков компании.
Вездесущий информационный департамент (Everyone’s CDO Organization): главная роль информационного отдела также сводится к работе с запросами персонала компании, и в то же время определенный акцент переносится на информационные активы, энергично используемые бизнес-лидерами и отдельными специалистами вне традиционных бизнес-рамок. Миссией информационного офиса также является трансформация и внедрение новых цифровых бизнес-моделей во всей компании.
Информационный департамент в качестве бизнес-провайдера (CDO Organization as a Business Service Provider): информационная служба предприятия обеспечивает оперативный оборот данных как для внутренних пользователей, так и для внешних потребителей. Деятельность информационного департамента распространена на все распределенные информационные активы компании, при этом сам информационный отдел тесно интегрирован в компанию в качестве одного из бизнесов.
Информационный департамент в качестве отдельного бизнеса (CDO Organization Is the Business): информация представляет собой один из продуктов, предлагаемых компанией, или не отделима от линейки продуктов компании. Информационная служба при такой организации представляет все услуги по обслуживания внешних и внутренних информационных потоков, которые обеспечивают трансформацию и дифференциацию бизнеса компании.
Организационная структура Data Governance
Компоненты Data Governance включают в себя:
Подготовлено и предоставлено DIS Group
Подготовлено и предоставлено DIS Group
Разделение функций между Data Governance и Data Management
Подобно тому, как аудитор контролирует финансовые процессы, но фактически не осуществляет финансовое управление, руководство данными обеспечивает надлежащее управление данными без непосредственного выполнения управления данными.
Управление данными представляет собой неотъемлемое разделение обязанностей между надзором и исполнением
Операционный процесс управления данными
Мониторинг и измерения
Специалист по изучению данных (data scientist)
Ошибки специалистов по данным
Объем данных растет, а вместе с ним растет и количество навыков и усилий, необходимых для осуществления управляемых данными инициатив. Ошибки могут иметь тяжелые последствия. Инструменты меняются, а ошибки остаются прежними. Ниже приводятся рекомендации, которые позволят их идентифицировать и избегать. 1. Недостаточное знание программирования
Удивительно, как много людей полагают, будто наука о данных не имеет ничего общего с программированием. Основой науки о данных было и остается построение модели с помощью длинного скрипта. Качество скрипта определяет все — от масштабируемости до надежности модели, когда она начинает использоваться в производственных целях.
Отличный специалист по данным должен быть хорошим программистом. Я придерживаюсь такого правила: старший специалист по данным должен обладать навыками программирования на уровне среднего инженера-программиста, а специалист по данным среднего уровня — на уровне младшего инженера-программиста.
2. Отсутствие оборонительного мышления
В данном случае уместна поговорка «лучшее нападение — это хорошая защита». Специалистам по данным следует задаваться вопросом: насколько ошибочной может быть модель в худшем случае?
Единственная ошибка может повлечь для компании тяжелые финансовые и юридические последствия. Если не проверять и перепроверять код, руководствуясь оборонительным мышлением, в нем обязательно будут ошибки.
В машинном обучении применяются такие показатели производительности, как точность, среднеквадратичное отклонение и средняя абсолютная ошибка. Это средние величины, которые не заменяют оборонительного тестирования.
3. Непродуктивное использование времени, отводимого на очистку данных
Нередки случаи, когда специалисты тратят недели на рассмотрение данных, вместо того чтобы перейти к созданию ПО машинного обучения. Слишком много времени уделяется очистке данных. Задача создания сквозного потока данных игнорируется. Это характерно для специалистов по данным, которые являются физиками по образованию, в отличие от изучавших компьютерные науки.
Многие менеджеры проектов не уделяют достаточно внимания устранению многочисленных ошибок, поскольку к определенному сроку должны предъявить руководству компании результат работы.
4. Пустая трата времени на изучение индивидуальных моделей
Если слишком долго изучать отдельные модели, можно упустить из виду, как эти модели должны взаимодействовать. Динамическое ценообразование вполне может затронуть определение цен на размещение рекламы. Данный вопрос, безусловно, относится к компетенции старших специалистов по данным и их менеджеров.
Действия должны производиться над коллекциями данных. Специалист по данным способен помочь своей компании пройти через цифровую трансформацию, организовав мониторинг, тестирование и мощную аналитику, создав инфраструктуру машинного обучения. Это позволит усовершенствовать ведение бизнеса и решать проблемы. И в этом им необходимо содействовать.
Актуальность темы управления данными (Data Governance) растет с каждым годом. Действительно, необходимость организации процессов, направленных на повышение эффективности сбора, обработки, хранения и использования данных как ценного актива, уже очевидна практически всем компаниям. Много сказано о том, какие преимущества приносят компании правильно выстроенные процессы управления данными, и многие организации уже начали внедрение этой инициативы. При этом организации часто допускают похожие ошибки, которые негативно влияют на темпы внедрения и эффективность создаваемых процессов управления данными. О том, какие это ошибки, как их избежать и на какие вопросы организация должна найти ответы в процессе внедрения Data Governance, в материале, подготовленном для TAdviser, рассказывает Светлана Бова, Chief Data Officer банка ВТБ.
2016: Директорам по данным обещан скорый и бурный карьерный рост
«Отдел CDO является оперативным подразделением с квалифицированными сотрудниками, он наделен бюджетом и ответственностью. В 54% из опрошенных нами организаций заявили, что такой отдел сформирован у них полностью или частично. Еще 20% изучают вопрос или планируют создать отдел уже в будущем году. И лишь 19% опрошенных пока не готовы заняться таким подразделением», — рассказала вице-президент Gartner Дебра Логан (Debra Logan).
В качестве основных задач отдела CDO опрошенные называли повышение уровня доверия клиентов (62%), наращивание конкурентных преимуществ (60%) и рост КПД предприятия (54%). 69% участников опроса полагают, что основной задачей директоров по данным должны быть инициативы в области аналитики, 68% — что CDO должны управлять данными на предприятии. Еще по 64% опрошенных полагают, что в обязанности CDO должны входить разработка стратегических задач в компании и обеспечение информационной стабильности предприятия.
Эксперты по большим данным готовы возглавить изменения в компаниях
Поскольку использование данных и аналитики в компаниях постоянно растет, предприятия, игнорирующие поддержку CDO, будут сталкиваться с кризисами. «27% опрошенных указали на угрозы связанных с аналитикой и данными кризисов в качестве причины создания отделов по управлению данными или штатной единицы. 24% опрошенных заявили, что пошли на это по распоряжению совета директоров. Еще 41% — по приказу генерального директора или финансового директора», — рассказал вице-президент Gartner Джейми Попкин (Jamie Popkin).
Аналитики пояснили, что большинство самих CDO для себя определяют две основные обязанности. 67% считают, что их задачей будет возглавить изменения в компании, связанные с созданием и поддержанием систем корпоративных данных и их аналитики. 61% полагает, что им предстоит интегрировать аналитику и данные в стратегию предприятия, его «дорожную карту». Также большинство респондентов отметили, что у них сложились хорошие отношения с ИТ-руководством в компании. Тем не менее, аналитики уточнили, что с ростом полномочий экспертов по большим данным их отношения с директорами по информационным технологиям (CIO) могут испортиться из-за разногласий в стратегическом развитии и приоритете принятия решений.
Как корпоративная стратегия управления данными помогает трансформации бизнеса? TADетали
Необходимость цифровизации бизнеса все чаще подталкивает российские компании разрабатывать свою собственную стратегию управления данными. Впрочем, многим предприятиям тяжело решиться на новый подход к работе с корпоративной информацией из-за устаревшей ИТ-инфраструктуры. Что с этим делать, можно ли реализовать проект своими силами и как Data Governance помогает единению бизнеса и ИТ, помогли разобраться специалисты компании «Крок»: руководитель направления «Системы хранения данных» Владимир Колганов и эксперт практики Big Data Егор Осипов. Читать подробнее