Csi что это метрика

Индексы PSI и CSI — лучшие метрики для мониторинга работы модели

Представляем вам перевод статьи, опубликованной в блоге towardsdatascience.com.
Ее автор, Juhi Ramzai, рассказала об эффективных методах проверки моделей — PSI (индексе стабильности популяции) и CSI (индексе стабильности характеристик).

Изображение предоставлено автором

После выпуска модели в продакшен необходимо проводить регулярный мониторинг ее работы, чтобы убедиться, что модель все еще актуальна и надежна. Ранее я писала пост о валидации модели и мониторинге ее работы, в котором подчеркивала важность этих двух этапов.

А теперь перейдем к основной теме данного поста. Мы узнаем все о PSI (индексе стабильности популяции) и CSI (индексе стабильности характеристик), которые являются одними из самых важных стратегий мониторинга, используемых во многих областях, особенно в сфере оценки кредитных рисков.

Обе эти метрики (и PSI, и CSI) сосредоточены на изменениях в РАСПРЕДЕЛЕНИИ ПОПУЛЯЦИИ.

Основная идея этих метрик заключается в том, что модель прогнозирования лучше всего работает, если данные, использованные для ее обучения, не слишком отличаются от валидационных / OOT (out of time) данных в плане экономических условий, основополагающих допущений, стиля ведения кампании, направленности и т. д.

Например, мы разработали модель прогнозирования показателей оттока пользователей кредитных карт в условиях нормальной экономической ситуации. Затем мы приступили к тестированию этой модели, но уже в условиях экономического кризиса. Вполне возможно, что в этом случае модель не выдаст точный прогноз, поскольку не сможет уловить тот факт, что в разных сегментах дохода распределение популяции могло значительно измениться (и это могло привести к высокому фактическому уровню оттока пользователей). В результате мы получим ошибочные предсказания. Но так как сейчас мы это уже понимаем, то можем перейти к проверке изменений распределения популяции между временем разработки (DEV time) и настоящим временем. Так мы получим ясное представление о том, можно ли полагаться на результаты, предсказанные моделью, или нет. Именно это и показывают важные метрики мониторинга PSI и CSI.

Индекс стабильности популяции (PSI)

Эта метрика позволяет измерить то, насколько переменная изменилась в распределении между двумя выборками с течением времени. Она широко используется для мониторинга изменений характеристик популяции и диагностики возможных проблем с эффективностью модели. Если модель перестала делать точные прогнозы из-за значительных изменений в распределении популяции, то часто это является хорошим показателем.

Приведенное выше определение как нельзя лучше объяснено в данной исследовательской работе. Я также привела ссылку на него в конце этого поста.

Изначально индекс стабильности популяции (PSI) был разработан для мониторинга изменений в распределении между внеплановыми выборками (ООТ) и выборками периода времени разработки при оценке кредитных рисков. В настоящее время использование индекса PSI стало более гибким по своей природе, что позволяет исследовать изменения как распределений, связанных с атрибутами модели, так и популяций в целом, включая зависимые и независимые переменные CSI. Мы рассмотрим это в следующем разделе.

Индекс PSI отражает тенденцию к изменению популяции в целом, в то время как индекс CSI обычно сосредоточен на используемых индивидуальных переменных модели.

Источник

Изменение в распределении популяции может быть связано:

ШАГИ ДЛЯ РАСЧЕТА ИНДЕКСА PSI (Ссылка)

Источник

CSI – Индекс удовлетворённости клиентов

Для оценки лояльности клиентов компаниям недостаточно оценить свою деятельность лишь на основании оценки NPS. Покупателям задают вопрос, готовы ли они привести в данный магазин своих друзей и знакомых. Тем не менее, невозможно достоверно и сразу вычислить, что привлекло, а что отторгло этих же клиентов. Если показатель NPS «ушёл в минус», то, чтобы покупатели не перебежали срочно к клиентам, потребуется другой показатель – CSI, или индекс удовлетворённости этих же покупателей.

Индекс удовлетворительности клиентов

Customer satisfaction index – величина, определяющая, в какой степени клиенты довольны продукцией и обслуживанием в данном магазине. Так, при возрастании этой величины всего на 2% выручка магазина может возрасти также на одну пятую от первоначального объёма продаж. Выручка не менее 95% — хорошая величина. Сам индекс применяется как в бизнес-ориентированной, так и в клиентоориентированной модели продаж.

Что такое CSI?

Как уже говорилось, показатель CSI ясно демонстрирует, как покупатели относятся к продукции и сервису в том или ином магазине. Это важнейший индикатор, дающий возможность персоналу магазина и руководителям компании, в чьём ведении этот магазин находится, чутко отреагировать на пожелания клиентов.

Формула расчёта CSI

Расчёт по CSI включает в себя несколько стадий.

Несмотря на такой результат, важность обслуживания была охарактеризована на высшем уровне. Задача фирмы – поднять сервис на новый уровень – иначе покупатели заказчики попросту сбегут к конкурентам.

Пример расчёта CSI

Например, фирма X, торгующая оптом молочными продуктами обладает следующей сводкой.

Эта сводная таблица включает в себя четыре графы. Ценовая графа показывает, что оценка по стоимости уточняется через опрашивание клиентов. Вопрос в этом случае звучит так.

Этот вопрос включён в общее анкетирование – наряду с вопросами по качеству покупки и обслуживания. Оценивается покупка категории А.

Ценообразование формируется каждый месяц с оглядкой на главного из конкурентов. В случае, когда стоимость товара на данном предприятии меньше, чем у конкурента, то соответствие цены оценивается как равное единице. При обратной ситуации расчёт осуществляется по следующей закономерности:

УЦК= Ц кон/ Ц пр, где

УЦК — Уровень цен компании;

Ц кон. — цена конкурента;

Ц пр. — цена предприятия.

Далее используется другая форма подсчёта:

Стоимость литра молока на фирме X равна 97,6% от реальной рыночной цены, диктуемой первым конкурентом.

Графа «Качество товара» показывает, что индикатор встречаемости отбраковки равен отношению суммы бракованных упаковок к общему их количеству, ввезённому в магазин при выгрузке за один приём.

Индекс качества продукции считается по оценённому качеству на каждой из позиций. Форма расчёта состоит в следующем.

Масса продукции вычисляется по долевой продаже от общего оборота продукции. Оценивается качество на примере однолитровых упаковок пастеризованного молока. Форма отчёта выглядит следующим образом.

По показателю качества осуществляется сравнение с аналогичной характеристикой от фирмы N. Обозначаются показатели качества и замеряется вес либо в лаборатории, либо по результатам исследований со стороны команды маркетологов. Средневзвешенная оценка считается как умножения полученного веса на реальную оценку. Затем средневзвешенные оценки складываются.

Графа «Сервис» показывает отметку дефицитности (УД), считаемую по следующему закону:

Д — дефицитность продукции в обычных единицах.

Т — показатель оборота товара в обычных единицах.

Что касается удовлетворённость складской деятельностью, то здесь также высчитываются следующие показатели.

Графа «Клиентские параметры» высчитывается показатель изменения объёмов продаж для клиентов группы А. При обнаруженном приросте продаж магазин получает уровень, равный 100%. При снижении – параметр по продажам определён в качестве отношения текущего уровня продаж к предыдущему.

Динамика по клиентам отслеживается следующим образом.

Клиенты – это распространители, заключившие договор с предприятием. Если компания отрабатывает свои показатели по максимуму, то в неё стекаются новые контрагенты, а рекомендательная база компании также возрастает. Расчёт считается так же, как и по последней таблице.

CSI в итоге из самой первой таблицы не доходит до 95%. Чтобы он поднялся, потребуется ещё больше снизить цены на продукцию, подняв вместе с тем качество товара (по всем параметрам) и поработать над улучшением обслуживания. Данная схема верна и работоспособна на любом предприятии.

Источник

Метрики лояльности. Часть II: показатели клиентского опыта и юзабилити

Во второй части большого гайда по метрикам лояльности – показатели, измеряющие уровень CX. Рассказываем, зачем и как считать и к каким цифрам стремиться.

Эта статья – часть большого гайда по метрикам лояльности. Обязательно изучите другие материалы из цикла:

Часть I

Лояльность и бизнес-показатели.

Часть III

Как выбрать метрики и «прокачать» их инсайтами.

Оглавление

Метрики клиентского опыта

В отличие от части с бизнес-метриками, в эту мы не стали включать пункт «Как улучшить показатель». Все нижеперечисленные метрики напрямую коррелируют с клиентским опытом. Улучшение CX – тема не для статьи, а для полноценной книги или даже докторской работы. Кроме того, шаги будут уникальными для каждой компании.

Поэтому третьей части гайда мы дадим общие рекомендации по комплексной работе с лояльностью, а пока – непосредственно к метрикам.

NPS – Net Promoter Score

Что измеряет: Net Promoter Score – это Индекс потребительской лояльности. Метрика, которая показывает отношение клиента к вашему продукту или сайту и помогает выяснить, с какой вероятностью он посоветует вас своим друзьям или родственникам.

Зачем измерять: NPS отличается от многих других метрик лояльности тем, что узнает общее впечатление о компании или бренде, а не об отдельных участках пользовательского пути.

Измерение Индекса потребительской лояльности позволяет определить критиков компании и помочь им решить их проблемы, увеличив количество промоутеров – последователей компании, которые посоветуют её услуги друзьям и родственникам.

Как измерять: Чтобы измерить Индекс потребительской лояльности, нужно задать клиентам вопрос: «Насколько вероятно, что вы посоветуете нашу компанию друзьям или коллегам?»

Пользователи отвечают на вопрос оценкой по 11-балльной шкале – от 0 до 10. При этом 0 – это «Совершенно точно не стану советовать», а 10 – «Обязательно посоветую». И ещё одно важное замечание: зачастую при создании таких опросов используют другие виды шкал, например, от 1 до 5. Но такую метрику нельзя считать NPS. О других ошибках при использовании метрики читайте в статье.

Клиентов, поставивших оценки, распределяют по группам:

Теперь посчитать Индекс потребительской лояльности совсем просто. Из общего процента промоутеров вычитается общий процент критиков. Клиенты-нейтралы не принимаются к расчёту, потому что они и не советуют, и не критикуют вашу компанию.

Рассмотрим пример. Например, в вашем опросе приняли участие 2000 человек. 600 из них (30%) поставили оценку от 1 до 6 баллов, 400 – 7 или 8, а 1000 клиентов (50%) – 9 или 10. NPS равен 50%-30% – 20 пунктам.

Какой показатель «нормальный»: любой бизнес должен стремиться к увеличению процента промоутеров. NPS чуть выше нуля означает, что вам предстоит ещё много работы по улучшению клиентского опыта, но вы на правильном пути – ваши пользователи больше счастливы, чем несчастны. Если индекс больше 50-ти, вы почувствуете работу «сарафанного радио». Счастливые клиенты приведут новых лидов, скорость вашего роста увеличится. Когда NPS приблизится к 75, знайте – ваш уровень «Бог», пользователи просто обожают вашу компанию!

Тем не менее, в реальном мире достичь подобных цифр (75+) почти невозможно. Кроме того, всё зависит от сферы вашего бизнеса. Чем выше конкуренция в индустрии, тем меньше в среднем рейтинг даже у топ-компаний. Например, для банкинга и 0 – хороший показатель, а вот для интернет-сервиса NPS ниже 40 – не самая приятная цифра. А ещё чем чаще человек пользуется определённой услугой или продукцией, тем выше его ожидания и жёстче оценки. И это тоже надо учитывать, анализируя показатель Индекса потребительской лояльности.

CES – Customer Effort Score

Что измеряет: этот показатель определяет относительные усилия, которые нужно приложить пользователю для выполнения определённых действий.

Зачем измерять: ваши клиенты хотят достигать своих целей, не прилагая серьёзных сил. Чем больше их требуется, чтобы совершить покупку/оформить подписку/зарегистрироваться и так далее, тем выше вероятность, что клиент «отвалится» по пути.

Согласно статистике из книги The Effortless Experience, 96% клиентов, прикладывавших большие усилия, переставали быть лояльными компании. Среди тех, кто прикладывал меньше сил, таких было всего 9%.

Как измерять: лучший способ измерить CES – задать вопрос, насколько сложно было пользователю достичь своей цели (например, совершить покупку) сразу после выполнения ключевого действия. Ответ – оценка по шкале от 1 до 7, где 1 – это «Очень сложно», а 7 – «Очень легко». До этого стандартом была пятибалльная шкала, но потом компанию, создавшую метрику, купила Gartner Group и внесла в «канон» изменения.

Поэтому и считают CES по-разному. Большинство компаний вычисляют среднее арифметическое всех оценок. Например, по семибалльной шкале 20 человек поставили 1, 30 – 2, по 50 человек поставили оценки от 3 до 6, а 80 респондентов поставили высший балл. Тогда CES будет равен (20*1+30*2+50*3+50*4+50*5+50*6+80*7) / 330 = 4,6.

Gartner же советует сложить количество положительных оценок (5-7) и разделить на число всех оценок. В таком случае, CES будет представлен в процентах.

Из-за таких различий в подходах сложно прийти и к единому стандарту оценок. Существует всего несколько исследований, на которые можно опираться. Так, Nicereply считает средней оценку 5.5/7. Если показатель ниже, значит ваши пользователи испытывают проблемы.

Источник

Что такое CSI: основы

Узнайте, как измерить CSI для вашего бизнеса

CSI (Customer Satisfaction Index) — это показатель, с помощью которого измеряют удовлетворенность клиентов товарами, услугами, обслуживанием и компанией в целом.

Чтобы лучше понять, что такое CSI и как с его помощью можно улучшить customer journey, посмотрите это видео, в котором Павел Костин рассматривает кейс компании Hoff.

Содержание

Зачем измерять CSI

Метрика CSI позволяет исследовать удовлетворенность потребителя в разных направлениях. С помощью этого показателя компании узнают, насколько покупатели довольны взаимодействием с брендом, ценовой политикой, ассортиментом, качеством товара или услуги.

Этот показатель отражает мнение пользователей в числовом эквиваленте. Он помогает выявить слабые стороны комплекса маркетинга, оценить качество обслуживания, проанализировать удовлетворенность покупателей в разных сегментах целевой аудитории. CSI позволяет узнать не только отношение клиентов к компании и характеристикам продукта, но и понять, насколько эти характеристики важны для них.

В следующем разделе вы ознакомитесь с преимуществами измерения индекса удовлетворенности покупателей.

Преимущества CSI

Удовлетворенность клиента влияет на уровень удержания пользователей и формирование лояльности. Поэтому многие компании стремятся измерять CSI на постоянной основе, чтобы принимать взвешенные решения и анализировать результативность маркетинговых действий. Давайте посмотрим, что позволяет узнать индекс удовлетворенности потребителей.

В следующем разделе вы узнаете, как измеряют Customer Satisfaction Index и что для этого нужно.

Как узнать CSI

Процесс измерения индекса удовлетворенности клиентов состоит из двух основных этапов. Сначала определяют цель и ключевые параметры, а после проводят опрос среди пользователей, анализируют результаты и делают вывод. Далее вы подробнее ознакомитесь с каждым из этапов.

Этап 1

Это этап подготовки, во время которого определяют цель измерения индекса удовлетворенности. Важно выбрать объект исследования и основной параметр. Чтобы увидеть реальную картину, независимо от сферы деятельности и специфики работы, следует измерять CSI по одному направлению. Для этого выделяют один из критериев комплекса маркетинга. Например, в 4P это будет продукт (Product), цена (Price), месторасположение (Place) и продвижение (Promotion).

Наиболее часто исследуемыми параметрами являются качество обслуживания, ценовая политика, ассортимент, квалифицированность персонала, качество продукта. После того, как вектор исследования определен, приступают ко второму этапу.

Этап 2

На этом этапе собирают информацию от покупателей с помощью опросов. Это могут быть интервью, опросы по телефону, анкетирование онлайн. Сам опрос состоит из двух частей. В первой клиента просят оценить важность исследуемого параметра по шкале от 1 до 10. Чем выше оценка, тем больше его значимость. Эта информация помогает узнать, насколько цена, ассортимент, сервис или другой фактор важны для потребителя.

Во второй части опроса клиента просят оценить качество исследуемого параметра. По окончанию анкетирования у вас на руках будет N количество оценок. Чтобы узнать важность параметра и индекс удовлетворенности им, рассчитывают среднее арифметическое значение по каждой части опроса. То есть, сумму всех оценок делят на их количество.

Предположим, компания В решила исследовать качество сервиса. В опросе принимали участие 50 человек, а общая сумма оценок обслуживания составила 425 баллов. Давайте рассчитаем индекс удовлетворенности.

CSI = 425 / 50 = 8,5 баллов

По такому же принципу рассчитывают и важность качества обслуживания для клиентов. Поскольку анализ проводили по десятибалльной шкале, результат 8,5 считается высоким. Чтобы увидеть, что необходимо улучшить, следует выделить пользователей, которые поставили низкую оценку качеству сервиса, и установить причину.

В некоторых случаях маркетологи заранее продумывают анкету так, чтобы пользователь имел возможность оставить комментарий. Такой подход помогает лучше проанализировать негативные и положительные моменты.

Индекс удовлетворенности потребителей напрямую влияет на уровень лояльности. Поэтому, его следует не только регулярно измерять, но и улучшать. Для того, чтобы проанализировать текущую ситуацию и построить маркетинговый план по дальнейшему продвижению и развитию компании, важно четко определить, какой параметр необходимо оценить и зачем. Помните, чем больше клиенты удовлетворены компанией и ее продуктами, тем выше будет уровень удержания и средний чек.

Источник

Как измерять лояльность: NPS, CSI, CLI и не только

Ведь лояльные клиенты:

А чтобы управлять лояльностью клиентов, важно научиться ее измерять. Это поможет нам становиться лучше и продавать больше. Как измерить лояльность? Сейчас расскажем.

#1: измерить индекс лояльности NPS

Индекс лояльности NPS (Net Promoter Score) — основа основ в измерении лояльности. Он показывает, готовы ли клиенты рекомендовать ваш бренд друзьям. Его просто измерить и так же просто интерпретировать:

Формула расчета NPS

Если число получилось со знаком плюс, значит, фанатов у вас больше, чем ненавистников. Как вы понимаете, чем эта цифра больше, тем лучше. Отрицательное и нулевое значение говорит о том, что у бренда проблемы и пора что-то с этим делать.

Классический NPS на этом и заканчивается, но есть и расширенный вариант — это когда вы еще спрашиваете, почему клиент поставил именно такую оценку. Он позволяет конкретизировать претензии критиков и определить сильные стороны за счет отзывов промоутеров.

Собрать данные можно по-разному: отправить email-рассылку с анкетой, устроить онлайн-опрос прямо на сайте или в приложении, напрячь call-центр и провести массовый обзвон, заставить робота обзванивать клиентов автоматически.

#2: измерить индекс удовлетворенности CSI

Оба индекса, NPS и CSI, можно использовать для оценки b2b и b2c-сегментов. И лучше всего оценивать их в связке: так можно понять, приводит ли удовлетворенность (CSI) к лояльности (NPS).

У нас в стране, как правило, оценка лояльности к бренду ограничивается этими двумя показателями. Но западные маркетологи выделяют еще ряд характеристик, коротко о них.

Repurchase Ratio — коэффициент выкупа

Коэффициент выкупа — это отношения «повторных» клиентов к «разовым». Логика такая: в основе коммерческих отношений лежит покупка, поэтому повторная покупка может служить достоверным подтверждением лояльности клиентов. Важно: мы говорим об одних и тех же продуктах — опять вернемся к провайдеру или b2b-сегменту, который, например, закупает сырье или канцелярию.

Рассчитывают его по-разному. Если бизнес-модель бренда основана на подписке, то есть с клиента каждый месяц (квартал, год) списывается определенная сумма за услуги, — нужно просто разделить число клиентов, продлевающих контракт, на тех, которые прекращают пользоваться услугами после первого цикла.

Для тех, кто работает с транзакциями, нужно учитывать среднее время между первой и второй покупкой постоянных клиентов и стандартное отклонение. В общем, сложно, но есть инструмент для расчета.

Upselling Ratio — коэффициент продаж

Коэффициент продаж похож на коэффициент выкупа — с той только разницей, что речь идет о разных продуктах. Чтобы его рассчитать нужно опять же разделить «повторных» клиентов на «разовых». Этот показатель отражает доверие, которое вы приобретаете благодаря предыдущему опыту ваших клиентов.

Чем больше отличается второй продукт от первого, тем больше лояльность к бренду. Для примера возьмем интернет-магазин одежды и интернет-магазин электроники. У первого клиент может покупать джинсы раз в год, потому что его все устраивает. У второго — сначала купить смартфон, убедиться, что все в порядке, и купить уже ноутбук. Upselling Ratio у второго магазина выше.

Customer Loyalty Index — еще один индекс лояльности

Оценивают CLI по шестибалльной шкале, где 1 — «определенно да», а 6 — «определенно нет». Общий CLI — средний балл за три ответа. Считается, что этот индекс охватывает больше аспектов лояльности, а, значит, он более надежный.

Однако у нас в стране его не очень любят, потому что на него, во-первых, уходит больше времени и человеческих ресурсов. Во-вторых, вопрос о надежности все-таки спорный, ведь в результаты каждого опроса закрадывается погрешность, а в случае CLI — это погрешности не от одного, а от трех вопросов.

NPS наоборот

Это, как и NPS, опрос из одного вопроса, но здесь вы спрашиваете клиентов, как сильно они будут скучать по вам, если завтра компания прекратит свое существование. И все та же десятибалльная шкала: от 1 — «не замечу», до 10 — «без вас я не справлюсь».

Опрос измеряет вашу эмоциональную связь с клиентами и ценность ваших УТП. Так если на рынке помимо вас есть еще тысяча компаний, занимающихся тем же самым, клиенты вряд ли потеряют сон из-за вашего исчезновения.

Customer Engagement Numbers — показатели вовлеченности

Многие считают, что сейчас онлайн-показатели вовлеченности играют куда более важную роль, чем NPS и CLI — ведь их легче измерить и повлиять на них, а еще они более тесно связаны с доходом и прибылью.

Главный исполнительный директор и основатель компании Totango, которая занимается привлечением пользователей облачных приложений, Гай Нирпаз, предлагает использовать в первую очередь эти метрики:

Activity Time. Это среднее время, которое клиенты взаимодействуют с вашим сервисом в день, неделю, месяц или год — в зависимости от того, что больше всего подходит для вашего предложения.

Visit Frequency. Показывает, как часто пользователь возвращается к вашему сервису.

Core User Actions. Анализирует, может ли пользователь испытывать основные функции сервиса.

Как видите, измерить лояльность клиента вполне реально. Все способы, о которых мы написали, так или иначе помогают выявить сильные и слабые стороны бренда и подсказывают, куда ему двигаться.

Источник