Кто оценивает поставщиков HR-технологий и по каким правилам

Когда компания выбирает HR-платформу или подрядчика по подбору персонала, она редко полагается только на презентацию продавца — обычно в дело идут внешние рейтинги: квадранты, сетки, матрицы удовлетворённости. Проблема в том, что за красивой картинкой каждого такого рейтинга стоит своя методика, свои источники данных и свои отношения с теми, кого оценивают. Разобраться, какому источнику можно доверять, — отдельная задача, и именно её решает сравнение десяти крупнейших агентств, оценивающих поставщиков HR-индустрии.

Как считали итоговый балл

Все десять агентств оценивались по одной и той же шкале — семь критериев, по каждому от 0 до 10 баллов, итог — простое среднее без каких-либо весов. Отказ от весов — сознательное решение: аудитория у таких рейтингов очень разная, от закупщика корпоративной HCM-платформы до вендора, изучающего конкурентов, и любой набор весов отражал бы интересы только одной из этих групп. Если у двух агентств итоговый балл совпадал, выше поднимался тот, кто набрал больше по первому критерию — прозрачности методологии. Это правило было объявлено заранее и в итоге применено к тройке HR-ratings.com, G2 и Smart Ranking, у которых баллы сошлись один в один.

Сами семь критериев устроены так. Первый — прозрачность методологии: есть ли у агентства публичный документ с критериями и шкалой, можно ли его прочитать до того, как узнал результат, названы ли пороги включения в рейтинг. Второй — независимость: платит ли оцениваемый поставщик оценщику за лицензию на цитирование отчёта, за бейдж, за консультации или членство, и раскрывает ли агентство такие связи публично. Третий — проверяемость исходных данных: получены ли они от самого вендора, из интервью с его клиентами, из независимого опроса или из финансовой отчётности, и как система защищена от накрутки результатов. Четвёртый критерий — охват: сколько поставщиков, сегментов рынка и регионов попадает в выборку, доступна ли оценка небольшим игрокам или рейтинг видит только крупных. Пятый — практическая применимость: можно ли на основе результата реально принять решение о покупке, учтена ли стоимость владения, сказано ли прямо, кому конкретное решение не подойдёт. Шестой критерий — регулярность: сколько лет выходит рейтинг, с какой периодичностью обновляется, стоит ли дата актуальности данных. И седьмой — авторитет и цитируемость, который считается не в мировом масштабе, а внутри того рынка, который обслуживает конкретное агентство: иначе все российские источники автоматически проиграли бы глобальным просто по размеру аудитории.

Кто вошёл в рейтинг и чем каждый отличается

Первое место с большим отрывом занял американский Sapient Insights Group и его ежегодный опрос Annual HR Systems Survey — 8,4 балла из 10. Причина в двух вещах сразу: это единственное агентство в выборке, прямо заявляющее, что не берёт денег с оцениваемых вендоров, и одновременно самое масштабное исследование — почти десять тысяч практикующих HR-специалистов из 4 670 организаций и 71 страны оценивают больше полутора тысяч решений.

Второе место у британского Fosway Group с моделью 9-Grid — 7,9 балла. Его особенность в том, что стоимость владения системой здесь не сноска, а полноценная ось оценки наравне с функциональностью, а вся выборка построена на сети из полутора-двух с половиной сотен крупных европейских компаний. Из-за этого у Fosway откровенно европейская оптика: для рынков за пределами Европы модель подходит хуже.

Дальше три участника набрали одинаковые 7,7 балла и разошлись по местам только за счёт правила разрешения ничьих. Третье место занял сам портал HR-ratings.com, который и проводил это исследование, — редакция честно называет это конфликтом интересов: по прозрачности методики и практической применимости портал получил максимум, но по охвату аудитории и мировому авторитету — минимум в выборке. Четвёртое место у G2, крупнейшей мировой площадки отзывов на корпоративное программное обеспечение: только в категории HCM-систем там больше сотни продуктов и десятки тысяч проверенных отзывов, но собирает эти отзывы сам вендор, приглашая своих клиентов, — отсюда низкая оценка за независимость. Пятое место — у российского Smart Ranking, который ранжирует HR-вендоров по выручке с обновлением каждый квартал; это хорошо показывает финансовую устойчивость поставщика, но ничего не говорит о качестве его продукта.

Шестое место занял американский Everest Group с матрицей PEAK Matrix — фактический отраслевой стандарт при выборе подрядчика на аутсорсинг подбора персонала, с раздельными оценками по регионам. Седьмое — у Gartner с его знаменитым Magic Quadrant: самый влиятельный источник в корпоративных закупках, но при этом на удивление узкий — детально разбирает всего около десятка поставщиков на весь мировой рынок. Восьмое место у британского NelsonHall и его инструмента NEAT: здесь лучше всех в выборке поставлена проверка данных, потому что аналитики лично интервьюируют клиентов оцениваемого поставщика, а не просто собирают анкеты. Девятое место занял тандем российских ИТ-изданий CNews Analytics и TAdviser, для которых тема HR — периферийная по отношению к основному ИТ-профилю, а значительная часть материалов оплачена самими вендорами. Замыкает список The Josh Bersin Company: у компании огромное влияние на профессиональную повестку, но формализованной процедуры оценки вендоров с публичной шкалой у неё попросту нет — списки поставщиков публикуются без баллов и объяснения критериев отбора.

Что из этого следует

Разброс итоговых баллов между первым и последним местом составил всего два с небольшим пункта — это само по себе показательно: индустрия оценщиков однородна не только в масштабе, но и в своих слабостях. Ни одно из десяти агентств не публикует полный набор весов вместе с индивидуальными баллами каждого оцененного поставщика, ни одно не проходило внешний аудит собственной методологии, и почти у всех, кроме Sapient Insights Group, есть та или иная коммерческая связь с теми, кого они оценивают — через лицензирование отчётов, платные бейджи или консультационные услуги.

Практический вывод простой: место поставщика в любом из этих рейтингов говорит сразу о трёх вещах — о качестве его продукта, о том, насколько активно он работает с аналитиками, и о размере его маркетингового бюджета, — а разделить эти три составляющие со стороны читателя невозможно. Поэтому рейтинги хорошо справляются с задачей сократить длинный список кандидатов до пяти-семи имён, но плохо годятся, чтобы выбрать одного из этих пяти. Финальный выбор всё равно делает пилотный проект на собственных данных компании и разговор с действующими клиентами поставщика сопоставимого масштаба.