Сильный по хардам кандидат не обязательно принесёт много пользы, а большой опыт в прошлом не гарантирует соответствующих успехов дальше. Но что тогда делать с отбором сотрудников?
За последние 10 лет я проводил много собеседований, в основном в рекламные агентства на перформанс-позиции: специалисты по контекстной рекламе, таргетологи, сммщики, менеджеры проектов, немного маркетологов и CMO на клиентскую сторону, руководители направлений.
С оценкой формальных навыков всё более-менее понятно.
Харды можно проверить по карте скилов: дать тестовое, попросить разобрать чужую кампанию, посмотреть, как человек считает и что делает, когда цифры не сходятся.
Прошлый опыт понятен по кейсам, документам, отзывам и достижениям.
Практика показывает, что этого недостаточно. На дистанции решает то, что формализуется хуже: как быстро он въедет в проект, что будет через год, потянет ли задачу, которой у нас ещё нет. То есть обучаемость, гибкость мышления, проактивность — всё то, что обычно сваливают в софт-скилы.
А вот ещё проблемы оценки в моменте — тут впору вспомнить Канемана с его регрессией к среднему и законом малых чисел.
Сейчас решил сложный кейс — это его обычный уровень или случайность и отклонение от среднего? А если немного завалил? Один эксперимент — это не очень статистически значимые данные.
Что я на самом деле хочу знать
Если формальная часть не даёт уверенного ответа на вопросы “Нанимаем? Нам конкретно этот человек подойдет?”, то что мы тогда вообще хотим понять. Я выработал следующую позицию: мне не нужен срез навыков на сегодня, нужна оценка, сколько единиц пользы или результата человек принесёт за всё время работы и во сколько нам это обойдётся:
Можем упростить до четырех блоков.
Что он закрывает с первого дня.
Как быстро закроет то, чего пока не умеет.
Сколько мы за это платим — и когда он выйдет в плюс.
И сколько времени пройдёт, прежде чем он упрётся в потолок: свой или наш.
На типовом собеседовании чаще всего проверяют только первое. И это создает отложенные проблемы на будущее. Этот пост про первые два вопроса, то есть собственно про отбор. Про деньги и про потолок роста в компании будет отдельно.
Почему опыт — так себе прогноз
В какой-то момент я перестал искать идеального кандидата на ощущениях и начал искать способ точнее их различать. Раз собственная интуиция даёт сбои, значит надо посмотреть, что об этом знают те, кто занимается отбором профессионально: есть ли методы с доказанной точностью и что вообще предсказывает будущий результат.
Оказалось, что тема закрыта куда лучше, чем я ожидал, — её меряют с двадцатых годов прошлого века. И первое, обо что я споткнулся, было именно про опыт.
Точка отсчёта здесь — мета-анализ Шмидта и Хантера 1998 года, сводка 85 лет исследований отбора персонала. Стаж связан с результативностью на уровне 0,18, образование — 0,10. Для ориентира: 0,1 — это почти шум, 0,4 — уже сильная связь по меркам таких исследований.
Есть работа поточнее — МакДэниел, Шмидт и Хантер, 1988, выборка 16 тысяч человек. Опыт всё-таки предсказывает результат, но сила связи зависит от двух вещей: сколько у людей этого опыта и насколько сложная работа. Лучше всего опыт работает там, где его мало и где работа простая. Чем сложнее работа и чем опытнее люди — тем связь слабее.
Перформанс-маркетинг — работа сложная. Кандидаты с пятью годами за спиной — опытные. То есть мы находимся ровно в той зоне, где строчки в резюме предсказывают хуже всего.
Отдельная проблема с портфолио и достижениями. Кейс из резюме сделан в другой компании с другой командой, другими бюджетами, другим клиентом, который то ли мешал, то ли не мешал. Что именно сделал конкретный человек и насколько велик его персональный вклад в результат — из красивого слайда понять невозможно.
Что реально предсказывает результат
Хорошая новость: слепая зона меньше, чем кажется. Плохая: цифры, которые все двадцать лет цитируют, оказались завышены.
Каноном был тот же Шмидт и Хантер: тест на образце работы 0,54, общие умственные способности 0,51, структурированное интервью 0,51. В 2022 году Сакетт с соавторами разобрали, как в прежних мета-анализах вводили поправку на ограничение диапазона. Смысл поправки такой: исследование считается по уже нанятым, а не по всему потоку кандидатов, разброс там меньше, и это компенсируют расчётом. Компенсировали, как выяснилось, слишком щедро. Почти все оценки поехали вниз.
Новый порядок такой:
структурированное интервью — 0,42
тесты профессиональных знаний — 0,40
биографические данные — 0,38
тест на образце работы — 0,33
общие умственные способности — 0,31
добросовестность — 0,19
Сильнее всех просел как раз тест на образце работы, а способности перестали быть лидером списка. Плюс отдельная придирка к старой оценке: она опиралась на исследования, которым уже тогда было полвека. Когда собрали 113 исследований, проведённых в этом веке, наблюдаемая связь способностей с результатом оказалась ещё ниже — 0,16.
Для моей логики это и хорошо, и плохо.
Плохо: идея «померим способности — померим обучаемость» ослабла. Способности всё ещё в списке рабочих предикторов, но никакой волшебной цифры за ними больше нет.
Хорошо: на первом месте теперь структурированное интервью. То есть заранее написанный разговор про прошлое человека. Самый доступный инструмент оказался самым сильным — и это ровно то, что агентство может делать без психометристов и тестовых батарей.
Как это выглядит на практике:
Структурированное интервью. Одни и те же вопросы всем кандидатам, в одном порядке, с заранее написанными критериями оценки. Свободная беседа «расскажите о себе» работает заметно хуже — по ней мы оцениваем не человека, а то, насколько он приятный собеседник.
Вопросы про прошлое поведение, а не про планы. Не «как бы вы поступили», а «расскажите, как вы действовали, когда». Дальше — детали: что конкретно сделали, что пошло не так, чем закончилось. Гипотетические ответы кандидат придумывает на ходу, реальные — вспоминает и разницу можно уловить или поймать уточняющими вопросами.
Тест на образце работы. Не абстрактное тестовое, а кусок настоящей задачи. Даже после пересмотра он остаётся сильнее теста способностей — и при этом почему-то самый нелюбимый.
Про «нанимай за потенциал»
Но тут я замечаю неудобную вещь. Всё, что мы намеряли, — про то, что человек уже умеет и уже делал. Это первый из моих четырёх вопросов. А второй — про то, чего он пока не умеет: как быстро закроет разрыв, потянет ли задачу, которой у нас ещё нет.
Строгая школа отбора отвечает на него косвенно, через способности, и ответ, как мы выяснили, стал слабее. Значит, стоит посмотреть на тех, кто заявляет, что умеет мерить именно будущее.
Удобный вход в этот лагерь — статья «21st-Century Talent Spotting» Клаудио Фернандес-Араоза (HBR, 2014). Я выбрал её не потому, что она главная, а потому что это редкий случай, когда сторонник найма за потенциал не отделывается общими словами: там есть конкретный набор признаков и конкретный способ их проверять. Автор тридцать лет проработал в Egon Zehnder — это хантинг топ-менеджеров, — и пишет с позиции человека, который отбирал руководителей тысячами.
Начинается статья с двух историй. Первая: он подбирал гендиректора семейному ритейлеру электроники. Кандидат идеальный — школы, компании, страновой директор, по каждой заявленной компетенции выше целевого уровня. Через три года его попросили уйти: он не смог перестроиться под изменения рынка. Вторая: в начале карьеры автор искал руководителя проекта на маленькую пивоварню, кандидатов с отраслевым опытом в регионе не было вообще, и он позвал знакомого без опыта в потребительских товарах, без маркетинга и продаж, незнакомого с регионом. Тот дорос до гендиректора флагманской пивоварни группы.
Дальше он выстраивает историю отбора как смену эпох: сначала по физическим данным, потом по интеллекту и прошлым результатам, с восьмидесятых — по компетенциям. Теперь, по его мнению, наступает четвёртая эпоха, отбор по потенциалу. Логика простая: набор нужных компетенций устаревает быстрее, чем мы успеваем по нему нанять. Поэтому вопрос не «умеет ли», а «сможет ли научиться».
Сначала он определяет, что вообще считает потенциалом. Это не набор навыков, а способность адаптироваться и дорастать до более сложных ролей. То есть не «что человек умеет», а «во что он может превратиться».
Откуда взялись сами признаки. Egon Zehnder десятилетиями накапливала оценки руководителей — своих кандидатов, назначенцев, тех, кого потом сопровождали в должности. Из этой базы автор выводит черты, которые повторялись у людей, справившихся с усложнением задач. Важная оговорка: это внутренняя модель консалтинговой фирмы, а не независимое исследование. Данные закрыты, методика не опубликована, проверить нельзя. Но список знать стоит хотя бы потому, что его до сих пор пересказывают в половине статей про наём.
Пять маркеров потенциала:
Правильная мотивация. Не просто амбиция, а стремление к сложным целям вместе с готовностью ставить общее выше личного. Он ставит её первой и объясняет почему: это устойчивое и обычно неосознаваемое свойство. Если человек движим только личной выгодой, это вряд ли изменится.
Любопытство. Тяга к новому опыту и знаниям, готовность слушать неудобную обратную связь и менять мнение.
Проницательность. Способность собирать разрозненную информацию и видеть в ней возможности, которых другие не замечают.
Вовлечённость. Умение увлечь других — через эмоцию и логику одновременно.
Решительность. Готовность биться за трудную цель и подниматься после провала.
Самое интересное — как он предлагает всё это оценивать. Не тестами и не по ощущению. Раскапывать прошлое: глубинное интервью плюс подробные разговоры с бывшими руководителями, коллегами и подчинёнными. Всегда требовать конкретные примеры. Он прямо пишет: не спрашивайте «вы любопытный?». Спрашивайте, как человек реагирует, когда с ним спорят. Как собирает мнения команды. Что делает, чтобы расширить кругозор. Как ищет то, чего не знает.
И вот тут смешное. Это ровно тот же метод, что и в строгой школе Шмидта и Хантера: одинаковые вопросы, разбор реального прошлого поведения, конкретика вместо гипотез. Два лагеря спорят о том, что именно мы измеряем, а на практике делают одно и то же.
Он и от интеллекта не отказывается. В отдельной врезке говорит: оценивать общий интеллект надо, потому что со временем он сильно не вырастет. Только не гнаться за гениями — выше определённого уровня прибавка почти не влияет на результат.
Теперь про заявленную точность его модели — около 85%, на данных тысяч оценённых руководителей. Проверить её невозможно: модель закрытая, методику расчёта он не раскрывает, а компания зарабатывает на продаже такой оценки. Красивая цифра из закрытого источника.
Зато у него есть два наблюдения про сам процесс найма, которые я считаю более полезными, чем все пять маркеров вместе. Около 80% слушателей его программ говорят, что в их компаниях вообще нет проверенной модели оценки потенциала. Примерно 30% считают, что их где-то учили оценивать людей. Плюс отсылка к исследованиям: у лучших интервьюеров оценки сильно связаны с тем, как человек потом работает, а у части — хуже подбрасывания монетки.
То есть проблема обычно даже не в том, какую модель выбрать. Проблема в том, что модели нет никакой, а собеседует человек, которого этому никто не учил.
Что теперь с этим делать
Если коротко, весь разбор сводится к нескольким вещам, которые можно поменять в ближайший понедельник.
Перестать читать резюме как прогноз. Стаж и портфолио годятся, чтобы отсечь тех, кто заведомо не тянет. Ранжировать по ним финалистов — значит ранжировать по признаку, который в сложной работе почти ничего не предсказывает.
Написать вопросы заранее. Одинаковые для всех кандидатов, в одном порядке, с критериями оценки на руках. Скучно, требует часа подготовки — и это самый сильный инструмент из всех имеющихся.
Спрашивать про прошлое, а не про гипотетическое. Не «как бы вы поступили», а «расскажите, как вы действовали, когда». И дожимать до деталей: что конкретно сделали, что пошло не так, чем кончилось.
Давать кусок настоящей работы. Не абстрактное тестовое на выдуманных данных, а фрагмент реальной задачи.
Не делать выводов по одному эпизоду. Один блестящий ответ и один провальный — это два наблюдения, а не характеристика. Помогает, когда кандидата независимо смотрят двое и сверяются уже после.
Заложить, что ошибётесь. Даже лучший метод — это 0,42, а не гарантия. Отсюда практический вывод: важно не только точнее выбирать, но и раньше замечать, что выбрали не того. Ранние контрольные точки в первые месяцы стоят дешевле, чем ещё один тур собеседований.
И главное ограничение, с которым остаёмся. Всё перечисленное отвечает на вопрос «кто из них лучше». Оно не отвечает на вопрос «окупится ли вообще этот наём» — а это уже арифметика: сколько человек стоит, когда он себя отобьёт и что произойдёт с его отдачей через год. Про это в следующий раз.
Что почитать
Schmidt & Hunter (1998). The Validity and Utility of Selection Methods in Personnel Psychology — Psychological Bulletin, 124(2), 262–274
Sackett, Zhang, Berry & Lievens (2022). Revisiting Meta-Analytic Estimates of Validity in Personnel Selection — Journal of Applied Psychology, 107(11), 2040–2068 (аннотация в PubMed)
Sackett, Zhang, Berry & Lievens (2023). Revisiting the Design of Selection Systems — продолжение с практическими выводами и данными Griebe et al. по исследованиям XXI века
McDaniel, Schmidt & Hunter (1988). Job Experience Correlates of Job Performance — Journal of Applied Psychology, 73(2), 327–330
Fernández-Aráoz (2014). 21st-Century Talent Spotting — Harvard Business Review, июнь 2014, заглавный материал номера (полный текст в PDF)
De Meuse (2019). A Meta-Analysis of the Relationship between Learning Agility and Leader Success
Prioritizing the Learning Agility Research Agenda — Industrial and Organizational Psychology: критика конструкта learning agility