Инструкция для технического эксперта

Ваша задача — проверить, правильно ли AI оценил ответы кандидата, исправить оценки при необходимости и оставить понятные технические комментарии.

Работа состоит из четырёх шагов:

1. Открыть завершённое интервью.
2. Проверить ответы и оценки.
3. Указать итоговый результат.
4. Завершить ревью.

Если вы отвечаете за качество вопросов и критериев оценки, дополнительно проверяйте контекст матрицы знаний и отдельных вопросов.

---

Шаг 1. Откройте интервью

1. Войдите в систему и откройте раздел «Обзор».
2. Найдите нужное интервью со статусом «Завершено».
3. Откройте результаты интервью.
4. Нажмите «Начать ревью».

Если вы уже открывали это ревью, нажмите «Продолжить ревью» — ранее внесённые изменения сохраняются автоматически.

Если кнопки нет, убедитесь, что открыто завершённое интервью и для него предусмотрено экспертное ревью. Если условия выполнены, обратитесь к администратору.

Проверьте теги интервью

Теги отображаются в верхней части результатов и подсказывают, на что обратить внимание при проверке. Наведите указатель на тег, чтобы увидеть комментарий, автора и дату добавления.

Технический эксперт может добавлять и изменять теги завершённых интервью своей организации:

1. Нажмите «Добавить тег».
2. Выберите тег и при необходимости добавьте комментарий до 200 символов.
3. Нажмите «Сохранить».

Чтобы изменить комментарий или удалить тег, нажмите на существующий тег. Теги помогают организовать проверку, но не заменяют оценки и комментарии внутри ревью.

По тегам можно отфильтровать интервью в разделе «Обзор»: откройте панель фильтров и в поле «Теги интервью» выберите один или несколько нужных тегов. Например, так можно быстро найти все интервью с тегом «Требует проверки» и сформировать очередь на ревью.

---

Шаг 2. Проверьте каждый ответ

Для каждого вопроса последовательно проверьте:

1. Вопрос — что именно спрашивали у кандидата.
2. Ответ кандидата — насколько ответ полный и технически верный.
3. Оценку AI — соответствует ли она качеству ответа.
4. Фидбэк AI — нажмите «Показать фидбэк AI», чтобы увидеть обоснование оценки.

После проверки выберите один из вариантов.

Если вы согласны с AI

• Не меняйте оценку.
• Комментарий можно не оставлять.
• Если в ответе есть важная особенность, которую стоит учитывать в будущем, добавьте короткий технический комментарий.

Если вы не согласны с AI

1. В поле «Оценка ревьюера» выберите правильную оценку.
2. В поле «Комментарий» объясните, почему оценка изменена.

Как написать полезный комментарий

Пишите о знаниях и ответе кандидата, а не о самом кандидате.

В хорошем комментарии указано:

• чего не хватило в ответе или что было сделано правильно;
• какой технический критерий повлиял на оценку;
• почему оценка должна быть выше или ниже.

Хороший комментарий:

Оценка снижена до Intermediate: кандидат правильно объяснил назначение индекса, но не смог описать влияние селективности и плана выполнения на выбор индекса.

Недостаточный комментарий:

Ответ слабый, кандидат не понравился.

Не добавляйте в комментарий:

• личные впечатления о кандидате;
• персональные данные;
• заметки о связи, переносе встречи или других организационных вопросах;
• общие фразы без технического объяснения;
• несколько одинаковых мыслей разными словами.

Ограничения:

• комментарий к вопросу — до 1000 символов;
• общий комментарий по интервью — до 2000 символов.

---

Шаг 3. Укажите итоговый результат

После проверки всех вопросов перейдите к блоку «Итоговый результат ревью».

1. Сравните итоговую оценку AI с результатами своей проверки.
2. Если вы изменили оценку хотя бы одного вопроса, обязательно выберите итоговую оценку ревьюера.
3. При необходимости добавьте общий комментарий по интервью.

Общий комментарий используйте для выводов, которые относятся ко всему интервью или к оценке специалиста в целом. Комментарий по конкретному ответу оставляйте возле соответствующего вопроса.

Система предложит итоговую оценку на основе оценок вопросов. Проверьте предложение и примите самостоятельное экспертное решение.

---

Шаг 4. Завершите ревью

Перед завершением убедитесь, что:

• проверены все вопросы;
• изменённые оценки сопровождаются понятными комментариями;
• выбрана итоговая оценка, если оценки вопросов менялись;
• в комментариях нет персональных и организационных данных.

Нажмите «Завершить ревью» и подтвердите действие.

Важно: после завершения изменить оценки и комментарии нельзя. Если вы ещё не готовы завершить работу, просто закройте страницу — черновик сохранится автоматически.

Можно завершить ревью без изменений. Это означает, что вы проверили результаты и согласны с оценкой AI.

Что происходит с комментариями дальше

После завершения система автоматически проверяет комментарии. Полезные технические выводы преобразуются в краткие критерии и добавляются в контекст оценки вопроса или матрицы знаний.

Повторяющиеся, слишком общие, личные и организационные заметки в контекст не добавляются. Само ревью при этом остаётся сохранённым полностью.

---

Как поддерживать критерии оценки

Этот раздел нужен, если вы также отвечаете за качество матрицы знаний и её вопросов.

Общие критерии для специализации

Используйте контекст матрицы для правил, которые относятся ко всем интервью по специализации.

1. Откройте раздел «Матрицы знаний».
2. Выберите приватную матрицу своей организации и откройте её.
3. Нажмите «Настроить контекст оценки для AI-анализа интервью».
4. Добавьте, измените, удалите или переместите правила.
5. Сохраните изменения.

На скриншоте показано расположение кнопки. Техническому эксперту редактирование доступно только в приватной матрице своей организации.

В матрице можно сохранить до 15 пунктов общей длиной до 2000 символов.

Критерии для конкретного вопроса

Используйте контекст вопроса, если правило относится только к ответу на этот вопрос.

1. Откройте нужную матрицу знаний.
2. Перейдите к списку вопросов и задач.
3. Откройте нужный вопрос для редактирования.
4. Найдите блок «Контекст оценки».
5. Добавьте, измените, удалите или переместите правила.
6. Нажмите «Сохранить».

Для вопроса можно сохранить до 7 пунктов общей длиной до 1000 символов.

Один пункт контекста должен содержать одну понятную мысль. Например:

Для уровня Senior кандидат должен не только назвать паттерн, но и объяснить ограничения его применения и возможные альтернативы.

Контекст матрицы и контекст отдельного вопроса не заменяют друг друга. Если вы изменили текст вопроса, обязательно проверьте, остались ли связанные с ним критерии актуальными.