1. Общие положения

1.1. Назначение документа

Настоящая должностная инструкция определяет цели, задачи, функции, права и ответственность специалиста по оценке качества ответов искусственного интеллекта и детекции галлюцинаций в компании «Маркетплейс». Документ устанавливает единые требования к процедурам проверки фактологической точности, согласованности и релевантности контента, генерируемого ИИ-системами, используемыми в бизнес-процессах продаж на маркетплейсах.

1.2. Правовая основа деятельности

Специалист руководствуется Конституцией РФ, федеральными законами, в том числе законом «О персональных данных», нормативными актами Роскомнадзора, внутренними регламентами компании «Маркетплейс», настоящей инструкцией, а также методическими рекомендациями по проверке фактологической точности генеративных моделей. В части работы с коммерческой информацией сотрудник соблюдает положения о коммерческой тайне и правила внутреннего трудового распорядка.

2. Цель и задачи должности

2.1. Миссия и ожидаемые результаты

Целью работы специалиста является обеспечение высокого качества и достоверности всех текстовых материалов, сгенерированных системами ИИ для поддержки продаж на маркетплейсах. Ожидаемый результат — минимизация репутационных и финансовых рисков, связанных с распространением недостоверной информации, путем внедрения системной оценки качества ответов ИИ и процедур детекции галлюцинаций.

3. Подчиненность и взаимодействие

3.1. Подчиненность

Специалист по оценке качества ответов ИИ непосредственно подчиняется Руководителю отдела контроля качества контента (или Директору по продукту). На период отсутствия (отпуск, болезнь) его обязанности выполняет назначенный приказом сотрудник с аналогичной квалификацией.

4. Должностные обязанности

4.2. Проведение оценки и детекции галлюцинаций

Сотрудник обязан проводить полный цикл оценки ответов, генерируемых ИИ-системами: формирование выборки, прогон тест-кейсов, сравнение с эталонными ответами. В случае обнаружения несоответствий проводится детекция галлюцинаций с присвоением уровня критичности (высокий, средний, низкий). Каждый случай галлюцинации фиксируется в специальном журнале с обязательным указанием контекста, запроса и источника (при наличии).

4.3. Составление отчетности и аналитика

По результатам оценки сотрудник формирует ежедневные и еженедельные отчеты с ключевыми метриками: процент галлюцинаций, средний балл фактологической точности, динамика согласованности ответов по категориям товаров (электроника, одежда, продукты). Отчеты передаются руководителю и в департамент разработки для последующего дообучения моделей. Также сотрудник участвует в подготовке сводных отчетов для менеджмента компании «Маркетплейс».

4.4. Взаимодействие с системами и цифровыми инструментами

В рамках исполнения обязанностей специалист работает в информационной системе «Ассистент по качеству» компании «Маркетплейс», используя модули «Проверка ответов», «Управление тест-кейсами» и «Дашборд метрик». Работа с системой осуществляется согласно инструкциям пользователя и регламенту документооборота. Специалист обязан использовать инструменты автоматической разметки и уметь настраивать фильтры для отбора проблемных кейсов.

4.5. Оперативное реагирование на инциденты

При обнаружении массовых или критических галлюцинаций, способных повлиять на бизнес-показатели (например, некорректная цена или отсутствующий товар), специалист обязан немедленно уведомить руководителя и инициировать процедуру блокировки генерации контента по данной категории до выяснения причин. Действия по реагированию фиксируются в протоколе инцидентов.

5. Права специалиста

5.1. Право доступа к информации

Специалист имеет право запрашивать и получать в установленном порядке от всех подразделений компании информацию, необходимую для выполнения должностных обязанностей, включая внутренние базы знаний, логи взаимодействия с чат-ботами, а также сведения о товарах и их характеристиках.

5.2. Право принятия решений

В рамках своей компетенции сотрудник вправе принимать решения о признании ответа ИИ неудовлетворительным и направлять его на доработку. Также он обладает правом вносить предложения по изменению критериев оценки качества ответов ИИ и модификации тест-кейсов.

5.3. Право на повышение квалификации

Сотрудник имеет право на прохождение обучения, курсов повышения квалификации и участие в профессиональных конференциях, связанных с детекцией галлюцинаций, проверкой фактологической точности и современными методиками тестирования ИИ, за счет средств компании.

6. Ответственность

6.1. Ответственность за качество оценки

Специалист несет персональную ответственность за пропуск критических галлюцинаций, повлекший за собой негативные последствия для бизнеса (убытки, жалобы клиентов, санкции со стороны маркетплейса). Степень ответственности определяется в соответствии с Положением о материальной ответственности и внутренним трудовым договором.

6.2. Соблюдение конфиденциальности

За разглашение коммерческой тайны или персональных данных, ставших известными в ходе исполнения обязанностей, сотрудник несет дисциплинарную, административную или уголовную ответственность в соответствии с законодательством РФ.

6.3. Дисциплинарная ответственность

За невыполнение или ненадлежащее выполнение должностных обязанностей, нарушение трудовой дисциплины или внутренних регламентов компания применяет меры взыскания вплоть до расторжения трудового договора.

7. Квалификационные требования

7.1. Образование и опыт

На должность назначается лицо с высшим образованием (предпочтительно в области лингвистики, математики, прикладной информатики или анализа данных). Требуемый опыт работы в сфере контроля качества, тестирования ПО или оценки ИИ-систем — не менее 1 года.

7.3. Личные качества

Необходимы высокая аналитическая способность, внимание к деталям, критическое мышление, усидчивость, способность работать с большими объемами информации и коммуникативные навыки.

8. Условия труда

8.1. Режим работы

Работа осуществляется в офисе компании «Маркетплейс» в соответствии с правилами внутреннего трудового распорядка. Возможен гибкий график работы или удаленный режим по согласованию с руководителем.

8.2. Обеспечение рабочим местом

Сотруднику предоставляется рабочее место, оснащенное компьютером с доступом к корпоративной сети и необходимым программным обеспечением, включая инструменты для детекции галлюцинаций и ведения базы знаний.

9. Показатели эффективности (KPI)

9.2. Порядок оценки KPI

Оценка достижения KPI производится ежемесячно на основе отчетов, сформированных в информационной системе. Результаты обсуждаются на планерках с руководителем. При систематическом невыполнении плановых показателей решается вопрос о пересмотре квалификационных требований или применении дисциплинарных мер.

10. Бизнес-процессы и чек-листы для Продажа на маркетплейсах

10.4. Работа с тест-кейсами для проверки обновлений модели

При выходе новой версии модели ИИ для генерации контента специалист обязан провести регрессионное тестирование с использованием стандартного набора тест-кейсов. Набор включает позитивные и негативные сценарии, пограничные случаи (например, запросы с ошибками или специфической терминологией). Результаты сравниваются с предыдущей версией, на основе чего готовится заключение о возможности промышленного внедрения.

10.5. Формулы расчета метрик качества

При оценке качества специалист использует следующие метрики:

$\text{Процент галлюцинаций} = \frac{\text{Количество ответов с галлюцинациями}}{\text{Общее количество проверенных ответов}} \times 100\%$

$\text{Точность оценки} = \frac{\text{Количество правильных оценок}}{\text{Общее количество оценок}} \times 100\%$

Данные формулы применяются для расчета ежемесячных KPI сотрудника.