1. Общие положения

1.1. Назначение документа

Настоящая должностная инструкция определяет функциональные обязанности, права, ответственность, квалификационные требования и систему оценки эффективности работы AI-тренера (Тренера искусственного интеллекта) в компании ООО «Рикли». Документ является основным организационно-распорядительным актом, регламентирующим трудовую деятельность сотрудника на позиции AI-тренера.

Инструкция разработана в соответствии с Трудовым кодексом Российской Федерации, внутренними нормативными актами компании, включая Положение об оплате труда и премировании, Политику информационной безопасности, а также с учетом отраслевых стандартов в области разработки и эксплуатации систем искусственного интеллекта.

Все положения инструкции обязательны для исполнения сотрудником, занимающим должность AI-тренера. Внесение изменений и дополнений в документ осуществляется приказом Генерального директора ООО «Рикли» на основании служебной записки руководителя отдела развития ИИ-продуктов и согласования с юридическим отделом.

1.2. Термины и определения

В настоящей должностной инструкции применяются следующие термины и их определения: AI-тренер — специалист, ответственный за обучение, тонкую настройку, тестирование и оценку качества работы нейросетевых моделей в рамках продуктов компании «Рикли». Тонкая настройка модели — процесс дообучения предварительно обученной модели на специализированных датасетах для выполнения конкретных задач. Галлюцинация — генерация моделью информации, не соответствующей фактическим данным или контексту запроса, являющаяся критической метрикой качества для AI-тренера. Датасет — структурированный набор данных, используемый для обучения и валидации моделей. Промпт — текстовый запрос или инструкция, подаваемая на вход модели для получения целевого ответа.

1.3. Правовая основа деятельности

В своей деятельности AI-тренер руководствуется действующим законодательством Российской Федерации, включая законы о персональных данных, интеллектуальной собственности и авторском праве. Важнейшими внутренними документами являются: Устав ООО «Рикли», Положение о коммерческой тайне, Правила внутреннего трудового распорядка, а также технические политики по управлению качеством данных и информационной безопасности.

Правовое поле деятельности AI-тренера также включает соблюдение этических норм и принципов ответственного использования ИИ, утвержденных внутренним Кодексом этики в области разработки искусственного интеллекта. Сотрудник обязан знать и неукоснительно соблюдать требования Федерального закона № 152-ФЗ «О персональных данных» при работе с любыми пользовательскими данными.

2. Цель и задачи должности

2.1. Основная цель деятельности

Основной целью деятельности AI-тренера является обеспечение высокого качества и надежности работы нейросетевых моделей, входящих в состав продуктов экосистемы «Рикли», путем их целенаправленного обучения, тонкой настройки и комплексного тестирования. Результатом работы тренера является модель, способная генерировать точные, релевантные и безопасные ответы, что напрямую влияет на удовлетворенность пользователей и репутацию компании.

Достижение цели подразумевает непрерывный цикл улучшения продукта: от сбора и обработки данных до интеграции обученной модели и мониторинга ее поведения в продуктивной среде. Конечным эффектом деятельности AI-тренера является снижение частоты галлюцинаций и повышение контекстной точности ответов ИИ-агентов, используемых в различных бизнес-процессах компании.

2.2. Стратегические задачи

Для достижения поставленной цели AI-тренер решает следующие стратегические задачи: разработка и реализация методик обучения и тонкой настройки моделей под специфические бизнес-задачи; организация процессов сбора, очистки, разметки и валидации данных; создание и ведение системы тестовых сценариев и бенчмарков для объективной оценки качества моделей; интерпретация метрик и разработка рекомендаций по улучшению архитектуры и гиперпараметров моделей.

Кроме того, стратегической задачей является внедрение системы автоматизированного контроля качества для предотвращения деградации моделей с течением времени. AI-тренер способствует развитию внутренней экспертизы в области машинного обучения и делится лучшими практиками с командой разработки.

3. Подчиненность и взаимодействие

3.1. Линия подчинения

AI-тренер находится в прямом подчинении у Руководителя отдела развития ИИ-продуктов. Назначение на должность, перемещение и освобождение от должности производится приказом Генерального директора ООО «Рикли» по представлению Руководителя отдела развития ИИ-продуктов.

В своей работе AI-тренер функционально взаимодействует с другими отделами компании: отделом разработки (по вопросам интеграции моделей), отделом данных (по вопросам предоставления и качества данных), отделом управления качеством (по вопросам тестирования и валидации), а также с проектными офисами, использующими ИИ-решения. В случае необходимости, для выполнения поставленных задач, AI-тренер может привлекать к сотрудничеству внешних консультантов и подрядчиков.

3.2. Взаимодействие при временном отсутствии

На период временного отсутствия AI-тренера (отпуск, болезнь, командировка) его обязанности возлагаются на другого AI-тренера или иного специалиста, назначенного приказом Руководителя отдела развития ИИ-продуктов. Передача дел осуществляется с составлением акта приема-передачи, в котором фиксируются текущие задачи, состояние моделей и датасетов, а также незавершенные процессы.

Ответственность за качественное и своевременное исполнение обязанностей в период замещения несет назначенный сотрудник. AI-тренер, возвращаясь к работе, обязан ознакомиться с изменениями, произошедшими за время его отсутствия, и принять дела в установленном порядке.

4. Должностные обязанности

4.1. Разработка стратегии обучения моделей

AI-тренер обязан разрабатывать и документально оформлять стратегию обучения и тонкой настройки нейросетевых моделей для каждой новой бизнес-задачи. Это включает в себя выбор архитектуры модели, подбор оптимального метода обучения (например, PEFT, LoRA, полная дообучение), определение состава и структуры обучающих датасетов, а также планирование вычислительных ресурсов.

Стратегия должна учитывать специфику предметной области, целевую аудиторию и требуемый уровень производительности. Все варианты стратегий должны быть протестированы на пилотных запусках, их результаты сравниваются по метрикам качества, после чего выбирается и утверждается финальная стратегия. При необходимости AI-тренер проводит эксперименты с различными гиперпараметрами обучения.

4.2. Управление датасетами

В обязанности AI-тренера входит создание, управление и поддержание в актуальном состоянии датасетов для обучения, валидации и тестирования моделей. Тренер осуществляет контроль качества данных на всех этапах их жизненного цикла: от сбора и предобработки до разметки и аугментации. Он определяет требования к данным, создает инструкции для разметчиков и проверяет качество размеченных данных.

Ключевым аспектом является обеспечение репрезентативности датасетов и их соответствия реальным сценариям использования. AI-тренер отвечает за предотвращение смещения данных (bias), что включает в себя анализ распределения классов, выявление и устранение аномалий, а также создание синтетических данных при их недостатке. Он несет ответственность за этичность и законность используемых данных.

4.3. Проведение экспериментов и тонкая настройка

Основной рабочей обязанностью AI-тренера является проведение экспериментов по тонкой настройке нейросетевых моделей. Он должен уметь работать с фреймворками глубокого обучения, такими как PyTorch или TensorFlow, и использовать современные техники оптимизации (например, LoRA, QLoRA, адаптеры). Тренер настраивает параметры обучения, организует логирование метрик и контролирует процесс обучения на платформах, таких как Weights & Biases или MLflow.

Тонкая настройка включает в себя не только технический процесс, но и глубокий анализ результатов. AI-тренер обязан уметь интерпретировать кривые обучения, анализировать матрицы ошибок и выявлять слабые места модели. На основе полученных данных он вносит изменения в гиперпараметры или архитектуру, добиваясь требуемого уровня точности и надежности.

4.4. Оценка качества и тестирование

AI-тренер обязан разрабатывать и внедрять комплексные системы оценки качества моделей, выходящие за рамки стандартных метрик (Accuracy, F1, BLEU, ROUGE). Он создает тестовые наборы, симулирующие реальные пользовательские запросы, и проводит как автоматизированное, так и ручное (экспертное) тестирование. Приоритетной задачей является выявление и минимизация галлюцинаций и других видов нежелательного поведения.

Тренер систематически проводит A/B-тестирование новых версий моделей в сравнении с предыдущими версиями, чтобы объективно оценить влияние изменений. Результаты тестирования оформляются в виде отчетов, содержащих количественные метрики, качественные примеры и рекомендации по доработке. Качество модели оценивается не только по корректности, но и по скорости инференса, устойчивости к атакам и работе на «крайних» случаях.

4.5. Разработка промптов и контроль поведения модели

AI-тренер активно участвует в разработке и оптимизации промптов для нейросетевых моделей (prompt engineering), обеспечивая максимальную эффективность и точность генерации. Он разрабатывает шаблоны промптов, проводит их тестирование и итеративно улучшает, чтобы адаптировать модель под различные контексты и задачи пользователей. Это включает в себя управление системными и пользовательскими промптами, а также использование техник few-shot и chain-of-thought.

Кроме того, тренер отвечает за создание системных ограничений (системных промптов), которые определяют характер поведения модели, ее стиль, тон и рамки допустимого контента. Он тщательно документирует все используемые промпты и их версии, чтобы обеспечить воспроизводимость результатов и упростить отладку.

4.6. Мониторинг продуктивных моделей

После интеграции модели в продуктивную среду AI-тренер обязан организовать постоянный мониторинг ее работы (MLOps). Он отслеживает ключевые показатели качества (дрейф данных, дрейф концепции, изменение метрик) в реальном времени и оперативно реагирует на любые признаки деградации производительности. Для этого он настраивает дашборды в системах мониторинга, таких как Grafana или Prometheus.

При обнаружении снижения качества или систематических ошибок, AI-тренер инициирует процесс дообучения модели. Он анализирует логи взаимодействия модели с пользователями для выявления новых паттернов запросов и пробелов в знаниях модели. На основе этого анализа он предлагает и реализует меры по улучшению, обновляя датасеты и переобучая модель на новых данных.

5. Права AI-тренера

5.1. Права на принятие решений

AI-тренер имеет право самостоятельно принимать решения в рамках своей компетенции, касающиеся выбора методов обучения и тонкой настройки моделей, разработки промптов и стратегий тестирования. Он имеет право вносить предложения по изменению архитектуры модели, если это обосновано результатами экспериментов, а также по корректировке процессов сбора и разметки данных.

Тренер имеет право запрашивать и получать от всех структурных подразделений компании информацию, необходимую для выполнения его функциональных обязанностей. В случае возникновения спорных или нестандартных ситуаций, он имеет право выносить свои предложения на рассмотрение Руководителя отдела развития ИИ-продуктов для принятия коллегиального решения.

5.2. Права на ресурсы и информацию

AI-тренеру гарантируется доступ ко всем необходимым вычислительным ресурсам, включая серверы с GPU, облачные платформы (например, AWS, Google Cloud, Yandex Cloud) и программное обеспечение. Он имеет право на своевременное получение актуальной технической документации, доступа к репозиториям кода, базам данных и другим информационным системам компании, необходимым для работы.

Сотрудник имеет право на ознакомление с проектами нормативных документов, затрагивающих его деятельность, а также на представление руководству предложений по совершенствованию работы, связанной с предусмотренными настоящей инструкцией обязанностями. Он также имеет право проходить дополнительное обучение и повышение квалификации за счет компании в области искусственного интеллекта и машинного обучения.

6. Ответственность и подотчетность

6.1. Ответственность за результаты работы

AI-тренер несет персональную ответственность за качество, точность и надежность обученных им моделей. В частности, он отвечает за снижение частоты галлюцинаций и других ошибок в ответах модели в пределах целевых значений KPI, установленных на квартал. Ответственность распространяется на соблюдение сроков выполнения задач по обучению и дообучению моделей, предусмотренных дорожными картами проектов.

В случае выявления системных ошибок или нецелевого поведения модели, которые не были обнаружены на этапе тестирования, AI-тренер обязан оперативно провести анализ причин и совместно с командой разработки разработать план исправления ситуации. За неисполнение или ненадлежащее исполнение своих обязанностей, а также за недостоверность предоставляемой отчетности, тренер несет ответственность в соответствии с трудовым законодательством и внутренними нормативными актами «Рикли».

6.2. Ответственность за данные и конфиденциальность

AI-тренер несет строгую ответственность за сохранность и безопасность данных, с которыми он работает. Нарушение политики информационной безопасности, включая разглашение конфиденциальной информации, коммерческой тайны или персональных данных, является основанием для привлечения к дисциплинарной, административной или уголовной ответственности в соответствии с законодательством РФ.

Сотрудник обязан соблюдать требования внутренних регламентов по работе с данными, обеспечивать их защиту от несанкционированного доступа и утечки. Он также отвечает за обеспечение прозрачности и документирования всех этапов работы с данными, чтобы гарантировать их происхождение и отслеживаемость для внешних и внутренних аудитов.

7. Квалификационные требования

7.1. Образование и опыт работы

На должность AI-тренера назначается лицо, имеющее высшее образование (магистратура или специалитет) в области компьютерных наук, прикладной математики, искусственного интеллекта, робототехники или смежных технических дисциплин. Желательно наличие ученой степени кандидата наук в области физико-математических или технических наук.

Требуемый стаж работы по специальности в области машинного обучения и анализа данных — не менее 3-х лет. Обязательным является наличие опыта практического участия в проектах по обучению и тонкой настройке нейросетевых моделей (LLM или CV), включая опыт работы с датасетами, проведение экспериментов и внедрение моделей в продуктивные среды. Опыт работы в роли инженера машинного обучения (ML Engineer) или исследователя (Research Scientist) будет преимуществом.

7.2. Профессиональные навыки и знания

AI-тренер должен обладать глубокими знаниями в области математической статистики, теории вероятностей, линейной алгебры, математического анализа и оптимизации. Он должен в совершенстве владеть языком программирования Python и иметь опыт работы с основными библиотеками машинного обучения: PyTorch, TensorFlow, Transformers (Hugging Face), scikit-learn. Также необходимы навыки работы с SQL, Spark и инструментами обработки больших данных.

Обязательным является понимание принципов работы современных архитектур трансформеров, навыки применения техник PEFT (Parameter-Efficient Fine-Tuning), опыт в разработке промптов и знание лучших практик MLOps. Уверенное владение английским языком на уровне не ниже Upper-Intermediate (B2) для чтения профессиональной литературы и участия в международных проектах строго обязательно. Тренер должен уметь писать понятный и документированный код, а также владеть Git и системами CI/CD.

8. Условия работы

8.1. Режим работы и место

Режим работы AI-тренера определяется Правилами внутреннего трудового распорядка ООО «Рикли». Для данной должности устанавливается ненормированный рабочий день с гибким графиком начала и окончания работы, что обусловлено спецификой проведения вычислительных экспериментов. Основным местом работы является офис компании, расположенный по адресу: г. Москва, ул. Тверская, д. 1, или удаленное рабочее место (возможна гибридная модель работы).

Рабочее место AI-тренера должно быть оборудовано современной вычислительной техникой, включая персональный компьютер с достаточной производительностью и доступом к высокоскоростному интернету. В случае необходимости работы с конфиденциальными данными, сотрудник обязан использовать только корпоративные защищенные каналы связи и устройства.

8.2. Условия труда и компенсации

Условия труда AI-тренера соответствуют нормам, установленным трудовым законодательством для работников, занятых на работах с ПЭВМ. Проводятся регулярные медицинские осмотры, а также мероприятия по снижению воздействия вредных факторов (эргономика рабочего места, регламентированные перерывы). В случае необходимости, в рамках исполнения служебных заданий, возможны служебные командировки.

Социальный пакет и система материального стимулирования предусматривают оплату труда, состоящую из оклада и квартального бонуса, зависящего от выполнения индивидуальных KPI. Сотруднику предоставляется расширенный полис ДМС, абонемент в спортзал, оплата профессионального обучения и участия в профильных конференциях. Размер и порядок выплаты бонусов регламентируется Положением об оплате труда и премировании.

9. KPI и показатели эффективности

9.1. Основные количественные метрики

Эффективность работы AI-тренера оценивается на основе набора ключевых показателей (KPI), утверждаемых на каждый квартал. Основными количественными метриками являются: частота галлюцинаций модели (процент ответов, содержащих фактически неверную информацию) — целевое значение не более 2% на тестовом наборе; процент успешных завершений экспериментов (обучение модели без критических ошибок) — не менее 90%; среднее время обучения модели на заданном датасете (с учетом оптимизации) — не должно превышать плановое время более чем на 15%.

Кроме того, оценивается процент отклоненных моделью запросов (rejection rate) — показатель того, насколько модель правильно определяет свою компетентность, не превышая целевые значения. Также измеряется скорость инференса (время ответа на запрос), которая должна находиться в рамках утвержденного SLA (Service Level Agreement) для продукта.

9.2. Качественные показатели и периодичность оценки

Качественные показатели включают в себя экспертные оценки на основе ручного ревью ответов модели, проводимого Руководителем отдела или группой аналитиков. Оценивается контекстная релевантность, полнота, логичность и стилистика ответов, а также их безопасность и этичность. Для оценки используется собственная внутренняя методология, основанная на системе баллов.

Периодичность оценки KPI — ежеквартально. По итогам квартала Руководитель отдела развития ИИ-продуктов проводит оценочную встречу с AI-тренером, анализирует отклонения от плановых значений и совместно вырабатывает меры по улучшению показателей. Результаты оценки являются основой для принятия решения о размере квартального бонуса.

10. Бизнес-процессы и сценарии работы

10.1. Процесс «Разработка и выкатка новой модели»

Данный бизнес-процесс начинается с поступления запроса от бизнес-заказчика (например, отдела консалтинга или управления дистанционным обучением) в отдел развития ИИ-продуктов. AI-тренер анализирует бизнес-требования и совместно с продуктовым офисом определяет технические спецификации: ожидаемое качество, допустимую задержку, требуемую архитектуру модели и источники данных.

Следующий этап — подготовка данных. AI-тренер формирует задание для отдела данных или самостоятельно создает и размечает датасет. Затем следует итерационный цикл обучения и тонкой настройки, после каждой итерации проводятся тесты и валидация. Завершается процесс документированием результатов, передачей модели в MLOps-инфраструктуру и планированием долгосрочного мониторинга.

10.2. Процесс «Оценка рисков галлюцинаций»

Этот процесс является частью системы риск-ориентированного управления в компании «Рикли». Для каждой новой модели или существенного обновления AI-тренер обязан провести углубленный анализ рисков генерации вредоносной или неверной информации (галлюцинаций). Процесс включает в себя создание специального «адверсариального» датасета, состоящего из сложных, многозначных или провокационных запросов.

После тестирования модели на данном датасете, AI-тренер формирует отчет о рисках, в котором классифицирует выявленные уязвимости по степени критичности. Для каждой критической уязвимости разрабатываются контрмеры: ужесточение системного промпта, добавление фильтров или дообучение на специфических примерах. Отчет утверждается Руководителем отдела и используется в работе Службы управления качеством.

10.3. Процесс «Доработка модели по результатам мониторинга»

Инициацией этого процесса служит сигнал от системы мониторинга о падении качества модели в продуктивной среде (срабатывание триггеров по метрике точности или росте числа галлюцинаций). AI-тренер оперативно анализирует накопленные логи запросов и ответов, чтобы выявить причину деградации. Дрейф данных, появление новых тем запросов или изменение стиля общения пользователей — наиболее частые причины.

На основе анализа AI-тренер предлагает план корректирующих действий: от простой корректировки промптов до сбора нового датасета и полного переобучения модели. Внесенные изменения проходят полный цикл тестирования перед выкаткой в продуктивную среду, а результаты фиксируются в системе управления знаниями для предотвращения повторения ошибок в будущем.

10.4. Взаимодействие в рамках риск-ориентированного управления

AI-тренер является ключевым участником процессов, связанных с риск-ориентированным управлением в части технологий ИИ. Он обязан своевременно информировать уполномоченного по рискам или руководителя отдела о любых инцидентах, связанных с нежелательным поведением модели, которые могут привести к репутационным, регуляторным или финансовым потерям. Это включает в себя не только галлюцинации, но и случаи утечки данных через модели, если такие случаи будут выявлены.

Тренер участвует в ежеквартальных заседаниях комитета по управлению рисками, где представляет отчеты о состоянии основных ИИ-рисков и эффективности внедренных контрольных процедур. По результатам таких заседаний могут быть утверждены дополнительные контрольные точки (например, усиление тестирования на токсичность) или скорректированы планы по развитию моделей.