1.3. Термины и определения

В настоящем документе применяются следующие термины и определения:

• Промпт (запрос) — входное текстовое сообщение, направляемое большой языковой модели (LLM) для получения ответа, выполнения действия или генерации контента в рамках онлайн-платформы для управления качеством, рисками, компетенциями и дистанционным обучением.
• Промпт-инженер (инженер промптов) — сотрудник Riqli, ответственный за проектирование, разработку, тестирование, оптимизацию и сопровождение промптов для достижения заданных бизнес-целей и показателей качества.
• Система показателей эффективности (KPI) — совокупность количественных и качественных измеримых показателей, отражающих результативность работы Промпт-инженера по достижению целей, установленных в его должностной инструкции и бизнес-планах Riqli.
• Метрика качества промпта — числовая или логическая оценка соответствия ответа LLM заданным критериям точности (Accuracy), уместности (Relevance), полноты и стилистики.
• LLM (Large Language Model) — большая языковая модель, используемая в Riqli для автоматизации процессов в сферах дистанционного образования, управленческого консалтинга, риск-ориентированного управления организацией и предоставления услуг бизнес-инжиниринга и регламентации бизнес-процессов.

2.2. Ожидаемые результаты работы

Деятельность Промпт-инженера должна обеспечивать достижение следующих измеримых результатов:

• Разработанные и внедренные промпты обеспечивают заданный уровень Accuracy (точности) ответов LLM не менее 95% по тестовым наборам данных, соответствующим бизнес-сценариям Riqli.
• Достигнуто значение Relevance (уместности) ответов не менее 4.5 из 5 по оценкам внутренних экспертов и заказчиков в сферах управленческого консалтинга и дистанционного образования.
• Промпты разработаны и оптимизированы с учетом требований Response Quality (качества ответов), что подтверждается регулярными замерами и отсутствием обоснованных жалоб от пользователей онлайн-платформы для управления качеством, рисками, компетенциями и дистанционным обучением.
• Внедрена и поддерживается система автоматизированного мониторинга эффективности промптов, включающая расчет BLEU и ROUGE для задач, связанных с генерацией текстов, а также других метрик, специфичных для области IT-услуг и разработки ПО.

3.2. Матричное взаимодействие

В рамках матричной структуры управления Riqli Промпт-инженер взаимодействует со следующими подразделениями и ролями:

• С отделом управления человеческими ресурсами и знаниями — для оценки компетенций, планирования обучения и участия в разработке программ повышения квалификации в области AI и промпт-инжиниринга.
• С отделом разработки и внедрения системы риск-менеджмента — для идентификации рисков, связанных с использованием LLM, и разработки мер по их минимизации.
• С группой бизнес-инжиниринга и регламентации бизнес-процессов — для документирования и регламентации процессов разработки промптов, их тестирования, внедрения и мониторинга.
• С отделом маркетинга и продаж — для создания промптов, повышающих качество взаимодействия с клиентами в сфере управленческого консалтинга и дистанционного образования.

4.1. Разработка и проектирование промптов

Промпт-инженер выполняет следующие обязанности в области разработки и проектирования промптов:

• Анализирует бизнес-требования и технические задания на разработку новых функций онлайн-платформы для управления качеством, рисками, компетенциями и дистанционным обучением для выявления потребностей в создании новых или модификации существующих промптов.
• Проектирует структуру, логику и содержание промптов, учитывая специфику используемых LLM, ожидаемые форматы ответов и целевую аудиторию (внутренние пользователи, клиенты управленческого консалтинга, слушатели курсов дистанционного образования).
• Разрабатывает прототипы промптов в тестовых средах, используя современные подходы и фреймворки для IT-услуг и разработки ПО, такие как LangChain и LlamaIndex, для интеграции с внешними инструментами и базами знаний.
• Формирует каталог шаблонов и библиотек эффективных промптов для типовых бизнес-задач Riqli (например, генерация отчетов по рискам, формирование образовательных материалов, анализ контрактов).
• Документирует все разработанные промпты и подходы к их созданию в соответствии с требованиями СМК и стандартами бизнес-инжиниринга и регламентации бизнес-процессов.

4.2. Тестирование и оценка качества промптов

Промпт-инженер отвечает за тестирование и оценку качества разработанных промптов. В его обязанности входит:

• Разработка тестовых сценариев и наборов данных для оценки качества ответов LLM по ключевым метрикам, включая Accuracy, Relevance и Response Quality.
• Проведение ручного и автоматизированного тестирования промптов, включая A/B-тестирование различных версий и анализ результатов с использованием статистических методов.
• Расчет и интерпретация автоматических метрик, таких как BLEU и ROUGE, для задач, связанных с генерацией и сравнением текстов (например, при создании образовательных материалов или аналитических отчетов).
• Анализ ошибок и выявление паттернов нежелательного поведения LLM (галлюцинации, предвзятость, некорректные выводы) в контексте риск-ориентированного управления организацией и управленческого консалтинга.
• Ведение отчетности по результатам тестирования и предоставление рекомендаций по доработке промптов.

4.3. Оптимизация и доработка промптов

Промпт-инженер проводит непрерывную работу по оптимизации и доработке действующих промптов на основе обратной связи и данных мониторинга. Ключевые обязанности включают:

• Анализ эффективности промптов в продуктивной среде с использованием метрик Prompt performance metrics и систем логирования, интегрированных в онлайн-платформу для управления качеством, рисками, компетенциями и дистанционным обучением.
• Внесение изменений в промпты для улучшения Accuracy, повышения Relevance, сокращения времени ответа и снижения стоимости выполнения запросов.
• Применение техник итеративного уточнения промптов (например, Chain-of-Thought, Few-Shot Learning) для повышения качества результатов в сложных сценариях управленческого консалтинга и бизнес-инжиниринга.
• Оптимизация промптов с учетом лимитов контекстного окна LLM и особенностей API провайдеров для обеспечения стабильной работы IT-услуг и разработки ПО.
• Разработка версий промптов с учетом изменений в используемых LLM (обновление моделей, изменение API) и поддержание их актуальности.

4.4. Мониторинг и анализ эффективности

Для обеспечения постоянного контроля качества Промпт-инженер выполняет следующие обязанности по мониторингу и анализу:

• Настраивает и поддерживает инструменты мониторинга Prompt performance metrics в продуктивной среде для отслеживания показателей Response Quality в реальном времени.
• Периодически проводит аудит ответов LLM на соответствие требованиям качества, нормам этики и правилам управления человеческими ресурсами и знаниями.
• Готовит регулярные отчеты по эффективности промптов для Технического директора и руководства проектов в области дистанционного образования и управленческого консалтинга.
• Анализирует тренды и причины изменения метрик, прогнозирует потенциальные проблемы и предлагает превентивные меры в рамках риск-ориентированного управления организацией.
• Взаимодействует с отделом внедрения систем менеджмента качества (СМК) для интеграции процессов мониторинга промптов в общую систему управления качеством.

4.5. Участие в обучении и обмене знаниями

Как эксперт в области промпт-инжиниринга, Промпт-инженер обязан участвовать в процессах управления человеческими ресурсами и знаниями:

• Проводить внутренние обучающие семинары и воркшопы для сотрудников Riqli по основам разработки эффективных промптов, использованию инструментов и лучшим практикам.
• Разрабатывать методические материалы, руководства и памятки по промпт-инжинирингу для различных категорий пользователей (разработчики, аналитики, менеджеры).
• Участвовать в формировании и поддержании базы знаний по AI и LLM в корпоративной системе управления знаниями.
• Сопровождать внутренние проекты по внедрению AI-решений, предоставляя консультации по выбору архитектуры и формулировке промптов.

4.6. Соблюдение стандартов и политик безопасности

В рамках своей деятельности Промпт-инженер обязан обеспечить соблюдение политик информационной безопасности и управления рисками:

• Разрабатывать промпты с учетом требований безопасности, предотвращая возможность инжекции вредоносных инструкций и утечки конфиденциальной информации.
• Внедрять методы фильтрации и валидации входных данных и выходных результатов LLM для предотвращения генерации запрещенного или вредоносного контента.
• Соблюдать Политику разработки и внедрения системы риск-менеджмента при создании и модификации промптов, идентифицируя и минимизируя риски, связанные с использованием AI.
• Следить за соответствием разработанных промптов законодательству РФ, включая законы о персональных данных, авторском праве и борьбе с экстремизмом, а также корпоративным этическим нормам.

5.1. Право на доступ к ресурсам и информации

Промпт-инженер имеет право на получение доступа к следующим ресурсам и информации, необходимой для выполнения должностных обязанностей:

• К тестовым и продуктивным экземплярам онлайн-платформы для управления качеством, рисками, компетенциями и дистанционным обучением и API LLM-провайдеров.
• К данным систем логирования и мониторинга, содержащим информацию о Prompt performance metrics и Response Quality.
• К технической документации, исходным кодам и базам знаний, необходимым для понимания архитектуры и контекста использования промптов.
• К корпоративным библиотекам и образовательным материалам в области IT-услуг и разработки ПО, AI и машинного обучения.

5.2. Право на принятие решений и инициативу

Промпт-инженер обладает правом на принятие решений и проявление инициативы в пределах своей компетенции:

• Самостоятельно определять методы и инструменты для разработки, тестирования и оптимизации промптов в рамках утвержденных регламентов.
• Вносить предложения по изменению процессов бизнес-инжиниринга и регламентации бизнес-процессов в части, касающейся использования LLM и промптов.
• Инициировать проведение экспериментов и исследований (R&D) для поиска новых подходов к повышению эффективности промптов в сферах дистанционного образования и управленческого консалтинга.
• Требовать от смежных подразделений (разработка, аналитика, маркетинг) своевременного предоставления необходимых входных данных и обратной связи для работы.

5.3. Право на повышение квалификации

Промпт-инженер имеет право на участие в программах повышения квалификации и профессионального развития:

• На обучение по современным технологиям в области AI, NLP и промпт-инжиниринга за счет средств работодателя в соответствии с Планом управления человеческими ресурсами и знаниями.
• На участие в профессиональных конференциях, вебинарах и семинарах по тематике LLM и эффективных коммуникаций.
• На доступ к платным корпоративным и внешним образовательным ресурсам для самостоятельного изучения передовых практик.
• На получение сертификации в признанных центрах компетенций в области AI-инженерии.

6.1. Ответственность за выполнение обязанностей

Промпт-инженер несет персональную ответственность за:

• Качество, полноту и своевременность выполнения всех обязанностей, предусмотренных разделом 4 настоящего документа.
• Достижение установленных значений системы показателей эффективности (KPI), включая показатели Accuracy, Relevance и Response Quality.
• Некорректную работу или сбои промптов, приведшие к снижению качества предоставляемых IT-услуг и разработки ПО, задержкам в проектах дистанционного образования или репутационным рискам в управленческом консалтинге.
• Достоверность и актуальность отчетности по Prompt performance metrics и результатам тестирования.

6.2. Ответственность за соблюдение норм и политик

В своей деятельности Промпт-инженер также несет ответственность за:

• Соблюдение требований информационной безопасности, неразглашение конфиденциальной информации и коммерческой тайны Riqli.
• Соблюдение этических норм и принципов внедрения систем менеджмента качества (СМК) при разработке промптов, исключающих дискриминацию, предвзятость и нанесение вреда пользователям.
• Выполнение предписаний разработки и внедрения системы риск-менеджмента в части управления рисками, связанными с применением AI.
• Своевременное информирование руководства о выявленных инцидентах, рисках или несоответствиях в работе LLM и промптов.
• Несоблюдение стандартов оформления и ведения документации в соответствии с требованиями бизнес-инжиниринга и регламентации бизнес-процессов.

7.1. Требования к образованию и опыту

Кандидат на должность Промпт-инженера должен соответствовать следующим требованиям:

• Высшее образование (магистратура или специалитет) в области компьютерных наук, лингвистики, прикладной математики, кибернетики, информационных технологий или смежных дисциплин.
• Опыт работы в области IT-услуг и разработки ПО в сфере AI/Machine Learning не менее 3 лет. Наличие опыта работы с большими языковыми моделями (GPT, Gemini, Claude, YandexGPT, GigaChat) обязательно.
• Опыт практического применения методов бизнес-инжиниринга и регламентации бизнес-процессов для формализации задач и требований к промптам будет являться преимуществом.

7.2. Требования к профессиональным знаниям и навыкам

Промпт-инженер должен обладать следующими профессиональными знаниями и навыками:

• Глубокое понимание принципов работы LLM, их архитектуры, сильных сторон и ограничений.
• Владение методами и техниками промпт-инжиниринга (Zero/Few-Shot, Chain-of-Thought, Tree-of-Thoughts, ReAct, Self-Consistency).
• Знание метрик оценки качества генеративных моделей: BLEU, ROUGE, METEOR, BERTScore, а также методов их применения.
• Навыки работы с языками программирования Python и библиотеками для работы с LLM (Hugging Face Transformers, LangChain, LlamaIndex).
• Опыт работы с инструментами для оценки и мониторинга моделей (MLflow, Weights & Biases, Evidently AI).
• Понимание основ риск-ориентированного управления организацией и внедрения систем менеджмента качества (СМК).
• Английский язык — уровень не ниже Upper-Intermediate для чтения технической документации и работы с международными сообществами.

9.1. Производственные показатели

Производственные показатели направлены на оценку эффективности создания и поддержки промптов:

• Accuracy промпта — процент ответов, соответствующих эталонным данным или критериям точности, установленным в бизнес-требованиях. Целевое значение: ≥ 95% по результатам квартального тестирования.
• Relevance уместности — средняя оценка пользователей (1–5) или внутренних экспертов по шкале уместности и полезности ответов в задачах управленческого консалтинга и дистанционного образования. Целевое значение: ≥ 4.5 баллов.
• BLEU/ROUGE — для задач генерации текстов (отчеты, методички, контент) поддержание метрики не ниже установленного бенчмарка для каждого типа задачи. Целевое значение: ≥ 0.75 (для BLEU-4) и ≥ 0.80 (для ROUGE-L).
• Среднее время отклика (Latency) — среднее время выполнения запроса. Целевое значение: не более 5 секунд для 95% запросов.
• Покрытие критических сценариев — доля критических бизнес-сценариев (в области рисков, качества, HR) от общего числа, для которых разработаны и поддерживаются промпты. Целевое значение: 100%.

9.2. Показатели качества и процессные

Эти показатели оценивают соблюдение регламентов и качество процессов работы Промпт-инженера:

• Количество инцидентов — число критических сбоев в работе промптов, приведших к некорректным ответам или нарушению доступности сервиса. Целевое значение: 0 инцидентов в квартал.
• Своевременность решения задач — процент задач по разработке и доработке промптов, выполненных в установленные сроки (согласно Jira или другому трекеру). Целевое значение: ≥ 98%.
• Соблюдение регламентов — отсутствие замечаний при проведении внутренних аудитов СМК в части соблюдения процедур бизнес-инжиниринга и регламентации бизнес-процессов при разработке промптов. Целевое значение: 100%.
• Качество документации — полнота и актуальность документации на все промпты (описание, версионирование, тесты). Целевое значение: оценка ≥ 4.0 из 5 при проверке.

9.3. Показатели развития и инноваций

Данные показатели стимулируют профессиональное развитие и внедрение инноваций в области IT-услуг и разработки ПО:

• Количество внедренных улучшений — число оптимизаций промптов, приведших к измеримому улучшению Accuracy, Relevance или снижению Latency. Целевое значение: ≥ 10 в квартал.
• Участие в исследованиях — проведение R&D проектов, направленных на исследование новых методов промпт-инжиниринга или применение LLM в новых бизнес-областях Riqli. Целевое значение: не менее 1 проекта в квартал.
• Проведенные обучения — количество проведенных внутренних воркшопов, семинаров и обучающих программ для коллег в области управления человеческими ресурсами и знаниями. Целевое значение: не менее 2 в квартал.
• Публикация и обмен опытом — подготовка материалов для корпоративного блога, внутренней базы знаний или внешних профессиональных площадок. Целевое значение: не менее 1 публикации в полугодие.

9.4. Процедура оценки и пересмотра KPI

Оценка выполнения системы показателей эффективности (KPI) для Промпт-инженера проводится ежеквартально Техническим директором (CTO) на основе:

• Данных автоматизированных систем мониторинга Prompt performance metrics.
• Результатов планового тестирования качества промптов.
• Отчетов о выполненных работах и достигнутых результатах.
• Обратной связи от внутренних заказчиков, включая отделы дистанционного образования, управленческого консалтинга и риск-менеджмента.

Результаты оценки являются основой для расчета премиальной части заработной платы и принимаются во внимание при планировании карьерного роста и пересмотре должностных обязанностей. Пересмотр значений KPI происходит ежегодно или при изменении стратегических целей Riqli и утверждается приказом генерального директора.

10.1. Процесс разработки и внедрения нового промпта

Данный бизнес-процесс описывает этапы создания и ввода в эксплуатацию нового промпта в Riqli:

• Шаг 1. Анализ требований: Промпт-инженер получает техническое задание (ТЗ) от инициатора (продукт-менеджер, аналитик, руководитель проекта). Совместно с заказчиком уточняются: цель промпта, ожидаемый формат ответа, критерии Relevance и Accuracy, ограничения по времени и бюджету. Результат — утвержденный бриф на разработку.
• Шаг 2. Проектирование и разработка: Инженер разрабатывает прототип промпта в соответствии с брифом. Используются лучшие практики: итеративное уточнение, проверка на чувствительность к формулировкам, включение примеров (Few-Shot). Проводится первоначальная валидация на небольшом наборе тестовых данных. Результат — рабочая версия промпта.
• Шаг 3. Тестирование в QA-среде: Разработанный промпт разворачивается в QA-среде. Проводится комплексное тестирование по двум направлениям: функциональное (соответствие ответов ожиданиям, Accuracy) и нефункциональное (время отклика, стабильность). Результаты фиксируются в отчете.
• Шаг 4. Оценка качества и утверждение: Проводится экспертная оценка качества ответов LLM по метрикам Response Quality и Relevance. При необходимости вносятся корректировки. После достижения целевых значений KPI и получения положительной экспертной оценки, промпт передается на утверждение Техническому директору.
• Шаг 5. Внедрение в продуктивную среду: Утвержденный промпт разворачивается в продуктивной среде онлайн-платформы для управления качеством, рисками, компетенциями и дистанционным обучением. Настраивается мониторинг его работы по метрикам Prompt performance metrics.
• Шаг 6. Сопровождение и мониторинг: В течение первых недель работы в продуктивной среде инженер активно мониторит метрики, анализирует логи и оперативно реагирует на любые аномалии. По итогам первого месяца готовится отчет о фактической эффективности промпта.

10.2. Процесс мониторинга и пересмотра эффективности промптов

Этот процесс направлен на поддержание актуальности и высокой эффективности промптов в долгосрочной перспективе:

• Шаг 1. Сбор данных: Автоматизированные системы собирают данные о работе каждого промпта в продуктивной среде: количество вызовов, Accuracy, Relevance (по оценкам пользователей), время ответа, стоимость, ошибки.
• Шаг 2. Анализ трендов: Промпт-инженер еженедельно анализирует собранные данные, выявляет позитивные и негативные тренды. Особое внимание уделяется промптам, чьи метрики ухудшились или приблизились к критическим значениям KPI.
• Шаг 3. Идентификация проблем: При обнаружении снижения эффективности проводится углубленный анализ причин. Это могут быть: изменение поведения LLM (обновление модели), изменение пользовательских запросов, появление новых бизнес-требований или выявление ошибок в логике промпта.
• Шаг 4. Разработка корректирующих мер: На основе анализа Промпт-инженер разрабатывает план корректирующих действий. Это может быть доработка промпта, изменение параметров модели, переобучение на новых данных, или полная переработка.
• Шаг 5. Тестирование и реализация изменений: Разработанные изменения проходят цикл тестирования, аналогичный процессу разработки нового промпта (раздел 10.1), и после успешного утверждения внедряются в продуктивную среду.
• Шаг 6. Документирование и отчетность: Все результаты анализа и принятые решения фиксируются в корпоративной системе управления знаниями. Ежемесячно готовится отчет для руководства о состоянии пула промптов и достигнутых значениях KPI.

10.3. Процесс реагирования на инциденты с промптами

Данный процесс регламентирует действия Промпт-инженера при возникновении инцидентов, связанных с некорректной работой промптов:

• Шаг 1. Обнаружение инцидента: Инцидент может быть обнаружен автоматической системой мониторинга (например, резкое падение Accuracy или Relevance ниже допустимого уровня) или зафиксирован по жалобе пользователя.
• Шаг 2. Регистрация и классификация: Промпт-инженер регистрирует инцидент в системе управления инцидентами (например, Jira Service Management). Классифицирует его по критичности (высокая, средняя, низкая) в соответствии с Политикой разработки и внедрения системы риск-менеджмента.
• Шаг 3. Диагностика и локализация: Проводит быструю диагностику для определения причины и локализации проблемы. Воспроизводит некорректное поведение в тестовой среде, анализирует логи и входные данные.
• Шаг 4. Принятие мер по восстановлению: В случае инцидента высокой критичности оперативно применяет меры по восстановлению корректной работы. Это может быть: отключение проблемного промпта, переключение на резервную версию, или быстрое патчевское исправление.
• Шаг 5. Анализ корневой причины (RCA): После стабилизации ситуации Промпт-инженер проводит глубокий анализ корневой причины инцидента. Определяет, как инцидент мог возникнуть и разрабатывает меры для предотвращения его повторения.
• Шаг 6. Реализация исправлений и закрытие инцидента: Разрабатывает и внедряет постоянное исправление (см. раздел 10.2). Обновляет документацию и базу знаний. Закрывает инцидент с указанием предпринятых мер и предотвращенных рисков.

10.4. Чек-лист при приемке промпта в эксплуатацию

При передаче нового или существенно доработанного промпта в продуктивную среду, Промпт-инженер должен проверить и подтвердить выполнение следующих пунктов чек-листа:

• Функциональные требования: Промпт решает поставленную бизнес-задачу. Ответы LLM соответствуют ожидаемым форматам и структуре.
• Метрики качества: Достигнуты целевые значения Accuracy, Relevance, BLEU/ROUGE (применимо) и Response Quality по тестовым данным.
• Производительность: Среднее время отклика (Latency) и стоимость выполнения запроса находятся в допустимых пределах.
• Безопасность и управление рисками: Проверена устойчивость к инжекциям и попыткам выхода за рамки дозволенного. Идентифицированы и минимизированы риски, связанные с использованием промпта, в соответствии с политикой риск-ориентированного управления организацией.
• Документация: Создана и актуализирована полная документация на промпт (описание, цель, логика, примеры, инструкция по использованию). Документация загружена в систему управления знаниями.
• Мониторинг: Настроены дашборды и оповещения для мониторинга его работы в продуктивной среде.
• Согласование: Получены положительные экспертные заключения от заинтересованных сторон (продукт-менеджер, руководитель проекта, отдел качества).