Введение

Аннотация. В эпоху цифровой трансформации огромные объёмы неструктурированных данных — текстов, изображений и видео — становятся ключевым ресурсом для бизнеса и науки. Однако извлечение ценной информации из этого хаоса требует специальных знаний и инструментов. Данный курс посвящён двум важнейшим направлениям искусственного интеллекта: обработке естественного языка и компьютерному зрению. Мы рассмотрим фундаментальные принципы и современные архитектуры, которые лежат в основе таких технологий, как чат-боты, системы машинного перевода, распознавания лиц и автономные автомобили. Курс ориентирован на практиков, стремящихся внедрять передовые AI-решения в свои продукты и проекты, и даст вам прочную основу для работы с текстовыми и визуальными данными.

Цель курса. После прохождения курса вы сможете самостоятельно разрабатывать и внедрять модели для обработки текстов и изображений, используя современные библиотеки, фреймворки и подходы для решения прикладных задач бизнеса.

Для кого этот курс.

Этот курс предназначен для специалистов по Data Science, разработчиков, Deep Learning- и ML-инженеров, которые хотят систематизировать свои знания в области NLP и CV и научиться применять их для решения реальных задач. Он будет полезен тем, кто работает с большими данными, создаёт чат-ботов, системы анализа контента, или интегрирует AI-функциональность в свои приложения.

Курс не подойдёт полным новичкам в программировании. Для успешного освоения материала необходимо уверенное владение языком Python и базовое понимание основ машинного обучения, включая понятия нейронных сетей и градиентного спуска.

Модуль 1. Фундамент обработки текста: от токенов до векторов

Первый и важнейший этап работы с любым текстом — это токенизация. Это процесс разбиения сплошного текста на минимальные значимые единицы — токены. Токен может быть словом, частью слова (субсловом) или даже отдельным знаком препинания. Для русского языка, где слова имеют богатую морфологию, правильная токенизация критически важна. Например, слово «обрабатывали» может быть целым словом или разбито на основу «обрабатыва» и окончание «ли». Библиотека spaCy предоставляет готовые, высокопроизводительные модели токенизации для десятков языков, включая русский. На практике выбор стратегии токенизации влияет на словарь модели и её способность понимать незнакомые слова. Для английского языка часто используют word_tokenize из NLTK, но для более сложных задач, особенно в NLP на русском языке, предпочтительнее использовать токенизаторы на основе моделей BERT, которые используют алгоритм Byte-Pair Encoding (BPE) для оптимальной обработки субслов.

После токенизации текст превращается в последовательность слов, которые компьютер всё ещё не понимает. Следующий шаг — это лемматизация и стемминг — приведение слов к их нормальной форме. Стемминг — это простой алгоритм, который отсекает окончания слов по определённым правилам («работал» -> «работа»), часто давая грубые результаты. Лемматизация — более продвинутый процесс, который использует словарь и морфологический анализ для приведения слова к его словарной форме («работал» -> «работать»). В spaCy лемматизация выполняется автоматически вместе с токенизацией. Для русского языка ключевую роль играет морфологический анализ. Библиотека pymorphy2 является отличным инструментом для этой задачи, позволяя получить не только лемму, но и всю грамматическую информацию о слове: часть речи, падеж, род, число. Это особенно важно для задач, где грамматика несёт смысловую нагрузку, например, в системах извлечения информации или ответов на вопросы.

Но как превратить слова в числа, которые сможет обрабатывать нейронная сеть? Для этого существуют векторные представления слов, или word embeddings. Классические методы, такие как Word2Vec и GloVe, создают статичные векторы, где каждому слову соответствует один фиксированный вектор. Эти векторы удивительным образом кодируют семантику: «король» - «мужчина» + «женщина» ≈ «королева». Однако у статичных векторов есть недостаток — они не учитывают контекст. Слово «замок» будет иметь один и тот же вектор, независимо от того, идёт ли речь о здании или о механизме. Современный подход — использовать контекстуальные эмбеддинги из моделей на основе Transformer, например, BERT. В этих моделях вектор каждого слова вычисляется заново на основе всех остальных слов в предложении. Таким образом, слово «замок» в предложениях «старый каменный замок» и «сломавшийся замок двери» получит разные векторные представления, что кардинально повышает качество решения сложных языковых задач.

Модуль 2. Классические и современные архитектуры для работы с текстом

До эпохи трансформеров золотым стандартом в NLP были рекуррентные нейронные сети (RNN), особенно их варианты — LSTM и GRU. Эти сети были разработаны для обработки последовательностей, таких как текст. Они читают предложение слово за словом, сохраняя «память» о предыдущих словах в своём скрытом состоянии. Это позволяло им, например, понимать, к чему относится местоимение в длинном предложении. Однако RNN страдают от двух серьёзных проблем: они плохо запоминают информацию из начала длинной последовательности (проблема затухающих градиентов) и не могут обрабатывать слова параллельно, что делает обучение на больших объёмах данных крайне медленным. Несмотря на это, такие библиотеки как PyTorch и TensorFlow предоставляют готовые и оптимизированные реализации RNN и LSTM. Они всё ещё находят применение в задачах, где важен строгий временной порядок и размер данных не огромен, например, в некоторых приложениях для обработки временных рядов или в синтаксическом анализе коротких предложений.

Архитектура Transformer, представленная в статье «Attention Is All You Need», совершила революцию в мире обработки естественного языка. Её ключевое нововведение — механизм самовнимания (Self-Attention). В отличие от RNN, трансформер читает всё предложение сразу. Механизм внимания позволяет модели вычислять «веса» для каждого слова, показывающие, насколько другие слова в предложении важны для понимания текущего слова. Например, в предложении «Зверь, который пришёл из леса, был огромен», для понимания слова «был» модель легко свяжет его с подлежащим «Зверь». Именно этот механизм позволил создавать модели, которые обучаются на огромных корпусах текста, экономя время за счёт параллелизации. В основе всех современных больших языковых моделей, от BERT до GPT-4, лежит именно трансформер. Библиотека Hugging Face Transformers предоставляет простой интерфейс для загрузки тысяч предобученных моделей и их использования для самых разных задач.

Две главные ветви эволюции трансформеров — это BERT и GPT. BERT (Bidirectional Encoder Representations from Transformers) является энкодерной моделью. Она использует только часть трансформера, отвечающую за кодирование, и обучается предсказывать маскированные слова в предложении (например, «Маша пошла в [MASK]»). Это делает её двунаправленной — она видит контекст и слева, и справа от слова. BERT — это идеальный выбор для задач, где важен анализ всего доступного контекста: классификация текстов, извлечение именованных сущностей (NER), ответы на вопросы. GPT (Generative Pre-trained Transformer) — это декодерная модель. Она обучается предсказывать следующее слово в последовательности. Это делает её исключительно сильной в задачах генерации: написание текстов, завершение кода, диалог. В России компания SberDevices разработала свой аналог — модель RuBERT, которая является версией BERT, дообученной на огромном русскоязычном корпусе, что обеспечивает её высокую эффективность для русскоязычных задач.

Использование огромных моделей, таких как GPT-3, с нуля требует колоссальных вычислительных ресурсов. На практике мы применяем технику, которая называется Fine-Tuning (тонкая настройка). Суть её в следующем: мы берём предобученную модель, которая уже знает язык, и «доучиваем» её на небольшом размеченном датасете для конкретной задачи. Например, для создания чат-бота поддержки, мы возьмём RuBERT и обучим его на тысяче примеров диалогов. Этот процесс занимает часы на одном GPU, в то время как обучение с нуля заняло бы месяцы. При тонкой настройке важно подбирать скорость обучения в разы меньше, чем при обучении с нуля, чтобы не «перезаписать» знания модели. Для дообучения больших моделей, таких как GPT, на своём корпусе данных для решения специфических задач, всё чаще используется подход Parameter-Efficient Fine-Tuning (PEFT), например, метод LoRA, который позволяет дообучать модель с минимальными затратами памяти и времени.

Модуль 3. Прикладные задачи и современные подходы в NLP

Извлечение именованных сущностей (NER) — это одна из классических и востребованных задач NLP. Она заключается в поиске в тексте упоминаний людей, организаций, географических названий, дат и других категорий. Например, в предложении «Анна Павлова работает в Яндексе в Москве» NER-модель должна выделить «Анна Павлова» как PERSON, «Яндекс» как ORG, «Москва» как GPE. Это является критическим этапом для систем извлечения структурированной информации из неструктурированных текстов, новостных лент или документов. Современные модели, основанные на BERT, решают эту задачу как последовательную классификацию: каждому токену присваивается тег (например, B-PER, I-PER для обозначения начала и продолжения имени). Библиотека spaCy содержит готовые модели для NER на русском языке, которые можно использовать прямо из коробки. Для повышения точности на специфических данных (например, медицинских текстах) модель можно дообучить на собственном размеченном корпусе.

Генерация текста и машинный перевод — это задачи, где модели-декодеры, такие как GPT, показывают наилучшие результаты. Машинный перевод долгое время был «визитной карточкой» нейросетей. Современные системы переводят не предложения по отдельности, а целые абзацы, учитывая глобальный контекст. Для оценки качества таких моделей используются специальные метрики. BLEU и chrF сравнивают сгенерированный перевод с эталонными переводами, сделанными человеком. ROUGE чаще используется для оценки качества суммаризации. Perplexity (перплексия) — это метрика, которая оценивает, насколько модель «удивлена» тестовыми данными; чем она ниже, тем лучше модель предсказывает тексты. При создании чат-ботов важно помнить о проблеме «галлюцинаций» — когда модель генерирует правдоподобный, но фактически неверный или вымышленный ответ. Для борьбы с этим применяется техника RAG.

Retrieval-Augmented Generation (RAG) — это подход, который соединяет мощь больших языковых моделей с системами поиска информации. Вместо того чтобы полагаться исключительно на знания, заложенные в модель во время обучения, RAG сначала ищет релевантную информацию в базе знаний (например, во внутренней документации компании) и только затем передаёт её в модель вместе с запросом для генерации ответа. Это кардинально снижает количество галлюцинаций и позволяет модели ссылаться на актуальные или закрытые корпоративные данные. Для поиска используется векторная база данных, где документы хранятся в виде эмбеддингов. Библиотека LlamaIndex и фреймворк LangChain предоставляют готовые инструменты для быстрой сборки таких систем. В качестве движка для поиска часто используется Elasticsearch с поддержкой векторного поиска, или специализированные решения, такие как Pinecone или Milvus, обеспечивающие эффективный поиск по миллиардам векторов.

Для оценки качества работы систем поиска в RAG и других информационно-поисковых системах используются классические IR-метрики: BM25 — это один из наиболее эффективных и широко используемых ранжирующих алгоритмов, основанный на текстовых совпадениях. Однако с появлением контекстуальных эмбеддингов, Elasticsearch и другие поисковые движки начали поддерживать векторный поиск (k-NN), который ищет документы, семантически близкие к запросу, даже если в них нет точных совпадений слов. На практике для максимальной релевантности часто применяется гибридный подход: результаты BM25 и векторного поиска объединяются с помощью алгоритма Reciprocal Rank Fusion (RRF). Это позволяет получить более полные и точные результаты, чем при использовании любого из методов по отдельности.

Модуль 4. Основы компьютерного зрения: от пикселей до семантики

Компьютерное зрение начинается с цифрового изображения, которое для компьютера является не чем иным, как матрицей чисел — пикселей. Каждый пиксель кодирует цвет в определённом цветовом пространстве. Наиболее распространённое — RGB, где цвет задаётся тремя каналами: красный, зелёный, синий. При обработке изображений мы часто применяем низкоуровневые операции, чтобы улучшить качество или выделить важные признаки. Фильтрация (например, с использованием фильтра Гаусса) позволяет размыть изображение и убрать шум. Выделение границ (например, алгоритм Кэнни) — это операция, которая ищет резкие перепады яркости, характерные для контуров объектов. Эти базовые техники, реализованные в библиотеке OpenCV, являются первым шагом для решения многих задач CV. Знание этих операций позволяет подготавливать данные для более сложных нейросетевых моделей.

Одним из ключевых понятий в CV являются свёрточные нейронные сети (CNN или ConvNets). Это архитектура, которая была специально разработана для эффективной обработки данных с сетчатой структурой, таких как изображения. Вместо того чтобы обрабатывать каждый пиксель с помощью полносвязной сети (что было бы слишком дорого), CNN используют операцию свёртки. Она заключается в проходе по изображению небольшого «фильтра» (ядра), который ищет простые паттерны: градиенты, линии, пятна. На ранних слоях сеть учится находить простые элементы (ребра, углы), а на более глубоких слоях — комбинирует их в сложные структуры (части объектов, объекты). Слои подвыборки (pooling), например MaxPooling, уменьшают размерность данных, делая модель устойчивой к небольшим смещениям объекта в кадре. PyTorch и TensorFlow предлагают высокоуровневые API для быстрого построения и обучения CNN-архитектур.

За прошедшие годы были созданы «классические» архитектуры CNN, которые являются отличной отправной точкой для решения задач CV. ResNet (Residual Network) ввела концепцию «остаточных связей» (skip connections), позволяющих обучать очень глубокие сети без проблемы затухания градиента. VGG известен своей простотой и использованием одинаковых свёрточных блоков, но при этом он довольно «тяжёлый» по количеству параметров. Inception (или GoogLeNet) использует модули, которые выполняют свёртки с ядрами разных размеров параллельно, позволяя сети эффективно захватывать объекты разных масштабов. Эти модели являются предобученными на гигантском датасете ImageNet и доступны в библиотеках torchvision или tensorflow.keras.applications. Использование этих сетей в качестве основы (backbone) и их тонкая настройка на конкретной задаче — это стандартный и наиболее эффективный путь в современном компьютерном зрении.

Модуль 5. Ключевые задачи компьютерного зрения

Классификация изображений — это самая простая и фундаментальная задача. Цель — отнести всё изображение к одному из классов. Например, понять, что на картинке «кошка» или «собака». Для решения этой задачи идеально подходят вышеупомянутые CNN-архитектуры. Процесс выглядит так: изображение подаётся на вход CNN, сеть выдаёт вектор вероятностей для каждого класса, и выбирается класс с максимальной вероятностью. Для оценки качества используются метрики, такие как Accuracy (доля правильных ответов), Precision (точность) и Recall (полнота) для каждого класса. Эта задача является основой для более сложных сценариев и часто решается в бизнес-задачах, таких как модерация контента, медицинская диагностика по снимкам или сортировка товаров.

Детекция объектов — задача, которая требует не только определить, что это за объект, но и найти его положение на изображении, окружив его ограничивающим прямоугольником (bounding box). Это сложнее классификации. Существует два основных подхода. Двухэтапные детекторы, такие как R-CNN и его ускоренные версии Fast R-CNN, сначала предлагают регионы, где могут быть объекты (Region Proposals), а затем уже классифицируют каждый регион. Это медленнее, но точнее. Одноэтапные детекторы, такие как YOLO (You Only Look Once) и SSD (Single Shot Detector), предсказывают ограничивающие рамки и классы объектов за один проход через сеть. Благодаря своей скорости, архитектуры YOLO являются стандартом для систем, работающих в реальном времени, например, в системах видеонаблюдения или автономных автомобилях. Для обучения детекторов необходимо иметь размеченный датасет, содержащий координаты рамок для каждого объекта на каждом изображении.

Сегментация изображений идёт ещё дальше, чем детекция. Она требует классифицировать каждый отдельный пиксель изображения. Это означает, что мы не просто находим объект в рамке, а точно выделяем его контуры. Различают семантическую сегментацию, где все пиксели, принадлежащие, например, кошкам, окрашиваются в один цвет, и инстанс-сегментацию, где каждый отдельный объект (каждая кошка) выделяется отдельно. Для решения этих задач используются архитектуры, такие как U-Net (особенно популярна в медицинской визуализации) и Mask R-CNN, который добавляет к двухэтапному детектору дополнительную ветку для предсказания маски объекта. Сегментация — это критический компонент в задачах, где важна точная форма объекта: отрезание фона для фоторедакторов, картография, роботизированная хирургия.

Для обучения глубоких нейросетей для CV необходимы большие размеченные датасеты. ImageNet — это гигантский датасет с более чем 14 миллионами изображений, размеченных по тысячам категорий, именно на нём обучаются «золотые стандарты» CNN. Для детекции и сегментации одним из самых известных является датасет COCO (Common Objects in Context), который содержит более 200 тысяч размеченных изображений с 80 категориями объектов. Существуют и специализированные датасеты, например, FaceForensics для задач распознавания лиц, Cityscapes для понимания городских сцен в автономных автомобилях. В реальных проектах часто не хватает размеченных данных. Для их увеличения применяется метод Data Augmentation: искусственное увеличение датасета путём поворотов, отражений, изменения яркости или добавления шума к изображениям, что сильно улучшает обобщающую способность модели.

Модуль 6. Production-режим и работа с большими языковыми моделями (LLM)

Переход от прототипа в Jupyter Notebook к продакшену — ключевой этап в жизни ML-инженера. В индустрии это называют MLOps. Этот процесс включает в себя множество практик: версионирование данных и моделей с помощью DVC или Git LFS, автоматизацию пайплайнов обучения и развертывания с использованием Kubeflow или MLflow, а также непрерывный мониторинг качества модели в работе. При развертывании больших языковых моделей (LLM) важно учитывать их размер. Их редко запускают на обычных серверах. Стандартная практика — использование специализированных облачных решений, таких как Yandex DataSphere, SberCloud, Google Cloud AI Platform или Hugging Face Inference Endpoints. Для снижения задержек (latency) используют такие техники, как квантизация (перевод весов модели из 32-битного в 8-битное представление) и дистилляция (обучение меньшей модели имитировать большую).

Адаптация больших языковых моделей под конкретные бизнес-задачи — это одна из главных практических задач современного NLP. Основной подход — это Prompt Engineering, то есть искусство составления правильных запросов. Запрос должен быть чётким, содержать все необходимые контекстуальные данные, инструкцию и желаемый формат вывода. Другой продвинутый подход — дообучение (fine-tuning) на корпоративных данных. Для этого необходимо подготовить датасет в формате «инструкция-ответ». При работе с LLM важно учитывать вопросы безопасности и конфиденциальности: не отправлять конфиденциальные данные в публичные API. В России активно развиваются свои LLM: модель YandexGPT от Яндекса и модель GigaChat от Сбера, которые предлагают API для интеграции в приложения и решают проблемы, связанные с обработкой русского языка и локальным законодательством.

Работа с современными инструментами для создания приложений на основе AI стала проще благодаря специализированным фреймворкам. LangChain — это библиотека для Python (и JavaScript), которая предоставляет стандартизированные блоки для создания сложных пайплайнов с LLM. С её помощью легко реализовать RAG-системы, агентов, которые могут принимать решения и использовать внешние инструменты (например, поиск в интернете или API), и цепочки, объединяющие несколько шагов обработки. LlamaIndex — это более узкоспециализированный фреймворк, сфокусированный на построении систем поиска и извлечения данных с использованием LLM, особенно для RAG-приложений. Он предлагает удобные интерфейсы для работы с векторными базами данных, загрузки документов любых форматов и построения сложных стратегий запросов. Выбор между LangChain и LlamaIndex часто зависит от задачи: LangChain лучше подходит для сложных агентных систем, а LlamaIndex — для систем, ориентированных на поиск знаний и работу с большим количеством документов.

Оценка качества — это неотъемлемая часть любого production-решения. Для классификации изображений и NLP-задач наряду с Accuracy, Precision, Recall и F1-мерой важно использовать метрики, специфичные для каждой задачи. Для систем генерации (перевод, суммаризация) используются BLEU, ROUGE и chrF, но они не идеальны, так как не всегда коррелируют с человеческой оценкой. Для чат-ботов и генеративных систем всё чаще применяют человеческую оценку или используют новые модели, такие как BLEURT или BERTScore, которые коррелируют с оценкой человека гораздо лучше. Для CV-задач детекции основными метриками являются mAP (mean Average Precision), которая усредняет точность по всем классам и уровням уверенности. Для задачи сегментации часто используется IoU (Intersection over Union) — коэффициент, показывающий степень перекрытия предсказанной маски и эталонной истины. Эти метрики позволяют объективно сравнивать разные модели и выбирать лучшую для своей задачи.