Введение в DevOps. Культура, философия и ключевые принципы: автоматизация, совместная работа, непрерывная интеграция и доставка. Разрушение барьеров между разработкой и эксплуатацией.

DevOps — это не просто набор инструментов, а культура совместной работы и общая ответственность. Традиционное разделение на команды разработки (Dev) и эксплуатации (Ops) приводило к длительным циклам, конфликтам и нестабильности. DevOps устраняет эти стены, объединяя цели и метрики успеха.

Ключевая конференция DevOps Days в 2009 году, организованная Патриком Дебуа, стала катализатором движения. Термин был впервые использован именно там. С тех пор практики DevOps доказали свою эффективность: организации развертывают код в 30 раз чаще и в 60 раз реже сталкиваются со сбоями.

Роль DevOps-инженера. Ключевые обязанности, необходимые навыки и карьерные перспективы. Мост между разработкой и эксплуатацией.

DevOps-инженер — это специалист, который понимает процессы разработки, разбирается в системном администрировании, умеет автоматизировать рутину и обеспечивать безопасность. Он настраивает конвейеры CI/CD, управляет инфраструктурой как кодом (IaC) и внедряет мониторинг.

Технические навыки DevOps-инженера: Python или Go для скриптов, облачные платформы (AWS, Azure, GCP), контейнеризация (Docker, Kubernetes), системы контроля версий (Git), CI/CD (Jenkins, GitLab CI). Soft skills: коммуникабельность, аналитическое мышление и умение решать конфликты.

Agile-методологии и DevOps. Синергия гибкой разработки и автоматизации. Scrum, Kanban и их интеграция с CI/CD.

Agile задает вектор быстрой и гибкой разработки короткими спринтами (итерациями). DevOps обеспечивает реализацию этих принципов через автоматизацию: непрерывная интеграция (CI) и непрерывная доставка (CD) позволяют выпускать новые версии функционала заказчику моментально, в конце каждого спринта.

Системы контроля версий (VCS) и Git. Основы работы с Git, ветвление, слияние и платформы для совместной работы (GitHub, GitLab).

Git — распределенная система контроля версий. Ключевые понятия: репозиторий (умная папка), коммит (контрольная точка), ветки (параллельные версии). GitHub и GitLab — это 'социальные сети для кода', предоставляющие удаленные репозитории, управление задачами (Issues) и инструменты для ревью кода (Pull Requests).

Инфраструктура как код (IaC) и Terraform. Императивный vs декларативный подход. Управление облачными ресурсами через код.

IaC — управление инфраструктурой (сервера, сети, диски) через файлы конфигурации, а не ручные клики в консоли. Декларативный подход (Terraform) описывает желаемое конечное состояние, а система сама решает, как его достичь. Императивный подход (скрипты) описывает пошаговые действия.

Terraform использует провайдеров для взаимодействия с облачными API (AWS, Azure, GCP). State-файл отслеживает текущее состояние инфраструктуры. Модули позволяют переиспользовать код. Команды: terraform init, plan, apply, destroy.

Управление конфигурациями и Ansible. Автоматизация настройки серверов. Playbooks, идемпотентность и безагентная архитектура.

Ansible — инструмент для автоматизации конфигураций. Он использует playbooks (написанные на YAML) и работает без агентов (по SSH). Ключевые особенности: идемпотентность (повторный запуск playbook не меняет уже настроенную систему) и декларативность.

Непрерывная интеграция (CI) и Jenkins. Автоматизация сборки и тестирования кода при каждом изменении. Ускорение разработки и выявление ошибок на ранних стадиях.

Непрерывная интеграция (CI) — практика частого (несколько раз в день) слияния кода разработчиков в общий репозиторий. Jenkins — популярный инструмент для автоматизации CI/CD. Он отслеживает изменения в Git и запускает задания (jobs): сборку, прогон тестов, анализ кода.

Непрерывная доставка и развертывание (CD). Стратегии деплоя: Blue-Green, Canary, Rolling Update. Автоматизация выпуска релизов.

Непрерывная доставка (CD) — логическое продолжение CI, при котором код после автоматической сборки и тестов автоматически развертывается в среду, близкую к production (staging). Стратегии минимизации рисков: Blue-Green deployment (два окружения: текущее и новое, переключение трафика), Canary deployment (постепенный rollout на часть пользователей).

Контейнеризация и Docker. Упаковка приложений в контейнеры. Решение проблем зависимостей и переносимости. Docker Compose для многоконтейнерных приложений.

Docker решает проблему 'это работает на моей машине' благодаря изоляции. Контейнеры содержат все зависимости (библиотеки, версии), что делает их переносимыми. Docker образ (image) — шаблон, контейнер — запущенный экземпляр. Docker Compose позволяет описывать и запускать многоконтейнерные приложения (например, app + database) в одном YAML файле.

Оркестрация контейнеров и Kubernetes. Управление кластерами контейнеров. Автоматическое масштабирование, самовосстановление и декларативная конфигурация.

Kubernetes (k8s) — платформа для оркестрации контейнеров. Кластер состоит из master nodes (управление) и worker nodes (запуск подов). Pod — минимальная единица (один или несколько контейнеров). Deployment — декларативно описывает желаемое состояние (версия, количество реплик).

Мониторинг и логирование: Prometheus и Grafana. Сбор метрик, визуализация и алертинг. Язык запросов PromQL.

Prometheus — система мониторинга, работающая по модели pull (сам опрашивает экспортеры). Он собирает метрики (CPU, RAM, количество запросов) и хранит их как временные ряды. Grafana используется для визуализации этих метрик (дашборды). Alertmanager отправляет уведомления при срабатывании правил (например, CPU > 80%).

Централизованное логирование: ELK Stack. Elasticsearch, Logstash, Kibana. Сбор, хранение и анализ логов.

ELK Stack: Elasticsearch (поисковой движок, хранилище), Logstash (сбор и обработка логов, фильтрация), Kibana (визуализация и интерфейс поиска). Позволяет централизованно собирать логи со всех серверов и приложений, быстро искать ошибки и строить дашборды.

Безопасность в DevOps (DevSecOps). Shift Left Security. Управление доступом (IAM), защита секретов (Vault), сканирование уязвимостей.

DevSecOps — внедрение практик безопасности на ранних этапах разработки (Shift Left). Ключевые аспекты: управление доступом (IAM) с принципом минимальных привилегий, управление секретами (HashiCorp Vault, AWS Secrets Manager) — никогда не хранить пароли в коде, сканирование образов контейнеров (Trivy, Clair) на уязвимости.

Автоматизация тестирования. Selenium, JUnit, pytest. Интеграция тестов в CI/CD пайплайн. Повышение качества кода.

Автоматизация тестирования — ключ к быстрым и качественным релизам. Selenium используется для UI-тестирования веб-приложений. JUnit (Java) и pytest (Python) — для модульных (unit) и интеграционных тестов. В CI/CD пайплайне тесты запускаются автоматически после каждого коммита.

DevOps для облачных платформ. Серверлесс (AWS Lambda, Azure Functions). Облачные сервисы вместо управления инфраструктурой.

Облачные платформы (AWS, Azure, GCP) предлагают серверлесс (Serverless) модель (FaaS — Function as a Service): разработчик пишет код функции, а облако автоматически масштабирует и управляет серверами. Примеры: AWS Lambda, Azure Functions. Это снижает операционные затраты (нет платы за простой).

DevOps для Big Data и AI (MLOps). Управление пайплайнами данных и жизненным циклом моделей машинного обучения. Apache Spark, Hadoop.

MLOps применяет принципы DevOps к системам машинного обучения. Ключевые задачи: версионирование данных и моделей (DVC), автоматизация пайплайнов обучения (Kubeflow, Airflow), мониторинг дрейфа модели (degradation). Apache Spark используется для обработки больших данных (Big Data) в распределенных кластерах.

Что является основой философии DevOps согласно лекции?

Культура совместной работы и общая ответственность между разработкой и эксплуатацией.

DevOps фокусируется на устранении барьеров между Dev и Ops, общих целях, прозрачности процессов, регулярных встречах и обмене знаниями. Инструменты лишь автоматизируют эти культурные изменения.

Набор инструментов автоматизации, таких как Jenkins и Docker.

В каком году была проведена первая конференция DevOps Days, давшая название движению?

В 2009 году.

Именно на DevOps Days в 2009 году Патрик Дебуа впервые использовал термин 'DevOps'. Это событие стало отправной точкой для массового внедрения культуры и практик, изменивших индустрию разработки ПО.

2001 год (Agile Manifesto).

Какая из перечисленных обязанностей является ключевой для DevOps-инженера?

Автоматизация процессов сборки, тестирования, развертывания и мониторинга.

Автоматизация — сердце DevOps. Она позволяет сократить время выхода релизов, исключить человеческие ошибки и обеспечить повторяемость процессов. Инженер создает 'роботов' для рутинных задач.

Только написание кода приложений.

Какой язык программирования чаще всего используется DevOps-инженерами для автоматизации и написания скриптов?

Python.