APACHE AIRFLOW и конвейеры обработка данных | Apache Airflow and Data Processing Pipelines

APACHE AIRFLOW и конвейеры обработка данных

Бас Харенслак, Джулиан де Руйтер, 2022

Обзор

Конвейеры обработки данных управляют потоком информации от сбора до анализа и визуализации. Apache Airflow предлагает единую платформу для проектирования, реализации и мониторинга таких конвейеров. Благодаря простому пользовательскому интерфейсу, модульной архитектуре и гибким сценариям на Python, Airflow оптимизирует задачи управления данными.

Эта книга научит создавать и поддерживать эффективные конвейеры обработки данных. Вы изучите распространенные модели использования, особенности ориентированных ациклических графов (ОАГ), лежащих в основе Airflow, и способы их настройки.

Кому подойдёт

• Специалисты по DevOps
• Специалисты по обработке и хранению данных
• Специалисты по машинному обучению
• Системные администраторы с навыками Python

Ключевые особенности

• Язык: Русский
• Страниц: 502
• Тип обложки: твердый переплёт
• Издательство: ДМК Пресс
• Год издания: 2022
• ISBN: 9785970609705

<hr>

Apache Airflow and Data Processing Pipelines

Bas Harenslak, Julian de Ruiter, 2022

Overview

Data processing pipelines manage the flow of information from initial collection through consolidation, cleaning, analysis, visualization, and more. Apache Airflow provides a unified platform for designing, implementing, monitoring, and maintaining these pipelines. Its user-friendly interface, plug-and-play capabilities, and flexible Python scripting streamline data management tasks.

This book will guide you in creating and maintaining effective data processing pipelines. You will learn common use case patterns, the features of Directed Acyclic Graphs (DAGs) that power Airflow, and how to customize them for your pipeline needs.

Who it's for

• DevOps professionals
• Data engineers and scientists
• Machine learning specialists
• System administrators with Python skills

Key features

• Language: Russian
• Pages: 502
• Binding: Hardcover
• Publisher: DMK Press
• Publication Year: 2022
• ISBN: 9785970609705