Программа и содержание
Что такое курс-симулятор:
Обучение на бизнес-кейсах
Не обучаем на «апельсинах» — после курса-симулятора вы на 100% сразу же готовы решать рабочие задачи или внедрять знания на текущем месте работы
Полная подготовка к собеседованиям
Будете решать тестовые задания от реальных компаний и проходить тестовые собеседования еще в процессе обучения
Уникальное портфолио
Такого портфолио не будет ни у кого больше. Вы соберёте его из реальных задач из разных сфер бизнеса
Чем занимается инженер данных
Представьте, что у вас есть большая коробка с LEGO, из которой нужно выбрать детали для постройки замка или космического корабля.
Дата-инженеры обеспечивают доступность и качество данных, что особенно важно для принятия решений в бизнесе.
Вам нужно сначала выбрать нужные детали, затем правильно их соединить и в конце собрать всё вместе.
Этим и занимается инженер данных.
Кому подойдёт курс-симулятор:
Новичкам в профессии
Освоите основы инженерии данных для уверенного старта карьеры
Начинающим инженерам данных
Структурируйте свои знания, освоите весь необходимый стек на практике и уверенно войдите в профессию уже на 5 месяце обучения
Аналитикам данных
Изучите методы обработки и трансформации данных, что поможет лучше понимать архитектуру данных и улучшить качество аналитических отчетов
Разработчикам
Сможете освоить специфические задачи инженера данных, такие как работа с ETL-процессами и реализовать проекты в этой области
Какие задачи сможете решать после обучения:
Создавать и работать с хранилищами данных
Разрабатывать автоматизированные ETL-пайплайны
Оптимизировать сложные SQL-запросы
Работать с большими данными и озерами данных (data lake)
Пользоваться и управлять DE-инфраструктурой: Linux, Docker, DWH и др.
Какие инструменты освоите:
Базы данных
PostgreSQL, DBeaver, Clickhouse
Программирование
Python, Pandas, Numpy, Matplotlib, Seaborn, Plotly, gspread, VS Code, Google Colab, Jupyter Notebook
Визуализация данных
Metabase
Автоматизация и деплой
Linux, Docker, bash, Airflow
Программа
1. Введение в профессию
2. SQL и базы данных
17 уроков
Дата инженерам необходимо уметь работать с реляционными базами данных, потому что основной объем информации, которую обрабатывают дата инженеры, хранится как раз в них - например, в PostgreSQL.
Вы научитесь писать сложные запросы, решая аналитические кейсы из ритейла, финтеха и онлайн-платформ с помощью SQL.
Вы научитесь проектировать реляционные базы данных с учетом правил нормализации и разворачивать их на сервере с нуля.
Вы научитесь администрировать базы данных: удалять и вносить изменения в объекты БД, наполнять базу новыми данными или удалять старые.
Вы научитесь работать с базами данных разными способами - от специальных IDE до подключения через терминал.
3. Визуализация в Metabase
10 уроков
Уметь работать в системе визуализации данных - полезный навык для дата инженера, чтобы создавать дашборды. Например, дашборд с мониторингом работы скриптов сбора данных из корпоративной CRM-системы.
Вы научитесь быстро визуализировать результат SQL-запросов.
Вы научитесь строить графики без написания кода с помощью визуального конструктора.
Вы научитесь собирать дашборды с сложными фильтрами.
Вы научитесь разворачивать и базово администрировать Metabase на сервере.
4. Git/GitHub
11 уроков
Дата инженерам важно уметь работать с системой контроля версий Git, потому что работа над одним проектом всегда происходит в больших командах, где Git - обязательный инструмент совместной разработки.
Вы научитесь внедрять в свои проекты Git с учетом лучших практик.
Вы научитесь синхронизировать локальный и удаленный репозиторий.
Вы научитесь грамотно контрибьютить в проекты коллег, работать с pull request-ами и обрабатывать реквесты ваших коллег.
Вы научитесь разрешать конфликты, если при совместной работе с коллегами вами был затронут один и тот же блок кода.
Вы научитесь откатывать изменения в случае «кривых» релизов.
5. Python
20 уроков
Программирование на Python - один из ключевых навыков дата инженера, т.к. именно с помощью этого языка вы будете писать скрипты для сбора данных из разных источников и создавать ETL/ELT-пайплайны.
Вы научитесь писать код на Python и использовать его для решения прикладных задач: написание скриптов для сбора данных, написание коннекторов к различным базам данных, написание скриптов для сбора данных по API, написание скриптов для обработки и очистки данных для последующей загрузки в хранилище.
Вы научитесь работать в разных IDE: VS Code и Google Colab.
6. Объектно-ориентированное программирование в Python (ООП в Python)
7 уроков
Писать код на Python, используя парадигму объектно-ориентированного программирования - также важная часть навыков дата инженера. Читая чужой код, вы будете часто встречаться с ООП, а также многие дата инженерные скрипты предполагают работу с классами.
Вы глубоко разберетесь в концепции объектно-ориентированного программирования и особенностях ее реализации в Python.
Вы научитесь писать код с использованием классов, методов, атрибутов и контроля доступа.
Вы разберетесь в продвинутых концепциях ООП - геттерах, сеттерах, специальных декораторах и т.д.
Вы изучите полезные паттерны проектирования.
Вы научитесь применять ООП для решения прикладных задач - создания класса-коннектора для разных СУБД по шаблону Singleton, написание ETL-пайплайна с использованием ООП.
7. Python для анализа данных
25 уроков
Работать с библиотеками для обработки данных в Python - полезный навык для дата инженера.
В работе часто возникают данные, представленные в табличном формате, и намного удобней и эффективней решать задачи очистки, трансформации, вычислений и прочего с помощью специализированных библиотек - например, Pandas.
Вы научитесь работать с библиотекой Numpy для работы с многомерными массивами данных.
Вы научитесь работать с фреймворком Pandas и решать с его помощью прикладные задачи - анализировать активность пользователей, обрабатывать файловые выгрузки и т.д.
Дополнительно вы научитесь строить базовые визуализации в Python с помощью Matplotlib, Seaborn и Plotly, что может быть полезно при исследовании новых наборов данных во время работы.
8. Linux
14 уроков
Дата инженерам необходимо уметь работать с Linux, потому что вся аналитическая инфраструктура разворачивается на облачных Linux-серверах.
Вы научитесь работать с операционной системой Linux с нуля до уровня продвинутого пользователя.
Вы научитесь настраивать и администрировать серверы через командную строку (настройка пользователей, прав доступа, работа с ресурсами).