[МФТИ] Профессия Data Engineer [Гайк Инанц, Олег Ивченко]
Ссылка на картинку
Почему Data Engineering?
Спрос
Спрос на квалифицированных инженеров
по обработке данных намного превышает предложение
Работа удаленно
Возможно работать как в офисе, так и удаленно
Математический барьер
Сильно ниже, чем в data science
Data engineering
– фундамент любой data-driven компании
Зарплаты
Одна из самых высоких заработных плат
Востребованность в будущем
Тренд на обработку больших данных усиливается - не будет проблем с трудоустройством
Чем занимается Data Engineer:
собирает информацию о продукте и/или клиентах из разных источников
сортирует и обрабатывает информацию так, чтобы с ней можно было работать дальше
организовывает безопасное хранение данных, на основании которых принимаются
взвешенные бизнес-решения и создаются конкурентоспособные продукты
Для кого программа?
Для аналитиков
Освоите работу с большими данными, чтобы решать более сложные и интересные аналитические задачи, перейдете на более оплачиваемую работу
Для начинающих IT-специалистов
Освоите продвинутые инструменты работы с большими данными, прокачаете навыки и будете готовы для ускоренного карьерного роста
Для практикующих разработчиков
Расширите свои профессиональные возможности и получите новые навыки работы с большими данными, сможете перейти в востребованное направление и зарабатывать больше
Какие компетенции вы получите:
Настраивать и автоматизировать процессы сбора, трансформации, очистки, хранения и первичного анализа данных с помощью SQL и базового Python
Пользоваться высокоуровневыми языками программирования для BigData для обработки большого объема данных на вычислительном кластере
Анализировать проблемы, возникающие при решении задач извлечения данных, трансформации и очистки, и предложить пути их решения
Решать задачи статистики, задачи поиска и индексации, задачи машинного обучения на Hadoop кластере
Пользоваться распределенной файловой системой
Работать с большими объемами данных и располагать кругозором в выборе архитектурного решения поставленной задачи
Писать задачи для запуска на Hadoop кластере с помощью нативного Java-интерфейса, а также любого другого языка программирования (с помощью инструментария Hadoop streaming) и запускать