Amerikano
Модератор
- Сообщения
- 19,445
- Реакции
- 365,322
Автор: ВigData Тeam
Название: Практический курс по Big Data. Часть 1. HDFS, Map Reduce, Hive (2023)
Практический курс по Big Data. Часть 1. HDFS, Map Reduce, Hive [bigdata team]
Кому подойдет этот курс:
Часть 1. HDFS, Map Reduce, Hive
В этом модуле вы изучите:
Подробнее:
Скачать:
Название: Практический курс по Big Data. Часть 1. HDFS, Map Reduce, Hive (2023)
Практический курс по Big Data. Часть 1. HDFS, Map Reduce, Hive [bigdata team]
Кому подойдет этот курс:
- Разработчикам
Вы программируете, но хотите расширить профессиональные возможности и получить практические навыки работы с большими данными? На курсе вы научитесь работать с Hadoop, MapReduce, Hive, Spark, Kafka, Cassandra и будете выполнять задания на реальном кластере. - Data Engineers
Хотите расширить свой арсенал для работы с данными и структурировать свои знания в DE? Вы узнаете о современных технологиях работы с Big Data, научитесь грамотно их использовать и понимать, какую технологию в каких случаях лучше применять. - Аналитикам
Хотите освоить работу с большими данными, чтобы решать более сложные и интересные аналитические задачи? Вы научитесь использовать инструменты работы с большими данными, проводить аналитику с помощью SQL и NoSQL инструментов, готовить данные и отчеты на основе больших массивов информации. - Data Scientists
Ловите себя на мысли, что качество модели во многом зависит от правильного сбора и предобработки данных? Вы получите базу по современным инструментам и подходам, необходимым для сбора, хранения и обработки данных; изучите особенности укладки данных для оптимизации вычислений, подготовки фичей и масштабирования ML-моделей.
Часть 1. HDFS, Map Reduce, Hive
В этом модуле вы изучите:
- вводная часть: знакомство (задачи, оценки, дедлайны), подробности курса;
- распределенные файловые системы (GFS, HDFS). Их составляющие, достоинства, недостатки и сфера применения;
- чтение и запись в HDFS. HDFS APIs: Web, shell.
- Hadoop Streaming;
- элементы Hadoop-задачи (Mapper, reducer, combiner, partitioner, comparator).
- приложения с несколькими Hadoop-задачами;
- тюнинг Hadoop-job (настройка партиционирования, сложные ключи, uber jobs);
- задачи с несколькими входами. Joins в Hadoop.
- архитектура Hive, виды таблиц, форматы хранения данных;
- трансляция Hive-запросов в MapReduce-задачи;
- сериализация и десериализация;
- тюнинг Join'ов в Hive;
- партиционирование, бакетирование, семплирование;
- User defined functions, Hive Streaming.
Подробнее:
Для просмотра ссылок Войдите в аккаунт или Зарегистрируйтесь
Скачать:
Для просмотра ссылок Войдите в аккаунт или Зарегистрируйтесь
Похожие темы из этого раздела:
- [Илья Низамов] Telegram Web App 1C (2024)
- [Рик Ховард] Кибербезопасность: главные принципы (2024)
- [Nikolay Petrov] ClickHouse для аналитика [Stepik] (2023)
- [Игнат Егоров] Разработчик мобильных приложений на FlutterFlow (2024)
- [Pikuma] Программирование трехмерной компьютерной графики (2023)
- [Игнат Егоров] Разработчик мобильных приложений на FlutterFlow (2023)
- [Матвеев М.Д.] Весь Linux. Для тех, кто хочет стать профессионалом (2024)
- [Cuantum Technologies] Алгоритмы с нуля [Питер] (2024)
- [Чхави Радж Досадж] Сам себе тестировщик. Пошаговое руководство по тестированию ПО [Питер] (2024)
- [Влад Князев] Готовимся к собеседованию на системного аналитика (2024)