Kurskode

sparkcloud

Varighet

21 timer (vanligvis 3 dag inkludert pauser)

Krav

Programing skills (preferably python, scala)

SQL basics

Oversikt

Apache Spark læringskurve øker sakte i begynnelsen, det krever mye krefter for å komme tilbake. Dette kurset tar sikte på å hoppe gjennom den første tøffe delen. Etter å ha tatt dette kurset vil deltakerne forstå det grunnleggende om Apache Spark , de vil tydelig differensiere RDD fra DataFrame, de vil lære Python og Scala API, de vil forstå eksekutører og oppgaver, etc. I tillegg til å følge beste praksis fokuserer dette kurset sterkt på skyutplassering, Databricks og AWS. Studentene vil også forstå forskjellene mellom AWS EMR og AWS Glue, en av de siste gnisttjenestene til AWS.

PUBLIKUM:

Data Engineer, DevOps , Data Scientist

Machine Translated

Kursplan

Introduction:

Apache Spark in Hadoop Ecosystem
Short intro for python, scala

Basics (theory):

Architecture
RDD
Transformation and Actions
Stage, Task, Dependencies

Using Databricks environment understand the basics (hands-on workshop):

Exercises using RDD API
Basic action and transformation functions
PairRDD
Join
Caching strategies
Exercises using DataFrame API
SparkSQL
DataFrame: select, filter, group, sort
UDF (User Defined Function)
Looking into DataSet API
Streaming

Using AWS environment understand the deployment (hands-on workshop):

Basics of AWS Glue
Understand differencies between AWS EMR and AWS Glue
Example jobs on both environment
Understand pros and cons

Extra:

Introduction to Apache Airflow orchestration

Testimonials

★★★★★

Richard er veldig rolig og metodisk, med en analytisk innsikt - nøyaktig egenskapene som trengs for å presentere denne typen kurs

Kieran Mac Kenna

Kurs:Spark for Developers

Machine Translated

Vi vet at vi vet mye mer om hele miljøet

John Kidd

Kurs:Spark for Developers

Machine Translated

Treneren gjorde klassen interessant og underholdende som hjelper ganske mye med treninger hele dagen

Ryan Speelman

Kurs:Spark for Developers

Machine Translated

Ernesto gjorde en god jobb med å forklare konsepter på høyt nivå med å bruke Spark og det er forskjellige moduler.

Michael Nemerouf

Kurs:Spark for Developers

Machine Translated

Jeg likte metodikken som Jorge forventet

Experian Colombia S.A

Kurs:Spark for Developers

Machine Translated

Richard var veldig villig til å avvise når vi ønsket å stille semi-relaterte spørsmål om ting som ikke er på pensum. Forklaringene var klare, og han var foran med advarsler i alle råd han ga oss.

ARM Limited

Kurs:Spark for Developers

Machine Translated

VM jeg likte veldig godt Læreren var veldig kunnskapsrik med hensyn til temaet så vel som andre emner, han var veldig hyggelig og vennlig. Jeg likte anlegget i Dubai.

Safar Alqahtani - Elm Information Security

Kurs:Big Data Analytics in Health

Machine Translated

Small group (4 trainees) and we could progress together. Also the trainer could so help everybody.

ICE International Copyright Enterprise Germany GmbH

Kurs:Spark for Developers

Ajay var veldig vennlig, hjelpsom og kunnskapsrik om temaet han diskuterte.

Biniam Guulay - ICE International Copyright Enterprise Germany GmbH

Kurs:Spark for Developers

Machine Translated

Laboratoriet øvelser. Bruke teorien fra første dag i påfølgende dager.

Dell

Kurs:A Practical Introduction to Stream Processing

Machine Translated

Jeg synes at treneren hadde en utmerket stil med å kombinere humor og historier i det virkelige liv for å gjøre emnene for hånden veldig tilgjengelige. Jeg vil anbefale denne professoren på det sterkeste i fremtiden.

Kurs:Spark for Developers

Machine Translated

The trainer was passionate and well-known what he said I appreciate his help and answers all our questions and suggested cases.

Kurs:A Practical Introduction to Stream Processing