Kurskode

sparkdev

Varighet

21 timer (vanligvis 3 dag inkludert pauser)

Krav

PRE-REQUISITES

familiarity with either Java / Scala / Python language (our labs in Scala and Python)
basic understanding of Linux development environment (command line navigation / editing files using VI or nano)

Oversikt

OBJEKTIV:

Dette kurset vil introdusere Apache Spark . Studentene skal lære hvordan Spark passer inn i Big Data økosystemet, og hvordan de kan bruke Spark til dataanalyse. Emnet dekker Spark shell for interaktiv dataanalyse, Spark internals, Spark APIer, Spark SQL , Spark streaming, og maskinlæring og grafX.

Audiens:

Utviklere / dataanalytikere

Machine Translated

Kursplan

Scala primer
- A quick introduction to Scala
- Labs : Getting know Scala
Spark Basics
- Background and history
- Spark and Hadoop
- Spark concepts and architecture
- Spark eco system (core, spark sql, mlib, streaming)
- Labs : Installing and running Spark
First Look at Spark
- Running Spark in local mode
- Spark web UI
- Spark shell
- Analyzing dataset – part 1
- Inspecting RDDs
- Labs: Spark shell exploration
RDDs
- RDDs concepts
- Partitions
- RDD Operations / transformations
- RDD types
- Key-Value pair RDDs
- MapReduce on RDD
- Caching and persistence
- Labs : creating & inspecting RDDs; Caching RDDs
Spark API programming
- Introduction to Spark API / RDD API
- Submitting the first program to Spark
- Debugging / logging
- Configuration properties
- Labs : Programming in Spark API, Submitting jobs
Spark SQL
- SQL support in Spark
- Dataframes
- Defining tables and importing datasets
- Querying data frames using SQL
- Storage formats : JSON / Parquet
- Labs : Creating and querying data frames; evaluating data formats
MLlib
- MLlib intro
- MLlib algorithms
- Labs : Writing MLib applications
GraphX
- GraphX library overview
- GraphX APIs
- Labs : Processing graph data using Spark
Spark Streaming
- Streaming overview
- Evaluating Streaming platforms
- Streaming operations
- Sliding window operations
- Labs : Writing spark streaming applications
Spark and Hadoop
- Hadoop Intro (HDFS / YARN)
- Hadoop + Spark architecture
- Running Spark on Hadoop YARN
- Processing HDFS files using Spark
Spark Performance and Tuning
- Broadcast variables
- Accumulators
- Memory management & caching
Spark Operations
- Deploying Spark in production
- Sample deployment templates
- Configurations
- Monitoring
- Troubleshooting

Testimonials

★★★★★

Richard er veldig rolig og metodisk, med en analytisk innsikt - nøyaktig egenskapene som trengs for å presentere denne typen kurs

Kieran Mac Kenna

Machine Translated

Mulige scenarier og saker

zhaopeng liu - Fmr

Machine Translated

Saksanalyse

国栋张

Machine Translated

Alle deler av økten

Eric Han - Fmr

Machine Translated

Vi vet at vi vet mye mer om hele miljøet

John Kidd

Machine Translated

Treneren gjorde klassen interessant og underholdende som hjelper ganske mye med treninger hele dagen

Ryan Speelman

Machine Translated

Ernesto gjorde en god jobb med å forklare konsepter på høyt nivå med å bruke Spark og det er forskjellige moduler.

Michael Nemerouf

Machine Translated

Jeg likte metodikken som Jorge forventet

Experian Colombia S.A

Machine Translated

Richard var veldig villig til å avvise når vi ønsket å stille semi-relaterte spørsmål om ting som ikke er på pensum. Forklaringene var klare, og han var foran med advarsler i alle råd han ga oss.

ARM Limited

Machine Translated

Small group (4 trainees) and we could progress together. Also the trainer could so help everybody.

ICE International Copyright Enterprise Germany GmbH

Ajay var veldig vennlig, hjelpsom og kunnskapsrik om temaet han diskuterte.

Biniam Guulay - ICE International Copyright Enterprise Germany GmbH

Machine Translated

Jeg synes at treneren hadde en utmerket stil med å kombinere humor og historier i det virkelige liv for å gjøre emnene for hånden veldig tilgjengelige. Jeg vil anbefale denne professoren på det sterkeste i fremtiden.

Machine Translated