Descrição do curso

A manipulação de big data distribuído em um cluster usando conceitos funcionais é comum na indústria e é sem dúvida um dos primeiros usos industriais generalizados de ideias funcionais. Isso é evidenciado pela popularidade do MapReduce e do Hadoop e, mais recentemente, do Apache Spark, uma estrutura de coleções distribuídas em memória rápida escrita em Scala. Neste curso, veremos como o paradigma paralelo de dados pode ser estendido para o caso distribuído, usando o Spark em todo o processo. Abordaremos o modelo de programação do Spark em detalhes, tendo o cuidado de entender como e quando ele difere dos modelos de programação familiares, como coleções paralelas de memória compartilhada ou coleções Scala sequenciais. Por meio de exemplos práticos no Spark e no Scala, aprenderemos quando questões importantes relacionadas à distribuição, como latência e comunicação de rede, devem ser consideradas e como elas podem ser abordadas de maneira eficaz para melhorar o desempenho.

Habilidades que você terá:

• Programação em Escala

• Big Data
• Apache Spark
• SQL

Instrutor: Prof. Heather Miller, Professor Assistente – Universidade Carnegie Mellon