Google Colab e Spark

Utilizando o google colab para instalar o Spark e ler um arquivo csv

Digite no google: google colab para criar um ambiente de desenvolvimento online (computação inteirativa) e que não irá utilizar recursos da sua máquina.

Clique em Arquivo, novo notebook

Instalação do ambiente do Pyspark no nosos ambiente google colab.

%%bash # Instalação Java apt-get update && apt-get install open jdk-8-jdk-headless -qq > /dev/null # Intalação do PySpark pip install -q PySpark

Após digitar pressiono o SHIFT + enter para executar o comando

Utilizamos o %%bash na primeira linha da célula, para informar que é um comando de terminal.

# Definir uma variável de ambiente para o Spark conseguir identificar o local do JAVA adequadamente import os os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"

%%bash # Download dos dados utilizados. Vou criar um diretorio mkdir titanic curl https://raw.githubusercontent.com/neylsoncrepalde/titanic_data_with_semicolon/blob/main/titanic.csv -o titanic/titanic.csv

# Importar os módulos necessários from pyspark.sql import SparkSession from pyspark.sql import functions as f

Neste exemplo utilizamos o "inferSchema" por se tratar de poucos dados.

titanic.show() para visualizar os dados.