Sistemas Especialistas Clássicos

Qual função é usada para manipulação de strings para converter texto para maiúsculas no PySpark?

• F.lower()

• F.upper()

• F.trim()

• F.substring()

O que a instrução de importação from pyspark.sql import functions as F faz?

• Importa todas as funções do módulo SQL no PySpark

• Importa a classe DataFrame do PySpark

• Importa a classe SparkSession do PySpark

• Importa a classe RDD do PySpark

Qual é a finalidade da função withColumn no PySpark?

• Para excluir uma coluna de um DataFrame

• Para adicionar uma nova coluna a um DataFrame

• Para classificar um DataFrame por uma coluna específica

• Para mesclar dois DataFrames

O que é Kaggle?

• Uma plataforma para compras online

• Uma rede social

• Uma plataforma de competição de ciência de dados e comunidade online

• Um serviço de streaming de vídeo

Como você pode listar todos os nomes das colunas em um DataFrame?

• df_simples.show()

• df_simples.printSchema()

• df_simples.columns

• df_simples.dtypes

Qual dos seguintes formatos de arquivo pode ser usado para criar um DataFrame?

• PDF

• HTML

• XML

• CSV

Se você precisa arredondar os valores de uma coluna numérica, como 'cholesterol', para o inteiro mais próximo e também para duas casas decimais, qual função do PySpark, combinada com alias(), é a mais indicada para isso?

• F.sum()

• F.avg()

• F.round()

• F.sqrt()

Sua equipe de análise de dados está interessada em saber quantos registros únicos existem em um DataFrame após a remoção de linhas duplicadas. Qual combinação de funções do PySpark é a mais eficiente para obter essa contagem?

• df.count()

• df.show()

• df.distinct().count()

• df.printSchema()

Ao trabalhar com um DataFrame de dados de saúde, você percebe que a coluna 'idade' está como tipo de dado 'string' e a coluna 'IMC' como 'double', mas você precisa que 'idade' seja um número inteiro e 'IMC' tenha duas casas decimais. Qual função do PySpark é a mais adequada para realizar essas conversões de tipo de dados?

• df.select()

• df.filter()

• F.round()

• F.col('coluna').cast(TipoDeDados())

o PySpark, a função F.cast() é utilizada para converter o tipo de dados de uma coluna de um DataFrame, e entre as opções de conversão estão IntegerType() para inteiro e StringType() para string

• Verdadeiro

• Falso