随堂测验-数据预处理

pd.isnull()

pd.fillna()

pd.dropna()

pd.replace()

df['age'].dropna()

df['age'].replace(df['age'].mean())

df['age'].fillna(df['age'].mean())

df.fillna('age', df['age'].mean())

所有为0的值

所有重复值

所有含有缺失值的行

df.set_index()

df.reset_index()

df.rename_index()

df.sort_index()

异常值是指样本中明显偏离其余观测值的个别值

可以使用3σ原则检测异常

可以使用Pandas中的箱线图检测异常值

异常值可以使用其它的值来替换

fillna()

dropna()

isnull()

忽略缺失数据sort_values()

删除重复值

重命名列名

数据类型转换

画图

df.duplicated()

df.drop_duplicates()

df.isnull()

df.value_counts()

数据清洗包含了数据标准化、数据合并和缺失值处理

数据合并按照合并轴的方向主要分为左连接、右连接、内连接和外连接

数据分析的预处理过程包括数据清洗、数据合并、数据标准化和数据转换，它们之间存在交叉，没有严格的先后关系

数据标准化的主要对象是类别型特征

不完整数据

重复数据

完整数据

错误数据