Python数据分析，数据清洗、异常处理案例分享

原创红太狼 2025-01-12 14:30 39阅读 0赞

在Python数据分析中，数据清洗和异常处理是非常重要且常见的环节。下面我将为你分享一些具体的案例。

1. 数据清洗：
   - 示例一：缺失值处理
     ```python
     import pandas as pd

# 假设df是你的数据框，有缺失值
     df = pd.DataFrame({
         'Name': ['Alice', 'Bob', None],
         'Age': [25, 30, np.nan]
       })
     
     # 使用dropna()或fillna()进行处理
     df_filled = df.dropna(subset=['Age']))
     df_filled = df_filled.fillna(0)
     
     ```
   - 示例二：重复值处理
     ```python
     df = pd.DataFrame({
         'ID': [1, 2, 3, 4],
         'Value': [5, 7, 8, 9]
       })
     
     # 使用drop_duplicates()进行处理
     df_unique = df.drop_duplicates(subset='ID')
     
     ```

2. 异常处理：
   - 示例三：数值异常检测与处理
     ```python
     import pandas as pd

# 假设df是你的数据框，包含数值列
     df = pd.DataFrame({
         'Column1': [50, 60, 70, 80],
         'Column2': [300, 400, 500, 600]}
     )
     
     # 使用z-score方法检测异常值
     z_scores = pd.DataFrame(df.abs().sum(1) / df.shape[1], columns=['Z_Score']))
     
     # 设置阈值，如大于3的值为异常
     threshold = 3
     outlier_indices = z_scores[(z_scores['Z_Score'] > threshold)).index.tolist()
     
     # 对检测出的异常值进行处理，这里简单地替换为0
     df_outliers = df.iloc[outlier_indices]
     df_outliers.loc[:, 'Column1']] = 0
     df_outliers.loc[:, 'Column2']] = 0
     
     ```

这些案例展示了数据清洗和异常处理在数据分析中的基础应用。实际工作中，根据具体的数据特点进行相应的处理是非常关键的。