使用Python进行数据清洗：缺失值处理方法及案例

原创野性酷女 2025-01-28 15:33 24阅读 0赞

在Python中，数据清洗主要包括缺失值的检测、处理和记录。以下是一些常用的处理缺失值的方法：

1. 删除（Drop）：
   如果数据量较大，删除含有缺失值的行可能会被接受。例如：

```python
   import pandas as pd

# 创建包含缺失值的数据框
   df = pd.DataFrame({'A': [1, 2, np.nan], 'B': [5, np.nan, 8]}})
   
   # 删除含有缺失值的行
   df_clean = df.dropna()  # 或者使用 subset 方法
   
   print(df_clean)
   ```

2. 插值（Interpolation）：
   在数据集中，我们可能会发现某些特定位置的值缺失。此时可以使用插值方法，如线性插值、多项式插值等。

3. 均值/中位数填充（Fill with Mean/Median）：
   对于数值列，我们可以用该列的平均值或中位数来填充缺失值。

4. 众数填充（Fill with Mode）：
   如果数据集中存在众数（即出现次数最多的值），可以使用众数来填充缺失值。

5. 回归预测（Regression Prediction）：
   在某些场景下，如果数据集中的特征与目标变量有较强的线性关系，可以尝试用回归模型预测缺失值。例如，可以使用 scikit-learn 库中的线性回归模型：

```python
from sklearn.linear_model import LinearRegression

# 假设 df 已经处理过了，现在只差预测列的缺失值
X = df.drop('target_column', axis=1)  # 假设 'target_column' 是你要预测的列名
y = df['target_column']  # 保留目标列数据

# 创建并训练线性回归模型
regressor = LinearRegression()
regressor.fit(X, y)

# 使用模型对缺失值进行预测
df_filled = pd.DataFrame({'predicted_column': df['predicted_column']}  # 假设 'predicted_column' 是你要填充的列名
                                          'target_column': y
                                          }), columns=['predicted_column', 'target_column'] )

df_final = pd.concat([df, df_filled], axis=0)

print(df_final)
```

这只是一个基本的例子，实际数据清洗可能会更复杂。