Python利用线性回归、随机森林等对红酒数据进行分析与可视化实战（附源码和数据集超详细）

灰太狼 2023-09-30 18:53 27阅读 0赞

> **需要源码和数据集请点赞关注收藏后评论区留言私信~~~**

下面对天池项目中的红酒数据集进行分析与挖掘

## 实现步骤 ##

1：导入模块

2：颜色和打印精度设置

3：获取数据并显示数据维度

![8d7d74f1a3d6417993e0750e475d5d77.png][]

字段中英文对照表如下

![0a58791e33ec4850af591e3a9f6e1891.png][]

然后利用describe函数显示数值属性的统计描述值

![b90ad07ced7440e9909fd0522c7ba977.png][]

显示quality取值的相关信息

![122c0e0e1148496a801cc149ffea4beb.png][]

显示各个变量的直方图如下

![924c193484c94a03b8bcacdad925b193.png][]

显示各个变量的盒图

![0ebe5ff7abad4f6f8302881d7995fc39.png][]

酸性相关的特征分析 该数据集与酸度相关的特征有’fixed acidity’, ‘volatile acidity’, ‘citric acid’,‘chlorides’, ‘free sulfur dioxide’, ‘total sulfur dioxide’,‘PH’。其中前6中酸度特征都会对PH产生影响。PH在对数尺度，然后对6中酸度取对数做直方图

![e97560cedf1f42d799224bb939b745f8.png][]

pH值主要是与fixed acidity有关，fixed acidity比volatile acidity和citric acid高1到2个数量级(Figure 4)，比free sulfur dioxide, total sulfur dioxide, sulphates高3个数量级。   一个新特征total acid来自于前三个特征的和

甜度（sweetness） residual sugar主要与酒的甜度有关，干红（<= 4g/L），半干（4-12g/L），半甜（12-45g/L），甜（>= 45g/L），该数据集中没有甜葡萄酒

绘制甜度的直方图如下

![823b6f6c040b4c05af50129b57fcb5ad.png][]

绘制不同品质红酒的各个属性的盒图

![140d2c0e5dc743e499c4b413d5883cea.png][]

![349cadca36004decac79f5ad0869cf2e.png][]

从上图可以看出：

红酒品质与柠檬酸，硫酸盐，酒精度成正相关 红酒品质与易挥发性酸，密度，PH成负相关 残留糖分，氯离子，二氧化硫对红酒品质没有什么影响

下面分析密度和酒精浓度的关系

密度和酒精浓度是相关的，物理上，但两者并不是线性关系。另外密度还与酒精中的其中物质含量有关，但是相关性很小

![5cbfac4ee2d9484aaf5903fb302e88b6.png][]

酸性物质含量和PH 因为PH和非挥发性酸之间存在着-0.68的相关性，因为非挥发性酸的总量特别高，所以total acid这个指标意义不大

![54c253e98cac4935bf41e5cef1a2d50e.png][]

多变量分析 与红酒品质相关性最高的三个特征分别是酒精浓度，挥发性酸含量，柠檬酸。下面研究三个特征对红酒的品质有何影响

![e760661bacfc414da75b90b0c43b866f.png][]

![573c512c48aa4da48e83bb42e7946006.png][]

PH和非挥发性酸，柠檬酸成负相关

![986528ad72084648bcc2d99ce40f559e.png][]

总结 对于红酒品质影响最重要的三个特征：酒精度、挥发性酸含量和柠檬酸。对于品质高于7的优质红酒和品质低于4的劣质红酒，直观上线性可分，对于品质为5和6的红酒很难进行线性区分

## 随机森林、线性回归等算法部分 ##

对数据类型编码，将数据集划分为训练集和测试集等等

对比原始数据与做了标准化处理的数据，其结果相差不大，所以该数据集不需要做标准化处理

下面我们展示各种算法的预测精度结果

可以发现误差都比较大，其中随机森林误差较高

![6150b75454da48e0be75d0f92b9ff83e.png][]

![d8dd730b51914bbaa815bdb93f7339a6.png][]

![224cb2d14ac9404a9856511454efe058.png][]

## 代码 ##

部分代码如下 需要全部代码请点赞关注收藏后评论区留言私信~~~

#!/usr/bin/env python
    # coding: utf-8
    
    # ## 数据分析部分
    
    # In[1]:
    
    
    import numpy as np
    import pandas as pd
    import matplotlib.pyplot as plt
    import seaborn as sns
    # from sklearn.datasets import load_wine
    
    
    # In[2]:
    
    
    # 颜色
    color = sns.color_palette()
    # 数据print精度
    pd.set_option('precision',3) 
    
    
    # In[3]:
    
    
    df = pd.read_csv('.\winequality-red.csv',sep = ';')
    display(df.head())
    print('数据的维度：',df.shape)
    
    
    # ![image.png](attachment:image.png)
    
    # In[4]:
    
    
    df.info()
    
    
    # In[5]:
    
    
    df.describe()
    
    
    # In[6]:
    
    
    print('quality的取值：',df['quality'].unique())
    print('quality的取值个数：',df['quality'].nunique())
    print(df.groupby('quality').mean())
    
    
    # 显示各个变量的直方图
    
    # In[ ]:
    
    
    
    
    
    # In[7]:
    
    
    color = sns.color_palette()
    column= df.columns.tolist()
    fig = plt.figure(figsize = (10,8))
    for i in range(12):
        plt.subplot(4,3,i+1)
        df[column[i]].hist(bins = 100,color = color[3])
        plt.xlabel(column[i],fontsize = 12)
        plt.ylabel('Frequency',fontsize = 12)
    plt.tight_layout()
    
    
    # 显示各个变量的盒图
    
    # In[8]:
    
    
    fig = plt.figure(figsize = (10,8))
    for i in range(12):
        plt.subplot(4,3,i+1)
        sns.boxplot(df[column[i]],orient = 'v',width = 0.5,color = color[4])
        plt.ylabel(column[i],fontsize = 12)
    plt.tight_layout()
    
    
    # 酸性相关的特征分析
    # 该数据集与酸度相关的特征有’fixed acidity’, ‘volatile acidity’, ‘citric acid’,‘chlorides’, ‘free sulfur dioxide’, ‘total sulfur dioxide’,‘PH’。其中前6中酸度特征都会对PH产生影响。PH在对数尺度，然后对6中酸度取对数做直方图。
    
    # In[9]:
    
    
    acidityfeat = ['fixed acidity', 
    				'volatile acidity', 
    				'citric acid', 
    				'chlorides', 
    				'free sulfur dioxide', 
    				'total sulfur dioxide',]
    
    fig = plt.figure(figsize = (10,6))
    for i in range(6):
        plt.subplot(2,3,i+1)
        v = np.log10(np.clip(df[acidityfeat[i]].values,a_min = 0.001,a_max = None))
        plt.hist(v,bins = 50,color = color[0])
        plt.xlabel('log('+ acidityfeat[i] +')',fontsize = 12)
        plt.ylabel('Frequency')    
    plt.tight_layout()
    
    
    # In[10]:
    
    
    plt.figure(figsize=(6,3))
    
    bins = 10**(np.linspace(-2,2)) # linspace 默认50等分
    plt.hist(df['fixed acidity'], bins=bins, edgecolor = 'k', label='Fixed Acidity') #bins: 直方图的柱数，可选项，默认为10
    plt.hist(df['volatile acidity'], bins=bins, edgecolor = 'k', label='Volatitle Acidity')#label:字符串或任何可以用'%s'转换打印的内容。
    plt.hist(df['citric acid'], bins=bins, edgecolor = 'k', label='Citric Acid')
    plt.xscale('log')
    plt.xlabel('Acid Concentration(g/dm^3)')
    plt.ylabel('Frequency')
    plt.title('Histogram of Acid Contacts')#title ：图形标题
    plt.legend()#plt.legend（）函数主要的作用就是给图加上图例
    plt.tight_layout()
    
    print('Figure 4')
    """
    pH值主要是与fixed acidity有关，
    fixed acidity比volatile acidity和citric acid高1到2个数量级(Figure 4)，比free sulfur dioxide, total sulfur dioxide, sulphates高3个数量级。
       一个新特征total acid来自于前三个特征的和。
    """
    
    
    # 甜度（sweetness）
    # residual sugar主要与酒的甜度有关，干红（<= 4g/L），半干（4-12g/L），半甜（12-45g/L），甜（>= 45g/L），该数据集中没有甜葡萄酒。
    
    # In[11]:
    
    
    df['sweetness'] = pd.cut(df['residual sugar'],bins = [0,4,12,45],labels = ['dry','semi-dry','semi-sweet'])
    df.head()
    
    
    # In[12]:
    
    
    plt.figure(figsize = (6,4))
    df['sweetness'].value_counts().plot(kind = 'bar',color = color[0])
    plt.xticks(rotation = 0)
    plt.xlabel('sweetness')
    plt.ylabel('frequency')
    plt.tight_layout()
    print('Figure 5')
    
    
    # In[13]:
    
    
    # 创建一个新特征total acid
    df['total acid'] = df['fixed acidity'] + df['volatile acidity'] + df['citric acid']
    
    columns = df.columns.tolist()
    columns.remove('sweetness')
    # columns
    
    # ['fixed acidity',
    #  'volatile acidity',
    #  'citric acid',
    #  'residual sugar',
    #  'chlorides',
    #  'free sulfur dioxide',
    #  'total sulfur dioxide',
    #  'density',
    #  'pH',
    #  'sulphates',
    #  'alcohol',
    #  'quality',
    #  'total acid']
    sns.set_style('ticks')
    sns.set_context('notebook',font_scale = 1.1)
    
    column = columns[0:11] + ['total acid']
    plt.figure(figsize = (10,8))
    for i in range(12):
        plt.subplot(4,3,i+1)
        sns.boxplot(x = 'quality',y = column[i], data = df,color = color[1],width = 0.6)
        plt.ylabel(column[i],fontsize = 12)
    plt.tight_layout()
    
    print('Figure 7:PhysicoChemico Propertise and Wine Quality by Boxplot')
    
    
    # 从上图可以看出：
    # 
    # 红酒品质与柠檬酸，硫酸盐，酒精度成正相关
    # 红酒品质与易挥发性酸，密度，PH成负相关
    # 残留糖分，氯离子，二氧化硫对红酒品质没有什么影响
    
    # In[14]:
    
    
    sns.set_style('dark')
    plt.figure(figsize = (10,8))
    mcorr = df[column].corr()
    mask = np.zeros_like(mcorr,dtype = np.bool)
    mask[np.triu_indices_from(mask)] = True
    cmap = sns.diverging_palette(220, 10, as_cmap=True)
    g = sns.heatmap(mcorr, mask=mask, cmap=cmap, square=True, annot=True, fmt='0.2f')
    
    # print('Figure 8:Pairwise colleration plot')
    
    
    # In[ ]:
    
    
    
    
    
    # In[15]:
    
    
    # 密度和酒精浓度
    # 密度和酒精浓度是相关的，物理上，但两者并不是线性关系。另外密度还与酒精中的其中物质含量有关，但是相关性很小。
    
    sns.set_style('ticks')
    sns.set_context('notebook',font_scale = 1.4)
    
    plt.figure(figsize = (6,4))
    sns.regplot(x = 'density',y = 'alcohol',data = df,scatter_kws = {'s':10},color = color[1])
    plt.xlabel('density',fontsize = 12)
    plt.ylabel('alcohol',fontsize = 12)
    
    plt.xlim(0.989,1.005)
    plt.ylim(7,16)
    
    # print('Figure 9: Density vs Alcohol')
    
    
    # 酸性物质含量和PH
    # 因为PH和非挥发性酸之间存在着-0.68的相关性，因为非挥发性酸的总量特别高，所以total acid这个指标意义不大。
    
    # In[16]:
    
    
    column
    
    
    # In[17]:
    
    
    acidity_raleted = ['fixed acidity','volatile acidity','total sulfur dioxide','chlorides','total acid']
    
    plt.figure(figsize = (10,6))
    
    for i in range(5):
        plt.subplot(2,3,i+1)
        sns.regpltx = 'pH',y = acidity_raleted[i],data = df,scatter_kws = {'s':10},color = color[1])
        plt.xlabel('PH',fontsize = 12)
        plt.ylabel(acidity_raleted[i],fontsize = 12)
        
    plt.tight_layout()
    print('Figure 10:The correlation between different acid and PH')
    
    
    # 多变量分析
    # 与红酒品质相性最高的三个特征分别是酒精浓度，挥发性酸含量，柠檬酸。下面研究三个特征对红酒的品质有何影响。
    
    # In[18]:
    
    
    plt.style.use('ggplot')
    
    plt.figure(figsize = (6,4))
    sns.lmplot(x = 'alcohol',y = 'volatile acidity',hue = 'quality',data = df,fit_reg = False,scatter_kws = {'s':10},size = 5)
    # In[19]:
    
    
    sns.lmplot(x = 'alcohol', y = 'volatile acidity', col='quality', hue = 'quality', 
               data = df,fit_reg = False, size = 3,  aspect = 0.9, col_wrap=3,
               ={'s':20})
    print("Figure 11-2: Scatter Plots of Alcohol, Volatile Acid and Quality")
    
    # PH和非挥发性酸，柠檬酸
    # PH和非挥发性酸，柠檬酸成负相关
    # In[20]:
    
    
    sns.set_style('ticks')
    sns.set_context("notebook", font_scale= 1.4)
    
    plt.figure(figsize=(6,5))
    cm = plt.cm.get_cmap('RdBu')
    sc = plt.scatter(df['fixed acidity'], df['citric acid'], c=df['pH'], vmin=2.6, vmax=4, s=15, cmap=cm)
    bar = plt.colorbar(sc)
    bar.n = 0)
    plt.xlabel('fixed acidity')
    plt.ylabel('ciric acid')
    plt.xlim(4,18)
    plt.ylim(0,1)
    print('Figure 12: pH with Fixed Acidity and Citric Acid')
    
    
    # 总结
    # 对于红酒品质影响最重要的三个特征：酒精度、挥发性酸含量和柠檬酸。对于品质高于7的优质红酒和品质低于4的劣质红酒，直观上线性可分，对于品质为5和6的红酒很难进行线性区分。
    
    # ## 数据掘时间部分
    
    # In[21]:
    
    
    # 数据建模
    # 线性回归
    # 集成算法
    # 提升算
    # 模型评估
    # 确定模型参数
    # 1.数据集切分
    # 1.1 切分特征和标签
    # 1.2 切分训练集个测试集
    
    df.head()
    
    
    # In[22]:
    
    
    # 数据预处理工作
    
    # 检查数据的完整性
    df.isnull().sum()
    
    
    # In[23]:
    
    
    # 将object类型的数据转化为int类型
    sweetness = pd.get_dummies(df['sweetness'])
    df = pd.concat([df,sweetness],axis = 1)
    df.head()
    
    
    # In[24]:
    
    
    df = df.drop('sweetness',axis = 1)
    labels = df['quality']
    features = df.drop('quality',axis = 1)
    # 对原始数据集进行切分
    from sklearn.model_selection import train_test_split
    train_features,test_fatures,train_labels,test_labels = train_test_split(features,labels,test_size = 0.3,random_state = 0
    print('训练特征的规模:'.shape)
    print('训练标签的规模:',train_labels.shape)
    print('测试特征的规模:',test_features.shape)
    print('测试标签的规模:',test_labels.shape)
    
    
    # In[25]:
    
    
    from sklearn import svm
    classifier=svm.SVC(kernel='linear',gamma=0.1)
    classifier.fit(train_features,train_labels)
    print('训练集的准确率',classifier.score(train_features,train_labels))
    print('测试集的准确率',classifier.score(test_features,test_labels))
    
    
    # In[26]:
    
    
    from sklearn.linear_model import LinearRegression
    LR = LinearRegression)LR.fit(train_features,train_labels
    prediction = LR.predict(test_features)
    prediction[:5]
    
    
    # In[27]:
    
    
    #对模型进行评估
    from sklearn.metrics import mean_squared_error
    RMSE = np.sqrt(mean_squared_error(test_labels,prediction))
    print('线性回归模型的预测误差:',RMSE)
    
    
    # In[28]:
    
    
    # 对训练特征和测试特征做标准化处理，观察结果
    
    from sklearn.preprocessing import StandardScaler
    train_features_std = StandardScaler().fit_transform(train_features)
    test_features_std = StandardScaler().fit_transform(test_features)
    LR = LinearRegression()
    LR.fit(train_features_std,train_labels)
    prediction = LR.predict(test_features_std)
    
    #观察预测结果误差
    RMSE = np.sqrt(mean_squared_error(prediction,test_labels))
    print('线性回归模型预测误差:',RMSE)
    
    
    # 对比原始数据与做了标准化处理的数据，其结果相差不大，所以该数据集不需要做标准化处理。
    # 
    # 集成算法：随机森林
    
    # In[29]:
    
    
    from sklearn.ensemble import RandomForestRegressor
    RF = RandomForestRegressor()
    RF.fit(train_features,train_labels)
    prediction = RF.pre
    
    # In[30]:
    
    
    RF.get_params
    
    
    # In[31]:
    
    
    from sklearn.model_selection import GridSearchCV
    param_grid = {'n_estimators':[100,200,300,400,500],
                 'max_depth':[3,4,5,6],
                 'min_samples_split':[2,3,4]}
    
    RF = RandomForestRegressor()
    grid = GridSearchCV(RF,param_grid = param_grid,scoring = 'neg_mean_squared_error',cv = 3,n_jobs = -1)
    grid.fit(train_features,train_labels)
    
    
    # In[32]:
    
    
    # GridSearchCV(cv=3, error_score='raise-deprecating',
    #        estimator=RandomForestRegressor(bootstrap=True, criterion='mse', max_depth=None,
    #            max_features='auto', max_leaf_nodes=None,
    #            min_impurity_decrease=0.0, min_impurity_split=None,
    #            min_samples_leaf=1, min_samples_split=2,
    #            min_weight_fraction_leaf=0.0, n_estimators='warn', n_jobs=None,
    #            oob_sc
    
    # In[33]:
    
    
    grid.best_params_
    
    
    # In[34]:
    
    
    RF = RandomForestRegressor(n_estimators = 300,min_samples_split = 2,max_depth = 6)
    
    RF.fit(train_features,train_labels)
    
    
    # In[35]:
    
    
    RandomForestRe
    
    # In[36]:
    
    
    prediction = RF.predict(test_features)
    
    RF_RMSE = np.sqrt(mean_squared_error(prediction,test_labels))
    print('随机森林模型的预测误差:',RF_RMSE)
    
    
    # 集成算法：GBDT
    
    # In[37]:
    
    
    from sklearn.ensemble import GradientBoostingRegressor
    
    GBDT = GradientBoostingRegressor()
    GBDT.fit(train_features,train_labels)
    gbdt_prediction =
    GBDT.get_params
    
    
    # In[ ]:

**创作不易 觉得有帮助请点赞关注收藏~~~**

[8d7d74f1a3d6417993e0750e475d5d77.png]: https://img-blog.csdnimg.cn/8d7d74f1a3d6417993e0750e475d5d77.png
[0a58791e33ec4850af591e3a9f6e1891.png]: https://img-blog.csdnimg.cn/0a58791e33ec4850af591e3a9f6e1891.png
[b90ad07ced7440e9909fd0522c7ba977.png]: https://img-blog.csdnimg.cn/b90ad07ced7440e9909fd0522c7ba977.png
[122c0e0e1148496a801cc149ffea4beb.png]: https://img-blog.csdnimg.cn/122c0e0e1148496a801cc149ffea4beb.png
[924c193484c94a03b8bcacdad925b193.png]: https://img-blog.csdnimg.cn/924c193484c94a03b8bcacdad925b193.png
[0ebe5ff7abad4f6f8302881d7995fc39.png]: https://img-blog.csdnimg.cn/0ebe5ff7abad4f6f8302881d7995fc39.png
[e97560cedf1f42d799224bb939b745f8.png]: https://img-blog.csdnimg.cn/e97560cedf1f42d799224bb939b745f8.png
[823b6f6c040b4c05af50129b57fcb5ad.png]: https://img-blog.csdnimg.cn/823b6f6c040b4c05af50129b57fcb5ad.png
[140d2c0e5dc743e499c4b413d5883cea.png]: https://img-blog.csdnimg.cn/140d2c0e5dc743e499c4b413d5883cea.png
[349cadca36004decac79f5ad0869cf2e.png]: https://img-blog.csdnimg.cn/349cadca36004decac79f5ad0869cf2e.png
[5cbfac4ee2d9484aaf5903fb302e88b6.png]: https://img-blog.csdnimg.cn/5cbfac4ee2d9484aaf5903fb302e88b6.png
[54c253e98cac4935bf41e5cef1a2d50e.png]: https://img-blog.csdnimg.cn/54c253e98cac4935bf41e5cef1a2d50e.png
[e760661bacfc414da75b90b0c43b866f.png]: https://img-blog.csdnimg.cn/e760661bacfc414da75b90b0c43b866f.png
[573c512c48aa4da48e83bb42e7946006.png]: https://img-blog.csdnimg.cn/573c512c48aa4da48e83bb42e7946006.png
[986528ad72084648bcc2d99ce40f559e.png]: https://img-blog.csdnimg.cn/986528ad72084648bcc2d99ce40f559e.png
[6150b75454da48e0be75d0f92b9ff83e.png]: https://img-blog.csdnimg.cn/6150b75454da48e0be75d0f92b9ff83e.png
[d8dd730b51914bbaa815bdb93f7339a6.png]: https://img-blog.csdnimg.cn/d8dd730b51914bbaa815bdb93f7339a6.png
[224cb2d14ac9404a9856511454efe058.png]: https://img-blog.csdnimg.cn/224cb2d14ac9404a9856511454efe058.png