KNN算法及约会网站的配对效果（机器学习实战第一章）

朱雀 2022-05-24 08:10 98阅读 0赞

''''k-近邻算法  
1计算训练集中数据与当前点之间的距离  
2按距离依次递增排序  
3选取与当前距离最近的k个点  
4确定这k个点所在类别的出现频率  
5返回前k个点出现频率最高的类别作为当前点有预测分类'''  
from numpy import \*  
import operator  
  
  
def classify(inX, data\_set, labels, k):  
    data\_set\_size=len(data\_set)  
    diff\_mat=tile(inX, (data\_set\_size, 1))-data\_set  
    sq\_diff\_mat=diff\_mat\*\*2  
    sq\_distances=sq\_diff\_mat.sum(axis=1)  
    distances=sq\_distances\*\*0.5  
\#distance \[ 1.48660687  1.41421356  0.  0.1  \]  
    sorted\_dist\_indicies=distances.argsort()    
\#argsort函数对distance中的元素由小到大排列  注意返回的是索引  
\# sorted\_dist\_indicies \[2 3 1 0\]  
    \#print("sorted\_dist\_indicies",sorted\_dist\_indicies)  
    \#print('\\n')  
      
    class\_count=\{\}  
    for i in range(k):  
        votel\_label=labels\[sorted\_dist\_indicies\[i\]\]  
        class\_count\[votel\_label\]=class\_count.get(votel\_label, 0)+1  
        sorted\_class\_count=sorted(class\_count.items(),key=operator.itemgetter(1), reverse=True)  
    return sorted\_class\_count\[0\]\[0\]  
  
  
  
  
group=array(\[\[1.0, 1.1\], \[1.0, 1.0\], \[0,0\], \[0, 0.1\]\])  
labers=\['A', 'A', 'B', 'B'\]  
k=3  
inx=\[0, 0\]

print(classify(inx, group, labers,k))

输出

（即inx属于B这个类别）

'''约会网站的配对'''

from numpy import \*  
import operator  
  
  
def file2\_matrix(file\_name):   \#数据处理函数  
    fr=open(file\_name)  
    array\_of\_line=fr.readlines() \#打开文本文件  逐行读取到array\_of\_line的list中并关闭文件（及时关闭文件，作为一种习惯）  
    fr.close  
    number\_of\_line=len(array\_of\_line)  
    return\_mat=zeros((number\_of\_line,3))  \#构造一个结果输出矩阵  初始化元素全为0  
    class\_laber\_vector=\[\]  
    index=0  
    for line in array\_of\_line: \#通过一个循环   将文件中的数据逐行输入到对应的list中  
        line=line.strip()       \#前3列输入到dating\_data\_mat中   最后一列是标签s输入到dating\_laber中  
        list\_from\_line=line.split('\\t')  
        return\_mat\[index:\]=list\_from\_line\[0:3\]  
        class\_laber\_vector.append(int(list\_from\_line\[-1\]))  
        index +=1  
    return return\_mat, class\_laber\_vector  
  
  
dating\_data\_mat, dating\_laber=file2\_matrix(r"C:\\Users\\Administrator\\Desktop\\机器学习\\机器学习实战（数据）\\Ch02\\datingTestSet2.txt")  
  
  
import matplotlib    \#绘制散点图部分  
import matplotlib.pyplot as plt  
  
fig=plt.figure()  
ax=fig.add\_subplot(111)   \#add\_subplot函数是画布分割函数  
ax.scatter(dating\_data\_mat\[:,1\], dating\_data\_mat\[:,2\], \#这里选择的是dating\_mat的第2和第3列绘图  
           15.0\*array(dating\_laber), 15.0\*array(dating\_laber))  
plt.show()  
  
  
def auto\_norm(data\_set):      \#归一化特征值的处理 目的是使得几类特征在数据的分析中具备相同的权重  
    min\_vals=data\_set.min(0)  \#不会因为某类数据值的普遍过大或者过小而影响最终的结果  
    max\_vals=data\_set.max(0)  
    ranges=max\_vals-min\_vals  
    norm\_data\_set=zeros(shape(data\_set))  \#python3中定义norm\_data\_set这一行是不需要的，这里考虑的是先定义再使用  
    m=len(data\_set)  
  
  
    norm\_data\_set=data\_set-tile(min\_vals, (m,1)) \#运用一个tile函数一次处理完所有值   
    norm\_data\_set=norm\_data\_set/tile(ranges, (m,1))  
  
  
    return norm\_data\_set, ranges, min\_vals  
      
norm\_mat, ranges, min\_vals=auto\_norm(dating\_data\_mat)  
\#print(norm\_mat)  
\#print(ranges)  
\#print(min\_vals)  
  
  
  
  
  
  
import sys  
sys.path.append(r"C:\\Users\\Administrator\\Desktop\\机器学习")  
import kNN  
  
  
  
  
def dating\_class\_test():  \#测试算法部分     
    ho\_ratio=0.10         \#训练样本包含数据的90%，其余10%用来测试分类器  
    dating\_data\_mat, dating\_labers=file2\_matrix(r"C:\\Users\\Administrator\\Desktop\\机器学习\\机器学习实战（数据）\\Ch02\\datingTestSet2.txt")  
    norm\_mat, ranges, min\_vals=auto\_norm(dating\_data\_mat)  
    m=len(norm\_mat)  
    num\_test\_vecs=int(m\*ho\_ratio)   \#获得用于测试的数据个数  
    error\_count=0.0  
    for i in range(num\_test\_vecs):  \#通常10%的测试数据是随机选择的，这里用for循环实现  
        class\_ifier\_result=kNN.classify(norm\_mat\[i,:\], norm\_mat\[num\_test\_vecs:m,:\],\\  
                                     dating\_labers\[num\_test\_vecs:m\], 3)  
        '''classify的参数有inx(测试样本)，data\_set(数据集)，labers(标签列表)，k值'''  
        print("the classifier came back with: %d, the real anwer is: %d"\\  
              % (class\_ifier\_result, dating\_labers\[i\]))  
        if class\_ifier\_result != dating\_labers\[i\]:  
            error\_count+=1  
    print("the total error ratio is ", (error\_count/float(num\_test\_vecs)))    \#输出错误率  
print(dating\_class\_test())  
  
  
def class\_ify\_person():   \#构造完整的预测系统  
    result\_list=\['not at all', 'in small doses', 'in large doses'\]   \#标签  
    percent\_tats=float(input("pecentage of time spend playing video games?"))\#输入数据用来判定所属类别  
    ff\_miles=float(input("frequent filer miles earned per year?"))  
    ice\_cream=float(input("lites of icecream consume per year?"))  
    dating\_data\_mat, dating\_labers=file2\_matrix(r"C:\\Users\\Administrator\\Desktop\\机器学习\\机器学习实战（数据）\\Ch02\\datingTestSet2.txt")  
    norm\_mat, ranges, min\_vals=auto\_norm(dating\_data\_mat)  
    inArr=array(\[ff\_miles, percent\_tats, ice\_cream\])      \#待检测样本  
    class\_ifier\_result=kNN.classify((inArr-min\_vals)/ranges, norm\_mat,\\  
                                    dating\_labers, 3)    \#作了特征值归一化的处理  
    print("you will like this person", result\_list\[class\_ifier\_result-1\])  
  
  
class\_ify\_person()

结果输出：

\[\[ 4.09200000e+04  8.32697600e+00   9.53952000e-01\]

\[ 1.44880000e+04  7.15346900e+00   1.67390400e+00\]

\[ 2.60520000e+04  1.44187100e+00   8.05124000e-01\]

...,

\[ 2.65750000e+04  1.06501020e+01   8.66627000e-01\]

\[ 4.81110000e+04  9.13452800e+00   7.28045000e-01\]

\[ 4.37570000e+04  7.88260100e+00   1.33244600e+00\]\]

\[3, 2, 1, 1, 1, 1, 3, 3, 1, 3, 1, 1, 2, 1,1, 1, 1, 1, 2, 3\]

\[\[ 0.44832535  0.39805139 0.56233353\]

\[0.15873259  0.34195467  0.98724416\]

\[0.28542943  0.06892523  0.47449629\]