面经-vivo机器学习算法工程师

不念不忘少年蓝@ 2021-12-10 12:23 393阅读 0赞

1.手撕代码：有序链表删除重复的，保留不重复的。

def deleteDuplicates(self, head):
            """
            :type head: ListNode
            :rtype: ListNode
            """
            if not head or not head.next:
                return head
            p = head
            newHead = ListNode(0)
            p0 = newHead
            tmp = []
            while p:
                if p.val not in tmp:
                    tmp.append(p.val)
                    p = p.next
                else:
                    while p and p.val in tmp:
                        p = p.next
                    tmp.pop()
            for i in tmp:
                p0.next = ListNode(i)
                p0 = p0.next
            return newHead.next

2.自我介绍

3. 介绍一下研究方向

4.  聚类与异常点检测的区别

>        异常点检测是捕捉显著偏离多数模式的异常情况，可用于入侵检测、信用卡欺诈、故障预测等，而聚类是发现数据集中的各种模式。异常点检测和聚类服务与不同的目的。聚类算法可以用于异常检测。

5. 半监督学习

> 概念： 半监督学习是从有标签的训练集和无标签的训练集中学习模型。

> 半监督学习的方法：
> 
> 1. self-training 自学习模型：分类器对样本进行预测时，置信度大的样本被正确分类的可能性大。对于有标签的训练集A与无标签的训练集B，使用自学习模型的步骤是：①对于数据集A学习一个分类模型；②用该模型对训练集B进行预测；③选择置信度得分较高的k个样本，连同他们的label加入训练集A中，并从B中将其删除；④返回步骤①，直至B中所有样本都归入A中。（步骤③可以采取其他不同方法，比如可以把B中的所有样本加入A中，根据置信度的不同为每个样本赋予不同的权重）。优点是实现简单，缺点是如果有一个被分类错误的样本加入A中，则会导致模型学习出错，甚至会导致其他样本犯错。
> 
> 2. cluster then label：无监督方法都可用于半监督学习，先聚类再分类，步骤是：①对A和B所有样本进行聚类；②对于聚类中的每个簇，执行步骤③④，其中S为g该簇中已经标记的样本，③如果S非空，在S上学习一个分类器，并对簇中未标记的样本进行分类；④如果S为空，那么根据所有已标记的数据来预测簇中未标记的样本。
> 
> 3. co-training 协同学习：假设数据有两种表述形式，比如图像特征（X-1,Y-1）和文本特征（X-2.Y-2）,步骤如下：① 对于标记的样本（X-1,Y-1）和（X-2,Y-2）训练得到两种模型F-1,F-2； ②使用F-1对未标记的样本进行预测，将置信度高的K个样本加入(X-2,Y-2)中；③使用F-2对未标记的样本进行预测，将置信度高的K个样本加入（X-1,Y-1）中；④重复步骤①

6. 机器学习的应用领域?

>  1. 推荐系统：主要解决信息过载的问题，应用在电商领域、社交网络、视频和音乐平台等，为用户推荐用户可能感兴趣的信息。
> 
> 2. 计算机视觉：比如人脸识别、目标检测等
> 
> 3. 自然语言处理：比如机器翻译、情感分析等
> 
> 4.语音识别：与机器进行语音交流，让机器明白你在说什么

7.机器学习的分类

> 机器学习算法可以分为监督学习，非监督学习，半监督学习和强化学习。
> 
> 监督学习中，数据是有标签的，分类和回归是监督学习的两大主要的任务，比如可以通过监督学习来预测图片中动物的类别或者房子的售价。
> 
> 非监督学习，一般是指聚类， 数据是无标签的，比如可以用来做异常点检测，异常点会偏离正常数据点，独立成为一簇。
> 
> 半监督学习，一般数据中既有有标签的也有无标签的。
> 
> 强化学习，是根据当下的环境不断去学习，不断发现数据集，不断训练自己，比如alpha-go及无人驾驶等，都是强化学习的应用。

8.为什么选择AdaBoost算法

> 选择使用集成算法是因为当数据集同时可用集成算法和非集成算法进行分类时，集成算法一般能获得较高的准确率。AA3和GA3分子的特征是数值型的，不存在非数值型的特征，在数据量方面，AA3与GA3分子的数据量不是特别多，特征是11维，如果是使用bagging算法，比如随机森林，每次是随机选择特征、随机选择数据集，因为本身数据集不是大数据集，所以采样后数据量会更少，bagging算法不适合。boosting算法中，以AdaBoost算法为代表，AdaBoost的基分类器是决策树，对于每次迭代，会对上一步分类错误的样本加大关注，最后对所有的基分类器进行加权组合，能获得较高的准确率。同时，不用担心像支持向量机那样要调一堆的参数，使用方便。

9. AdaBoost算法用在分子识别上，怎么下一步提高算法的性能？

>  1. 提高训练集的数量：使用训练的实验数据需要在统一实验条件下获得，看能否对数据结合化学方面的知识，在数据预处理时，理由某些数学手段将实验条件的影响去掉，提高模型的泛化能力。
> 
> 2. 在特征提取时，除了HMM的方法，挖掘数据的其他特征，比如时域和频域结合
> 
> 3.实验中AA3与GA3的捕获率有一定的差别，存在样本类别不平衡，在数据预处理时，采用上采样或下采样等方法提高数据集的数据。

10. 除了AdaBoost算法还知道哪些分类算法？

>  集成算法比如随机森林、GBDT、xgboost，其他非集成的分类算法比如支持向量机、朴素贝叶斯、决策树、K近邻等，深度学习中的神经网络CNN、RNN等

11. AdaBoost与SVM的优缺点

>  SVM的优点：1.SVM使用核函数避开了高维空间的复杂性；2。基于小样本统计理论，避开了从归纳到演绎的传统过程，高效实现了从训练样本到测试样本的“转导”推理；3.少数支持向量决定分类超平面，这也体现了算法具有一定的鲁棒性，主要体现在增删非支持向量对分类结果无影响。
> 
> SVM的缺点：1. 核函数的选择具有一定的困难；2. SVM借助二次规划求解支持向量，求解二次规划涉及m阶矩阵的计算，当样本数量很多时，耗费计算时间和存储空间；3. SVM直接应用于多分类具有一定的困难，一般将多个SVM组合，比如一多一，一对多和SVM决策树等4.调参复杂
> 
> AdaBoost的优点：1.将多个弱分类器进行级联，分类准确率高；2.相对于随机森立等bagging算法，充分考虑每个弱分类器的权重；3。泛化错误率低；4.无需参数调整
> 
> AdaBoost的缺点：1.对离群点敏感；2.训练时间长

12. 了解哪些聚类算法，各有哪些应用？

> 基于距离的聚类算法k-means，基于密度的聚类DBSCAN算法（不需要预先设置聚类数量），高斯混合模型，层次聚类（不需要预先设置聚类数量），基于图理论的谱聚类

13. UDF是什么

> UDF是用户自定义函数，虽然Hive或者SQL已经有很多内置的函数，但是当内置函数能满足需求时，可以通过UDF来实现相关功能。基于python的UDF的实现如下：
> 
>     将编写的demo.py加载：**add file /local\_path/demo.py**
> 
>     借助transform语句使用UDF：**select     transform(col1, col2)   using    'python demo.py'   as   (newcol1, newcol2,newcol3)   from   table\_name**

14. 窗口函数用过吗

> 窗口函数在实习的时候没有用到过，但是自己有了解过。
> 
> 1. 窗口函数的使用语法：**fun()   over(partition by col1 order by col2)   **
> 
> 2.窗口函数的使用场景：分区排名、动态groupby、Top N 、累计查询等
> 
> 3.窗口函数包括一般的聚合函数如**sum()、avg()、min()、max()**及其他聚合函数如**row\_number()、rank()、dense\_rank()、ntile()、lag(col,n)、lend(col,n)、first\_value()、last\_value()、percent\_rank()、cume\_dist()**

15.Hive建表定义行字段分割的语句

> row format delimated
> 
> fileds terminated by '\\001' --列分隔
> 
> collection items terminated by ‘\\002’  -- 集合元素分隔
> 
> lines terminated by '\\n'  --记录间隔
> 
> map keys terminated by '\\003' -- map中的键值分隔符

16. Hive数据倾斜的原因及解决方法

> 什么是数据倾斜？
> 
> 数据倾斜就是key的分化严重不均，造成一部分数据多一部分数据少。比如在word count的例子中，map阶段是形成（aaa, 1）的键值对，在reduce阶段，将value值相加。如果文本文件共有100G，其中有80G的文本是aaa，剩余20G的文本是其他文本，那么有80G的数据量交给其中一个reduce相加，剩余20G文本根据key值分配到不同的reduce节点上，就会出现其他reduce执行完，一直在等一个reduce的现象，如此造成的数据倾斜极大影响了执行效率。

>  数据倾斜的原因？
> 
> 1. 看是否是机器配置的原因，是否是有的机器运行快，有的机器运行慢
> 
> 2. 数据本身分布不均匀：数据频率倾斜：某一区域的数据量远远大于其他区域；数据大小倾斜：部分记录的大小远远大于平均值。正常的数据都是倾斜的，正如我们说的20-80原理：80%的财富聚集在20%的手中，80%的用户只使用了20%的功能，20%的用户贡献了80%的浏览量
> 
> 3. 业务逻辑导致数据倾斜：①groupby时某值的数量过多② distinct count(distinct xx)某特殊值过多③连接join：其中一个表较小，但是key集中；大表与大表之间join时，空值过多，导致这些空值都是由一个reduce执行

> 解决方法：
> 
>  1. 设置调优参数：
> 
>          set hive.map.aggr=true;--在map中会做部分聚集操作，但需要较多的内存
> 
>          set hive.groupby.skewindata=true; --数据倾斜时负载均衡，在进行查询任务时，进行两次map-reduce操作。第一个             MRjob中，map的输出结果随机分配到reduce上，使每个key随机均匀分配到不同的reduce上， 达到负载均衡，这样           会导致相同key没有分到一个reduce上，所以在第二个MRjob中，按预期处理结果将相同key的进行合并。
> 
> 2. 在key上做文章，比如对于wordcount例子中，可以在map阶段将aaa这个key值分组，aaa-1，aaa-2，aaa-3，这样就解决了一个reduce上数据过多的问题，之后再恢复key值的运算
> 
> 3. 能先进行groupby操作的先进行groupby操作，把key先进行一次reduce，然后再进行count或者distinct count
> 
> 4. join操作时，使用map join，将小表存入内存中，以免在reduce阶段卡住
> 
> 总之，解决数据倾斜问题，要么将reduce端的隐患在map端解决，要么对key值进行相关操作，减轻reduce端的压力。

17. Hive怎么取日志

> 日志文件存的内容有：时间戳、服务器名称、进程ID、严重程度、文本信息
> 
> 存储时按天进行分区，建立外部表

18. 目标检测为什么选择yolov3

> 受电弓的实时性要求较高，yolov3的特点就是检测速度快，能达到实时检测，检测精度也不低，所以选择了yolov3