python高阶函数------map，reduce，filter和sorted

灰太狼 2022-02-20 13:43 330阅读 0赞

写在前面：

*  map和reduce函数主要是为**大规模并行计算**构造的。
 *  filter用来根据一定的条件筛选数据
 *  sorted用来按照自定义的规则和键值对序列进行排序

# 1.map()函数 #

map(function, sequence[, sequence, ...]) -> list

map函数的参数为一个函数，和一个序列（或者很多个序列）。`map`将传入的函数依次作用到序列的每个元素，并把结果作为新的list返回。

举例说明，比如我们有一个函数f(x)=x2，要把这个函数作用在一个list `[1, 2, 3, 4, 5, 6, 7, 8, 9]`上，就可以用`map()`实现如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dvb2R4aW5faWU_size_16_color_FFFFFF_t_70][]

def f(x):
        return pow(x,2)
    
    queue = [1,2,3,4,5,6,7,8,9]
    
    result = map(f,queue)

从结果上来看，其等价于

def f(x):
        return pow(x,2)
    
    
    queue = [1,2,3,4,5,6,7,8,9]
    result = []
    
    for item in queue:
        result.append(f(item))

但是map函数相等直观，而且在数据量非常庞大的情况下，map函数具有很大的速度优势。下面我们来看一组例子

#coding=utf-8
    import numpy as np
    import time
    a = np.random.randint(100,size=100000)
    b = np.random.randint(100,size=100000)
    
    def f(x,y):
        return pow(x,y)
    
    
    '''不使用map函数,运行时间0.0880000591278s'''
    start1 = time.time()
    result1 = []
    for i in range(len(a)):
        result1.append(f(a[i],b[i]))
    end1 = time.time()
    print end1-start1
    
    
    
    '''使用map函数，运行时间0.0420000553131s'''
    start2 = time.time()
    result2 = map(f,a,b)
    end2 = time.time()
    print end2-start2

# 2. reduce()函数 #

reduce(function, sequence[, initial]) -> value

reduce把一个函数作用在一个序列\[x1, x2, x3...\]上，这个函数必须接收两个参数，reduce把结果继续和序列的下一个元素做累积计算，其效果就是：

reduce(f, [x1, x2, x3, x4]) = f(f(f(x1, x2), x3), x4)

当然reduce还可以接受一个初始化参数，效果如下，其实就是为了防止输入的列表为空，此时返回initial的值。如果列表不为空，相当于如下效果

reduce(f, [x1,x2],initial=x0) = f(f(x0, x1), x2)

这个函数在处理字符串和整数转换时有很奇妙的用处哦。可以参见廖雪峰老师的[博客][Link 1]。

# 3.filter() #

filter(function or None, sequence) -> list, tuple, or string

看名字就知道filter函数是用来过滤数据的。其输入可以是列表，字符串，元组等序列。`filter()`也接收一个函数和一个序列，`filter()`把传入的函数依次作用于每个元素，然后根据返回值是`True`还是`False`决定保留还是丢弃该元素。

举个例子，比如我们要筛选"I am 22 years old."中的数字。

import numpy as np
    import time
    
    def f(x):
        numList = ['0','1','2','3','4','5','6','7','8','9']
        if x in numList:
            return True
        else:
            return False
    
    
    
    queue = "I am 22 years old."
    
    print filter(f,queue)

执行上面的代码，输出为22.

# 4.sorted() #

sorted和上面三个函数都不同，它不是为了处理并行大规模数据产生的，它按照我们自定义的规则对输入的序列进行排序。自定义的比较函数必须遵循，对于两个元素`x`和`y`，如果认为`x < y`，则返回`-1`，如果认为`x == y`，则返回`0`，如果认为`x > y`，则返回`1`，这样，排序算法就不用关心具体的比较过程，而是根据比较结果直接排序。

sorted(iterable, cmp=None, key=None, reverse=False) --> new sorted list
    
        """
        对一个iterable对象排序，返回一个排序之后的list
    
        @param iterable 可迭代遍历对象
        @param cmp 默认None, 自定义的比较函数，2个参数
        @param key 默认None, 自定义的函数，1个参数，参数值来源于列表元素，该函数的返回值用来排序
        @param reverse 默认False(正序)
        @return 返回一个排序之后的list
        """

下面我们举个例子来说明一下，对一个包含姓名和年龄两个属性的对象来按年龄进行排序，\[User("James", 30), User("Marvin", 28), User("Parke", 40), User("Li", 40)\]。下面我们介绍几种不同的实现方法

方法一：使用key关键字

代码如下，该方法相当于按f(user)的大小进行排序

class User(object):
    
        def __init__(self, name, age):
            self.name = name
            self.age = age
    
        def __repr__(self):
            return repr((self.name, self.age))
    
    
    def f(item):
        return item.age
    
    test_list = [User("James", 30), User("Marvin", 28), User("Parke", 40), User("Li", 40)]
    
    print sorted(test_list,key=f)

执行结果![20190413221924601.png][]

方法二：自定义比较方法

代码如下，我们自定义了mycmp方法，直接对user使用mycmp函数比大小进行排序。

class User(object):
    
        def __init__(self, name, age):
            self.name = name
            self.age = age
    
        def __repr__(self):
            return repr((self.name, self.age))
    
    def mycmp(item1,item2):
        if(item1.age<item2.age):
            return -1
        elif(item1.age>item2.age):
            return 1
        else:
            return 0
    
    test_list = [User("James", 30), User("Marvin", 28), User("Parke", 40), User("Li", 40)]
    
    print sorted(test_list,cmp=mycmp)

执行结果：![20190413222332917.png][]

**那么通过key和cmp都可以达到相同的效果，那么为什么设置这两个不同的参数呢，他们有什么区别呢？**

总结：真个比大小的完成流程应该是cmp(key(item1),key(item2));也就是key函数以输入序列的元素为输入参数，key的返回值用来作为cmp函数的输入参数。两个函数可以结合使用。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dvb2R4aW5faWU_size_16_color_FFFFFF_t_70]: /images/20220220/68d6a889d3ab460483af05581962391c.png
[Link 1]: https://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/00141861202544241651579c69d4399a9aa135afef28c44000
[20190413221924601.png]: /images/20220220/34df873c93e148e59de43032a3dae960.png
[20190413222332917.png]: /images/20220220/228d7f548a0c4eb6beaf36027e8e8c9f.png