首页 / 知识

Python之map、reduce和filter

2023-11-12 13:35:00

今天给大家介绍的是Python当中三个非常神奇的方法：map、reduce和filter。

不知道大家看到map和reduce的时候有没有什么感觉，如果看过之前我们大数据系列介绍MapReduce文章的同学，想必有些印象。这个MapReduce不是一个分布式的计算方法么，怎么又变成Python中的方法了?其实原因很简单，因为Python是一门很年轻的语言，它在发展的过程当中吸收了很多其他领域的精华，MapReduce就是其中之一。

对之前文章感兴趣的同学可以点击下方的链接，回顾一下之前MapReduce的内容。

大数据基石——Hadoop与MapReduce

mapmap除了地图之外，另一个英文本意是映射。在C++和Java一些语言当中，将map进一步引申成了存储key和value映射结构的容器。Python对这点做了区分，KV结构的容器命名成了dict，即字典，而map则回到了它的本意，也就是映射。

我们都知道，在数学领域，映射也是函数的定义。一个自变量通过某种映射，对应到一个因变量。同样，在Python当中，map操作本质也是函数，不过它作用的范围不再是单个变量，而是一个序列。换句话说，通过map我们可以省去循环操作，可以自动将一个容器当中的元素套用一个函数。

举个简单的例子，比如我们有一个坐标，我们希望知道它距离原点的距离。这个问题很简单，我们写一个计算距离的函数就可以解决：

defdis(point):

returnmath.sqrt(point[0]**2+point[1]**2)

那如果我有多个点需要计算距离，在map出现之前，我们只能用循环来解决问题：

points=[[0,1],[2,4],[3,2]]

forpointinpoints:

print(dis(point))

但是有了map之后，我们可以省去循环的操作，整个代码简化成了一行：

map(dis,points)

但是要注意，我们调用完map之后得到的结果不是一个list而是一个迭代器。我们直接将map返回的内容print出来，可以得到这样一个结果：

>>>print(map(dis,points))

这是一个类的标准输出，其实它返回的不是最后的结果，而是一个迭代器。我们在之前的文章当中已经介绍过了迭代器和生成器的相关概念，这里不多做赘述了，遗忘的同学可以点击下方链接回顾一下之前的内容：

Python——五分钟带你弄懂迭代器与生成器

我们想要获得完整的内容也很容易，我们只需要将它转化成list类型即可：

>>>print(list(map(dis,points)))

[1.0,4.47213595499958,3.605551275463989]

以上过程还可以进一步简化，还记得我们之前介绍过的匿名函数吗?由于dis函数在我们的程序当中只会在map中用到，我们完全没有必要单独创建一个函数，我们可以直接传入一个匿名函数搞定运算：

map(lambdax:math.sqrt(x[0]**2+x[1]**2),points)

简单总结一下，map操作其实执行的是一个映射。它可以自动地将一个序列当中的内容通过制定的函数映射成另一个序列，从而避免显式地使用循环来调用，在很多场景下可以大大地简化代码的编写，可以很方便地将一个序列整体转变成另一个结果。

reduce相比于map，reduce的操作稍稍难理解一点点。它也是规定一个映射，不过不是将一个元素映射成一个结果。而是将两个元素归并成一个结果。并且它并不是调用一次，而是依次调用，直到最后只剩下一个结果为止。

比如说我们有一个数组[a,b,c,d]和一个函数f，我们计算reduce(f,[a,b,c,d])其实就等价于f(f(f(a,b),c),d)。和map不同的是，reduce最后得到一个结果，而不是一个迭代器或者是list。

我们光说有些抽象，不妨来看一个例子，就看最简单的一个例子：reduce函数接收两个数，返回两个数的和。那么显然，我们依次调用reduce，得到的就是原数组的和。

fromfunctoolsimportreduce

deff(a,b):

returna+b

print(reduce(f,[1,2,3,4]))

最终得到的结果当然是10，同样，我们也可以将reduce中的方法定义成匿名函数，一样不影响最终的结果。

print(reduce(lambdax,y:x+y,[1,2,3,4]))

MapReduce既然我们map和reduce都有了，显然我们可以将它们串联起来使用，也就是分布式系统当中MapReduce的做法。虽然如果不手动使用线程池的话，Python并不会起多个线程来加速运算，但是至少可以简化我们实现的代码。我们还是举经典的wordCount的例子，也就是文本计算词频。

套用map和reduce的功能，整个流程非常清晰，我们只需要在map阶段对文本进行分词，在reduce阶段对分词之后的结果进行汇总即可。

听着好像非常容易，但是你实际去上手是写不出来的。原因也很简单，因为hadoop当中的Map和Reduce中间还有一层shuffle的操作，会自动地将key值相同的结果放到同一个reducer当中。在这个问题当中，key自然就是我们的word，由于相同的word被放到同一个reducer当中，我们只需要累加就行了。但是如果我们自己编写mapreduce的话，由于缺少了中间数据重排的步骤，所以导致不能实现。

要解决也简单，我们可以人为增加一个map阶段代替hadoop当中的重排。相当于做了一个MapMapReduce，我们来看代码：

fromcollectionsimportCounter,defaultdict

texts=['applebearpeachgrape','grapeorangepear']

#第一次map，将字符串转成数组，每个单词对应1

defmp1(text):

ret=[]

words=text.split('')

forwordinwords:

ret.append((word,1))

returnret

#第二次map，将数组转成dict

defmp2(arr):