首页 / 知识

python爬虫学习基础教程，批量抓取

2023-04-11 14:45:00

python爬虫学习基础教程，批量抓取
其中用到urllib2模块和正则表达式模块。下面直接上代码：
 
 1 用python批量抓取
 2  
 3 #!/usr/bin/env python
 4 #-*- coding: utf-8 -*-
 5 #通过urllib(2)模块下载网络内容
 6 import urllib,urllib2,gevent
 7 #引入正则表达式模块，时间模块
 8 import re,time
 9 from gevent import monkey
10  
11 '''
12 在学习过程中有什么不懂得可以加我的python学习交流扣扣qun，934109170，群里有不错的学习教程、开发工具与电子书籍。
13 与你分享python企业当下人才需求及怎么从零基础学习好python，和学习什么内容。
14 '''
15 monkey.patch_all()
16  
17 def geturllist(url):
18     url_list=[]
19     print url       
20     s = urllib2.urlopen(url)
21     text = s.read()
22     #正则匹配，匹配其中的图片
23     html = re.search(r'<ol.*</ol>', text, re.S)
24     urls = re.finditer(r'<p><img src="(.+?)jpg" /></p>',html.group(),re.I)
25     for i in urls:
26         url=i.group(1).strip()+str("jpg")
27         url_list.append(url)
28     return url_list
29  
30 def download(down_url):
31     name=str(time.time())[:-3]+"_"+re.sub('.+?/','',down_url)
32     print name
33     urllib.urlretrieve(down_url, "D:\\TEMP\\"+name)
34  
35 def getpageurl():
36     page_list = []
37     #进行列表页循环
38     for page in range(1,700):
39         url="http://jandan.net/ooxx/page-"+str(page)+"#comments"
40         #把生成的url加入到page_list中
41         page_list.append(url)
42     print page_list
43     return page_list
44 if __name__ == '__main__':
45     jobs = []
46     pageurl = getpageurl()[::-1]
47     #进行图片下载
48     for i in pageurl:
49         for (downurl) in geturllist(i):
50             jobs.append(gevent.spawn(download, downurl))
51     gevent.joinall(jobs)

模块学习正则表达式下载网络抓取

最新内容

相关内容

热门文章

推荐文章

标签云

猜你喜欢