知足常乐

日常学习的记录与分享

python爬虫-使用Selenium爬取淘宝商品

这次我们尝试去爬一下淘宝商品的信息,现在稍微大一点的网站内容其实都是ajax渲染出来了的(淘宝可能隐藏了请求并没有找到,但却可以从源代码中获取到我们想要的信息但却是json的信息),所以我们还是先在network分析请求。但本章我们提供一个更好的自动化测试工具去爬去商品–Selenium,这个工具会大大方便我们操作。

1. 本节目标

我们要利用Selenium抓取淘宝商品并用pyquery解析得到商品的图片、名称、价格、购买人数、店铺名称和店铺所在地信息,并将其保存到MongoDB。

2. 准备工作

我们首先以Chrome为例来讲解Selenium的用法。在开始之前,请确保已经正确安装好Chrome浏览器并配置好了ChromeDriver;另外,还需要正确安装Python的Selenium库;最后,还对接了PhantomJS和Firefox,请确保安装好PhantomJS和Firefox并配置好了GeckoDriver.

下面给出win10下安装selenium,pyquery,MongoDB的过程

Selenium:   

pip install selenium   || pip3 install selenium 

pyquery:

pip install pyquery || pip3 install pyquery

MongoDB下载链接:

https://www.mongodb.com/download-center/community
在安装py的mongodb支持模块
pip3 install pymongo

ChromeDriver下载链接:

https://chromedriver.storage.googleapis.com/index.html

下载完成后将chromedriver.exe放到你python安装路径下的Scripts下即可

3. 接口分析

首先,我们来看下淘宝的接口,看看它比一般Ajax多了怎样的内容。

打开淘宝页面,搜索商品,比如女装,此时打开开发者工具 观察ajax请求

《python爬虫-使用Selenium爬取淘宝商品》

 

我们发现并没有ajax请求,我们右键查看网页源代码

《python爬虫-使用Selenium爬取淘宝商品》

发现网页源代码是可以获取 ,但我们发现这些并不是标准的html格式,信息依然是不可提取的。所以我们使用Selenium 

4. 页面分析

本节的目标是爬取商品信息。其中包含商品的基本信息,包括商品图片、名称、价格、购买人数、店铺名称和店铺所在地,我们要做的就是将这些信息都抓取下来。

《python爬虫-使用Selenium爬取淘宝商品》

抓取入口就是淘宝的搜索页面 

https://s.taobao.com/search?q=%E5%A5%B3%E8%A3%85   

(ps:url解码就是女装的意思)

在最下方我们发现了分页跳转的地方

《python爬虫-使用Selenium爬取淘宝商品》

我们可以通过点击按钮不断的下一页或者输入指定页面跳转

这里不直接点击“下一页”的原因是:一旦爬取过程中出现异常退出,比如到50页退出了,此时点击“下一页”时,就无法快速切换到对应的后续页面了。此外,在爬取过程中,也需要记录当前的页码数,而且一旦点击“下一页”之后页面加载失败,还需要做异常检测,检测当前页面是加载到了第几页。整个流程相对比较复杂,所以这里我们直接用跳转的方式来爬取页面。

当我们成功加载出某一页商品列表时,利用Selenium即可获取页面源代码,然后再用相应的解析库解析即可。这里我们选用pyquery进行解析。下面我们用代码来实现整个抓取过程。

5. 获取商品列表

#指定搜索关键字
KEYWORD = '女装'

'''
抓取索引页面的信息
'''
def index_page(page):

	print('正在爬取第',page,'页')
	try:
		#quote解决中文传递url编码
		url = 'https://s.taobao.com/search?q='+quote(KEYWORD)
		browser.get(url)
		if page >1:
			#获取input标签
			input = wait.until(
					Ec.presence_of_element_locationd((By.CSS_SELECTOR,'#mainsrp-pager div.form > input'))
				)
			#获取提交标签
			submit = wait.until(
                EC.element_to_be_clickable((By.CSS_SELECTOR, '#mainsrp-pager div.form > span.btn.J_Submit'))
                )
			#清空input标签内容
			input.clear()
			#设置页数
			input.send_keys(page)
			submit.click()

		#等待验证高亮页面标签是否为当前页
		wait.until(
            EC.text_to_be_present_in_element((By.CSS_SELECTOR, '#mainsrp-pager li.item.active > span'), str(page)))
		#获取页面元素内容
		wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.m-itemlist .items .item')))
		get_products()
	except TimeoutException as e:
		#超时重新请求
		index_page(page)

这里首先构造了一个WebDriver对象,使用的浏览器是Chrome,然后指定一个关键词,如女装,接着定义了index_page()方法,用于抓取商品列表页。

在该方法里,我们首先访问了搜索商品的链接,然后判断了当前的页码,如果大于1,就进行跳页操作,否则等待页面加载完成。

等待加载时,我们使用了WebDriverWait对象,它可以指定等待条件,同时指定一个最长等待时间,这里指定为最长10秒。如果在这个时间内成功匹配了等待条件,也就是说页面元素成功加载出来了,就立即返回相应结果并继续向下执行,否则到了最大等待时间还没有加载出来时,就直接抛出超时异常。

比如,我们最终要等待商品信息加载出来,就指定了presence_of_element_located这个条件,然后传入了.m-itemlist .items .item这个选择器,而这个选择器对应的页面内容就是每个商品的信息块,可以到网页里面查看一下。如果加载成功,就会执行后续的get_products()方法,提取商品信息。

关于翻页操作,这里首先获取页码输入框,赋值为input,然后获取“确定”按钮,赋值为submit

首先,我们清空了输入框,此时调用clear()方法即可。随后,调用send_keys()方法将页码填充到输入框中,然后点击“确定”按钮即可。

那么,怎样知道有没有跳转到对应的页码呢?

我们只需要判断当前高亮的页码数是当前的页码数即可,所以这里使用了另一个等待条件text_to_be_present_in_element,它会等待指定的文本出现在某一个节点里面时即返回成功。这里我们将高亮的页码节点对应的CSS选择器和当前要跳转的页码通过参数传递给这个等待条件,这样它就会检测当前高亮的页码节点是不是我们传过来的页码数,如果是,就证明页面成功跳转到了这一页,页面跳转成功。

这样刚才实现的index_page()方法就可以传入对应的页码,待加载出对应页码的商品列表后,再去调用get_products()方法进行页面解析。

 

6. 解析商品列表

我们先看一下单个单上的html标签格式

《python爬虫-使用Selenium爬取淘宝商品》

以获取图片为例 我们想要拿到图片就需要获取item .pic .img –>data-src

我们可以构造出一个pyquery的解析器去匹配这个信息item.find(.pic .img).attr(src)

不过我们还注意data-src属性,它的内容也是图片的URL,观察后发现此URL是图片的完整大图,而src是压缩后的小图,所以这里抓取data-src属性来作为商品的图片

实现get_products()方法来解析商品列表了。这里我们直接获取页面源代码,然后用pyquery进行解析,实现如下:

"""
提取商品数据
"""
def get_products():
	#获得源码
    html = browser.page_source
    #pyquery解析
    doc = pq(html)
    #获取解析列表
    items = doc('#mainsrp-itemlist .items .item').items()
    for item in items:
        product = {
            'image': item.find('.pic .img').attr('data-src'),
            'price': item.find('.price').text(),
            'deal': item.find('.deal-cnt').text(),
            'title': item.find('.title').text(),
            'shop': item.find('.shop').text(),
            'location': item.find('.location').text()
        }
        print(product)
        save_to_mongo(product)

"""

首先,调用page_source属性获取页码的源代码,然后构造了PyQuery解析对象,接着提取了商品列表,此时使用的CSS选择器是#mainsrp-itemlist .items .item,它会匹配整个页面的每个商品。它的匹配结果是多个,所以这里我们又对它进行了一次遍历,用for循环将每个结果分别进行解析,每次循环把它赋值为item变量,每个item变量都是一个PyQuery对象,然后再调用它的find()方法,传入CSS选择器,就可以获取单个商品的特定内容了。

7. 保存到MongoDB

#mongo地址
MONGO_URL = 'localhost'
#mongo数据库名称
MONGO_DB = 'taobao'
#指定数据库中的COLLECTION
MONGO_COLLECTION = 'products'
#连接数据库
client = pymongo.MongoClient(MONGO_URL)
db = client[MONGO_DB]
#连接数据库
client = pymongo.MongoClient(MONGO_URL)
db = client[MONGO_DB]
""" 保存至MongoDB """ def save_to_mongo(result): try: if db[MONGO_COLLECTION].insert(result): print('存储到MongoDB成功') except Exception: print('存储到MongoDB失败') '''

创建了一个MongoDB的连接对象,然后指定了数据库,随后指定了Collection的名称,接着直接调用insert()方法将数据插入到MongoDB。此处的result变量就是在get_products()方法里传来的product,包含单个商品的信息

 

8. 构造分页

#设置最大爬取页面
MAX_PAGE = 10
'''
构造分页
'''
def main():
    for i in range(1, MAX_PAGE + 1):
        index_page(i)
    browser.close()

只需要调用一个for循环即可。这里定义最大的页码数为100,range()方法的返回结果就是1到100的列表,顺序遍历,调用index_page()方法即可。

最后调用main()方法即可运行。

9. 运行

附上效果图

《python爬虫-使用Selenium爬取淘宝商品》

《python爬虫-使用Selenium爬取淘宝商品》

 

友情提示:淘宝改版,加了很多反扒机制会被封ip  我现在已经挂了,emmmmm。后面再讲怎么构造ip代理池的问题

github链接: 

https://github.com/changjiale/spider/tree/master/%E9%A1%B9%E7%9B%AE4-Selenium%E7%88%AC%E5%8F%96%E6%B7%98%E5%AE%9D%E5%95%86%E5%93%81

 

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注