爬虫小实例-1688物流信息之发货地信息获取

发表于 | 分类于 | | 本文总阅读量 次

这里写个例子，公司的一个大神之前爬过1688上面的物流信息，这里也来试一下，顺便分享下学习过程。

背景介绍

目标网页：https://56.1688.com/order/price/estimate_price.htm
目的：抓取网站上所有的线路信息，保存到文件或数据库中。

实践步骤

先观察下网站的特征，随便查询一下看看，主要看看URL是怎么传递参数的，通过FireBug，下面几个参数是不为空的
图片.png

通过查看网页源码，发现上面的参数，就是发货地和收获地的省份、城市、区县的编码

既然我们要获取所有的线路数据，那第一步就是获取这里所有的发货地、收货地信息

一开始以为这个编码是1688上自定义的，后来查了一下，发现是官方的编码，这也是为啥，前面会写一篇《最新行政区信息获取》

所以，这里最方便的办法就是直接使用官方的编码，第一步就解决了；
但是前面呢，既然要学习爬虫，就用爬虫来试试，正好前面学了selenium，这里就熟练掌握一下吧。
实践的时候呢，还是遇到了一些问题
比如：默认省份信息是隐藏的（display: none）,城市和区县信息的动态的切换的

这个应该使用JS来控制的，但是一直没找到是哪段JS
还好selenium中可以模拟单击事件，很方便
下面是代码，该有的注释都在，效率比较差，也就3000多条记录，还好跑一次就可以了

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
# -*- coding: utf-8 -*-
"""
Created on Mon Aug 14 21:20:56 2017
@author: yuguiyang
"""
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
#打开浏览器
browser = webdriver.Firefox()
#设置等待时长，最长等待10s
wait = WebDriverWait(browser,10)
#单击省份标签
def click_province():
    #这里不点击的话，下面可以通过属性获取省份名称，但是直接使用text是不行的
    li_labels = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,'#source-area-select ul.h li span.inner')))
    li_labels[1].click()
#单击城市标签    
def click_city():
    li_labels = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,'#source-area-select ul.h li span.inner')))
    li_labels[2].click()
        
def main():
 
    #打开URL
    browser.get('https://56.1688.com/order/price/estimate_price.htm')
    
    #输出浏览器标题
    print('browser title: ',browser.title)
    
    #单击发货输入框，显示城市选择的标签
    input_start = wait.until(EC.presence_of_element_located((By.ID,'source-area')))
    input_start.click()
    
    #单击省份标签
    click_province()
    
   
    #区域信息
    div_tabs = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,'#source-area-select div.s-tab-b')))
    
    #只使用省份
    li_provinces = div_tabs[1].find_elements(By.CSS_SELECTOR ,'a.panel-item')
    
    file = open('1688_line.txt','w')
    
    #遍历每一个省份
    for pro in li_provinces:
        #单击当前的省份，页面会跳转到该省份的城市列表
        pro.click()
        
        #获取城市信息
        div_tabs = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,'#source-area-select div.s-tab-b')))
        li_citys = div_tabs[2].find_elements(By.CSS_SELECTOR ,'a.panel-item')
        data = []
        #遍历每一个城市
        for city in li_citys:
            #单击当前城市标签，页面会跳转到该城市下的区县列表
            city.click()
            
            #获取区县信息
            div_tabs = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,'#source-area-select div.s-tab-b')))
            li_areas = div_tabs[3].find_elements(By.CSS_SELECTOR ,'a.panel-item')
            
            
            #遍历每一个区县
            for area in li_areas:
                data.append(pro.get_attribute('code')+','+pro.get_attribute('panel-item')
                            +','+city.get_attribute('code')+','+city.get_attribute('panel-item')
                            +','+area.get_attribute('code')+','+area.get_attribute('panel-item')
                            +'\n'
                            )
            
            #跳转回到城市标签，为了遍历下一个城市
            click_city()
        
        #将数据写入文件
        file.writelines(data)
        #跳转回省份标签，为了遍历下一个省份
        click_province()
        
        
    file.close()
    browser.quit()
if __name__=='__main__':
    main()
于贵洋 wechat
要教我弹吉他嘛！