BeautifulSoup教程（1） - 简介及安装

最近在学习Python，按照一些博客练习爬虫，最简单的步骤，就是访问一个主页，根据正则表达式去获取我们想要的标签数据；

比如这样：

#加载网址，获取当前页面
def getHTML(url) :
	page = urllib.urlopen(url)
	html = page.read()
	return html

def getImage(html) :
	reg = r'src="(.+?\.jpg)"'
	reg2 = r'<img alt="(.+?)" src="(.+?\.jpg)'
	image_reg = re.compile(reg2)
	img_list = re.findall(image_reg,html)

简单的话，这样还好，如果复杂些的话，像我一样对正则表达式不熟悉的话，可能就不太好实现了，

后面发现这个beautifulSoup解析HTML很方便，这里简单学习下，

官网地址：https://www.crummy.com/software/BeautifulSoup/

还有中文文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html

1. 简介

这里说的不错，Python爬虫利器二之Beautiful Soup的用法

2. 安装

Python里面安装东西很方便，直接使用pip就行了

pip install beautifulsoup4

3.小例子

我们先写个小例子看看

 # -*- coding: utf-8 -*-

import urllib
import re
from bs4 import BeautifulSoup

#加载网址，获取当前页面
def getHTML(url) :
	page = urllib.urlopen(url)
	html = page.read()
	return html

html = getHTML('https://movie.douban.com/top250')
soup = BeautifulSoup(html, "html.parser")


for img in soup.find_all('img'):
	print img.get('src')

这里，我们就输出了所有的img标签

后面，我们再来继续练习使用