Python爬蟲中正則表達式的使用方法
這篇文章主要介紹了Python爬蟲中正則表達式的使用方法，具有一定借鑒價值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。
讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來自于我們對這個行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價值的長期合作伙伴，公司提供的服務(wù)項目有：域名注冊、網(wǎng)站空間、營銷軟件、網(wǎng)站建設(shè)、寧海網(wǎng)站維護、網(wǎng)站推廣。
正則表達式
re 模塊的一般使用步驟如下：
使用 compile() 函數(shù)將正則表達式的字符串形式編譯為一個 Pattern 對象。
通過 Pattern 對象提供的一系列方法對文本進行匹配查找，獲得匹配結(jié)果，一個 Match 對象。
最后使用 Match 對象提供的屬性和方法獲得信息，根據(jù)需要進行其他的操作。
pattern = re.compile('\d') #將正則表達式編譯成一個pattern規(guī)則對象
pattern.match() #從起始位置開始往后查找，返回第一個符合規(guī)則的，只匹配一次
pattern.search() #從任意位置開始往后查找，返回第一個符合規(guī)則的，只匹配一次
pattern.findall() #所有的全部匹配，返回列表
pattern.finditer() #所有的全部匹配，返回的是一個迭代器
pattern.split() #分割字符串，返回列表
pattern.sub() #替換
re.I #表示忽略大小寫
re.S #表示全文匹配1.match()
import re
pattern = re.compile('\d+')
m = pattern.match('aaa123bbb456',3,5) #可以指定match起始和結(jié)束的位置match（string,begin,end）
print m.group() #12
m = pattern.match('aaa123bbb456',3,6)
print m.group() #123import re
#匹配兩組， re.I忽略大小寫
pattern = re.compile(r"([a-z]+) ([a-z]+)",re.I) #第一組（字母）和第二組（字母）之間以空格分開
m = pattern.match("Hello world and Python")
print m.group(0) #Hello world group(0)獲取所有子串
print m.group(1) #Hello group(1)所有子串里面的第一個子串
print m.group(2) #world group(2)所有子串里面的第二個子串2.search()
import re
pattern = re.compile(r'\d+')
m = pattern.search('aaa123bbb456')
print m.group() #123
m = pattern.search('aaa123bbb456',2,5)
print m.group() #123.findall()
import re
pattern = re.compile(r'\d+')
m = pattern.findall('hello 123456 789') #
print m #['123456', '789']
m = pattern.findall('hello 123456 789',5,10)
print m #['1234']4.split()
# _*_ coding:utf-8 _*_ import re pattern = re.compile(r'[\s\d\\\;]+') #以空格，數(shù)字，'\'，'；'做分割 m = pattern.split(r'a b22b\cc;d33d ee') print m #['a', 'b', 'b', 'cc', 'd', 'd', 'ee']
5.sub()
# _*_ coding:utf-8 _*_
import re
pattern = re.compile(r'(\w+) (\w+)')
str = 'good 111,job 222'
m = pattern.sub('hello python',str)
print m #hello python,hello python
m = pattern.sub(r"'\1':'\2'",str)
print m #'good':'111','job':'222'# _*_ coding:utf-8 _*_
import re
pattern = re.compile(r'\d+')
str = 'a1b22c33d4e5f678'
m = pattern.sub('*',str) #a*b*c*d*e*f* 把數(shù)字替換成'*'
print m內(nèi)涵段子實例
爬取貼吧所有內(nèi)容，并通過正則表達式爬取出所有的段子
url變化
第一頁url: http: //www.neihan8.com/article/list_5_1 .html
第二頁url: http: //www.neihan8.com/article/list_5_2 .html
第三頁url: http: //www.neihan8.com/article/list_5_3 .html
pattern = re.compile('
每個段子內(nèi)容都是在
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import urllib2
import re
class Spider:
def __init__(self):
# 初始化起始頁位置
self.page = 1
# 爬取開關(guān)，如果為True繼續(xù)爬取
self.switch = True
def loadPage(self):
"""
作用：下載頁面
"""
print "正在下載數(shù)據(jù)...."
url = "http://www.neihan.net/index_" + str(self.page) + ".html"
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/60.0.3112.101 Safari/537.36'}
request = urllib2.Request(url, headers = headers)
response = urllib2.urlopen(request)
# 獲取每頁的HTML源碼字符串
html = response.read()
#print html
# 創(chuàng)建正則表達式規(guī)則對象，匹配每頁里的段子內(nèi)容，re.S 表示匹配全部字符串內(nèi)容
pattern = re.compile('(.*?)', re.S)
# 將正則匹配對象應(yīng)用到html源碼字符串里，返回這個頁面里的所有段子的列表
content_list = pattern.findall(html)
# 調(diào)用dealPage() 處理段子里的雜七雜八
self.dealPage(content_list)
def dealPage(self, content_list):
"""
處理每頁的段子
content_list : 每頁的段子列表集合
"""
for item in content_list:
# 將集合里的每個段子按個處理，替換掉無用數(shù)據(jù)
item = item.replace("","").replace("
", "").replace("
", "")
# 處理完后調(diào)用writePage() 將每個段子寫入文件內(nèi)
self.writePage(item)
def writePage(self, item):
"""
把每條段子逐個寫入文件里
item: 處理后的每條段子
"""
# 寫入文件內(nèi)
print "正在寫入數(shù)據(jù)...."
with open("tieba.txt", "a") as f:
f.write(item)
def startWork(self):
"""
控制爬蟲運行
"""
# 循環(huán)執(zhí)行，直到 self.switch == False
while self.switch:
# 用戶確定爬取的次數(shù)
self.loadPage()
command = raw_input("如果繼續(xù)爬取，請按回車（退出輸入quit)")
if command == "quit":
# 如果停止爬取，則輸入 quit
self.switch = False
# 每次循環(huán)，page頁碼自增1
self.page += 1
print "謝謝使用！"
if __name__ == "__main__":
duanziSpider = Spider()
duanziSpider.startWork() 可以按回車接著爬取下一頁內(nèi)容,輸入QUIT退出。
爬取后的內(nèi)容：
感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享Python爬蟲中正則表達式的使用方法內(nèi)容對大家有幫助，同時也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，遇到問題就找創(chuàng)新互聯(lián)，詳細(xì)的解決方法等著你來學(xué)習(xí)!
文章名稱：Python爬蟲中正則表達式的使用方法
文章分享：http://www.jiaotiyi.com/article/gjggpd.html