Python彈窗處理和驗(yàn)證碼識(shí)別的方法

前言

Python實(shí)戰(zhàn)

import re
# 圖片處理
from PIL import Image
# 文字識(shí)別
import pytesseract
# 瀏覽器自動(dòng)化
from selenium import webdriver
import time

url = 'http://lims.gzzoc.com/client'
driver = webdriver.Chrome()
driver.get(url)
time.sleep(30)

alert式彈出框

• alert(message)方法用于顯示帶有一條指定消息和一個(gè) OK 按鈕的警告框
• confirm(message)方法用于顯示一個(gè)帶有指定消息和 OK 及取消按鈕的對(duì)話框
• prompt(text,defaultText)方法用于顯示可提示用戶進(jìn)行輸入的對(duì)話框

非傳統(tǒng)alert式彈出框的處理

• 彈出框位于      div層，跟平常定位方法一樣
• 彈出框是嵌套的      iframe層，需要切換iframe
• 彈出框位于嵌套的      handle，需要切換窗口

url = 'http://lims.gzzoc.com/client'

driver = webdriver.Chrome()
driver.get(url)
time.sleep(1)
driver.maximize_window() # 最大化窗口
driver.find_element_by_xpath("http://div[@class='jconfirm-buttons']/button").click()

1. 切割截取驗(yàn)證碼所在的圖片
2. 轉(zhuǎn)為灰度后二值法將有效信息轉(zhuǎn)為黑，背景和干擾轉(zhuǎn)為白色
3. 處理后的圖片交給文字識(shí)別引擎
4. 輸入返回的結(jié)果并提交

img = driver.find_element_by_xpath('//img[@id="valiCode"]')
time.sleep(1)
location = img.location
size = img.size
# left = location['x']
# top = location['y']
# right = left + size['width']
# bottom = top + size['height']
left = 2 * location['x']
top = 2 * location['y']
right = left + 2 * size['width'] - 10
bottom = top + 2 * size['height'] - 10
driver.save_screenshot('valicode.png')
page_snap_obj = Image.open('valicode.png')
image_obj = page_snap_obj.crop((left, top, right, bottom))
image_obj.show()

img = image_obj.convert("L")  # 轉(zhuǎn)灰度圖
pixdata = img.load()
w, h = img.size
threshold = 205
# 遍歷所有像素，大于閾值的為黑色
for y in range(h):
    for x in range(w):
        if pixdata[x, y] < threshold:
            pixdata[x, y] = 0
        else:
            pixdata[x, y] = 255

data = img.getdata()
w, h = img.size
black_point = 0
for x in range(1, w - 1):
    for y in range(1, h - 1):
        mid_pixel = data[w * y + x]
        if mid_pixel < 50:
            top_pixel = data[w * (y - 1) + x]
            left_pixel = data[w * y + (x - 1)]
            down_pixel = data[w * (y + 1) + x]
            right_pixel = data[w * y + (x + 1)]
            if top_pixel < 10:
                black_point += 1
            if left_pixel < 10:
                black_point += 1
            if down_pixel < 10:
                black_point += 1
            if right_pixel < 10:
                black_point += 1
            if black_point < 1:
                img.putpixel((x, y), 255)
            black_point = 0
img.show()

result = pytesseract.image_to_string(img)
# 可能存在異常符號(hào)，用正則提取其中的數(shù)字
regex = '\d+'
result = ''.join(re.findall(regex, result))
print(result)

driver.find_element_by_name('code').send_keys(result)
driver.find_element_by_name('userName').send_keys('xxx')
driver.find_element_by_name('password').send_keys('xxx')
# 最后點(diǎn)擊確定
driver.find_element_by_xpath("http://div[@class='form-group login-input'][3]").click()

while True:
    try:
        ...
        break
    except:
        driver.find_element_by_id('valiCode').click()