2020年10月23日

PYTHON 實現 暗黑破壞神3 自動重鑄裝備(鍵盤監聽+滑鼠控制+Screenshot+OCR+多線程) PYTHON Implement Automatically Reforge in Diablo 3

一、想法來由

我最近在玩暗黑3 PTR 測試伺服器 
結果發現要達到全身洪荒裝備 

有兩個方向 
1.用50血岩跟PTR商人換一個【裝備袋】 
會掉洪荒裝備沒錯，但是一個箱子中少則6-7件裝備，多則2x件裝備，
一箱子裡基本上有掉一件洪荒就不錯了 而且要剛好出你需要的裝備，這機率又更低啦 


 2.重鑄裝備 
用50血岩跟PTR商人換取一個【PTR寶袋】，
這會給1-5章所有懸賞材料 50血岩可換懸賞材料各100個+拆解裝備材料各1000個 
而重鑄一次需要懸賞材料各5個+遺忘之魂50個 所以花50血岩換一次材料可以重鑄20次

於是就展開了重鑄洪荒裝備之旅
但是點著點著....10次,100次,1000次.....手好痠阿
天啊，雖然測試伺服器掉寶率很多
但是要出洪荒，看臉成分很大啊

想想，全身洪荒裝備前，我手就廢了，這可不行
我得想個好辦法來達成這件事情
於是我找到Autohotkey來達成
按某鍵後去點擊【放入材料】再點擊【轉化】
但是是一次性的，所以我手還是得放在鍵盤上按
這還是太麻煩啦，不夠懶人，不夠全自動

於是想想，還是自己寫好了，掌控度也比較高
會用PYTHON的考量是，我不需要視窗，加上PYTHON很多影像辨識的套件可以直接用
於是再次展開懶人追求全自動重鑄之旅

我想到分兩個階段來實現
第一階段(就是先做到Autohotkey做的事情，然後再慢慢加)
  1. 鍵盤監聽(當按下某按鍵開始，案某按鍵結束)
  2. 自動重鑄(左鍵點擊放入材料後再點擊轉化)
  3. 加入While...Loop，實現一直重鑄
  4. 多線程(同時監聽鍵盤+自動重鑄)
第二階段(我不需要坐在電腦前操作)
  1. Screenshot，只擷取角色數值區域
  2. OCR，圖片轉文字
  3. 設定目標，判定停止
YA! 要做的事情擬定好後都感覺到那股美好了(都還沒完成呢!)


二、運行環境

  • Windows 10 Home
  • Python 3.7.2
  • opencv 3.4.5.20
  • PIL 8.0.0
  • pyautogui 0.9.52
  • ctypes 1.1.0
  • numpy 1.19.2
  • pytesseract 0.3.6
  • easygui 0.98.1
  • pynput 1.6.8
  1. >>> import cv2
  2. >>> cv2.__version__
  3. '3.4.5'
  4.  
  5. >>> import PIL
  6. >>> PIL.__version__
  7. '8.0.0'
  8.  
  9. >>> import pyautogui
  10. >>> pyautogui.__version__
  11. '0.9.52'
  12.  
  13. >>> import ctypes
  14. >>> ctypes.__version__
  15. '1.1.0'
  16.  
  17. >>> import numpy
  18. >>> numpy.__version__
  19. '1.19.2'
  20.  
  21. >>> import pkg_resources
  22. >>> pkg_resources.working_set.by_key['pytesseract'].version
  23. '0.3.6'
  24.  
  25. >>> import pkg_resources
  26. >>> pkg_resources.working_set.by_key['easygui'].version
  27. '0.98.1'
  28.  
  29. >>> import pkg_resources
  30. >>> pkg_resources.working_set.by_key['pynput'].version
  31. '1.6.8'

三、Function介紹

1.鍵盤監聽範例(參考自此篇文章) 

程式碼
  1. # -*- coding: utf-8 -*-
  2. from pynput.keyboard import Controller, Key, Listener
  3. from pynput import keyboard
  4.  
  5. #得到鍵入的值
  6. def get_key_name(key):
  7.     return str(key)
  8.  
  9.     
  10. # 監聽按壓
  11. def on_press(key):
  12.     global fun_start,time_interval,index,dict,count,count_dict
  13.     print("正在按壓:", get_key_name(key))
  14.     
  15. # 監聽釋放
  16. def on_release(key):
  17.     global start,fun_start, time_inxterval, index,count,count_dict
  18.     print("已經釋放:", get_key_name(key))
  19.     
  20.     if key == Key.esc:
  21.         # 停止監聽
  22.         return False
  23.     
  24. # 開始監聽
  25. def start_listen():
  26.     with Listener(on_press=on_press, on_release=on_release) as listener:
  27.         listener.join()
  28.  
  29. if __name__ == '__main__':
  30.     # 開始監聽,按esc退出監聽
  31.     start_listen()

結果
  1. ===================== RESTART: D:/D3/Autoreforge/test.py =====================
  2. 正在按壓: 'a'
  3. 已經釋放: 'a'
  4. 正在按壓: 'b'
  5. 已經釋放: 'b'
  6. 正在按壓: Key.space
  7. 已經釋放: Key.space
  8. 正在按壓: Key.shift
  9. 已經釋放: Key.shift
  10. 正在按壓: Key.esc
  11. 已經釋放: Key.esc
  12. >>>



2.多線程範例

我覺得這篇文章【一文看懂Python多程序與多執行緒程式設計】寫得很詳細，想多了解多線程可以參考這篇。

　　基本上程式都是由上往下一行一行執行，如何做到同一個時間點，同時執行兩個不同段落的程式碼，就需要使用到多線程的概念。
　　在此次需求中，我想同時間做鍵盤監控又要控制滑鼠點擊，所以才需要用到多線程。


3.截圖並裁切
我的螢幕解析度為1920*1080
如果是其他解析度，座標要調整一下喔
在切割圖片之後，我把所有非白色的pixel都變黑色(概念來自這篇)
讓圖片呈現黑底白字的狀態

程式碼
  1. # -*- coding: utf-8 -*-
  2. import pyautogui
  3.  
  4. image = pyautogui.screenshot()#全螢幕截圖
  5. image_obj = image.crop((1440,240,1600,500)).convert('L')#切割圖片,只留需要的區域
  6. for a in range(image_obj.size[1]):
  7.     for b in range(image_obj.size[0]):
  8.         if image_obj.getpixel((b,a)) < 171:
  9.             image_obj.putpixel((b,a),0)
  10. image_obj.save(r"D:\D3\Autoreforge\screenshotDefault20.png")


結果




4.OCR光學字元辨識
白話說就是把圖片裡的文字解讀並轉成字串，讓我們可以在程式中使用(加減乘除做比較...等等)。
在做OCR之前，我們還得要對圖片進行前處理(去雜訊/去噪)，讓圖片比較容易被電腦判讀。

  • 圖片前處理
因為使用imread來讀圖時，他的圖片參數排列是BGR
而plt.imshow()顯示圖片時是RGB，所以我們必須將順序調整一下
不然你的圖片會變得藍藍的
透過這行代碼來做
cv2.cvtColor(img, cv2.COLOR_BGR2RGB)


程式碼
  1. # -*- coding: utf-8 -*-
  2. import cv2
  3. import matplotlib.pyplot as plt
  4. import numpy as np
  5.  
  6. #影像前處理
  7. def get_clearImage():
  8.     #原圖
  9.     imagex = cv2.imread(r"D:\D3\Autoreforge\screenshotDefault2.png", cv2.IMREAD_COLOR)
  10.     imagex = cv2.cvtColor(imagex,cv2.COLOR_BGR2RGB)
  11.     #只留白色的圖
  12.     img = cv2.imread(r"D:\D3\Autoreforge\screenshotDefault8.png", cv2.IMREAD_COLOR)
  13.     #轉灰階
  14.     coefficients = [0, 1, 1]
  15.     m = np.array(coefficients).reshape((1, 3))
  16.     gray = cv2.transform(img, m)
  17.     #閾值 maxval:255 142
  18.     binary = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)[1]
  19.     #並排顯示四張圖
  20.     p_1 = plt.subplot(141)
  21.     plt.imshow(imagex)
  22.     p_1.set_title('Original')
  23.     p_2 = plt.subplot(142)
  24.     plt.imshow(img)
  25.     p_2.set_title('Only white')
  26.     p_3 = plt.subplot(143)
  27.     plt.imshow(gray,cmap ='gray')
  28.     p_3.set_title('Gray')
  29.     p_4 = plt.subplot(144)
  30.     plt.imshow(binary,cmap ='gray')
  31.     p_4.set_title('Threshold')
  32.     plt.show()
  33.     return binary
  34.  
  35. get_clearImage()

結果

圖片辨識小小心得
  • 白底黑字的辨識度 優於 黑底白字
  • 如果圖片不是單純的白底黑字，那圖片進OCR之前的前處理很重要
  • 根據圖片特徵去做前處理以強化你想要辨識的地方，以我的例子，我要的是白色的數值部分，所以我就去凸顯白色，把非白色都去掉。


四、完整程式碼
  1. # -*- coding: utf-8 -*- by Luca 
  2. import sys, os
  3. from pynput.keyboard import Controller, Key, Listener
  4. from pynput import keyboard #version 1.6.8
  5. from datetime import datetime
  6. from PIL import ImageGrab, Image #version 8.0.0
  7. import easygui #version 0.98.1
  8. import time
  9. import pyautogui #version 0.9.52
  10. import threading
  11. import inspect
  12. import ctypes #version 1.1.0
  13. import pytesseract
  14. import cv2 #version 3.4.5.20
  15. import numpy as np #version 1.19.2
  16. import skimage #0.24.0
  17.  
  18. flag = False #自動重鑄的執行狀態,True表示重鑄中,False表示閒置中
  19. threads = [] #多線程陣列
  20. condition="DAMAGE:1054000" #目標值
  21.  
  22.  
  23. def _async_raise(tid, exctype):
  24.     """raises the exception, performs cleanup if needed"""
  25.     tid = ctypes.c_long(tid)
  26.     if not inspect.isclass(exctype):
  27.         exctype = type(exctype)
  28.     res = ctypes.pythonapi.PyThreadState_SetAsyncExc(tid, ctypes.py_object(exctype))
  29.     if res == 0:
  30.         raise ValueError("invalid thread id")
  31.     elif res != 1:
  32.         ctypes.pythonapi.PyThreadState_SetAsyncExc(tid, None)
  33.         raise SystemError("PyThreadState_SetAsyncExc failed")
  34.  
  35. #結束多線程
  36. def stop_thread(thread):
  37.     _async_raise(thread.ident, SystemExit)
  38.     
  39.         
  40. #Inputbox
  41. def call_inputbox():
  42.     global condition
  43.     tmp = easygui.enterbox("請輸入條件","訊息",condition)
  44.     if tmp != None:
  45.         condition = tmp
  46.         print('目前條件為:'+ condition)
  47.     time.sleep(1)
  48.  
  49. #影像前處理
  50. def get_clearImage(img):
  51.  
  52.     #放大照片
  53.     #resize image to be 300 pixels wide
  54.     r = 300.0 / img.shape[1]
  55.     dim = (300, int(img.shape[0] * r))
  56.     bigimg = cv2.resize(img, dim, interpolation=cv2.INTER_AREA)
  57.  
  58.     #轉灰階(去除顏色留下黑白)
  59.     coefficients = [0, 1, 1]
  60.     m = np.array(coefficients).reshape((1, 3))
  61.     gray = cv2.transform(bigimg, m)
  62.  
  63.     #定義膨脹核
  64.     kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3))
  65.     #膨脹操作(把白字變粗)
  66.     dilated = cv2.dilate(gray, kernel, iterations=1)
  67.  
  68.     #閾值 maxval:255 142 白轉黑 黑轉白 變成白底黑字
  69.     binary = cv2.threshold(dilated, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)[1]
  70.     return binary
  71.  
  72.  
  73.  
  74. #圖片轉文字
  75. def get_charactfromIMG(cond):
  76.     imgPath =r"D:\D3\Autoreforge\screenshotDefault.png"
  77.     img = cv2.imread(imgPath, cv2.IMREAD_COLOR)
  78.     
  79.     result = []
  80.     
  81.     cong = r'--oem 3 --psm 6 outputbase digits'
  82.     datas = pytesseract.image_to_string(get_clearImage(img),lang="eng", config=cong)#chi_tra
  83.     for i in datas.splitlines():
  84.         tempval = i.strip().replace('.','')
  85.         if tempval != "":
  86.             result.append(tempval)
  87.  
  88.     if cond == "STR" and len(result) > 0: #力量
  89.         return result[0]
  90.     elif cond == "AGI" and len(result) > 1: #敏捷
  91.         return result[1]
  92.     elif cond == "INT" and len(result) > 2: #智力
  93.         return result[2]
  94.     elif cond == "VIT" and len(result) > 3: #體能
  95.         return result[3]
  96.     elif cond == "DAMAGE" and len(result) > 4: #傷害
  97.         return result[4]
  98.     else:
  99.         stop_rebuild()
  100.         print("不在暗黑畫面中,停止鑄造")
  101.         
  102. #比較條件與數值
  103. def compare_value():
  104.     global condition
  105.     if len(condition) > 0:
  106.         condType = condition.split(':')[0]
  107.         condValue = condition.split(':')[1]
  108.         val1 = get_charactfromIMG(condType)
  109.         if (len(val1)>1) and (int(val1) >= int(condValue)):
  110.             return True
  111.         else:
  112.             return False
  113.     else:
  114.         return False
  115.  
  116. #螢幕截圖
  117. def get_screenshot():
  118.     image = pyautogui.screenshot()#全螢幕截圖
  119.     image_obj = image.crop((1440,240,1600,500)).convert('L')#切割圖片,只留需要的區域
  120.     #非白色都轉黑色，只留下白色數值部分
  121.     for a in range(image_obj.size[1]):
  122.         for b in range(image_obj.size[0]):
  123.             if image_obj.getpixel((b,a)) < 171:
  124.                 image_obj.putpixel((b,a),0)
  125.     image_obj.save(r"D:\D3\Autoreforge\screenshotDefault.png")
  126.  
  127. #停止重鑄
  128. def stop_rebuild():
  129.     global threads, flag,condition
  130.     flag = False
  131.     if len(threads) > 0:
  132.         stop_thread(threads[0])
  133.     threads.clear()
  134.     condition=""
  135.     print(datetime.now().strftime("%H:%M:%S") + " ： 停止重鑄...")
  136.  
  137. # 自動重鑄
  138. def auto_rebuild():
  139.     i=0
  140.     while i<1000: #以防萬一程式停不了，跑到1000次時強制停止
  141.         get_screenshot()#全螢幕截圖
  142.         if compare_value() == False:
  143.             pyautogui.click(699,839) #放入材料
  144.             time.sleep(.200)
  145.             pyautogui.click(277,834) #轉化
  146.             time.sleep(3.500)
  147.             i+=1
  148.         else:
  149.             break
  150.     print(datetime.now().strftime("%H:%M:%S") + " ： 目標達成，停止重鑄...")
  151.     stop_rebuild()
  152.     
  153.  
  154. #得到鍵入的值
  155. def get_key_name(key):
  156.     return str(key)
  157.  
  158.     
  159. # 監聽按壓
  160. def on_press(key):
  161.     global fun_start,time_interval,index,dict,count,count_dict
  162.     #print("正在按壓:", get_key_name(key))
  163.     
  164. # 監聽釋放
  165. def on_release(key):
  166.     global start,fun_start, time_inxterval, index,count,count_dict,flag,threads,condition
  167.     tmpkey = get_key_name(key)
  168.     #print("已經釋放:", tmpkey)
  169.     
  170.     if tmpkey == "'a'" and flag == False:
  171.         threads.clear()
  172.         print(datetime.now().strftime("%H:%M:%S") , " ： 開始重鑄...")
  173.         threads.append(threading.Thread(target = auto_rebuild))
  174.         threads[0].start()
  175.         flag = True
  176.         
  177.     if tmpkey == "'b'" and flag == True:
  178.         stop_rebuild()
  179.  
  180.     if tmpkey == "'s'":
  181.         call_inputbox()
  182.     
  183.     if tmpkey == "'x'":
  184.         # 停止監聽
  185.         return False
  186.     
  187. # 開始監聽
  188. def start_listen():
  189.     with Listener(on_press=on_press, on_release=on_release) as listener:
  190.         listener.join()
  191.  
  192. if __name__ == '__main__':
  193.     # 開始監聽,按esc退出監聽
  194.     print('暗黑破壞神3 自動重鑄程式開始執行....')
  195.     print('按s設定目標值, 按a開始自動重鑄, 按b停止自動重鑄, 按x結束程式')
  196.     print('力量STR,敏捷AGI,智力INT,體力VIT，條件使用預期目標，當力量>=10000才停止重鑄')
  197.     print('條件範例： AGI:10000，這條件表示當敏捷大於等於10000會停止重鑄')
  198.     print('目前條件為:'+ condition)
  199.     start_listen()


大部分情況下程式都可以正常運行

但在多線程的處理上，還有進步空間，偶有Error會發生

但至少現在可以不用守在電腦前面啦


參考資料

at
Labels: , , , , ,

沒有留言:

張貼留言

訂閱： 張貼留言 (Atom)