本文的主题为介绍如何通过程序自动化控制键盘和鼠标。

要解决什么问题

在我们实际工作生活中，有许多重复性的工作，比如新员工入职流程。除了员工个人信息的不同，其他的流程应该是完全一样，因此此类工作完全可以自动化解决。但是问题来了，有的流程需要填写excel表格，而有些流程需要填写网页表格，这就导致可能比较复杂。那么有没有办法，一个通用的办法来解决这些问题呢？答案是肯定有，我们用最简单的方法，通过Python来控制键盘和鼠标。

实现思路

对于本章的内容我觉得可以帮我们几乎完成任何事情，因为我们可以通过程序来模拟键盘和鼠标的任何操作，这就意味着我们的程序可以像一个机器人一样，根据我们的指令去做任何事情。我们对电脑的操作也就是键盘和鼠标了，因此如果可以通过程序控制键盘鼠标，那么也就意味着我们可以用程序实现任何事情。

当然了，针对某些场景，我们仅仅能够操作鼠标和键盘，还是不能搞定。因为键盘和鼠标仅仅是输入，我们无法获取相应输入操作的输出，比如鼠标点击了某个按钮，我们不知道这个点击操作是否被正确的响应了。那么我们就需要去对输入操作的结果进行一些判定，比如某个按钮的操作完成后，会弹出成功或失败的提示框。仅仅通过键盘和鼠标，我们是无法感知是否有提示框弹出，更不可能知道弹出框的内容是什么。

那么怎么解决这个问题呢？我们前面学习过PIL模块，这里我们可以通过该模块的来进行图片解析，从而确定输入执行后对应的输出是否正确。这样，我们的程序就有一个比较完成的交互行为。

相关模块的安装及介绍

本节将会介绍本章自动化控制键盘和鼠标中会使用到的相关模块。

pyperclip模块

pyperclip模块是一个跨平台的粘贴板模块，实现了复制和粘贴功能。可以通过pip命令进行安装，命令如下。

pip install pyperclip

下面是一个简单的使用pyperclip模块的例子。

>>> import pyperclip>>> pyperclip.copy('The text to be copied to the clipboard.')>>> pyperclip.paste()'The text to be copied to the clipboard.'

pyautogui模块

pyautogui模块是一个面向人类的跨平台GUI自动化模块，可以用编程的方式控制键盘和鼠标，也就是给我们提供了一种通过程序来控制键盘和鼠标的方式。通过pip命令可以进行安装，安装过程如下所示。

PS C:\Program Files (x86)\Python3.6.8\Scripts> pip3 install pyautoguiCollecting pyautoguiUsing cached  pymsgbox (from pyautogui)Using cached  PyTweening>=1.0.1 (from pyautogui)Using cached  Pillow (from pyautogui)Using cached  pyscreeze>=0.1.21 (from pyautogui)Using cached  pygetwindow>=0.0.5 (from pyautogui)Using cached  mouseinfo (from pyautogui)Using cached  pyrect (from pygetwindow>=0.0.5->pyautogui)Using cached  pyperclip (from mouseinfo->pyautogui)Using cached  collected packages: pymsgbox, PyTweening, Pillow, pyscreeze, pyrect, pygetwindow, pyperclip, mouseinfo, pyautoguiRunning setup.py install for pymsgbox ... doneRunning setup.py install for PyTweening ... doneRunning setup.py install for pyscreeze ... doneRunning setup.py install for pyrect ... doneRunning setup.py install for pygetwindow ... doneRunning setup.py install for pyperclip ... doneRunning setup.py install for mouseinfo ... doneRunning setup.py install for pyautogui ... doneSuccessfully installed Pillow-6.1.0 PyTweening-1.0.3 mouseinfo-0.0.4 pyautogui-0.9.47 pygetwindow-0.0.7 pymsgbox-1.0.7 pyperclip-1.7.0 pyrect-0.1.4 pyscreeze-0.1.22

比如，鼠标的双击，单击和右击等操作，示例代码如下。

import pyautogui as lazy_boylazy_boy.click()lazy_boy.doubleClick()lazy_boy.rightClick()lazy_boy.middleClick()

PIL模块

PIL模块是一个Python图像库模块，它包含了很多子模块，我们这里的例子将只使用ImageGrab模块用于图像操作。下面是的代码片段，展示了ImageGrab的简单用法。

from PIL import ImageGrabdef screenshots():screen_width, screen_height = lazy_boy.size()rect = (0, 0, screen_width, screen_height)img = ImageGrab.grab(rect)return img

到现在相关的准备工作已经完成，接下来看看具体实现。

编写伪码

Python代码实现中，将先介绍pyautogui模块的一些基本操作，然后再介绍一个简单的例子，那就是让我们的程序自动打开Notepad++，新建一个文件，输入一段Python代码，最后将该文件保存为Python文件。

# pyautogui模块的基本操作# 打开Notepad++# 新建一个文件# 输入Python代码# 将该文件保存为Python文件

Python代码

下面的代码介绍pyautogui模块的基本用法，便于了解该模块的基本功能。

import pyautogui as lazy_boy# 获取当前鼠标的坐标current_x, current_y = lazy_boy.position()# 鼠标操作lazy_boy.moveTo(x, y)lazy_boy.moveRel()lazy_boy.locateOnScreen('./test.jpg')lazy_boy.click(x, y) # 根据坐标x, y单击lazy_boy.doubleClick()lazy_boy.rightClick()lazy_boy.middleClick()# 拖拽鼠标lazy_boy.mouseDown()lazy_boy.dragTo()lazy_boy.dragRel()lazy_boy.mouseUp()lazy_boy.scroll(200)# 键盘操作lazy_boy.typewrite(message='Hello world!', interval=0.5)lazy_boy.press('esc')lazy_boy.press('enter')lazy_boy.keyDown('shift')lazy_boy.keyUp('shift')lazy_boy.hotkey('ctrl', 'c')lazy_boy.hotkey('ctrl', 'v')# 粘贴板操作import pyperclippyperclip.copy('学习Python')pyperclip.paste()# 截屏im = lazy_boy.screenshot('screenshot.png')# 获取坐标位置的颜色im.getpixel((x, y))# 判断坐标(x, y)处的颜色是否为(r, g, b)lazy_boy.pixelMatchesColor(x, y, (r, g, b))# 在当前屏幕中查找指定图片(图片需要由系统截图功能截取的图)，比如查找按钮坐标coord = lazy_boy.locateOnScreen('button.png')# 获取找到的按钮的中心坐标x, y = lazy_boy.center(coord)# 在该坐标点右击lazy_boy.rightClick(x, y)# 在坐标（120， 110）处输入"Python is a good language!"lazy_boy.click(120, 110)lazy_boy.typewrite('Python is a good language!')# 为输入过程加入延迟lazy_boy.typewrite('Python is a good language!', 0.3)#lazy_boy.FAILSAFE = Truelazy_boy.PAUSE = 1下面的代码是一个实际案例，比较简单，用于打开Notepad++程序，并新建一个文件，输入两行Python代码，然后将该文件另存为"auto_crreate.py"。为了点击保存按钮，我们需要提前将保存按钮截图，并存为save.png文件。import pyperclipimport pyautogui as lazy_boylazy_boy.FAILSAFE = Truelazy_boy.PAUSE = 1# 这个程序将自动打开Notpad++, 新建一个文件，并输入Python代码，最后将其保存为Python文件lazy_boy.press('win')lazy_boy.typewrite('Notepad++')lazy_boy.press('enter')lazy_boy.hotkey("ctrl", "n")lazy_boy.typewrite("import os\r\nprint('Hello python')\r\n", 0.5)pyperclip.copy("This is a test file")pyperclip.paste()lazy_boy.hotkey("ctrl", "s")lazy_boy.typewrite("auto_create.py")coord = lazy_boy.locateOnScreen('save.png')print(coord)# 获取定位到的图中间点坐标x, y = lazy_boy.center(coord)lazy_boy.click(x, y)

本文介绍了一个非常实用的内容，用Python自动化控制键盘和鼠标，这样当我们遇到一些很棘手的问题，如果没有第三方库支持，那么我们就可以利用本章进行去解决。因为所有的事情都是可以通过键盘和鼠标来完成的，复杂的事情，我们可能需要更多代码和操作步骤，但终究都是可以被搞定的。因此，当读者遇到任何难题的时候，不要轻易彻底放弃，可以短暂搁置，让这件事一直盘旋在自己的脑海中，在空闲的时候，或者某一刻就会有思路从脑海中冒出来。

书山有路勤为径，Python编程效率高。#程序员##科技V计划##编程##头条圈子学院##程序员那些事#