Python定时任务,三步实现自动化

知秋小一 2020-11-13 14:37:08
Python 任务 定时 时任 三步


大家好,我是小一

今天的文章源自于工作中的一个小技巧,主要是涉及到日常工作的自动化处理。

如果说你每天都需要做一些重复的工作,比如出一份报告、统计一个数据、发一封邮件等等

那你完全可以把这个任务交给电脑让它每天自动替你完成,而你只需要从容的打开保温杯,静静地泡一杯枸杞


今天主要会用到Linux下的cron这个服务,ok,直接开始



1. 安装cron

基本上所有的Linux发行版在默认情况下都预安装了cron工具。

即使未预装cron,也很简单,执行几条简单的命令就可手动安装

# 检查是否已经预装了cron
service cron status

安装并启动服务

安装:apt-get install cron
启动/停止/重启:service cron start/stop/restart
查询当前任务:crontab -l


2. 安装检查

安装完成后检查一下是否安装成功,同样使用 status命令查看

出现如下提示表示安装成功:

在这里插入图片描述

另外,在ubuntu下可能会出现这样的提示:

在这里插入图片描述

这个也表示可以正常使用


3. cron用法

有几个关于cron的简单用法可以了解一下,后面也会通过一个案例详细介绍如何使用

首先,列出当前用户计划的cron作业:

crontab -l

查看其它用户的cron作业:

crontab –l –u username

移除已经计划的cron作业:

crontab –r


4. 调度crontab计划

首先,通过如下命令添加或更新crontab中的任务

在这里插入图片描述

第一次进入会要求你选择编辑器,这个根据自己的习惯选择。

选择好之后会进入到这样的一个界面:

在这里插入图片描述

用过vim的同学应该对这个界面不陌生,类似的操作:按A键开始编辑,按ESC输入wq保存并退出

重点是最下面的一段内容:

m h dom mon dow commmand

这个其实就是crontab调度作业的一个使用介绍,可以用来设置定时任务。

具体一点的语法是这样的:

m h dom mon dow command
* * * * * command
- - - - - -
| | | | | |
| | | | | --- 预执行的命令
| | | | ----- 表示星期0~7(其中星期天可以用0或7表示)
| | | ------- 表示月份1~12
| | --------- 表示日期1~31
| ----------- 表示小时1~23(0表示0点)
------------- 表示分钟1~59 每分钟用*或者 */1表示


举几个简单的应用案例:

  • 每天 02:00 执行任务
0 2 * * * command
  • 每天 5:00和17:00执行任务
0 5,17 * * * command
  • 每 10min 执行一次任务
*/10 * * * * command
  • 在特定的某几个月的周日 17:00 执行任务
0 17 * jan,may,aug sun command

差不多常用的就这些,更多的使用案例还可以参考这个链接:http://linux.51yip.com/search...


上面案例中的command 表示你具体需要执行的任务,例如打印一段话:

echo "Hello xiaoyi" >> /tmp/test.txt 

或者将这段话输出到txt中:

echo "Hello xiaoyi" >> /tmp/test.txt 

或者是你需要执行一个Python脚本:

python demo.py filepath

后面的filepath表示输入的参数args,这个可能有的同学会用到,例如下面的案例中需要输入文件下载路径。


5. 实战

上面的都搞清楚了,就可以开始今天的重头戏了。

首先我们需要每天从ftp服务器中下载最新的任务数据,将数据下载到本地后通过Python进行数据汇总统计,最后将结果存入数据库中,如果期间某个环节出现问题则发送告警邮件。

① Python脚本

首先需要Python脚本完成以下功能:

  • 从数据库中获取最新数据日期
  • 从ftp中下载最新数据到本地
  • 对本地最新数据进行汇总统计
  • 统计结果存入数据库汇总
  • 邮件通知

上面这个流程大致的伪代码是这样的:

if __name__ == '__main__':
"""获取最新数据日期"""
latest_date = get_max_date()
# 以最新日期为名创建文件夹
download_dir = os.path.join(sys.argv[1], latest_date)
if not os.path.exists(download_dir):
os.makedirs(download_dir)
"""从ftp中下载最新数据"""
download_file(latest_date, download_dir)
"""处理最新数据并保存"""
process_data(latest_date, download_dir)

邮件监控可以在加一个try catch的异常捕获,有异常发生的时候则发送邮件

Python编辑邮件内容并发送以前也有写过,可以参考下面这个:Python邮件发送


②编写cron任务

打开crontab,编辑如下内容到最后一行,保存并退出

crontab是会自动实时更新任务列表的,如果不放心也可以通过restart命令重启cron 服务【参考文章开头】

在这里插入图片描述

这里有个小建议,所有的路径都填写绝对路径


③ 效果监控

如果Python代码没有问题,任务会定时执行。

这里建议可以把自己的command单独在控制台运行下,没有问题的时候再写进到cron任务列表红。

最终小一的定时任务运行截图如下:

最下面是ftp文件下载,上面是数据汇总统计

在这里插入图片描述



说点题外话

如果说你平时的工作有很多重复的任务,像日常指标的采集、取数汇总统计、邮件自动转发等等

一旦这些工作你可以通过脚本设置好逻辑,自动化任务也就可以实现它,最多就需要你每天注意一下邮件,看看有没有发生错误就行了。


原创不易,欢迎点赞噢

文章首发:公众号【知秋小一】

文章同步:掘金,简书,csdn


原文链接:普及一个工作小技巧,三步实现Python自动化



版权声明
本文为[知秋小一]所创,转载请带上原文链接,感谢
https://segmentfault.com/a/1190000038159517

  1. 利用Python爬虫获取招聘网站职位信息
  2. Using Python crawler to obtain job information of recruitment website
  3. Several highly rated Python libraries arrow, jsonpath, psutil and tenacity are recommended
  4. Python装饰器
  5. Python实现LDAP认证
  6. Python decorator
  7. Implementing LDAP authentication with Python
  8. Vscode configures Python development environment!
  9. In Python, how dare you say you can't log module? ️
  10. 我收藏的有关Python的电子书和资料
  11. python 中 lambda的一些tips
  12. python中字典的一些tips
  13. python 用生成器生成斐波那契数列
  14. python脚本转pyc踩了个坑。。。
  15. My collection of e-books and materials about Python
  16. Some tips of lambda in Python
  17. Some tips of dictionary in Python
  18. Using Python generator to generate Fibonacci sequence
  19. The conversion of Python script to PyC stepped on a pit...
  20. Python游戏开发,pygame模块,Python实现扫雷小游戏
  21. Python game development, pyGame module, python implementation of minesweeping games
  22. Python实用工具,email模块,Python实现邮件远程控制自己电脑
  23. Python utility, email module, python realizes mail remote control of its own computer
  24. 毫无头绪的自学Python,你可能连门槛都摸不到!【最佳学习路线】
  25. Python读取二进制文件代码方法解析
  26. Python字典的实现原理
  27. Without a clue, you may not even touch the threshold【 Best learning route]
  28. Parsing method of Python reading binary file code
  29. Implementation principle of Python dictionary
  30. You must know the function of pandas to parse JSON data - JSON_ normalize()
  31. Python实用案例,私人定制,Python自动化生成爱豆专属2021日历
  32. Python practical case, private customization, python automatic generation of Adu exclusive 2021 calendar
  33. 《Python实例》震惊了,用Python这么简单实现了聊天系统的脏话,广告检测
  34. "Python instance" was shocked and realized the dirty words and advertisement detection of the chat system in Python
  35. Convolutional neural network processing sequence for Python deep learning
  36. Python data structure and algorithm (1) -- enum type enum
  37. 超全大厂算法岗百问百答(推荐系统/机器学习/深度学习/C++/Spark/python)
  38. 【Python进阶】你真的明白NumPy中的ndarray吗?
  39. All questions and answers for algorithm posts of super large factories (recommended system / machine learning / deep learning / C + + / spark / Python)
  40. [advanced Python] do you really understand ndarray in numpy?
  41. 【Python进阶】Python进阶专栏栏主自述:不忘初心,砥砺前行
  42. [advanced Python] Python advanced column main readme: never forget the original intention and forge ahead
  43. python垃圾回收和缓存管理
  44. java调用Python程序
  45. java调用Python程序
  46. Python常用函数有哪些?Python基础入门课程
  47. Python garbage collection and cache management
  48. Java calling Python program
  49. Java calling Python program
  50. What functions are commonly used in Python? Introduction to Python Basics
  51. Python basic knowledge
  52. Anaconda5.2 安装 Python 库(MySQLdb)的方法
  53. Python实现对脑电数据情绪分析
  54. Anaconda 5.2 method of installing Python Library (mysqldb)
  55. Python implements emotion analysis of EEG data
  56. Master some advanced usage of Python in 30 seconds, which makes others envy it
  57. python爬取百度图片并对图片做一系列处理
  58. Python crawls Baidu pictures and does a series of processing on them
  59. python链接mysql数据库
  60. Python link MySQL database