Crontab的使用方法(ubuntu为例)
- 安装cron软件
- apt-get install cron
- 编辑crontab定时执行命令
- 进入crontab编辑界面
- crontab -e 进入编辑界面
- crontab -l 查看当前的定时任务
- crontab -r 删除任务
- 编辑需要被定时执行的命令
- 编辑的格式
- 分(0-59) 小时(0-23) 日(1-31) 月(1-12) 星期(0-6) 命令(command)
- 示例
- 30 7 8 * * ls 指定每月的8日的7:30执行ls命令
- */15 * * * * ls 每15分钟执行一次ls命令
- 0 */2 * * * ls 每隔两个小时执行一次ls
- 注意点
- * /num 代表每隔多长时间的意思
- 当一个位置使用每隔符号的时候，其前边的时间位置，不能为*
- 星期中0表示周日
使用Crontab定时爬虫
- 编辑爬虫脚本
- 先定义好爬虫的启动脚本， 以start.sh为例
- 给.sh文件添加可执行权限
- chmod + start.sh
- 在crontab中编辑脚本文件执行时间
- 0 6 * * * ${SPIDER_DIR}/start.sh >> /dev/null 2>&1
