k8s中job与cronjob使用实例详解

目录

• 一、前言
• 二、k8s中job特点
• 三、Job模板配置文件核心配置参数
• 3.1 ttlSecondsAfterFinished
• 3.2 activeDeadlineSeconds
• 3.3 backoffLimit
• 3.4 parallelism
• 3.5 completions
• 四、job案例操作演示
• 五、cronjob 理论
• 六、cronjob 模板配置文件核心配置参数
• 七、cronjob 案例操作演示
• cronjob的运行状态
• job的运行状态
• pod的运行状态
• cronjob使用场景

一、前言

job，顾名思义就是任务，job的概念在很多框架中都有，而且实际业务场景中也使用非常广泛，比如大家熟悉的hadoop，客户端可以向集群提交一个job，然后集群根据一定的调度策略来处理这个job；

k8s中的job，主要用于批量处理的业务场景，比如像那种短暂的一次性任务(每个任务仅运行一次就结束)；

二、k8s中job特点

• 当Job创建的pod执行成功结束时，Job将记录成功结束的pod数量；
• 当成功结束的pod达到指定的数量时，Job将完成执行；

job与pod的关系如下图

三、Job模板配置文件核心配置参数

如下为job的一个模板配置yaml文件中的部分核心配置参数

apiVersion: batch/v1 # 版本号
kind: Job # 类型
metadata: # 元数据
  name: # rs名称
  namespace: # 命名空间
  labels:
    controller: job
spec:
  completions: 6 # 指定job需要成功运行Pods的次数。默认值: 1
  parallelism: 3 # 指定job在任一时刻应该并发运行Pods的数量。默认值: 1
  ttlSecondsAfterFinished: 5
  activeDeadlineSeconds: 30 # 指定job可运行的时间期限，超过时间还未结束，系统将会尝试进行终止。
  backoffLimit: 5 # 指定job失败后进行重试的次数。默认是6
  manualSelector: true # 是否可以使用selector选择器选择pod，默认是false
  selector: # 选择器，通过它指定该控制器管理哪些pod
    matchLabels:      # Labels匹配规则
      app: counter-pod
    matchExpressions: # Expressions匹配规则
      - {key: app, operator: In, values: [counter-pod]}
  template: # 模板，当副本数量不足时，会根据下面的模板创建pod副本
    metadata:
      labels:
        app: counter-pod
    spec:
      restartPolicy: Never # 重启策略只能设置为Never或者OnFailure
      containers:
      - name: counter
        image: busybox:1.30
        command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 2;done"]

可以参照各个参数的备注加以理解，下面对其中部分参数做补充说明；

3.1 ttlSecondsAfterFinished

• 当设置了ttlSecondsAfterFinished参数，job完成或者失败后都会在ttlSecondsAfterFinished所设置的时间后被清理；
• 假设ttlSecondsAfterFinished 设置成30。在job完成或者失败后30s，job就会被自动清除，包括job和job所管理的pod都会被清除；
• 假设没有设置，job和job所管理的pod会一直存在，不管是失败还是成功，不过好像有些k8s的版本ttlSecondsAfterFinished是不生效的，建议使用1.20以上的版本；

3.2 activeDeadlineSeconds

• Job的超时时间，一旦一个Job运行的时间超出该限制，则Job失败，所有运行中的Pod会被结束并删除；
• 该配置指定的值必须是个正整数，不指定则不会超时；
• 但是经过实验，job pod并不会自动删除，所以如果希望超时后pod会自动删除还是设置一下ttlSecondsAfterFinished；

3.3 backoffLimit

• 允许执行失败的次数，默认值是6，0表示不允许执行失败；
• 如果Pod是restartPolicy为Nerver，则失败后会创建新的Pod，如果是OnFailed，则会重启Pod，不管是哪种情况，只要Pod失败一次就计算一次，而不是等整个Pod失败后再计算一个；
• 当失败的次数达到该限制时，整个Job随即结束，所有正在运行中的Pod都会被删除；
• 但是经过实验，jobpod并不会自动删除，所以如果希望超时后pod会自动删除还是设置一下ttlSecondsAfterFinished；

3.4 parallelism

并行运行的Pod的个数，默认值为1，假如设置为3，就会同时开启3个pod去执行任务

3.5 completions

• 完成该Job需要执行成功的Pod数；
• 指定需要完成的数量，默认值为1，假设设置为3，需要有三个pod成功完成任务，这个job才算是完成；

四、job案例操作演示

在当前目录下创建一个jod-pod.yaml文件，配置如下内容

apiVersion: batch/v1
kind: Job
metadata:
  name: test-job
  namespace: default
spec:
  manualSelector: true
  selector:
    matchLabels:
      app: counter-pod
  template:
    metadata:
      labels:
        app: counter-pod
    spec:
      restartPolicy: Never
      containers:
      - name: counter
        image: busybox:1.30
        command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done"]

使用apply创建pod

在另外的两个窗口，我们提前打开监控pod和job的执行情况，可以看到下面的完整执行过程；

从job的执行过程来看，经历了从无到有以及到最终的STATUS状态为Completed的过程，这个也和上文提到的job的生命周期描述吻合；

对于Pod的执行过程来看，从下面这张图可以清晰看到STATUS的各个阶段变化的完整过程；

其他的模板中的参数可以直接往里面添加即可在job运行过程中看到效果，比如我们在该模板文件中补充两个参数；

再次运行这个job，通过job和pod的监控信息，看到如下的效果；

五、cronjob 理论

CronJob其实就是在Job的基础上加上了时间调度，我们可以：在给定的时间点运行一个任务，也可以周期性地在给定时间点运行。这个实际上和我们Linux中的crontab就非常类似了。

CronJob控制器以 Job控制器资源为其管控对象，并借助它管理pod资源对象，Job控制器定义的作业任务在其控制器资源创建之后便会立即执行，但CronJob可以以类似于Linux操作系统的周期性任务作业计划的方式控制其运行时间点及重复运行的方式。也就是说，CronJob可以在特定的时间点(反复的)去运行job任务。

cronjob 运行原理图

六、cronjob 模板配置文件核心配置参数

如下为cronjob模板配置文件中核心参数；

apiVersion: batch/v1beta1 # 版本号
kind: CronJob # 类型
metadata: # 元数据
  name: # rs名称
  namespace: # 命名空间
  labels: #标签
    controller: cronjob
spec: # 详情描述
  schedule: # cron格式的作业调度运行时间点,用于控制任务在什么时间执行
  concurrencyPolicy: # 并发执行策略，用于定义前一次作业运行尚未完成时是否以及如何运行后一次的作业
  failedJobHistoryLimit: # 为失败的任务执行保留的历史记录数，默认为1
  successfulJobHistoryLimit: # 为成功的任务执行保留的历史记录数，默认为3
  startingDeadlineSeconds: # 启动作业错误的超时时长
  jobTemplate: # job控制器模板，用于为cronjob控制器生成job对象;下面其实就是job的定义
    metadata:
    spec:
      completions: 1
      parallelism: 1
      activeDeadlineSeconds: 30
      backoffLimit: 6
      manualSelector: true
      selector:
        matchLabels:
          app: counter-pod
        matchExpressions: 规则
          - {key: app, operator: In, values: [counter-pod]}
      template:
        metadata:
          labels:
            app: counter-pod
        spec:
          restartPolicy: Never
          containers:
          - name: counter
            image: busybox:1.30
            command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 20;done"]

关于配置文件中的补充参数说明

concurrencyPolicy

concurrencyPolicy 配置策略

• Allow: 允许Jobs并发运行(默认)；
• Forbid: 禁止并发运行，如果上一次运行尚未完成，则跳过下一次运行；
• Replace: 替换，取消当前正在运行的作业并用新作业替它；

Cron调度语法

注意K8S的定时任务仅支持5位，从minute开始

# ┌───────────── minute (0 - 59)
# │ ┌───────────── hour (0 - 23)
# │ │ ┌───────────── day of the month (1 - 31)
# │ │ │ ┌───────────── month (1 - 12)
# │ │ │ │ ┌───────────── day of the week (0 - 6) (Sunday to Saturday;
# │ │ │ │ │ 7 is also Sunday on some systems)
# │ │ │ │ │
# │ │ │ │ │
#* * * * *

七、cronjob 案例操作演示

在当前目录创建一个cron-job.yaml的配置文件，配置内容如下：

apiVersion: batch/v1beta1
kind: CronJob
metadata:
  name: test-cronjob
  namespace: default
  labels:
    controller: cronjob
spec:
  schedule: "*/1 * * * *"
  jobTemplate:
    metadata:
    spec:
      template:
        spec:
          restartPolicy: Never
          containers:
          - name: counter
            image: busybox:1.30
            command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done"]

使用apply（或create命令）创建cronjob

通过开启其他客户端窗口，可以监控cronjob，job以及pod的运行过程中的状态；

cronjob的运行状态

上面的配置策略是每分钟执行，从下图的运行效果中也可以看出来；

job的运行状态

pod的运行状态

cronjob使用场景

Cron 作业对于创建周期性和重复性任务很有用，例如运行备份或发送电子邮件。Cron 作业还可以将单个任务安排在特定时间，例如，你想将作业安排在业务低峰期执行。

到此这篇关于k8s中job与cronjob使用实例详解的文章就介绍到这了,更多相关k8s job与cronjob使用内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！