如何使用shell在多服务器上批量操作

SSH 协议

说公钥登陆之前，先来说一下 SSH 协议。

SSH 是一种网络协议，我们常说的 ssh 一般指其实现，即 OpenSSH，在 shell 中，也就是 ssh 命令。

SSH

Secure Shell（安全外壳协议，简称SSH）是一种加密的网络传输协议，可在不安全的网络中为网络服务提供安全的传输环境。 SSH通过在网络中建立安全隧道来实现SSH客户端与服务器之间的连接。

SSH 的原理跟 HTTPS 差不多，都是基于 TCP 和 非对称加密进行的应用层协议。它跟 HTTPS 的不同之处在于 HTTPS 通过数字证书和数字证书认证中心来防止中间人攻击，而 ssh 服务器的公钥没有人公证，只能通过其公钥指纹来人工确定其身份。

如下图所示，我们第一次使用 ssh 登陆某台服务器时， ssh 会提示我们验证服务器的公钥指纹。

当我们验证此公钥指纹是我们要登陆的服务器后，服务器的公钥会被添加到~/.ssh/known_hosts里，再登陆时，ssh 检测到是已认证服务器后就会跳过公钥验证阶段。

建连过程

关于通信加密的概念，我在之前的文章也有所介绍，参见：再谈加密-RSA非对称加密的理解和使用。至于 SSH 协议的建连过程，则可以参阅：Protocol Basics: Secure Shell Protocol。

总结起来主要包括以下步骤：

  • TCP 三次握手
  • SSH 协议版本协商
  • 客户端与服务端的公钥交换
  • 加密算法协商
  • 客户端使用对称加密的密钥认证
  • 客户端与服务端安全通信

我使用 tcpdump + wireshark 抓包并查看了一下其 SSH 的建连过程，如下图所示：

不得不再次感叹 tcpdump + wireshark 是学习网络协议的真神器。

ssh 工具

ssh

作为工具， ssh 分为服务端和客户端，在服务端，它是sshd，一般占用 22 端口。我们平常使用的是其客户端，一般用法为ssh user@host，然后根据 ssh 的提示，我们输入密码后登陆到服务器。

它的功能非常强大，看其支持参数就知道了。

ssh [-1246AaCfGgKkMNnqsTtVvXxYy] [-b bind_address] [-c cipher_spec] [-D [bind_address:]port] [-E log_file] [-e escape_char] [-F configfile] [-I pkcs11] [-i identity_file] [-J [user@]host[:port]] [-L address] [-l login_name] [-m mac_spec] [-O ctl_cmd] [-o option] [-p port] [-Q query_option] [-R address] [-S ctl_path] [-W host:port] [-w local_tun[:remote_tun]] [user@]hostname [command]

介绍完了 SSH 协议和 ssh 命令，终于说到公钥登陆了。

公钥登陆

理解了非对称加密的原理后，再公钥登陆会非常简单。由于公私钥是唯一的一对，在客户端保障自己私钥安全的情况下，服务端通过公钥就可以完全确定客户端的真实性，所以要实现公钥登陆，我们就要先生成一个公私密钥对。

通过ssh-keygen命令来生成密钥对，为了让步骤更完整，我把它们暂时保存到工作目录，默认会保存到~/.ssh目录。

~ ssh-keygen

Generating public/private rsa key pair.

Enter file in which to save the key (/Users/zbs/.ssh/id_rsa): ./test

Enter passphrase (empty for no passphrase):

Enter same passphrase again:

Your identification has been saved in ./test.

Your public key has been saved in ./test.pub.

The key fingerprint is:

SHA256:xxxxx/B17z/xxxxxx zbs@zbs.local

The key's randomart image is:

+---[RSA 2048]----+

|    o+*.. EO*    |

|   ....          |

|    oo+    .o++.o|

+----[SHA256]-----+

~ ls ./test*

./test     ./test.pub

把私钥文件 ./test 的内容放到客户端的 ~/.ssh/id_rsa，再使用密码试登陆到服务器后，将公钥内容./test.pub里的内容放到服务器的 ~/.ssh/authorized_keys。

再次登陆时，ssh 会自动使用自己的私钥来认证，也就避免了输出密码。

批量操作

公钥登陆帮我们避免了每次登陆服务器要输出密码的麻烦，它同时也解决了每个登陆会话都会同步阻塞的问题，这样我们就可以利用 ssh 的ssh user@host command方式来直接在服务器上执行命令。

同时，在我们拥有一个 ip 列表的情况下，使用 for 循环遍历 ip 列表，在多个服务器上批量执行命令也就成为了可能。

多服务器文件合并

前几天，帮同事在多个服务器上查找日志，需要把在多个服务器上查到的日志都汇总到同一台机器上进行统计分析。我是用 pssh 登陆的多个服务器，由于日志量太大，查出来的结果输出到终端上再复制有些不现实，而使用重定向，结果又会重定向到各自的服务器。

scp

这时候可以使用scp，scp 跟 ssh 是同一家族的命令，也是基于 SSH 协议实现的安全传输协议。只要在各个服务器之间互相保存着对方的公钥，就可以跟 ssh 命令一样，实现免密操作。

scp 的常见用法是scp src dst，其中远程路径可以表示为user@host:/path。在批量登陆的情况下，可以使用 grep 等命令先把结果文件输入到一个文件中，再使用 scp 命令将其复制到同一台服务器。

为了避免各个服务器的文件名冲突，可以使用uuidgen | xargs -I {} scp result.log root@ip:/result/{}将各个服务器的结果复制到不同的文件中，再使用 cat 将 result 文件夹中的文件合并到一块。

nc

当然，大多数情况下，我们的服务器之间并不会互相保存公钥，不过nc命令可以完美解决这个问题。

nc 的-k选项，可以让 nc 服务端在文件传输结束后保持连接不关闭。这样，我们使用nc -k -4l port > result.log启动一个 nc 服务端，再使用grep xxx info.log | nc ip port即可实现结果数据的合并。

小结

本文介绍的各个工具还是属于开发的小打小闹，了解多一些工具总是好的。如果做运维工作的话，还是需要依赖 OPS 平台集成更多功能，实现完整的自动化。

以上就是如何使用shell在多服务器上批量操作的详细内容，更多关于使用shell在多服务器上批量操作的资料请关注我们其它相关文章！

赞 (0)

相关推荐

  • shell批量curl接口脚本的简单实现方法

    前言 相信大家应该都有所体会,shell脚本可以说作用非常大,在服务器领域,用shell操作事务可比手动点击要方便快捷得多了.虽然只是文字界面,但是其强大的处理功能,会让各种操作超乎想象.而且,也可以将这些习惯移植到日常的工作当中,提升办事效率. 其实shell语法很简单,基本上就是综合一下在命令行下,一个个的命令集合,然后就组成了shell脚本.当然了,不懂语法的,百度搜索一下就好了嘛,毕竟,重要的是思想而非语法. 最近,刚接一需求,如下: DBA会将一些服务规则的数据导出,然后一条条手动去c

  • shell脚本批量删除es索引的方法

    发现elasticsearch集群的状态是red,unassign的分片数很多,看了下都是些旧的日期的索引(应该是定时任务删除失败导致的). curl -XGET ip:port/_cat/shards | grep UNASSIGNED 数量有几百个,写个脚本处理下,先恢复成green.red状态好像会影响索引创建和数据迁移 先把需要删除的索引导出到文件 curl -XGET ip:port/_cat/shards | grep UNASSIGNED >> needDelIndex.txt

  • shell脚本批量复制及执行命令的示例详解

    平时在处理一个或几个机器运行环境时,一个机器一个机器处理也能接受,但是如果是一批机器,几十或几百台,要是一台一台去安装环境,光是输入同一的命令,估计你自己都想吐,所有聪明的人会想一些偷懒的办法,确实可以找到一些省时省力的方法,比如写一个批量处理shell脚本,这几天在处理一批(八九十台)机器环境,找了一些批量处理的脚本,包括批量传输(scp)文件到多台机器上.批量执行命令到多台机器.还有需要交互的命令,下面记录一些这些命令: 机器IP文件:ip.txt 192.168.10.201 192.16

  • 使用Shell脚本批量启停Docker服务

    最近日常测试中经常需要手动启动或停止docker,于是决定写一个Shell脚本来代替人工操作,另外该脚本,也可以通过Python脚本实行远程调用,详细如下所示: 目前该脚本是将Container ID写死在脚本中,当然也可以通过传参给脚本来进行控制,大家可以改造一下. 启动docker 启动脚本详细如下所示: #!/bin/bash containerIDs="ad3e4d7fc407 a228730a915f ad3e4d7fc4099" statusLived="live

  • shell脚本实现ssh-copy-id批量自动发送公钥到远程主机

    需求 批量实现自动发送公钥到远程主机 环境 firewalld:关闭 selinux:关闭 实现方式 sshpass命令 shell调用expect命令 sshpass命令 #!/bin/bash # #******************************************************************** #Author: hechunping #QQ: ××× #Date: 2019-11-07 #FileName: ssh-sshpass.sh #URL:

  • 详解Shell 命令行批量处理图片文件名的实例

    Shell 命令行批量处理图片文件名 前言: 从网上下载了一堆图片,有的是*.jpg的,有的是*.jpeg的.并且文件名有长有短,很是糟心.因此,我想把这些文件给全部整理好,当然是用shell来处理啦! 说干就干. 循环所有文件 首先,我把所有的乱七八糟的图片,全部放在 ./image/ 这个文件夹下面. 然后在外层写一个i.sh的shell文件,录入下面的内容. 我的文件结构演示如下: 文件 image/xxx.jpg image/xxx.jpeg i.sh for f in $(find .

  • shell中如何批量注释和取消注释

    #!/bin/bash echo "1" echo "2" echo "3" echo "4" echo "5" echo "6" 上面这段shell会依次打印1~6 假设我们想只打印5和6,想将1-4注释掉,除了正常的做法,每行前面加#进行注释外 一.手动添加注释 我们还可以用个取巧的办法,也可以写成下面这种 #!/bin/bash :<<EOF echo "1&

  • shell脚本实现统计文件大小、批量创建用户的示例

    统计文件大小 需求: 每小时执行一次脚本,当时间为0点或12点时,清空/data/logs目录下所有日志文件的内容(包括该目录下的子目录里的文件),其他时间只需统计每个文件的大小,一个文件一行,记录到以日期和时间命名的文件中 #!/bin/bash dir=/data/log_size logdir=/data/logs d=`date +%d%H` t=`date +%H` #当目录不存在时创建记录文件存放目录 [ -d $dir ] || mkdir $dir #当记录文件存在时,先删除(避

  • 如何使用shell在多服务器上批量操作

    如何使用shell在多服务器上批量操作

    SSH 协议 说公钥登陆之前,先来说一下 SSH 协议. SSH 是一种网络协议,我们常说的 ssh 一般指其实现,即 OpenSSH,在 shell 中,也就是 ssh 命令. SSH Secure Shell(安全外壳协议,简称SSH)是一种加密的网络传输协议,可在不安全的网络中为网络服务提供安全的传输环境. SSH通过在网络中建立安全隧道来实现SSH客户端与服务器之间的连接. SSH 的原理跟 HTTPS 差不多,都是基于 TCP 和 非对称加密进行的应用层协议.它跟 HTTPS 的不同之

  • 通过Shell脚本批量创建服务器上的MySQL数据库账号

    1.项目背景 因监控需要,我们需要在既有的每个MySQL实例上创建一个账号.公司有数百台 MySQL 实例,如果手动登入来创建账号很麻烦,也不现实.所以,我们写了一个简单的shell脚本,用来创建批量服务器的mysql 账号.  2.执行脚本内容; #!/bin/bash ## 此段shell 脚本的主要功能是实现在多个SQL Server IP实例上,创建账号.输入参数是两个,第一个是数据库所在的IPs,即多个Server IP构成的字符串,IP间用逗号隔开.第二个参数是 端口(3306 或

  • 如何使用Shell脚本掩盖Linux服务器上的操作痕迹(推荐)

    使用Shell脚本在Linux服务器上能够控制.毁坏或者获取任何东西,通过一些巧妙的攻击方法黑客可能会获取巨大的价值,但大多数攻击也留下踪迹.当然,这些踪迹也可通过Shell脚本等方法来隐藏. 寻找攻击证据就从攻击者留下的这些痕迹开始,如文件的修改日期.每一个 Linux 文件系统中的每个文件都保存着修改日期.系统管理员发现文件的最近修改时间,便提示他们系统受到攻击,采取行动锁定系统.然而幸运的是,修改时间不是绝对可靠的记录,修改时间本身可以被欺骗或修改,通过编写 Shell 脚本,攻击者可将备

  • Shell脚本实现线上服务器之间对比文件是否一致

    工作中有时需要对比文件是否一致,通过以下脚本可以实现(比较简单):分享出来,希望能帮助到有同样需求的朋友~ 复制代码 代码如下: #!/bin/bash #对比服务器上文件是否一样 # Richard shen 2012/07/08 LC_ALL='en_US.UTF-8' basedir=`dirname $0` HOST=$basedir/host.txt PASSWD="abcd"   #密码 FILE=$basedir/file.txt   LOG=$basedir/tmp.l

  • 小白教程! Linux服务器上JDK安装配置方法

    小白教程! Linux服务器上JDK安装配置方法

    本文实例为大家分享了Linux上JDK安装配置方法,供大家参考,具体内容如下 一.环境 VMware12 Pro CentOS-6.7-i386-bin-DVD1 jdk-8u151-linux-i586 二.详细安装步骤前提:需要卸载自己Linux上的jdk rpm-qa| grepjdk 会显示你所有包含jdk这个字符串的安装包 rpm-e--nodeps对应的每个包名 会卸载对应的包 之后如果java -version显示 就是卸完了. 我之前是装过jdk1.7的,所以我需要卸载 ,没装过

  • springboot在服务器上的几种启动方式(小结)

    springboot在服务器上的几种启动方式(小结)

    一.使用内置的tomcat,通过java -jar的方式启动 比如:java -jar bms.jar 但是这种启动方式 一旦关闭控制台 或者crtl+c 退出 此时应用就关闭了 所以我们需要换种方式 springboot中的maven插件,提供了一种很方便的类似于shell的开启.关闭.重启服务的操作.而且这种启动方式是让项目在后台运行的,关闭shell也不会使项目停止运行 1.首先,项目的pom添加下面的插件,然后maven install <build> <plugins>

  • shell脚本实现ftp上传下载文件功能

    前段时间工作中需要将经过我司平台某些信息核验数据提取后上传到客户的FTP服务器上,以便于他们进行相关的信息比对核验.由于包含这些信息的主机只有4台,采取的策略是将生成的4个文件汇集到一个主机上,然后在这台主机上将文件上传的目标ftp服务器. 1,建立主机A到其他三台主机之间的信任关系,以便于远程拷贝文件 #生成主机A的本地认证秘钥,可以选择生成rsa或者dsa类型的秘钥,这里选取rsa [root@A ~]#ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa >/d

  • shell脚本实现服务器进程监控的方法

    写作背景: 项目是基于java.weblogic及timer的处理模式,每次服务部署之后timer的整体状态是一个盲区,因为100多个进程,是否有启动遗漏或者启动重复的,想做到一目了然是件困难的事情.所以我考虑用shell脚本的文件查找与匹配方法来解决这个问题,简单记录下,仅供参考. 程序说明: 1)通过将系统定义的进程(timer)配置到配置文件process_signal.config中 2)将服务器当前所有的java进程存储到process_current.txt中 3)逐行读取proce

  • 使用navicate连接阿里云服务器上的mysql

    使用navicate连接阿里云服务器上的mysql

    1.先进入服务器的mysql修改权限: GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION; 这里设置的登录登录用户为root,密码为: 2.在执行下面的语句刷新权限: FLUSH PRIVILEGES; 这里设置的是root用户,访问密码为123456 3.之后打开navicate,在常规设置密码和用户名,密码是上面设置的mysql密码123456 4.并且在ssh中添加阿里云的公

  • 批处理bat下载FTP服务器上某个目录下的文件

    本代码以下载FTP服务器上某个目录下的所有文件为例. 如果需要下载某个目录下的.txt类型的所有文件,请把 mget *.* 改成 mget *.txt 如果需要下载某个目录下的某一个文件a.txt,请把 mget *.* 改成 get a.txt @echo off rem 指定FTP用户名 set ftpUser=FTPUSERNAME rem 指定FTP密码 set ftpPass=FTPPASSWORD rem 指定FTP服务器地址 set ftpIP=192.168.0.2 rem 指

随机推荐