Java使用sftp定时下载文件的示例代码

sftp简介

sftp是Secure File Transfer Protocol的缩写,安全文件传送协议。可以为传输文件提供一种安全的网络的加密方法。sftp 与 ftp 有着几乎一样的语法和功能。SFTP 为 SSH的其中一部分,是一种传输档案至 Blogger 伺服器的安全方式。其实在SSH软件包中,已经包含了一个叫作SFTP(Secure File Transfer Protocol)的安全文件信息传输子系统,SFTP本身没有单独的守护进程,它必须使用sshd守护进程(端口号默认是22)来完成相应的连接和答复操作,所以从某种意义上来说,SFTP并不像一个服务器程序,而更像是一个客户端程序。SFTP同样是使用加密传输认证信息和传输的数据,所以,使用SFTP是非常安全的。但是,由于这种传输方式使用了加密/解密技术,所以传输效率比普通的FTP要低得多,如果您对网络安全性要求更高时,可以使用SFTP代替FTP。

添加依赖

<dependency>
  <groupId>com.jcraft</groupId>
  <artifactId>jsch</artifactId>
  <version>0.1.54</version>
</dependency>

增加配置

sftp:
  ip: 192.168.1.60
  port: 22
  timeout: 60000
  retryTime: 3
  admin:
    username: admin
    password: 2k3xrYjbd930.

代码示例

每天凌晨1点在多个用户目录中下载csv文件至本地tmp目录

@Service
public class SftpTask extends Thread {
  private ChannelSftp sftp;
  private Session session;
  @Value("${sftp.admin.username}")
  private String username;
  @Value("${sftp.admin.password}")
  private String password;
  @Value("${sftp.host}")
  private String host;
  @Value("${sftp.port}")
  private Integer port;
  private SftpService sftpService;
  public EtlSftpTask (SftpService sftpService) {
    this.sftpService = sftpService;
  }
  /**
   * 建立sftp连接
   */
  private void connect(){
    try {
      JSch jSch = new JSch();
      session = jSch.getSession(username, host, port);
      session.setPassword(password);
      session.setConfig("StrictHostKeyChecking", "no");
      session.connect();
      Channel channel = session.openChannel("sftp");
      channel.connect();
      sftp = (ChannelSftp) channel;
    }catch (JSchException e) {
      e.printStackTrace();
    }
  }
  /**
   * 关闭sftp连接
   */
  public void close(){
    try {
      if (sftp != null) {
        if (sftp.isConnected()) sftp.disconnect();
      }
      if(session != null){
        if (session.isConnected()) session.disconnect();
      }
    } catch (Exception e) {
      e.printStackTrace();
    }
  }
  /**
   * 下载文件到本地
   *
   * @param source          源文件
   * @param target          目标文件
   * @throws SftpException      异常
   * @throws FileNotFoundException  异常
   */
  private void download(String source, String target) throws SftpException, FileNotFoundException {
    sftp.get(source, new FileOutputStream(new File(target)));
  }
  /**
   * 处理用户数据文件
   *
   * @param root   数据文件根目录
   * @param lastTime 上次处理文件的最后的时间
   * @return     本次处理文件的最后的时间
   */
  private Integer handle(String root, Integer lastTime) {
    String directory = root + "/event/";
    Vector files;
    try {
      files = sftp.ls(directory + "event_*.csv");
    } catch (Exception e) {
      e.printStackTrace();
      return 0;
    }
    // 文件名
    String fileName;
    // 临时文件
    String tmpFile;
    // 文件更新时间
    Integer mTime;
    // 文件最后更新时间
    Integer maxTime = lastTime;
    // 处理用户文件
    for(Object o: files) {
      try {
        ChannelSftp.LsEntry f = (ChannelSftp.LsEntry) o;
        // 文件更新时间
        mTime = f.getAttrs().getMTime();
        if (mTime <= lastTime) continue;
        // 文件名
        fileName = f.getFilename();
        // 最后处理事件
        maxTime = Math.max(maxTime, mTime);
        // 下载文件
        tmpFile = "/tmp/" + fileName;
        download(directory + fileName, tmpFile);
      } catch (Exception e) {
        // TODO 错误日志
        e.printStackTrace();
      }
    }
    // 返回文件最后的处理时间
    return maxTime;
  }
  /**
   * 每天凌晨1点开始执行
   */
  @Scheduled(cron = "0 0 1 * * *")
  public void task () {
    // 获取sftp连接
    connect();
    String root;
    Integer lastTime;
    Long cid;
    Integer maxTime = lastTime;
    // 获取用户列表
    for (SftpDTO sftpDTO: sftpService.findAll()) {
      // 用户主目录
      root = sftpDTO.getSftpRoot();
      // 上次处理文件的最后时间
      lastTime = sftpDTO.getLastTime();
      maxTime = Math.max(maxTime, handle(root, lastTime));
      // 更新最后处理时间
      if (!maxTime.equals(lastTime)) {
        sftpDTO.setLastTime(maxTime);
        sftpService.update(sftpDTO);
      }
    }
    // 释放sftp资源
    close();
  }
}

总结

以上所述是小编给大家介绍的Java使用sftp定时下载文件的示例代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对我们网站的支持!

(0)

相关推荐

  • 使用Linux shell脚本实现FTP定时执行批量下载指定文件

    使用FTP定时批量下载指定文件的shell脚本,具体实例介绍如下所示: 1.目标FTP服务器地址 #FTP服务器地址 ip=10.19.15.23 2.FTP账号和密码 u=账号 p=密码 3.使用mget结合正则表达式下载文件 #获取昨天日期,为后面下载使用 T=`date -d yesterday +%Y%m%d` 4.连接FTP服务器,到指定路径下下载文件 ftp -n <<EOF open $ip user $u $p binary cd /hour #远程服务器文件目录 lcd /h

  • windows下定时利用bat脚本实现ftp上传下载

    前言: 工作中可能会遇到以下情况,利用windows作为中转,来实现两台linux服务器的文件传输. 实现步骤: 1.FTP上传和下载的bat脚本. 脚本分为两部分:可执行bat脚本和ftp命令文件: 可执行bat脚本: @echo off ftp -s:D:\ftp\ftp.txt ftp命令ftp.txt: open 192.168.1.166 ftp-user passwd prompt off lcd D:\ftp cd /home/myftp mget * close open 10.

  • 简单的远程FTP定时备份Shell脚本分享

    先说问题.公司现在有2台服务器,都是centos系统,一台本地(局域网),一台则在电信机房.因为工作需要,每天备份机房上的数据到本地,以前一直是FTP登录,然后下载到本地机器.现在则希望,利用本地的centos机器,自动备份到本地. 解决方法如下: 1.下载远程电信机房中机器上已打包好的数据.这个不难,一条语句搞定. 复制代码 代码如下: wget ftp://user_name:password@ip_address:port/dir/file_name 2.定时任务,需要写个脚本,并加入定时

  • shell脚本将Oracle服务器中数据定时增量刷新到ftp服务器中

    现有需求:将oracle数据库中的数据准实时同步至某ftp服务器中,以便前端应用能定时从ftp服务器目录中取增量数据 方法:将加工脚本写为存储过程,然后利用shell脚本执行该存储过程并将增量数据导出为txt文件并传送到ftp服务器,利用crontab定时每5分钟执行一次shell脚本,从而实现oracle库中数据持续增量刷新到ftp服务器 其中crontab以及ftp和存储过程的编写并没有难度,shell脚本的功能稍稍复杂,现在将脚本记录下以备后查 总结 以上所述是小编给大家介绍的shell脚

  • python定时采集摄像头图像上传ftp服务器功能实现

    首先是截图,从摄像头截取一幅图像: 复制代码 代码如下: while 1:   #测试摄像头的存在    try:        cam = Device()    except:        print "no webcam found!"        continue    break 然后是把图像上传到ftp服务器: 复制代码 代码如下: remote = ftplib.FTP('127.0.0.1') #登陆服务器remote.login()file = open('%s.

  • Java使用sftp定时下载文件的示例代码

    sftp简介 sftp是Secure File Transfer Protocol的缩写,安全文件传送协议.可以为传输文件提供一种安全的网络的加密方法.sftp 与 ftp 有着几乎一样的语法和功能.SFTP 为 SSH的其中一部分,是一种传输档案至 Blogger 伺服器的安全方式.其实在SSH软件包中,已经包含了一个叫作SFTP(Secure File Transfer Protocol)的安全文件信息传输子系统,SFTP本身没有单独的守护进程,它必须使用sshd守护进程(端口号默认是22)

  • Java实现图片转换PDF文件的示例代码

    最近因为一些事情,需要将一张简单的图片转换为PDF的文件格式,在网上找了一些工具,但是这些工具不是需要注册账号,就是需要下载软件. 而对于只是转换一张图片的情况下,这些操作显然是非常繁琐的,所以作者就直接使用Java写了一个图片转换PDF的系统,现在将该系统分享在这里. 引入依赖 <!--该项目以SpringBoot为基础搭建--> <parent> <groupId>org.springframework.boot</groupId> <artifa

  • Nginx配置实现下载文件的示例代码

    偶尔听人说用nginx实现文件上传下载,之前看nginx实践大致看到过,没有细究.所以今天就想研究下nginx实现文件的上传下载,直接开搞,本地服务启起.这里记录下配置及踩坑记录. 一.配置 http { ... server: { # 配置下载 location /download { root D:\\download; autoindex on; autoindex_exact_size off; } } ... } 这是目录里随便放的几个文件,可以看到实现成功. 这里踩过几个坑,下面提示

  • Java利用File类创建文件的示例代码

    只需要调用该类的一个方法createNewFile(),但是在实际操作中需要注意一些事项,如判断文件是否存在,以及如何向新建文件中写入数据等. import java.io.*; public class CreateNewFile{ //该方法用于创建文件,参数分别是文件路径和文件名.文件内容,如:myfile.doc HelloJava! public void createNewFile(String fileDirectoryAndName,String fileContent){ tr

  • RxJava2.x+ReTrofit2.x多线程下载文件的示例代码

    写在前面: 接到公司需求:要做一个apk升级的功能,原理其实很简单,百度也一大堆例子,可大部分都是用框架,要么就是HttpURLConnection,实在是不想这么干.正好看了两天的RxJava2.x+ReTrofit2.x,据说这俩框架是目前最火的异步请求框架了.固本文使用RxJava2.x+ReTrofit2.x实现多线程下载文件的功能. 如果对RxJava2.x+ReTrofit2.x不太了解的请先去看相关的文档. 大神至此请无视. 思路分析: 思路及其简洁明了,主要分为以下四步 1.获取

  • Java 批量文件压缩导出并下载到本地示例代码

    主要用的是org.apache.tools.zip.ZipOutputStream  这个zip流,这里以Execl为例子. 思路首先把zip流写入到http响应输出流中,再把excel的流写入zip流中(这里可以不用生成文件再打包,只需把execl模板读出写好数据输出到zip流中,并为每次的流设置文件名) 例如:在项目webapp下execl文件中 存在1.xls,2.xls,3.xls文件 1.Controller @RequestMapping(value = "/exportAll&qu

  • Java多线程文件分片下载实现的示例代码

    多线程下载介绍 多线程下载技术是很常见的一种下载方案,这种方式充分利用了多线程的优势,在同一时间段内通过多个线程发起下载请求,将需要下载的数据分割成多个部分,每一个线程只负责下载其中一个部分,然后将下载后的数据组装成完整的数据文件,这样便大大加快了下载效率.常见的下载器,迅雷,QQ旋风等都采用了这种技术. 分片下载 所谓分片下载就是要利用多线程的优势,将要下载的文件一块一块的分配到各个线程中去下载,这样就极大的提高了下载速度. 技术难点 并不能说是什么难点,只能说没接触过不知道罢了. 1.如何请

  • Java批量写入文件和下载图片的示例代码

    很久没有在WhitMe上写日记了,因为觉着在App上写私密日记的话肯定是不安全的,但是想把日记存下来.,然后看到有导出日记的功能,就把日记导出了(还好可以直接导出,不然就麻烦点).导出的是一个html文件.可以直接打开,排版都还在. 看了下源码,是把日记存在一个json数组里了,图片还是在服务器,利用url访问,文字是在本地了. 但是想把图片下载到本地,然后和文字对应,哪篇日记下的哪些图片. 大概是如下的json数组. 大概有几百条,分别是头像.内容:文字||内容:图片.时间. 简单明了的jso

  • Java定时调用.ktr文件的示例代码(解决方案)

    1.Maven依赖 <!-- Kettle --> <dependency> <groupId>pentaho-kettle</groupId> <artifactId>kettle-core</artifactId> <version>7.1.0.0-12</version> </dependency> <dependency> <groupId>pentaho-kettl

  • Java实现断点下载功能的示例代码

    目录 介绍 效果 前端代码 后端代码 介绍 当下载一个很大的文件时,如果下载到一半暂停,如果继续下载呢?断点下载就是解决这个问题的. 具体原理: 利用indexedDb,将下载的数据存储到用户的本地中,这样用户就算是关电脑那么下次下载还是从上次的位置开始的 先去看看本地缓存中是否存在这个文件的分片数据,如果存在那么就接着上一个分片继续下载(起始位置) 下载前先去后端拿文件的大小,然后计算分多少次下载(n/(1024*1024*10)) (结束位置) 每次下载的数据放入一个Blob中,然后存储到本

随机推荐