Java下载远程服务器文件到本地(基于http协议和ssh2协议)

  Java中java.io包为我们提供了输入流和输出流,对文件的读写基本上都依赖于这些封装好的关于流的类中来实现。前段时间遇到了以下两种需求:

  1、与某系统对接,每天获取最新的图片并显示在前端页面。该系统提供的是一个http协议的图片URL,本来获取到该系统的图片地址以后在HTML中显示就可以了,但是该系统不太稳定,图片URL经常不能使用,而且每天生成图片不一定成功,

对自己系统的功能影响很大,emm。。。所以就考虑每天从该系统下载最新的图片到本地更新保存,没有新图片就继续使用上次的图片。

  2、公司算法团队的同事完成了一个视频分析的检测功能,会生成一些截取的短视频文件,系统需要获取并保存这些视频文件。算法运行在Linux系统,没有搭建FTP服务器,所以就需要系统从运行算法的Linux系统复制文件到系统本地保存起来。

  这两个需求实现起来都是大同小异,思路就是读取文件然后写到指定路径,只不过http协议的图片地址可以直接读取然后保存,而Linux系统的文件需要远程连接到该服务器然后再下载文件,这就需要我们引入以下依赖:

<!--远程读取服务器文件-->
 <dependency>
  <groupId>ch.ethz.ganymed</groupId>
  <artifactId>ganymed-ssh2</artifactId>
  <version>262</version>
 </dependency>
 <dependency>
  <groupId>com.jcraft</groupId>
  <artifactId>jsch</artifactId>
  <version>0.1.53</version>
 </dependency>
 <dependency>
  <groupId>commons-net</groupId>
  <artifactId>commons-net</artifactId>
  <version>3.4</version>
 </dependency>

  废话不说了,先上代码:

package com.XXX.utils;

import ch.ethz.ssh2.*;
import com.databus.Log;
import com.mysql.jdbc.StringUtils;

import java.io.*;
import java.net.*;

public class FileUtils {

 public static boolean downloadFile(String urlString,String fileName,String filePath) {
  boolean bool = false;

  InputStream is = null;
  FileOutputStream os = null;
  try {
   Log.info("文件路径:" + urlString);
   // 构造URL
   java.net.URL url = new java.net.URL(urlString);
   // 打开连接
   URLConnection con = url.openConnection();
   // 输入流
   is = con.getInputStream();
   // 1K的数据缓冲
   byte[] bs = new byte[1024];
   // 读取到的数据长度
   int len;
   //判断指定目录是否存在,不存在则先创建目录
   File file = new File(filePath);
   if (!file.exists())
    file.mkdirs();
   //fileName如果不包含文件后缀,则需要加上后缀,如:fileName + ".jpg";fileName + ".txt";
   os = new FileOutputStream(filePath + fileName, false);//false:覆盖文件,true:在原有文件后追加
   // 开始读取
   while ((len = is.read(bs)) != -1) {
    os.write(bs, 0, len);
   }

   bool = true;
   Log.info("文件保存成功:" + fileName);
  }catch (Exception e){
   e.printStackTrace();
  }finally {
   // 完毕,关闭所有链接
   if (null != os){
    try {
     os.flush();
     os.close();
    }catch (IOException e){
     e.printStackTrace();
    }
   }
   if (null != is){
    try {
     is.close();
    } catch (IOException e) {
     e.printStackTrace();
    }
   }
  }
  return bool;
 }

 //远程下载服务器文件
 public static boolean copyFile(String ip,int port,String userName,String password,String sourceFile,String targetFile,String targetFileName){
  boolean bool = false;
  Connection conn = null;
  Session session = null;
  try {
   if (StringUtils.isNullOrEmpty(ip) || StringUtils.isNullOrEmpty(userName) || StringUtils.isNullOrEmpty(password) ||
     StringUtils.isNullOrEmpty(sourceFile) || StringUtils.isNullOrEmpty(targetFile)){
    return bool;
   }
   conn = new Connection(ip,port);
   conn.connect();
   boolean isAuth = conn.authenticateWithPassword(userName,password);
   if (!isAuth){
    Log.info("算法主机连接失败");
    return bool;
   }
   //执行命令
   session = conn.openSession();

   //执行命令并打印执行结果
   session.execCommand("df -h");
   InputStream staout = new StreamGobbler(session.getStdout());
   BufferedReader br = new BufferedReader(new InputStreamReader(staout));
   String line = null;
   while ((line = br.readLine()) != null){
    System.out.println(line);
   }
   br.close();

   //下载文件到本地
   SCPClient scpClient = conn.createSCPClient();
   SCPInputStream scpis = scpClient.get(sourceFile);

   //判断指定目录是否存在,不存在则先创建目录
   File file = new File(targetFile);
   if (!file.exists())
    file.mkdirs();

   FileOutputStream fos = new FileOutputStream(targetFile + targetFileName);
   byte[] buffer = new byte[1024];
   int len = 0;
   while ((len = scpis.read(buffer)) != -1){
    fos.write(buffer,0,len);
   }
   fos.close();
   bool = true;
   //SFTP
   /*SFTPv3Client sftPClient = new SFTPv3Client(conn);
   sftPClient.createFile("");
   sftPClient.close();*/
  }catch (Exception e){
   e.printStackTrace();
   Log.info(e.getMessage());
   Log.info("保存失败:" + sourceFile);
  }finally {
   if (null != session){
    session.close();
   }
   if (null != conn) {
    conn.close();
   }
  }

  return bool;
 }

}

  第一个方法downloadFile(String urlString,String fileName,String filePath)与我们读写文件没什么区别,我们主要说一下远程读取Linux服务器文件的方法:

  copyFile(String ip,int port,String userName,String password,String sourceFile,String targetFile,String targetFileName)
  可以看到,我们需要Linux服务器的ip、ssh开放的端口号(一般默认是22)、服务器用户名和密码,所以我们要确保Linux服务器已经开放ssh连接,否则我们的程序根本就连不上服务器,更不要说复制文件了。

  其实ssh2连接远程服务器,就和我们用Xshell连接服务器是一样的,不但可以复制文件,也可以执行Linux命令对Linux进行操作,看上面的一段代码:

//执行命令
  session = conn.openSession();

  //执行命令并打印执行结果
  session.execCommand("df -h");
  InputStream staout = new StreamGobbler(session.getStdout());
  BufferedReader br = new BufferedReader(new InputStreamReader(staout));
  String line = null;
  while ((line = br.readLine()) != null){
  System.out.println(line);
  }
  br.close();

  这段代码与复制文件没有关系,之所以保留就是要说明一下,我们执行了df -h 命令(查询服务器磁盘使用情况),将会得到磁盘的具体使用情况,与下图效果相同。所以我们可以用ssh2做很多事情,有兴趣的童鞋可以多了解。

  另外在copyFile()方法的最后有一段注释的代码:

//SFTP
  /*SFTPv3Client sftPClient = new SFTPv3Client(conn);
  sftPClient.createFile("files");
  sftPClient.close();*/

  我们也可以通过建立SFTP连接来远程操作目录和文件,比如:创建、删除目录,创建、删除文件等。

  关于ssh2包的其他功能和用法不再引申,有兴趣的童鞋欢迎在评论区交流。

以上就是Java下载远程服务器文件到本地(基于http协议和ssh2协议)的详细内容,更多关于java 下载服务器文件的资料请关注我们其它相关文章!

(0)

相关推荐

  • Java下载文件的4种方式总结

    1.以流的方式下载. public HttpServletResponse download(String path, HttpServletResponse response) { try { // path是指欲下载的文件的路径. File file = new File(path); // 取得文件名. String filename = file.getName(); // 取得文件的后缀名. String ext = filename.substring(filename.lastIn

  • JAVA实现下载文件功能的两种方法

    第一种方法: public HttpServletResponse download(String path, HttpServletResponse response) { try { // path是指欲下载的文件的路径. File file = new File(path); // 取得文件名. String filename = file.getName(); // 取得文件的后缀名. String ext = filename.substring(filename.lastIndexO

  • Java上传下载文件并实现加密解密

    使用 Jersey 服务器实现上传,使用 HTTP 请求实现下载 引入依赖 在 pom.xml 中添加 Jersey 相关依赖 <dependency> <groupId>com.sun.jersey</groupId> <artifactId>jersey-client</artifactId> <version>1.18.1</version> </dependency> 创建工具类 import com.

  • Java下http下载文件客户端和上传文件客户端实例代码

    一.下载客户端代码 package javadownload; import java.io.ByteArrayOutputStream; import java.io.File; import java.io.FileOutputStream; import java.io.InputStream; import java.net.HttpURLConnection; import java.net.URL; /** * @说明 导出虚拟机 * @author wxt * @version 1

  • java通过url下载文件并输出的方法

    实例如下所示: controller: @RequestMapping(value = "/{loanid}/{atmtType}") public void doGet(@PathVariable("loanid") String loanid,@PathVariable("atmtType") String atmtType, HttpServletRequest req,HttpServletResponse response) { Map

  • Java程序部署到服务器上,接口请求下载文件失败/文件为空/文件名不对的问题

    1.问题: 昨天把项目打包放到国产中间件东方通(外部容器,功能类似Tomcat)上时,发现某些请求下载文件的接口不能正确返回文件,而是返回一个空的文件,名称是接口名最后一个词fj, 然而这个功能直接使用IDE启动时没问题的,打包放到Tomcat9上也没问题,那可能是东方通适配问题了 2.原代码: 部署在服务器上系统以后,在线打断点,发现跑到这一部分就在第三行位置执行不下去 response.setContentType("application/force-download"); re

  • Java fastdfs客户端实现上传下载文件

    一.项目结构 二.pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.

  • java后台批量下载文件并压缩成zip下载的方法

    本文实例为大家分享了java后台批量下载文件并压缩成zip下载的具体代码,供大家参考,具体内容如下 因项目需要,将服务器上的图片文件压缩打包zip,下载到本地桌面. 首先,前端js: function doQueryPic() { var picsDate = $("#picsDate").val(); var piceDate = $("#piceDate").val(); var picInst = $("#pic_inst").combot

  • 详解关于java文件下载文件名乱码问题解决方案

    JAVA文件下载时乱码有两种情况: 1,下载时中文文件名乱码 2,下载时因为路径中包含中文文件名乱码,提示找不到文件 解决方法见下面部分代码 response.setContentType("multipart/form-data"); String userAgent = request.getHeader("User-Agent"); String oraFileName = meetingFile.getFileName(); String formFileN

  • java 从服务器下载文件并保存到本地的示例

    昨天在做一个项目时,用到了从服务器上下载文件并保存到本地的知识,以前也没有接触过,昨天搞了一天,这个小功能实现了,下面就简单的说一下实现过程: 1.基础知识 当我们想要下载网站上的某个资源时,我们会获取一个url,它是服务器定位资源的一个描述,下载的过程有如下几步: (1)客户端发起一个url请求,获取连接对象. (2)服务器解析url,并且将指定的资源返回一个输入流给客户. (3)建立存储的目录以及保存的文件名. (4)输出了写数据. (5)关闭输入流和输出流. 2.实现代码的方法 /** *

  • 基于Java写minio客户端实现上传下载文件

    前言: 确保已经安装了minio的服务端 代码: pom.xml <dependency> <groupId>io.minio</groupId> <artifactId>minio</artifactId> <version>7.0.2</version> </dependency> application.yml server: port:90 minio: url: http://10.69.94.140

随机推荐