sftp和ftp 根据配置远程服务器地址下载文件到当前服务

废话不多说,关键代码如下所示:

package com.eastrobot.remote;
import java.util.List;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import com.eastrobot.util.PropertiesUtil;
/**
* full.zhang
*
* ftp/sftp抽象方法类
*
*/
public abstract class FileRemote {
private static final String FTP_MODE = "ftp";
private static final String SFTP_MODE = "sftp";
public static String ftproot;
public static String mode;
public static String host;
public static String username;
public static String password;
public static String port;
private static FileRemote client = null;
// 最大一次性下载50个文件
public static int max = 50;
private final static Log LOGGER = LogFactory.getLog(FileRemote.class);
public static FileRemote getInstance() {
if (client == null) {
ftproot = PropertiesUtil.getString("transfer.root");
mode = PropertiesUtil.getString("transfer.mode");
host = PropertiesUtil.getString("transfer.host");
username = PropertiesUtil.getString("transfer.username");
password = PropertiesUtil.getString("transfer.password");
port = PropertiesUtil.getString("transfer.port");
if (mode.equals(FTP_MODE)) {
client = new FileFtpRemote();
} else if (mode.equals(SFTP_MODE)) {
client = new FileSftpRemote();
}
}
return client;
}
/**
* 执行定时任务
*/
public void process() {
LOGGER.debug("----------------------------------------进入定时下载远程文件");
// 创建线程池
ExecutorService exec = Executors.newSingleThreadExecutor();
exec.execute(new Runnable() {
@Override
public void run() {
// 建立连接
initFtpInfo(host, port, username, password);
// 远程服务所有源文件路径集合
List<String> listSourcePath = listRemoteFilePath(ftproot);
if (listSourcePath.isEmpty()) {
LOGGER.debug("____________________释放连接");
client.closeConnection();
return;
}
if (listSourcePath.size() > max) {
listSourcePath = listSourcePath.subList(0, max);
}
for (String path : listSourcePath) {
downloadRemoteFile(path);
}
LOGGER.debug("____________________释放连接");
client.closeConnection();
}
});
exec.shutdown();
}
/**
* 初始化连接
*
* @param host
* @param port
* @param username
* @param password
* @throws Exception
* @return
*/
public abstract void initFtpInfo(String host, String port, String username, String password);
/**
* 下载远程服务下文件到本地服务
*
* @param path
* @return
* @throws Exception
*/
public abstract void downloadRemoteFile(String filePath);
/**
* 获取远程服务下指定目录下的所有文件路径集合(包含子目录下文件)
*
* @param path
* @return
*/
public abstract List<String> listRemoteFilePath(String path);
/**
* 释放连接
*/
public abstract void closeConnection();
}
[java] view plain copy
package com.eastrobot.remote;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStream;
import java.util.ArrayList;
import java.util.List;
import org.apache.commons.io.IOUtils;
import org.apache.commons.lang.StringUtils;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.commons.net.ftp.FTPClient;
import org.apache.commons.net.ftp.FTPFile;
import org.apache.commons.net.ftp.FTPReply;
import com.eastrobot.command.Commander;
public class FileFtpRemote extends FileRemote {
protected FTPClient ftpClient;
private String encoding = "UTF-8";
private boolean binaryTransfer = true;
private final static Log LOGGER = LogFactory.getLog(FileFtpRemote.class);
@Override
public void initFtpInfo(String host, String port, String username, String password) {
try {
// 构造一个FtpClient实例
ftpClient = new FTPClient();
// 设置字符集
ftpClient.setControlEncoding(encoding);
// 连接FTP服务器
ftpClient.connect(host, StringUtils.isNotBlank(port) ? Integer.valueOf(port) : 21);
// 连接后检测返回码来校验连接是否成功
int reply = ftpClient.getReplyCode();
if (FTPReply.isPositiveCompletion(reply)) {
// 登陆到ftp服务器
if (ftpClient.login(username, password)) {
setFileType();
}
ftpClient.login(username, password);
} else {
ftpClient.disconnect();
LOGGER.error("ftp服务拒绝连接!");
}
} catch (Exception e) {
if (ftpClient.isConnected()) {
try {
ftpClient.disconnect(); // 断开连接
} catch (IOException e1) {
LOGGER.error("ftp服务连接断开失败!");
}
}
LOGGER.error("ftp服务连接失败!");
}
}
/**
* 设置文件传输类型
*/
private void setFileType() {
try {
if (binaryTransfer) {
ftpClient.setFileType(FTPClient.BINARY_FILE_TYPE);
} else {
ftpClient.setFileType(FTPClient.ASCII_FILE_TYPE);
}
} catch (IOException e) {
e.printStackTrace();
}
}
@Override
public void downloadRemoteFile(String filePath) {
if (StringUtils.endsWith(filePath, "/") || StringUtils.endsWith(filePath, File.separator)) {
filePath = filePath.substring(0, filePath.length() - 1);
}
File saveFile = new File(filePath);
if (saveFile.exists()) {
return;
}
// 文件所在目录
String path = filePath.substring(0, filePath.lastIndexOf("/"));
if (!StringUtils.endsWith(path, "/") && !StringUtils.endsWith(path, File.separator)) {
if (Commander.isLinux) {
path = path + File.separator;
} else {
path = path + "/";
}
}
OutputStream output = null;
try {
// 创建目标文件路径
if (!saveFile.getParentFile().exists()) {
saveFile.getParentFile().mkdirs();
}
saveFile.createNewFile();
// 转移到FTP服务器目录
ftpClient.changeWorkingDirectory(path);
output = new FileOutputStream(saveFile);
ftpClient.retrieveFile(filePath, output);
} catch (IOException e) {
LOGGER.debug("文件:" + filePath + "______________________下载失败!");
e.printStackTrace();
} finally {
LOGGER.debug("文件:" + filePath + "______________________下载成功!");
IOUtils.closeQuietly(output);
}
}
@Override
public List<String> listRemoteFilePath(String path) {
List<String> list = new ArrayList<String>();
try {
if (!StringUtils.endsWith(path, "/") && !StringUtils.endsWith(path, File.separator)) {
if (Commander.isLinux) {
path = path + File.separator;
} else {
path = path + "/";
}
}
boolean changedir = ftpClient.changeWorkingDirectory(path);
if (changedir) {
ftpClient.setControlEncoding(encoding);
FTPFile[] files = ftpClient.listFiles();
for (FTPFile file : files) {
if (list.size() >= max) {
break;
}
if (file.isDirectory()) {
if (!StringUtils.endsWith(path, "/") && !StringUtils.endsWith(path, File.separator)) {
if (Commander.isLinux) {
path = path + File.separator;
} else {
path = path + "/";
}
}
list.addAll(this.listRemoteFilePath(path + file.getName()));
} else if (changedir) {
if (!StringUtils.endsWith(path, "/") && !StringUtils.endsWith(path, File.separator)) {
if (Commander.isLinux) {
path = path + File.separator;
} else {
path = path + "/";
}
}
File saveFile = new File(path + file.getName());
if (!saveFile.exists()) {
list.add(path + file.getName());
}
}
}
}
} catch (Exception e) {
e.printStackTrace();
}
return list;
}
@Override
public void closeConnection() {
if (ftpClient != null) {
try {
ftpClient.logout();
} catch (IOException e) {
e.printStackTrace();
} finally {
if (ftpClient.isConnected()) {
try {
ftpClient.disconnect();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
}
}
[java] view plain copy
package com.eastrobot.remote;
import java.io.File;
import java.io.FileOutputStream;
import java.util.ArrayList;
import java.util.List;
import java.util.Properties;
import java.util.Vector;
import org.apache.commons.io.IOUtils;
import org.apache.commons.lang.StringUtils;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import com.eastrobot.command.Commander;
import com.jcraft.jsch.Channel;
import com.jcraft.jsch.ChannelSftp;
import com.jcraft.jsch.JSch;
import com.jcraft.jsch.Session;
import com.jcraft.jsch.SftpATTRS;
import com.jcraft.jsch.SftpException;
import com.jcraft.jsch.ChannelSftp.LsEntry;
public class FileSftpRemote extends FileRemote {
protected Session session = null;
protected ChannelSftp channel = null;
private final static Log LOGGER = LogFactory.getLog(FileSftpRemote.class);
@Override
public void initFtpInfo(String host, String port, String username, String password) {
try {
JSch jsch = new JSch(); // 创建JSch对象
session = jsch.getSession(username, host, StringUtils.isNotBlank(port) ? Integer.valueOf(port) : 22);
session.setPassword(password); // 设置密码
Properties config = new Properties();
config.put("StrictHostKeyChecking", "no");
session.setConfig(config); // 为Session对象设置properties
session.setTimeout(60000); // 设置timeout时间
session.connect(); // 通过Session建立链接
Channel chan = session.openChannel("sftp"); // 打开SFTP通道
chan.connect(); // 建立SFTP通道的连接
channel = (ChannelSftp) chan;
} catch (Exception e) {
LOGGER.error("sftp连接失败");
e.printStackTrace();
}
}
@Override
public void downloadRemoteFile(String filePath) {
if (StringUtils.endsWith(filePath, "/") || StringUtils.endsWith(filePath, File.separator)) {
filePath = filePath.substring(0, filePath.length() - 1);
}
File saveFile = new File(filePath);
FileOutputStream output = null;
try {
if (saveFile.exists()) {
return;
}
// 创建目标文件路径
if (!saveFile.getParentFile().exists()) {
saveFile.getParentFile().mkdirs();
}
saveFile.createNewFile();
// 文件所在目录
String path = filePath.substring(0, filePath.lastIndexOf("/"));
if (!StringUtils.endsWith(path, "/") && !StringUtils.endsWith(path, File.separator)) {
if (Commander.isLinux) {
path = path + File.separator;
} else {
path = path + "/";
}
}
channel.cd(path);
channel.get(filePath, new FileOutputStream(saveFile));
LOGGER.debug("文件:" + filePath + "____________________________________________下载成功!");
} catch (Exception e) {
LOGGER.debug("文件:" + filePath + "____________________________________________下载失败!");
e.printStackTrace();
} finally {
IOUtils.closeQuietly(output);
}
}
@SuppressWarnings("unchecked")
@Override
public List<String> listRemoteFilePath(String path) {
List<String> list = new ArrayList<String>();
Vector<LsEntry> v = null;
try {
if (!StringUtils.endsWith(path, "/") && StringUtils.endsWith(path, File.separator)) {
path = path + File.separator;
}
v = channel.ls(path);
} catch (SftpException e) {
e.printStackTrace();
}
for (LsEntry lsEntry : v) {
if (list.size() >= max) {
break;
}
if (!".".equals(lsEntry.getFilename()) && !"..".equals(lsEntry.getFilename())) {
SftpATTRS attrs = lsEntry.getAttrs();
if (attrs.isDir()) {
if (!StringUtils.endsWith(path, "/") && !StringUtils.endsWith(path, File.separator)) {
if (Commander.isLinux) {
path = path + File.separator;
} else {
path = path + "/";
}
}
list.addAll(this.listRemoteFilePath(path + lsEntry.getFilename()));
} else {
if (!StringUtils.endsWith(path, "/") && !StringUtils.endsWith(path, File.separator)) {
if (Commander.isLinux) {
path = path + File.separator;
} else {
path = path + "/";
}
}
File saveFile = new File(path + lsEntry.getFilename());
if (!saveFile.exists()) {
list.add(path + lsEntry.getFilename());
}
}
}
}
return list;
}
@Override
public void closeConnection() {
try {
if (channel != null) {
channel.quit();
channel.disconnect();
}
if (session != null) {
session.disconnect();
}
} catch (Exception e) {
e.printStackTrace();
}
}
public Session getSession() {
return session;
}
public void setSession(Session session) {
this.session = session;
}
public ChannelSftp getChannel() {
return channel;
}
public void setChannel(ChannelSftp channel) {
this.channel = channel;
}
}

以上所述是小编给大家介绍的sftp和ftp 根据配置远程服务器地址下载文件到当前服务,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对我们网站的支持!

(0)

相关推荐

  • python连接远程ftp服务器并列出目录下文件的方法

    本文实例讲述了python连接远程ftp服务器并列出目录下文件的方法.分享给大家供大家参考.具体如下: 这段python代码用到了pysftp模块,使用sftp协议,对数据进行加密传输 import pysftp srv = pysftp.Connection(host="your_FTP_server", username="your_username",password="your_password") # Get the directory

  • 全面提高WindowsFTP服务器的安全性能

    但使用IIS5.0 架设的FTP服务器真的安全吗?它的默认设置其实存在很多安全隐患,很容易成为黑客们的攻击目标.如何让FTP服务器更加安全,只要稍加改造,就能做到. 一 取消匿名访问功能 默认情况下,Windows2000系统的FTP服务器是允许匿名访问的,虽然匿名访问为用户上传.下载文件提供方便,但却存在极大的安全隐患.用户不需要申请合法的账号,就能访问FTP服务器,甚至还可以上传.下载文件,特别对于一些存储重要资料的FTP服务器,很容易出现泄密的情况,因此建议用户取消匿名访问功能. 在Win

  • sftp和ftp 根据配置远程服务器地址下载文件到当前服务

    废话不多说,关键代码如下所示: package com.eastrobot.remote; import java.util.List; import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import com.e

  • linux通过跳板机连接远程服务器并进行文件传输的方法

    最近在linux主机上部署环境时,遇到了很多问题,第一个就是通过跳板机远程连接服务器传输文件的问题. 看了很多网上的解决办法,大部分就是说用SecureCRT软件的Alt+P命令,然后通过SFTP进行传输,其中主要涉及以下几个指令 在sftp界面下有几个命令比较重要 cd 主要是打开服务器存放文件的位置 lcd 主要是打开本地待上传文件的位置 put 是上传文件的指令 get 是从服务器下载文件的指令 在sftp界面下有几个命令比较重要 cd 主要是打开服务器存放文件的位置 lcd 主要是打开本

  • 详解配置 Apache 服务器支持 PHP 文件的解析

    详解配置 Apache 服务器支持 PHP 文件的解析 [说明] 1. 本例中 Apache 版本为 httpd-2.4.20-x64-vc14 ,安装路径为 E:\Apache24 2. PHP 版本为 php-5.5.34-Win32-VC11-x64 ,安装路径为 E:\php-5.5.34 [下载] 登录 http://php.NET/downloads.php 下载 PHP,由于我要把它跟 Apache 集成,所以我这里下载的是 Thread Safe 版本: [安装] 1. 解压下载

  • 微信服务器中下载文件到本地的实例代码

    从微信服务器中下载文件到本地的实例代码,如下所示: //从微信服务器中下载文件到本地 public JsonResult UploadRecord(string ServerId) { try { member m = base.CurrentUser; string msg = "成功"; bool success = true; SiteSettingsInfo setting = base.CurrentSiteSetting; string file = string.Empt

  • JSP实现从不同服务器上下载文件的方法

    本文实例讲述了JSP实现从不同服务器上下载文件的方法.分享给大家供大家参考,具体如下: 最近在项目当中遇到模板下载的问题:当服务器为Tomcat的时候文件可以正常下载,但是当放到线上(WebLogic服务器)下载的模板为空,现记录下解决办法. public void importSuccess() throws Exception { try { HttpServletResponse response = Struts2Utils.getResponse(); // 重置响应 response

  • Python根据URL地址下载文件并保存至对应目录的实现

    引言 在编程中经常会遇到图片等数据集将图片等数据以URL形式存储在txt文档中,为便于后续的分析,需要将其下载下来,并按照文件夹分类存储.本文以Github中Alexander Kim提供的图片分类数据集为例,下载其提供的图片样本并分类保存 Python 3.6.5,Anaconda, VSCode 1. 下载数据集文件 建立项目文件夹,下载上述Github项目中的raw_data文件夹,并保存至项目目录中.  2. 获取样本文件位置 编写get_doc_path.py,根据根目录位置,获取目录

  • php实现从ftp服务器上下载文件树到本地电脑的程序

    复制代码 代码如下: /* 用ftp_nlist()函授时,返回的数组值会有两种类型:因服务器不同而异 a:单独的文件名 b:包含目录的文件名. 如果挪用,请注意更改此处. */ <?php function download_file($dir,$fc,$_FILE_) { $fn=ftp_nlist($fc,".");//列出该目录的文件名(含子目录),存储在数组中 $size=sizeof($fn); $dir=($dir=="")?$dir:('/'.

  • Python判断远程服务器上Excel文件是否被人打开的方法

    最近工作中需要去判断远程服务器上的某个Excel文件是否被打开,如果被人打开,则等待,如果没人打开使用,则去填写数据进Excel文件. 开始想的很简单,和其他语言一样,比如C#,打开文件,如果报错说明被占用,结果发现,Excel文件被其他人打开的情况下,python里面用可写'w'的方式打开文件,实际上并没有报错,执行完成也没任何错误,只是最后看Excel文件里面,发现实际要写入的东西并没被写入. 然后在网上找了一些方法,比如用openpyxl,pywin32等等,发现都做不到真正去判断Exce

  • java判断远程服务器上的文件是否存在的方法

    在做数据文件导入到   LEFTII   中是遇到一个文件,在做导入的时候有时候生成的原始文件可能不存在,现在通过加一个判断,判断文件是否存在,起初以为简单的判断文件   file.exists()   存不存在就行了,但是后来事实证明这个只能判断本地的文件是否存在. 这里我们通过一个巧妙的方法告诉大家,就是把远程的文件共享到本地来,通过电脑的衍射可以轻而易举的解决这个问题 过程如下 然后在下面的步骤输入用户名,密码,这样就可以通过判断本地是否存在这个文件就搞定了.

  • 使用scp获取远程linux服务器上的文件 linux远程拷贝文件

    一.scp是什么? scp是secure copy的简写,用于在Linux下进行远程拷贝文件的命令,和它类似的命令有cp,不过cp只是在本机进行拷贝不能跨服务器,而且scp传输是加密的.可能会稍微影响一下速度. 二.scp有什么用? 1.我们需要获得远程服务器上的某个文件,远程服务器既没有配置ftp服务器,没有开启web服务器,也没有做共享,无法通过常规途径获得文件时,只需要通过scp命令便可轻松的达到目的. 2.我们需要将本机上的文件上传到远程服务器上,远程服务器没有开启ftp服务器或共享,无

随机推荐