java爬虫模拟登陆的实例详解

使用jsoup工具可以解析某个URL地址、HTML文本内容,是java爬虫很好的优势,也是我们在网络爬虫不可缺少的工具。本文小编带领大家使用jsoup 实现java爬虫模拟登陆,通过省力的API,很好的实现java爬虫模拟登陆。

一、使用工具:Jsoup

jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。

二、实现java爬虫模拟登陆

1、确定想要爬取的url

import java.io.BufferedWriter;

import java.io.FileOutputStream;

import java.io.IOException;

import java.io.OutputStreamWriter;

import java.util.Map.Entry;

import java.util.Set;

import org.jsoup.Connection;

import org.jsoup.Jsoup;

import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
public class SplitTable {
  public static void main(String[] args) throws IOException {
    //想要爬取的url
    String url = "http://jwcnew.nefu.edu.cn/dblydx_jsxsd/xskb/xskb_list.do?
Ves632DSdyV=NEW_XSD_PYGL";
    String username = "";
    String password = "";
    String sessionId = getSessionInfo(username,password);
    spiderWebSite(sessionId,url);
  }

2、获取sessionId

private static String getSessionInfo(String username,String password)
throws IOException{

3、登录网站,返回sessionId信息

Connection.Response res = Jsoup.connect(http://jwcnew.nefu.edu.cn/dblydx_jsxsd/xk/LoginToXk)

4、获得sessionId

 String sessionId = res.cookie("JSESSIONID");
    System.out.println(sessionId);
    return sessionId;
  }

5、爬取内容

private static void spiderWebSite(String sessionId,String url) throws IOException{
    //爬取
    Document doc = Jsoup.connect(url).cookie("JSESSIONID", sessionId).timeout(10000).get();
    Element table = doc.getElementById("kbtable");
    //System.out.println(table);
    BufferedWriter bw = new BufferedWriter
(new OutputStreamWriter(new FileOutputStream("F:/table.html")));
    bw.write(new String(table.toString().getBytes()));
    bw.flush();
    bw.close();
  }
}

实例代码扩展:

import java.io.IOException;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.Connection.Method;
import org.jsoup.Connection.Response;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;

public class LoginDemo {
  public static void main(String[] args) throws Exception {
    LoginDemo loginDemo = new LoginDemo();
    loginDemo.login("16xxx20xxx", "16xxx20xxx");// 用户名,和密码
  }
  /**
   * 模拟登陆座位系统
   * @param userName
   *      用户名
   * @param pwd
   *      密码
   *
   * **/
  public void login(String userName, String pwd) throws Exception {
    // 第一次请求
    Connection con = Jsoup
        .connect("http://lib???.?????????.aspx");// 获取连接
    con.header("User-Agent",
        "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0");// 配置模拟浏览器
    Response rs = con.execute();// 获取响应
    Document d1 = Jsoup.parse(rs.body());// 转换为Dom树
    List<Element> et = d1.select("#form1");// 获取form表单,可以通过查看页面源码代码得知
    // 获取,cooking和表单属性,下面map存放post时的数据
    Map<String, String> datas = new HashMap<>();
    for (Element e : et.get(0).getAllElements()) {
      //System.out.println(e.attr("name")+"----Little\n");
      if (e.attr("name").equals("tbUserName")) {
        e.attr("value", userName);// 设置用户名
      }

      if (e.attr("name").equals("tbPassWord")) {
        e.attr("value", pwd); // 设置用户密码
      }
      if (e.attr("name").length() > 0) {// 排除空值表单属性
        datas.put(e.attr("name"), e.attr("value"));
      }
    }

    /**
     * 第二次请求,post表单数据,以及cookie信息
     *
     * **/
    Connection con2 = Jsoup
        .connect("http://lib???.?????????.aspx");
    con2.header("User-Agent",
        "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0");
    // 设置cookie和post上面的map数据
    Response login = con2.ignoreContentType(true).method(Method.POST)
        .data(datas).cookies(rs.cookies()).execute();

    // 登陆成功后的cookie信息,可以保存到本地,以后登陆时,只需一次登陆即可
    Map<String, String> map = login.cookies();
    //下面输出的是cookie 的内容
    for (String s : map.keySet()) {
      System.out.println(s + "=====-----" + map.get(s));
    }

    System.out.println(login.body());
    /**
     * 登录之后模拟获取预约记录
     *
     * */
    Connection con_record = Jsoup
        .connect("http://lib???.?????????.aspx");// 获取连接
    con_record.header("User-Agent",
        "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0");// 配置模拟浏览器
    con_record.cookies(datas);

    Response record = con_record.ignoreContentType(true)
        .method(Method.GET)
        .cookies(rs.cookies())
        .execute();
    System.out.println(record.body());
  }
}

到此这篇关于java爬虫模拟登陆的实例详解的文章就介绍到这了,更多相关java爬虫实战之模拟登陆内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • JAVA使用HtmlUnit爬虫工具模拟登陆CSDN案例

    最近要弄一个爬虫程序,想着先来个简单的模拟登陆, 在权衡JxBrowser和HtmlUnit 两种技术,  JxBowser有界面呈现效果,但是对于某些js跳转之后的效果获取比较繁琐. 随后考虑用HtmlUnit, 想着借用咱们CSND的登陆练练手.谁知道CSDN的登陆,js加载时间超长,不设置长一点的加载时间,按钮提交根本没效果,js没生效. 具体看代码注释吧. 奉劝做爬虫的同志们,千万别用CSDN登陆练手,坑死我了. maven配置如下: <dependencies> <!-- ht

  • java爬虫模拟登陆的实例详解

    使用jsoup工具可以解析某个URL地址.HTML文本内容,是java爬虫很好的优势,也是我们在网络爬虫不可缺少的工具.本文小编带领大家使用jsoup 实现java爬虫模拟登陆,通过省力的API,很好的实现java爬虫模拟登陆. 一.使用工具:Jsoup jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址.HTML文本内容.它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据. 二.实现java爬虫模拟登陆 1.确定想要爬取的ur

  • PHP 模拟登陆功能实例详解

    本文实例讲述了PHP 模拟登陆功能.分享给大家供大家参考,具体如下: 说明:该模拟登陆实例仅适用于没有验证码的模拟登陆实例 该程序基本功能是,模拟登陆高校图书馆网站,并获取读者信息和借书信息. 程序截图: 目录结构: login.php <form method="post" class="am-form" action="judge.php"> <label for="sid">学号:</lab

  • java操作mongoDB查询的实例详解

    java操作mongo查询的实例详解 前言: MongoDB是一个基于分布式文件存储的数据库.由C++语言编写.旨在为WEB应用提供可扩展的高性能数据存储解决方案. MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的.他支持的数据结构非常松散,是类似json的bson格式,因此可以存储比较复杂的数据类型.Mongo最大的特点是他支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且

  • Java 中This用法的实例详解

     Java 中This用法的实例详解 用类名定义一个变量的时候,定义的只是一个引用,外面可以通过这个引用来访问这个类里面的属性和方法. 那们类里面是够也应该有一个引用来访问自己的属性和方法纳? 呵呵,Java提供了一个很好的东西,就是 this 对象,它可以在类里面来引用这个类的属性和方法.先来个简单的例子: public class ThisDemo { String name="Mick"; public void print(String name){ System.out.pr

  • Shell执行/调用Java/Jar程序例子的实例详解

    Shell执行/调用Java/Jar程序例子的实例详解 前言: 最近要写一个独立的Java程序去监控Hadoop和Oozie,通过Shell去调用.写代码到现在也4年多了,貌似就从来没在生产环境中写过一个独立的Java程序,不是部署到Tomcat就是直接丢给Hadoop.于是参考Hadoop等开源环境,自己写了一个demo,并且可以通过Ant打包生成可运行的程序.所以这里有三步:Java程序,Shell,Ant      1.首先建立Java程序,由于是例子,所以这里很简单,只是输出传入参数的个

  • java 中自定义OutputFormat的实例详解

    java 中 自定义OutputFormat的实例详解 实例代码: package com.ccse.hadoop.outputformat; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apa

  • Java实现LRU缓存的实例详解

    Java实现LRU缓存的实例详解 1.Cache Cache对于代码系统的加速与优化具有极大的作用,对于码农来说是一个很熟悉的概念.可以说,你在内存中new 了一个一段空间(比方说数组,list)存放一些冗余的结果数据,并利用这些数据完成了以空间换时间的优化目的,你就已经使用了cache. 有服务级的缓存框架,如memcache,Redis等.其实,很多时候,我们在自己同一个服务内,或者单个进程内也需要缓存,例如,lucene就对搜索做了缓存,而无须依赖外界.那么,我们如何实现我们自己的缓存?还

  • java中的interface接口实例详解

     java中的interface接口实例详解 接口:Java接口是一些方法表征的集合,但是却不会在接口里实现具体的方法. java接口的特点如下: 1.java接口不能被实例化 2.java接口中声明的成员自动被设置为public,所以不存在private成员 3.java接口中不能出现方法的具体实现. 4.实现某个接口就必须要实现里面定义的所有方法. 接下来看一个实现接口的案例: package hello;   interface competer{ //定义接口 void set_comp

  • java中Spring Security的实例详解

    java中Spring Security的实例详解 spring security是一个多方面的安全认证框架,提供了基于JavaEE规范的完整的安全认证解决方案.并且可以很好与目前主流的认证框架(如CAS,中央授权系统)集成.使用spring security的初衷是解决不同用户登录不同应用程序的权限问题,说到权限包括两部分:认证和授权.认证是告诉系统你是谁,授权是指知道你是谁后是否有权限访问系统(授权后一般会在服务端创建一个token,之后用这个token进行后续行为的交互). spring

  • Java使用continue语句的实例详解

    Java使用continue语句的实例详解 在Java中,如何使用使用continue语句? 下面示例中,演示如何使用continue语句跳过循环(实现统计指定字母(h)出现的次数,找到后路过循环) package com.yiibai; public class UseOfContinueStatement { public static void main(String[] args) { StringBuffer searchstr = new StringBuffer("hello ho

随机推荐