java简单网页抓取的实现方法

本文实例讲述了java简单网页抓取的实现方法。分享给大家供大家参考。具体分析如下：

背景介绍

一 tcp简介

　　1 tcp 实现网络中点对点的传输

　　2 传输是通过ports和sockets

　　ports提供了不同类型的传输（例如 http的port是80）

　　　　1）sockets可以绑定在特定端口上，并且提供传输功能

　　　　2）一个port可以连接多个socket

二 URL简介

URL 是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。

互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。

综上，我们要抓取网页的内容实质上就是通过url来抓取网页内容。

Java提供了两种方法：

一种是直接从URL读取网页

一种是通过 URLConnection来读取网页

其中的URLConnection是以http为核心的类，提供了很多关于连接http的函数

本文将给出基于URLConnection的实例代码。

在此之前我们先来看下关于url的异常。不了解java异常机制的请参看上一篇博文。

构造URL的异常MalformedURLException产生条件：url的字符串为空或者是不能辨认的协议

建立 URLConnection的异常 IOException产生条件: openConnection失败，注意openConnection时 代码还未连接远程，只是为连接远程做准备

综上所述,最终代码如下：


代码如下:

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLConnection;

public class SimpleNetSpider {

public static void main(String[] args) {

try{
            URL u = new URL("http://docs.oracle.com/javase/tutorial/networking/urls/");
            URLConnection connection = u.openConnection();
            HttpURLConnection htCon = (HttpURLConnection) connection;
            int code = htCon.getResponseCode();
            if (code == HttpURLConnection.HTTP_OK)
            {
                System.out.println("find the website");
                BufferedReader in=new BufferedReader(new InputStreamReader(htCon.getInputStream()));
                String inputLine;
                while ((inputLine = in.readLine()) != null)
                        System.out.println(inputLine);
                    in.close();
            }
            else
            {
                System.out.println("Can not access the website");
            }
        }
        catch(MalformedURLException e )
        { 
            System.out.println("Wrong URL");
        }
        catch(IOException e)
        {
            System.out.println("Can not connect");
        }
    }
}

希望本文所述对大家的Java程序设计有所帮助。

赞 (0)

相关推荐

  • java实现网页解析示例

    只需将网址粘贴在第九行括号内即可 复制代码 代码如下: package com.meession.test; import java.io.DataInputStream;import java.net.URL; public class Internet { public static void main(String args[]){  URL myURL;  DataInputStream myURLContent;  try{   myURL=new URL("http://www.jb

  • 用javascrpt将指定网页保存为Excel的代码

    function AllAreaExcel(ID) { var oXL = new ActiveXObject("Excel.Application"); var oWB = oXL.Workbooks.Add(); var oSheet = oWB.ActiveSheet; var sel=document.body.createTextRange(); sel.moveToElementText(ID); sel.select(); sel.execCommand("Co

  • java抓取网页数据示例

    下面举例说明: 抓取百度首页的内容: 复制代码 代码如下: URL url = new URL("http://www.baidu.com");HttpURLConnection urlCon=(HttpURLConnection)url.openConnection();urlCon.setConnectTimeout(50000);urlCon.setReadTimeout(300000);DataInputStream fIn;byte[] content = new byte[

  • Java中使用正则表达式获取网页中所有图片的路径

    /** * 从HTML源码中提取图片路径,最后以一个 String 类型的 List 返回,如果不包含任何图片,则返回一个 size=0 的List * 需要注意的是,此方法只会提取以下格式的图片:.jpg|.bmp|.eps|.gif|.mif|.miff|.png|.tif|.tiff|.svg|.wmf|.jpe|.jpeg|.dib|.ico|.tga|.cut|.pic * @param htmlCode HTML源码 * @return <img>标签 src 属性指向的图片地址的

  • java抓取网页数据获取网页中所有的链接实例分享

    java抓取网页数据获取网页中所有的链接实例分享

    效果图 复制代码 代码如下: import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.net.HttpURLConnection;import java.net.URL;import java.util.ArrayList;import java.util.regex.Matcher;import java.util.regex.Pattern; p

  • Java获取任意http网页源代码的方法

    本文实例讲述了JAVA获取任意http网页源代码.分享给大家供大家参考,具体如下: JAVA获取任意http网页源代码可实现如下功能: 1. 获取任意http网页的代码 2. 获取任意http网页去掉HTML标签的代码 Webpage类: /** * 网页操作相关类 */ package test; import java.io.BufferedReader; import java.io.InputStreamReader; import java.net.URL; import java.u

  • java正则表达式匹配网页所有网址和链接文字的示例

    复制代码 代码如下: import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.net.MalformedURLException;import java.net.URL;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.

  • JAVA使用爬虫抓取网站网页内容的方法

    本文实例讲述了JAVA使用爬虫抓取网站网页内容的方法.分享给大家供大家参考.具体如下: 最近在用JAVA研究下爬网技术,呵呵,入了个门,把自己的心得和大家分享下 以下提供二种方法,一种是用apache提供的包．另一种是用JAVA自带的. 代码如下: // 第一种方法 //这种方法是用apache提供的包,简单方便 //但是要用到以下包:commons-codec-1.4.jar // commons-httpclient-3.1.jar // commons-logging-1.0.4.jar

  • Java用正则表达式如何读取网页内容

    学习java的正则表达式,抓取网页并解析HTML部分内容 package com.xiaofeng.picup; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.net.MalformedURLException; import java.net.URL; import java.util.ArrayList; import java.

  • java 抓取网页内容实现代码

    复制代码 代码如下: package test; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.net.Authenticator; import java.net.HttpURLConnection; import java.net.PasswordAuthentication

随机推荐