c#使用Socket发送HTTP/HTTPS请求的实现代码
C# 自带的HttpWebRequest效率太低，对于自组HTTP封包不好操作。
在写超级SQL注入工具时，研究了很长一段时间如何使用Socket来发送HTTP、HTTPS请求。
经过一年的修改和测试，可完美、高效发送并解析HTTP/HTTPS请求。修改过无数次bug。
在这里把核心代码分享出来，供大家学习或做开发参考。
用这个代码写了一个简单的HTTP发包工具。供大家参考。
工具下载：
HTTPTool.rar
核心类：HTTP.cs
using System;
using System.Collections.Generic;
using System.Text;
using tools;
using System.Net;
using System.Net.Sockets;
using System.IO.Compression;
using System.IO;
using System.Net.Security;
using System.Text.RegularExpressions;
using System.Threading;
using System.Diagnostics;
using System.Security.Authentication;
using System.Security.Cryptography.X509Certificates;
using HTTPTool;
namespace tools
{
public class HTTP
{
public const char T = '
';
public const String CT = "
";
public const String CTRL = "
";
public const String Content_Length_Str = "content-length: ";
public const String Content_Length_Str_M = "Content-Length: ";
public const String Content_Length = "content-length";
public const String Content_Encoding = "content-encoding";
public const String Transfer_Encoding = "transfer-encoding";
public const String Connection = "connection";
public static Main main = null;
public static long index = 0;
public void initMain(Main m)
{
main = m;
}
/**
*
发生异常尝试重连
*
*/
public static ServerInfo sendRequestRetry(Boolean isSSL, int tryCount, String host, int port, String payload, String request, int timeout, String encoding, Boolean foward_302)
{
int count = 0;
Interlocked.Increment(ref index);
ServerInfo server = new ServerInfo();
timeout = timeout * 1000;
while (true)
{
if (count >= tryCount) break;
try
{
if (!isSSL)
{
server = sendHTTPRequest(count, host, port, payload, request, timeout, encoding, foward_302);
return server;
}
else
{
server = sendHTTPSRequest(count, host, port, payload, request, timeout, encoding, foward_302);
return server;
}
}
catch (Exception e)
{
Tools.SysLog("发包发生异常，正在重试----" + e.Message);
server.timeout = true;
continue;
}
finally
{
count++;
}
}
return server;
}
private static void checkContentLength(ref ServerInfo server, ref String request)
{
//重新计算并设置Content-length
int sindex = request.IndexOf(CTRL);
server.reuqestHeader = request;
if (sindex != -1)
{
server.reuqestHeader = request.Substring(0, sindex);
server.reuqestBody = request.Substring(sindex + 4, request.Length - sindex - 4);
int contentLength = Encoding.UTF8.GetBytes(server.reuqestBody).Length;
String newContentLength = Content_Length_Str_M + contentLength;
if (request.IndexOf(Content_Length_Str_M) != -1)
{
request = Regex.Replace(request, Content_Length_Str_M + "d+", newContentLength);
}
else
{
request = request.Insert(sindex, "
" + newContentLength);
}
}
else
{
request = Regex.Replace(request, Content_Length_Str + "d+", Content_Length_Str_M + "0");
request += CTRL;
}
}
private static void doHeader(ref ServerInfo server, ref String[] headers)
{
for (int i = 0; i < headers.Length; i++)
{
if (i == 0)
{
server.code = Tools.convertToInt(headers[i].Split(' ')[1]);
}
else
{
String[] kv = Regex.Split(headers[i], ": ");
String key = kv[0].ToLower();
if (!server.headers.ContainsKey(key))
{
//自动识别编码
if ("content-type".Equals(key))
{
String hecnode = getHTMLEncoding(kv[1], "");
if (!String.IsNullOrEmpty(hecnode))
{
server.encoding = hecnode;
}
}
if (kv.Length > 1)
{
server.headers.Add(key, kv[1]);
}
else
{
server.headers.Add(key, "");
}
}
}
}
}
private static ServerInfo sendHTTPRequest(int count, String host, int port, String payload, String request, int timeout, String encoding, Boolean foward_302)
{
String index = Thread.CurrentThread.Name + HTTP.index;
Stopwatch sw = new Stopwatch();
sw.Start();
ServerInfo server = new ServerInfo();
TcpClient clientSocket = null;
int sum = 0;
try
{
if (port > 0 && port <= 65556)
{
//编码处理
server.request = request;
TimeOutSocket tos = new TimeOutSocket();
clientSocket = tos.Connect(host, port, timeout);
if (sw.ElapsedMilliseconds >= timeout)
{
return server;
}
clientSocket.SendTimeout = timeout - tos.useTime;
if (clientSocket.Connected)
{
checkContentLength(ref server, ref request);
server.request = request;
byte[] requestByte = Encoding.UTF8.GetBytes(request);
clientSocket.Client.Send(requestByte);
byte[] responseBody = new byte[1024 * 1000];
int len = 0;
//获取header头
String tmp = "";
StringBuilder sb = new StringBuilder();
clientSocket.ReceiveTimeout = timeout - (int)sw.ElapsedMilliseconds;
do
{
byte[] responseHeader = new byte[1];
len = clientSocket.Client.Receive(responseHeader, 1, SocketFlags.None);
if (len == 1)
{
char c = (char)responseHeader[0];
sb.Append(c);
if (c.Equals(T))
{
tmp = String.Concat(sb[sb.Length - 4], sb[sb.Length - 3], sb[sb.Length - 2], c);
}
}
} while (!tmp.Equals(CTRL) && sw.ElapsedMilliseconds < timeout);
server.header = sb.ToString().Replace(CTRL, "");
String[] headers = Regex.Split(server.header, CT);
if (headers != null && headers.Length > 0)
{
//处理header
doHeader(ref server, ref headers);
//自动修正编码
if (!String.IsNullOrEmpty(server.encoding))
{
encoding = server.encoding;
}
Encoding encod = Encoding.GetEncoding(encoding);
//302 301跳转
if ((server.code == 302 || server.code == 301) && foward_302)
{
StringBuilder rsb = new StringBuilder(server.request);
int urlStart = server.request.IndexOf(" ") + 1;
int urlEnd = server.request.IndexOf(" HTTP");
if (urlStart != -1 && urlEnd != -1)
{
String url = server.request.Substring(urlStart, urlEnd - urlStart);
rsb.Remove(urlStart, url.Length);
String location = server.headers["location"];
if (!server.headers["location"].StartsWith("/") && !server.headers["location"].StartsWith("http"))
{
location = Tools.getCurrentPath(url) + location;
}
rsb.Insert(urlStart, location);
return sendHTTPRequest(count, host, port, payload, rsb.ToString(), timeout, encoding, false);
}
}
//根据请求头解析
if (server.headers.ContainsKey(Content_Length))
{
int length = int.Parse(server.headers[Content_Length]);
while (sum < length && sw.ElapsedMilliseconds < timeout)
{
int readsize = length - sum;
len = clientSocket.Client.Receive(responseBody, sum, readsize, SocketFlags.None);
if (len > 0)
{
sum += len;
}
}
}
//解析chunked传输
else if (server.headers.ContainsKey(Transfer_Encoding))
{
//读取长度
int chunkedSize = 0;
byte[] chunkedByte = new byte[1];
//读取总长度
sum = 0;
do
{
String ctmp = "";
do
{
len = clientSocket.Client.Receive(chunkedByte, 1, SocketFlags.None);
ctmp += Encoding.UTF8.GetString(chunkedByte);
} while ((ctmp.IndexOf(CT) == -1) && (sw.ElapsedMilliseconds < timeout));
chunkedSize = Tools.convertToIntBy16(ctmp.Replace(CT, ""));
//chunked的结束0
是结束标志，单个chunked块
结束
if (ctmp.Equals(CT))
{
continue;
}
if (chunkedSize == 0)
{
//结束了
break;
}
int onechunkLen = 0;
while (onechunkLen < chunkedSize && sw.ElapsedMilliseconds < timeout)
{
len = clientSocket.Client.Receive(responseBody, sum, chunkedSize - onechunkLen, SocketFlags.None);
if (len > 0)
{
onechunkLen += len;
sum += len;
}
}
//判断
} while (sw.ElapsedMilliseconds < timeout);
}
//connection close方式或未知body长度
else
{
while (sw.ElapsedMilliseconds < timeout)
{
if (clientSocket.Client.Poll(timeout, SelectMode.SelectRead))
{
if (clientSocket.Available > 0)
{
len = clientSocket.Client.Receive(responseBody, sum, (1024 * 200) - sum, SocketFlags.None);
if (len > 0)
{
sum += len;
}
}
else
{
break;
}
}
}
}
//判断是否gzip
if (server.headers.ContainsKey(Content_Encoding))
{
server.body = unGzip(responseBody, sum, encod);
}
else
{
server.body = encod.GetString(responseBody, 0, sum);
}
}
}
}
}
catch (Exception e)
{
Exception ee = new Exception("HTTP发包错误！错误消息：" + e.Message + e.TargetSite.Name + "----发包编号：" + index);
throw ee;
}
finally
{
sw.Stop();
server.length = sum;
server.runTime = (int)sw.ElapsedMilliseconds;
if (clientSocket != null)
{
clientSocket.Close();
}
}
return server;
}
private static bool ValidateServerCertificate(object sender, X509Certificate certificate, X509Chain chain, SslPolicyErrors sslPolicyErrors)
{
return true;
}
private static ServerInfo sendHTTPSRequest(int count, String host, int port, String payload, String request, int timeout, String encoding, Boolean foward_302)
{
String index = Thread.CurrentThread.Name + HTTP.index;
Stopwatch sw = new Stopwatch();
sw.Start();
ServerInfo server = new ServerInfo();
int sum = 0;
TcpClient clientSocket = null; ;
try
{
if (port > 0 && port <= 65556)
{
TimeOutSocket tos = new TimeOutSocket();
clientSocket = tos.Connect(host, port, timeout);
if (sw.ElapsedMilliseconds >= timeout)
{
return server;
}
clientSocket.SendTimeout = timeout - tos.useTime;
SslStream ssl = null;
if (clientSocket.Connected)
{
ssl = new SslStream(clientSocket.GetStream(), false, new RemoteCertificateValidationCallback(ValidateServerCertificate));
SslProtocols protocol = SslProtocols.Ssl3 | SslProtocols.Ssl2 | SslProtocols.Tls;
ssl.AuthenticateAsClient(host, null, protocol, false);
if (ssl.IsAuthenticated)
{
checkContentLength(ref server, ref request);
server.request = request;
byte[] requestByte = Encoding.UTF8.GetBytes(request);
ssl.Write(requestByte);
ssl.Flush();
}
}
server.request = request;
byte[] responseBody = new byte[1024 * 1000];
int len = 0;
//获取header头
String tmp = "";
StringBuilder sb = new StringBuilder();
StringBuilder bulider = new StringBuilder();
clientSocket.ReceiveTimeout = timeout - (int)sw.ElapsedMilliseconds;
do
{
byte[] responseHeader = new byte[1];
int read = ssl.ReadByte();
char c = (char)read;
sb.Append(c);
if (c.Equals(T))
{
tmp = String.Concat(sb[sb.Length - 4], sb[sb.Length - 3], sb[sb.Length - 2], c);
}
} while (!tmp.Equals(CTRL) && sw.ElapsedMilliseconds < timeout);
server.header = sb.ToString().Replace(CTRL, "");
String[] headers = Regex.Split(server.header, CT);
//处理header
doHeader(ref server, ref headers);
//自动修正编码
if (!String.IsNullOrEmpty(server.encoding))
{
encoding = server.encoding;
}
Encoding encod = Encoding.GetEncoding(encoding);
//302 301跳转
if ((server.code == 302 || server.code == 301) && foward_302)
{
int urlStart = server.request.IndexOf(" ");
int urlEnd = server.request.IndexOf(" HTTP");
if (urlStart != -1 && urlEnd != -1)
{
String url = server.request.Substring(urlStart + 1, urlEnd - urlStart - 1);
if (!server.headers["location"].StartsWith("/") && !server.headers["location"].StartsWith("https"))
{
server.request = server.request.Replace(url, Tools.getCurrentPath(url) + server.headers["location"]);
}
else
{
server.request = server.request.Replace(url, server.headers["location"]);
}
return sendHTTPSRequest(count, host, port, payload, server.request, timeout, encoding, false);
}
}
//根据请求头解析
if (server.headers.ContainsKey(Content_Length))
{
int length = int.Parse(server.headers[Content_Length]);
while (sum < length && sw.ElapsedMilliseconds < timeout)
{
len = ssl.Read(responseBody, sum, length - sum);
if (len > 0)
{
sum += len;
}
}
}
//解析chunked传输
else if (server.headers.ContainsKey(Transfer_Encoding))
{
//读取长度
int chunkedSize = 0;
byte[] chunkedByte = new byte[1];
//读取总长度
sum = 0;
do
{
String ctmp = "";
do
{
len = ssl.Read(chunkedByte, 0, 1);
ctmp += Encoding.UTF8.GetString(chunkedByte);
} while (ctmp.IndexOf(CT) == -1 && sw.ElapsedMilliseconds < timeout);
chunkedSize = Tools.convertToIntBy16(ctmp.Replace(CT, ""));
//chunked的结束0
是结束标志，单个chunked块
结束
if (ctmp.Equals(CT))
{
continue;
}
if (chunkedSize == 0)
{
//结束了
break;
}
int onechunkLen = 0;
while (onechunkLen < chunkedSize && sw.ElapsedMilliseconds < timeout)
{
len = ssl.Read(responseBody, sum, chunkedSize - onechunkLen);
if (len > 0)
{
onechunkLen += len;
sum += len;
}
}
//判断
} while (sw.ElapsedMilliseconds < timeout);
}
//connection close方式或未知body长度
else
{
while (sw.ElapsedMilliseconds < timeout)
{
if (clientSocket.Client.Poll(timeout, SelectMode.SelectRead))
{
if (clientSocket.Available > 0)
{
len = ssl.Read(responseBody, sum, (1024 * 200) - sum);
if (len > 0)
{
sum += len;
}
}
else
{
break;
}
}
}
}
//判断是否gzip
if (server.headers.ContainsKey(Content_Encoding))
{
server.body = unGzip(responseBody, sum, encod);
}
else
{
server.body = encod.GetString(responseBody, 0, sum);
}
}
}
catch (Exception e)
{
Exception ee = new Exception("HTTPS发包错误！错误消息：" + e.Message + "----发包编号：" + index);
throw ee;
}
finally
{
sw.Stop();
server.length = sum;
server.runTime = (int)sw.ElapsedMilliseconds;
if (clientSocket != null)
{
clientSocket.Close();
}
}
return server;
}
public static String unGzip(byte[] data, int len, Encoding encoding)
{
String str = "";
MemoryStream ms = new MemoryStream(data, 0, len);
GZipStream gs = new GZipStream(ms, CompressionMode.Decompress);
MemoryStream outbuf = new MemoryStream();
byte[] block = new byte[1024];
try
{
while (true)
{
int bytesRead = gs.Read(block, 0, block.Length);
if (bytesRead <= 0)
{
break;
}
else
{
outbuf.Write(block, 0, bytesRead);
}
}
str = encoding.GetString(outbuf.ToArray());
}
catch (Exception e)
{
Tools.SysLog("解压Gzip发生异常----" + e.Message);
}
finally
{
outbuf.Close();
gs.Close();
ms.Close();
}
return str;
}
public static String getHTMLEncoding(String header, String body)
{
if (String.IsNullOrEmpty(header) && String.IsNullOrEmpty(body))
{
return "";
}
body = body.ToUpper();
Match m = Regex.Match(header, @"charsets*=s*""?(?<charset>[^""]*)", RegexOptions.IgnoreCase);
if (m.Success)
{
return m.Groups["charset"].Value.ToUpper();
}
else
{
if (String.IsNullOrEmpty(body))
{
return "";
}
m = Regex.Match(body, @"charsets*=s*""?(?<charset>[^""]*)", RegexOptions.IgnoreCase);
if (m.Success)
{
return m.Groups["charset"].Value.ToUpper();
}
}
return "";
}
}
}
以上就是关于c# Socket发送HTTP/HTTPS请求的核心代码了，需要的朋友可以参考一下。
相关推荐
-
详解C# Socket编程笔记
看到这个题目,是不是很眼熟?在博客园里搜下,保证会发现关于这个东东的文章实在是太多了~~~真得是没有写得必要,而且我也有点懒得去琢磨字句.(看到这,肯定得来个转折的了,不然就看不到下文了,不是吗)但是,为了自己下一篇要写的文章做参考,还是有必要先补充一下socket基础知识. 注意:如果你已经接触过socket,那就没什么必要耽误时间看下去了.另外,如果发现其中任何错误,欢迎直接指出. 1.按惯例先来介绍下socket Windows中的很多东西都是从Unix领域借鉴过来的,Socket也是一样
-
C#中Socket通信用法实例详解
本文实例讲述了C#中Socket通信用法.分享给大家供大家参考.具体如下: 一.UDP方式: 服务器端代码: static void Main(string[] args) { int recv; byte[] data = new byte[1024]; IPEndPoint ipep = new IPEndPoint(IPAddress.Any, 9050);//定义一网络端点 Socket newsock = new Socket(AddressFamily.InterNetwork, S
-
详解C# Socket简单例子（服务器与客户端通信）
这个例子只是简单实现了如何使用 Socket 类实现面向连接的通信. 注意:此例子的目的只是为了说明用套接字写程序的大概思路,而不是实际项目中的使用程序.在这个例子中,实际上还有很多问题没有解决,如消息边界问题.端口号是否被占用.消息命令的解析问题等.. 下面是两个程序的代码,(两个程序均为控制台程序) 先发服务端的(Server)完整代码如下: 引入命名空间: using System.Net.Sockets; using SystemNet; using SystemThreading; 完
-
C#基于socket模拟http请求的方法
本文实例讲述了C#基于socket模拟http请求的方法.分享给大家供大家参考.具体实现方法如下: using System; using System.Collections.Generic; using System.Linq; using System.Net; using System.Net.Sockets; using System.Text; using System.Threading.Tasks; class HttpHelper { #region 模拟客户端socket连接
-
C# Socket实现简单控制台案例
一.服务器端 1. 实例化并设置socket实例对象 a.创建ip地址和端口 b.绑定监听地址 c.设置一下允许同时访问数 2. 监听连接 a.通过启动一个新的线程执行,这样主线程不会假死(启动线程,所带的参数必须是object类型) b.利用循环等待连接并返回一个负责通信的socket实例 c.返回的socket实例中可以获取到所连接客服的IP地址 3. 接收客服的发送过来的消息 a.在监听方法中启动一个新的线程执行 b.利用循环获取发送过来的消息,调用获取消息的方法需要传递一个字节变量参数,
-
详解C# Socket异步通信实例
TCPServer 1.使用的通讯通道:socket 2.用到的基本功能: ①Bind, ②Listen, ③BeginAccept ④EndAccept ⑤BeginReceive ⑥EndReceive 3.函数参数说明 Socket listener = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp); 新建socket所使用的参数均为系统预定义的量,直接选取使用. listener.B
-
基于c#用Socket做一个局域网聊天工具
程序设计成为简单的服务端和客户端之间的通信, 但通过一些方法可以将这两者进行统一起来, 让服务端也成为客户端, 让客户端也成为服务端, 使它们之间可以互相随时不间断的通信. 考虑到实现最原始的服务端和客户端之间的通信所需要的步骤对于写这样的程序是很有帮助的. 作为服务端, 要声明一个Socket A并绑定(Bind)某一个IP+这个IP指定的通信端口, 比如这个是127.0.0.1:9050, 然后开始监听(Listen), Listen可以监听来自多个IP传过来的连接请求, 具体可以同时连接几
-
c#使用Socket发送HTTP/HTTPS请求的实现代码
C# 自带的HttpWebRequest效率太低,对于自组HTTP封包不好操作. 在写超级SQL注入工具时,研究了很长一段时间如何使用Socket来发送HTTP.HTTPS请求. 经过一年的修改和测试,可完美.高效发送并解析HTTP/HTTPS请求.修改过无数次bug. 在这里把核心代码分享出来,供大家学习或做开发参考. 用这个代码写了一个简单的HTTP发包工具.供大家参考. 工具下载: HTTPTool.rar 核心类:HTTP.cs using System; using System.Co
-
Golang发送http GET请求的示例代码
使用标准库http来实现 package tools import ( "io/ioutil" "net/http" ) func Get(url string)string{ res, err :=http.Get(url) if err != nil { return "" } robots, err := ioutil.ReadAll(res.Body) res.Body.Close() if err != nil { return &qu
-
利用python的socket发送http(s)请求方法示例
前言 这是个在写计算机网络课设的时候碰到的问题,卡了我一天,所以总结一下. 其实在之前就有用requests写过python爬虫,但是计算机网络要求更底层的实现,刚好我看到了[这篇文章]1结果发现他就是用socket来实现的请求,所以就学习了. 本来也觉得应该不难,毕竟就是建立tcp连接. 原网站的例子如下: def fetch(url): sock = socket.socket() # 建立socket sock.connect(('xkcd.com', 80)) # 远程连接 reques
-
PHP使用socket发送HTTP请求的方法
本文实例讲述了PHP使用socket发送HTTP请求的方法.分享给大家供大家参考,具体如下: socket方式: $socket = socket_create(AF_INET, SOCK_STREAM, SOL_TCP); //socket_set_option($socket, SOL_SOCKET, SO_SNDTIMEO, array("sec"=>20, "usec"=>0)); socket_connect($socket, 'www.bai
-
php 利用socket发送HTTP请求（GET，POST）
今天给大家带来的是如何利用socket发送GET,POST请求.我借用燕十八老师封装好的一个Http类给进行说明. 在日常编程中相信很多人和我一样大部分时间是利用浏览器向服务器提出GET,POST请求,那么可否利用其它方式提出GET,POST请求呢?答案必然是肯定的.了解过HTTP协议的人知道,浏览器提交请求的实质是向服务器发送一个请求信息,这个请求信息有请求行,请求头,请求体(非必须)构成.服务器根据请求信息返回一个响应信息.连接断开. HTTP请求的格式如下所示: <request-line
-
java 发送http和https请求的实例
HTTP请求: 如果需要Json格式的自己转下,度娘上N种姿势- //处理http请求 requestUrl为请求地址 requestMethod请求方式,值为"GET"或"POST" public static String httpRequest(String requestUrl,String requestMethod,String outputStr){ StringBuffer buffer=null; try{ URL url=new URL(requ
-
Java发送https请求代码实例
1.前文:通过webService发送https请求,有两种版本,一种是携带证书验证(比较麻烦),另外一种就是直接忽略证书,本文提供的就是第二种(本人已测试过) 2.最简易代码: import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.io.OutputStream; import java.io.Reader; import java.net.Ma
-
php 利用socket发送GET，POST请求的实例代码
作为php程序员一定会接触http协议,也只有深入了解http协议,编程水平才会更进一步.最近我一直在学习php的关于http的编程,许多东西恍然大悟,受益匪浅.希望分享给大家.本文需要有一定http基础的开发者阅读. 今天给大家带来的是如何利用socket发送GET,POST请求.我借用燕十八老师封装好的一个Http类给进行说明. 在日常编程中相信很多人和我一样大部分时间是利用浏览器向服务器提出GET,POST请求,那么可否利用其它方式提出GET,POST请求呢?答案必然是肯定的.了解过HTT
-
java开发https请求ssl不受信任问题解决方法
本文主要讨论的是java开发https请求ssl不受信任的解决方法,具体分析及实现代码如下. 在java代码中请求https链接的时候,可能会报下面这个错误 javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unab
-
python 请求服务器的实现代码(http请求和https请求)
一.http请求 1.http请求方式:get和post get一般用于获取/查询资源信息,在浏览器中直接输入url+请求参数点击enter之后连接成功服务器就能获取到的内容,post请求一般用于更新资源,通过form表单或者json.xml等其他形式提交给服务器端,然后等待服务器端给返回一个结果的方式(这个返回结果一般就是被修改之后的是否成功的状态,或者是修改后的最新数据table等). http请求,不论是get还是post请求,都会包含几个部分,分别是header,cookie,get会有