C#中字符串编码处理

2024-10-20 12:19:01

GB2312是简体中文系统的标准编码用“区” 跟“位”的概念表示称之为区位码
区指代大的范围位相当于偏移量。
每个汉字占两个字节
高位字节”的范围是0xB0-0xF7，“低位字节”的范围是0xA1-0xFE。
它的规律好像是按拼音a到z的顺序排列的
“啊”字是GB2312之中的第一个汉字，它的区位码就是1601
为此我们现在用代码的方式输出一个汉字
c#下是little字节序 b0跑后面去了。

代码如下:

ushort u = 0xa1b0;
byte[] chs =BitConverter.GetBytes(u);
Console.Write(Encoding.GetEncoding("GB2312").GetString(chs));

屏幕上输出的是汉字“啊”
但是注意并不代表写个循环从0xbA1 到0xf7fe就可以输出所有的汉字，这个很简单比如高位从1到9 低位从1到9 只有81种组合。
并不代表99-11就是结果这么二的问题晕。实际上通过这种方式汉字的个数总共是6768个,理解了区位码的概念后你就知道怎样去处理gb2312的汉字编码了。
下面我们就用这种方式来输出所有的汉字

代码如下:

//gb2312
//B0-F7，低字节从A1-FE
//byte hi = 0xB0;
//byte lo = 0xA1;
for (byte i = 0xB0; i <= 0xF7; i++)
{
     for (byte j = 0xA1; j <= 0xFE; j++)
     {
         //byte t = (byte)(j | (byte)0x01);
         Console.Write(Encoding.GetEncoding("GB2312").GetString(new byte[] { i, j }));
     }
}

关于GB2312的解释：http://www.jb51.net/article/34630.htm

ASCII是美国信息交换标准码他是从0~127，一个字节8位最高是255 就是说一个字节都用不完。
GB2312里也有字母称之为全角字符，gb2312里也包括ascii码称之为半角字符。
全角字符看上去怪怪的感觉有点不一样就像这样全角: Ａ半角：A 全角：ａ半角：a
全角字符除了在文字系统里用到没什么实际作用。
全角字符的第一个字节总是被置为163，而第二个字节则是相同半角字符码加上128（不包括空格）。
如半角A为65，则全角A则是163（第一个字节）、193（第二个字节，128+65）。
知道这个规律那么我们也可以遍历处所有ascii对应的全角字符：

代码如下:

/**
*实际上，全角字符的第一个字节总是被置为163，
*而第二个字节则是相同半角字符码加上128（不包括空格）。
*如半角A为65，则全角A则是163（第一个字节）、193（第二个字节，128+65）。
*/
for (byte k = 0x00; k < 0x7f; k++)
{
     byte[] ch = new byte[2];
     ch[0] = 163;
     ch[1] = (byte)(128 + k);
     Console.Write(Encoding.GetEncoding("GB2312").GetString(ch));
}

winXp下文本文件默认的保存编码是ansi ，注意这个ansi 他的概念跟GB2312又有不同，除此之外还有unicode 、utf-8
他们之间的关系是：
不同的国家和地区制定了不同的标准，由此产生了 GB2312, BIG5, JIS 等各自的编码标准。
这些使用 2 个字节来代表一个字符的各种汉字延伸编码方式，称为 ANSI 编码。
在简体中文系统下，ANSI 编码代表 GB2312 编码，在日文操作系统下，ANSI 编码代表 JIS 编码
C#进行文本读取时新同学最容易出现不理解为什么文本文件读取时是乱码

代码如下:

StreamReader sr = new StreamReader(Application.StartupPath + @"\config.txt");
string line;
while ((line = sr.ReadLine()) != null)
{
Console.WriteLine(line);
}

因为读取的方式也就是解码的方式跟文本存储时不一样，所以初始化streamReader时最好指定编码,Default即ANSI

代码如下:

StreamReader sr = new StreamReader(Application.StartupPath + @"\config.txt", System.Text.Encoding.Default);

C#字符串的常用操作工具类代码分享

实现以下功能: 验证字符串是否由正负号(+-).数字.小数点构成,并且最多只有一个小数点验证字符串是否仅由[0-9]构成验证字符串是否由字母和数字构成验证是否为空字符串.若无需裁切两端空格,建议直接使用 String.IsNullOrEmpty(string)裁切字符串(中文按照两个字符计算)裁切字符串(中文按照两个字符计算,裁切前会先过滤 Html 标签)过滤HTML标签获取字符串长度.与string.Length不同的是,该方法将中文作 2 个字符计算.将形如 10.1MB 格式对用户友好的
C#处理Json字符串实例分析

Json字符串对于做web应用的应该很熟悉,其实在很多请求我们返回的都是Json字符串.那对于C#代码如何处理Json字符串呢,.Net封装了一个类叫做JavaScriptSerializer[MSDN Library 链接http://msdn.microsoft.com/en-us/library/ee191864(v=vs.110).aspx]:这个类提供了一个方法. 下面这个是我在快递100往抓取的一个圆通的快递信息.对于我们有用的信息是快递时间,快递状况.那我该如何来做. 复制代码代
C# 字符串处理小工具

之前刚上大学时沉迷于安全方面,当时一直想写一个处理字符串的小程序. 无奈当时没有太多时间,一直拖延到这寒假. 寒假闲来无事,所以就写写小程序来练手,顺便复习一下窗体和基础. 实现的功能有以下: 转换为大写转换为小写反转字符串匹配某字符串出现次数正则匹配 base64加密 base64解密 ROT13加密解密 MD5 32位加密程序还是非常简陋的,没有健壮性,也没有输入的校验. 用心创造BUG(比心还有请不要吐槽我的变量命名以及方法命名,如果你不是从小学开始学拼音肯定看不懂:) 因为一
C#实现简易的加密、解密字符串工具类实例

本文实例讲述了C#实现简易的加密.解密字符串工具类.分享给大家供大家参考.具体如下: 这里的类CypherHelper是一个用于加密.解密字符串的工具类~~~,适合于方便地加密.解密长度较短的密码等字符串(C#里面已经有了库System.Security.Cryptography,对于比较长的字符串或流来说是一个更好的选择) 类CypherHelper代码: class CypherHelper { /// <summary> /// 加密字符串 /// </summary> //
C#实现对Json字符串处理实例

本文实例讲述了C#实现对Json字符串处理方法,分享给大家供大家参考.具体分析如下: 一般对于web应用开发人员来说对Json字符串都会很熟悉,其实在很多请求我们返回的都是Json字符串.那对于C#代码如何处理Json字符串呢,.Net封装了一个类叫做JavaScriptSerializer[MSDN Library 链接:http://msdn.microsoft.com/en-us/library/ee191864(v=vs.110).aspx]:这个类提供了一个方法. 下面这个是在快递10
C#后台接受前台JSON字符串装换成字典集合处理

一直以来,我们都是在服务端查询出结果生成JSON字符串,供前端调用,那么我们能否把从前端接受的JSON字符串转换成字典集合,让后台处理呢? 比如从前端接收:{'size':'10', 'weight':'10kg'} 在服务端转换成:[{size:"10"},{weight:"10kg"}]这样的字典集合通过Newtonsoft的DeserializeObject<Dictionary<string, string>>方法可以把JSON字符
一文解开java中字符串编码的小秘密(干货)

简介在本文中你将了解到Unicode和UTF-8,UTF-16,UTF-32的关系,同时你还会了解变种UTF-8,并且探讨一下UTF-8和变种UTF-8在java中的应用. 一起来看看吧. Unicode的发展史在很久很久以前,西方世界出现了一种叫做计算机的高科技产品. 初代计算机只能做些简单的算数运算,还要使用人工打孔的程序才能运行,不过随着时间的推移,计算机的体积越来越小,计算能力越来越强,打孔已经不存在了,变成了人工编写的计算机语言. 一切都在变化,唯有一件事情没有变化.这件事件就是计
js中字符串编码函数escape()、encodeURI()、encodeURIComponent()区别详解

JavaScript中有三个可以对字符串编码的函数,分别是: escape,encodeURI,encodeURIComponent,相应3个解码函数: unescape,decodeURI,decodeURIComponent . 下面简单介绍一下它们的区别 1 escape()函数定义和用法 escape() 函数可对字符串进行编码,这样就可以在所有的计算机上读取该字符串. 语法 escape(string) 参数描述 string 必需.要被转义或编码的字符串. 返回值已编码的 st
C#中字符串编码处理

GB2312是简体中文系统的标准编码用"区" 跟"位"的概念表示称之为区位码区指代大的范围位相当于偏移量.每个汉字占两个字节高位字节"的范围是0xB0-0xF7,"低位字节"的范围是0xA1-0xFE.它的规律好像是按拼音a到z的顺序排列的"啊"字是GB2312之中的第一个汉字,它的区位码就是1601为此我们现在用代码的方式输出一个汉字c#下是little字节序 b0跑后面去了. 复制代码代码如下: ush
JavaScript中字符串与Unicode编码互相转换的实现方法

本文实例讲述了JavaScript中字符串与Unicode编码互相转换的实现方法.分享给大家供大家参考,具体如下: 这段代码演示了JavaScript中字符串与Unicode编码的转换: // 为了控制台的演示方便, 变量没有添加 var 定义 // 实际编程中请避免 // 字符串 str = "中文"; // 获取字符 char0 = str.charAt(0); // "中" // 数字编码值 code = str.charCodeAt(0); // 20013
Python中字符串与编码示例代码

在最新的Python 3版本中,字符串是以Unicode编码的,即Python的字符串支持多语言编码和解码字符串在内存中以Unicode表示,在操作字符串时,经常需要str和bytes互相转换如果在网络上传输或保存到磁盘上,则从内存读到的数据就是str,要把str变为以字节为单位的bytes,称为编码如果从网络或磁盘上读取字节流,则从网络或磁盘上读到的数据就是bytes,要把bytes变为str,称为解码为避免乱码问题,应当始终坚持使用UTF-8编码对str和bytes进行
python中字符串的编码与解码详析

1. 常用的编码 ASCII:只能表示一些字母,数字和特殊的字符,占一个字节 GBK:国家简体中文字符集和繁体字符集,兼容ASCII,占两个字节 Unicode:能够表示全世界上所有的字符,Unicode有人说占4个字节也有人说占2个字节,但中文占2个字节 UTF-8:Unicode的压缩版,占1~3个字节,其中中文占三个字节 2.补充:计算机表示的单位: bit: 位,计算机最小的表示单位 bytes:字节,最小的存储单位,1bytes=8bit,1bytes简写成1B 1KB = 1024B
计算机中的字符串编码、乱码、BOM等问题详解

因为电脑是windows 7系统,开发环境又在linux,经常在linux碰到乱码问题,很是痛苦,于是决定好好了解编码的来龙气脉,并分享个各位,免得出现乱码时不知所措. 是否存在文件编码在讲解字符编码之前,我们需先明确文件本身没有编码一说,只有文字才有编码的概念,我们通常说某个文件是什么编码,通常是指文件里字符的编码. vim为什么会出现乱码我在linux下一般使用vim进行文件编辑,发现经常会碰到乱码的情况,那么为什么会出现乱码呢? 首先我们了解下vim编码方面的基础知识,关于编码方面vi
老生常谈计算机中的编码问题(必看篇)

计算机中的编码问题因为计算机只能处理数字,如果要处理文本,就必须先把文本转换为数字才能处理.最早的计算机在设计时采用8个比特(bit)作为一个字节(byte),所以,一个字节能表示的最大的整数就是255(二进制11111111=十进制255),如果要表示更大的整数,就必须用更多的字节.比如两个字节可以表示的最大整数是65535,4个字节可以表示的最大整数是4294967295. 一.目前常用的编码 ASCII编码:由于计算机是美国人发明的,因此,最早只有127个字母被编码到计算机里,也就是大小
Lua源码中字符串类型的实现

概述 Lua完全采用8位编码,Lua字符串中的字符可以具有任何数值编码,包括数值0.也就是说,可以将任意二进制数据存储到一个字符串中.Lua的字符串是不可变的值(immutable values).如果修改,实质上是新建一个字符串.根据上文<Lua中数据类型的源码实现>中知道,在Lua中,字符串是自动内存管理机制所管理的对象,并且由联合体TString来实现存储字符串值的.下面将通过Lua 5.2.1的源码来看字符串的实现以及总结了在Lua中使用字符串的注意事项. 源码实现首先来看字符串对应
Python中字符串的处理技巧分享

一.如何拆分含有多种分隔符的字符串? 实际案例我们要把某个字符串依据分隔符号拆分不同的字符段,该字符串包含多种不同的分隔符,例如: s = 'asd;aad|dasd|dasd,sdasd|asd,,Adas|sdasd;Asdasd,d|asd' 其中<,>,<;>,<|>,<\t>都是分隔符,如何处理? 解决方案连续使用split()方法,每次处理一种分隔符 # 使用Python2 def mySplit(s,ds): res = [s] for d

C#中字符串编码处理

相关推荐

随机推荐