字符编码转换（编码怎么转换为数字）

本文目录

• 编码怎么转换为数字
• Node.js的Buffer与字符编码及转换
• 如何把TXT转为UTF-8编码
• iconv命令一直执行
• python 字符串格式的unicode编码转中文
• C#将字符转换成utf8编码 GB321编码转换
• 字符到二进制编码的转换是由什么部件来实现的
• linux系统下 文件夹和文件的字符集编码方式转换
• ASCII码和字符转换
• Python 编码转换与中文处理

编码怎么转换为数字

编码转换为数字是通过对应的编码表或编码字典来实现的。
1、有一个ASCII编码表，可以通过查找表中的对应关系将字母编码转换为对应的数字。在ASCII编码中，大写字母A-Z的编码范围是65-90，小写字母a-z的编码范围是97-122。
2、一个UTF-8编码的字符串，并想将其转换为数字，那么需要逐个字符地转换。UTF-8编码可以表示世界上几乎所有的书写字符，但使用的是多字节编码，每个字符可以由1到4个字节组成。可以通过查找UTF-8编码的规则来将每个字符解码为对应的数字。

Node.js的Buffer与字符编码及转换

Buffer实例一般用于表示编码字符的序列，如UTF-8、UCS2、Base64或十六进制编码的数据。通过使用显式的字符编码就可以在Buffer实例与普通的JavaScript字符串之间进行相互转换。

Node.js目前支持的字符编码包括：

●    ascii：仅支持7位ASCII数据。如果设置去掉高位的话，那么这种编码是非常快的。

●    utf8：多字节编码的Unicode字符。许多网页和其他文档格式都使用UTF-8。

●    utf16le：2或4个字节，小端序编码的Unicode字符，支持代理对(U+10000 ~ U+10FFFF)。

●    ucs2：utf16le的别名。

●    base64：Base64编码。

●    latin1：一种把Buffer编码成一字节编码的字符串的方式。

●    binary：latin1的别名。

●    hex：将每个字节编码为两个十六进制字符。

如何把TXT转为UTF-8编码

要将一个 TXT 文件转换为 UTF-8 格式，你可以按照以下步骤进行操作：
1. 首先，确保你的文本器或开发环境支持保存文件为 UTF-8 编码格式。大多数现代文本器都支持 UTF-8。
2. 打开 TXT 文件。你可以使用你喜欢的文本器，如记事本、Sublime Text、Visual Studio Code 等。
3. 在打开的 TXT 文件中，选择 "文件" 菜单（或类似的选项）。然后选择 "另存为"（或类似的选项）。
4. 在 "另存为" 对话框中，找到 "编码" 或 "字符集" 选项。这通常会以一个下拉列表形式展示。
5. 在 "编码" 或 "字符集" 下拉列表中，选择 "UTF-8" 作为新文件的编码格式。
6. 选择新的文件名和保存的位置，然后点击 "保存"。
这样，你就成功将原来的 TXT 文件转换为了 UTF-8 编码格式的文件。确保在保存时备份原始文件以防万一。如果你遇到任何问题，或者你使用的器有所不同，可以参考器的文档或进行相关的在线搜索以获取更详细的指导。

iconv命令一直执行

iconv命令是用来进行字符编码转换的一个命令，可能出现一直执行的情况有以下几个原因：
1. 输入文件编码格式不正确或者存在乱码，导致iconv命令无法正确转换文件编码格式，从而一直执行。此时可以通过转换输入文件编码格式或者去除乱码来解决。
2. 输出文件的路径或者权限设置不正确，导致iconv命令无法将转换后的结果写入到指定的路径中，从而一直执行。此时可以通过检查输出文件路径是否正确，以及是否具有写入权限来解决。
3. 输入文件太大，导致iconv命令需要花费很长时间来进行转换，从而给人一种一直执行的感觉。此时可以通过增加内存或者使用多线程等方式来提高iconv命令的性能，加快转换速度。
除了上述原因外，iconv命令一直执行还可能与其他因素有关，比如输入文件格式与输出格式不匹配等，需要具体分析具体问题，综合考虑多方面因素来解决。

python 字符串格式的unicode编码转中文

 python对于Unicode编码可以使用decode进行转换成中文：

》》》 str = b’\xe8\xb4\xb9\xe8\x84\x91\xe5\xad\x90’

》》》 str.decode(’utf-8’)

’费脑子’

如果是字符串类型的Unicode编码没办法直接用decode进行转换：

》》》 str ="\\xe8\\xb4\\xb9\\xe8\\x84\\x91\\xe5\\xad\\x90"

》》》 str.decode(’utf-8’)

Traceback (most recent call last):

  File "《stdin》", line 1, in 《module》

AttributeError: ’str’ object has no attribute ’decode’

处理方式：

》》》 str = eval("b" + "\"" + str + "\"")

》》》 str.decode(’utf-8’)

’费脑子’

C#将字符转换成utf8编码 GB321编码转换

public static string get_uft8(string unicodeString)
{
UTF8Encoding utf8 = new UTF8Encoding();
Byte encodedBytes = utf8.GetBytes(unicodeString);
String decodedString = utf8.GetString(encodedBytes);
return decodedString;
}

这边我以big5转换gb2312为例
Encoding big5 =Encoding.GetEncoding("big5");
Encoding gb2312 = Encoding.GetEncoding("gb2312");

byte big5b= big5.GetBytes("编程无悔！");
//关键也就是这句了
byte gb2312b= Encoding.Convert(big5,gb2312,big5b);

string strGb2312 = gb2312.GetString(gb2312b)

//写文件使用默认的即可，这样就能适应所有计算机了。
filePath = Path.GetDirectoryName(Application.ExecutablePath) + "\CSVFiles\" + DateTime.Now.ToString("yyyy-MM-dd_HHmmss") + ".csv";
fs = new FileStream(filePath, FileMode.Create);
sw = new StreamWriter(fs, Encoding.Default);

字符到二进制编码的转换是由什么部件来实现的

字符到二进制编码的转换是解码器，译码器，逻辑运算器等部件来实现转换和运算的。

计算机内的英文字符是以二进制编码的形式来表示的，其中使用最广的是ASCII编码

 汉字在计算机内也是以二进制编码的形式来表示的，这些代码称为汉字编码。常见的汉

字编码有GB2312，GBK，GB18030，其中最常用的编码是GB2312。

1个英文字符（ASCII码）占用1个字节存储空间，1个中文字符需要占用2个字节的存储空间；左边的显示内容是字符对应的十六进制格式的内码，1个英文字符需要2位16进制位表示，1个中文字符需要4位16进制位表示。

每个数字，符号，汉字都有相应的特定编码，通过转换成二进制存存储。

每一个ASCII码都对应一bai个字du符图形，ASCII有个码表，是个zhi标准，你可以百度dao搜一下。它主zhuan要用于系统和字符shu输入输出设备之间的信息交换。如果你按下键盘上带图形“5”的键，键盘就会送给主机一个它对应的ASCII码35H；如果你送35H给字符显示设备，它就会显示设备内预先存储好的图形“5”到屏幕上。

linux系统下 文件夹和文件的字符集编码方式转换

***隐藏网址***

   解决办法：用convmv工具将Resources目录下御返逗的所有文件的名称使用utf-8重新编码

***隐藏网址***

注：若用ftp客户端访问资源时，遇到乱码情况，也请核实客户端编码方式和服务器是否一致

make clean

make install

./convmv -f GB2312  -t UTF-8 -r --notest /Resources/*

以上讲述了在linux下修改目录名编码的方法，再扩展一下镇卖文件内容更改编码的方法

1.在Vim中直接进行转换文件编码,比如将一个文件转换成utf-8格式

   :set fileencoding=utf-8

   2. iconv 转换，iconv的命令格式如下：

   iconv -f encoding -t encoding inputfile

   比如将一个UTF-8 编码的文件转换成GBK编码

   iconv -f GBK -t UTF-8 file1 -o file2

ASCII码和字符转换

   本文是基于《编码》、《穿越计算机的迷雾》两部著作进行读后整理的记录性博客。对书中较为重要的内容进行归纳整理进行二次创作，略去了繁琐的讲述细节，力求简明扼要。

  正如我们在前面内容中的介绍一样，对于计算机我们知道它具备存储器能够存储二进制比特信息。但细细一想，我们不禁会产生诸多疑惑。例如，既然计算机存储的都是二进制比特信息，那我们的文本、音视频等多种格式的文件是如何在计算机中存储的呢？计算机为什么能够 “记住” 这些不同类型的信息呢？

  数字计算机中的存储器唯一可以存储的是比特，因此如果要想在计算机上处理信息，就必须把它们按位存储。通过先前的学习，我们已经掌握了如何用比特来表示数字和机器码。现在我们面临的一大挑战就是如何用它来存储文本（本文我们以文本文件为例进行介绍，音视频等文件类似）。

  为了将文本表示为数字形式，我们需要构建一种系统来为每一个字母赋予一个唯一的编码。这和我们前面介绍的一种人机沟通的方式类似，我们要想计算机 “记住” 这些属于我们人类认知的知识，必需定义一种规范——一种双方都能理解的规则。

  简而言之，所有由符号所表示的字母和数字都需要编码。具有这种功能的系统被称为字符编码集（CodedCharacter Set），系统内的每个独立编码称为字符编码（Character Codes）。

  了解了这种思想之后，我们便可以开始实现编码实现字符转换。首先要解决的第一个问题是：构成这些编码究竟需要多少比特？

  如果每个设计计算机的人都构造自己的编码系统，并且独立使用，那么文件的互传互通将困难重重。显而易见的是，我们需要一套统一的规范的编码标准。

  幸运的是，这种标准已经存在并且被广泛使用，它被称为美国信息交换标准码（AmericanStandard Code for InformationInterchange），简称为ASCII 码，发音很像 ASS-key。从 1967 年正式公布至今，它一直是计算机产业中最重要的标准。

  ASCII 码是 7 位编码，它的二进制取值范围为 0000000～1111111，对应于十六进制就是 00h～7Fh。下表列出了其中 32 个字符及相应的十六进制编码（完整对应关系可以查看： ASCII_百度百科 (baidu.com) ）。

  有了这种编码方式，我们就可以将字符串转换成 ASCII 码。例如：I am 12 years old.，转换后用十六进制数表示为：49 20 61 6D 20 31 32 20 79 65 61 72 73 20 6F 6C 64 2E。

  ASCII 码对英文字符与二进制之间的关系做了统一的规定，作为 7 位编码 ASCII 码一共规定了 128 个字符。但随之而来的问题是：英语用 128 个符号编码就够了，但是用来表示其他语言，128 个符号显然是不够的。不同国家有着自己的语言系统，也需要这样一套编码方式。显然，如果各个国家自己用自己的，那互通又成了一个繁琐的问题。

  业界一直有一个目标，那就是建立一个独一无二的字符编码系统，它可以用于世界上所有语言文字，从 1988 年开始，几大著名计算机公司合作研究出一种用来替代 ASCII 码的编码系统，取名为 Unicode（统一化字符编码标准）。相对于 ASCII 的 7 位编码，Unicode 采用了 16 位编码，每一个字符需要 2 个字节。也就是说 Unicode 的字符编码范围为 0000h～FFFFh，总共可以表示 65,536 个不同字符。全世界所有的人类语言，尤其是经常出现在计算机通信过程中的语言，都可以使用同一个编码系统，而且这种系统还具备很高的扩展性。

  Unicode 编码其实并不是从零开始设计的，例如前 128 个字符编码——即 0000h～007Fh——与 ASCII 码是一致的。全世界很多标准也被一同收录在 Unicode 中。Unicode 编码整合了部分之前的编码，并进行扩充。

  对于 Unicode 来讲，它唯一的问题，就是它改变了字符与存储空间之间 “单字符，单字节” 的等价对应关系。采用 ASCII 编码方式存储的著作《怒火之花》，其所占据的存储空间约为 1 MB。而如果采用 Unicode 编码，约占 2 MB。为了使编码系统兼容，Unicode 在存储空间上付出了相应的代价。

  随着后续的发展，Unicode 也逐步演化出 UTF-8、UTF-16 等，这里就不展开叙述。

  ASCII 码和字符转换篇介绍了编码的发展以及产生，介绍了ASCII 编码和 Unicode 编码两种编码方式。为了精简内容删减了部分较为详细的书写，仅作为整理总结。

Python 编码转换与中文处理

python 中的 unicode 是让人很困惑、比较难以理解的问题. 这篇文章 写的比较好， utf-8是 unicode的一种实现方式，unicode、gbk、gb2312是编码字符集.

Python 默认脚本文件都是 ANSCII 编码的，当文件 中有非 ANSCII 编码范围内的字符的时候就要使用" 编码指示 "来修正一个 module 的定义中，如果.py文件中包含中文字符（严格的说是含有非anscii字符），则需要在第一行或第二行指定编码声明： # -*- coding=utf-8 -*- 或者 #coding=utf-8
其他的编码如：gbk、gb2312也可以；否则会出现:

先说一下python中的字符串类型，在python中有两种字符串类型，分别是 str 和 unicode ，他们都是basestring的派生类；

在str的文档中有这样的一句话：

也就是说在读取一个文件的内容，或者从网络上读取到内容时，保持的对象为str类型；如果想把一个str转换成特定编码类型，需要把str转为Unicode,然后从unicode转为特定的编码类型如：utf-8、gb2312等。

unicode 转为 gb2312,utf-8等,使用 encode(encoding)

utf-8,GBK转换为 unicode 使用 unicode(s,encoding) 或者 s.decode(encoding)

普通的 str 转为 unicode,

如果直接执行s.encode(’gb2312’)会发生什么？

这里会发生一个异常：Python 会自动的先将 s 解码为 unicode ，然后再编码成 gb2312。因为解码是python自动进行的，我们没有指明解码方式，python 就会使用 sys.defaultencoding 指明的方式来解码。很多情况下 sys.defaultencoding 是 ANSCII，如果 s 不是这个类型就会出错。
拿上面的情况来说，我的 sys.defaultencoding 是 anscii，而 s 的编码方式和文件的编码方式一致，是 utf8 的，所以出错了:

对于这种情况，我们有两种方法来改正错误：

s = ’中文’
s.decode(’utf-8’).encode(’gb2312’) ```

import sys
reload(sys) # Python2.5 初始化后会删除 sys.setdefaultencoding 这个方法，我们需要重新载入
sys.setdefaultencoding(’utf-8’)
str = ’中文’
str.encode(’gb2312’)

print open("Test.txt").read()

import codecs
print open("Test.txt").read().decode("utf-8")

Traceback (most recent call last):
File "ChineseTest.py", line 3, in 《module》
print open("Test.txt").read().decode("utf-8")
UnicodeEncodeError: ’gbk’ codec can’t encode character u’\ufeff’ in position 0: illegal multibyte sequence

import codecs
data = open("Test.txt").read()
if data == codecs.BOM_UTF8:
data = data
print data.decode("utf-8")

s = "中文"
print unicode(s, "utf-8")

Traceback (most recent call last):
File "ChineseTest.py", line 3, in 《module》
s = unicode(s, "utf-8")
UnicodeDecodeError: ’utf8’ codec can’t decode bytes in position 0-1: invalid data

s = "中文"
print unicode(s, "gbk")

s = "中文"
print unicode(s, "cp936")