|
|
|
|
| 英文字符编码方案的国际标准为美国国家信息交换标准字符码（American Standard Code for Information Interchange, ASCII）。ASCII码利用7位二进制数表示，共有128个元素。字节（8位）是计算机中的常用单位，ASCII字符将字节中多余的最高位取0。下表所示为7位ASCII字符编码表。
|
|
|
|
|
|
|
|
|
| ASCII规范标准发表于1967年，最后一次更新于1986年，至今共定义了128个字符，其中包括33个非打印字符，其主要用途是操控已经处理过的文字，另外还有95个可显示字符。
|
|
|
|
|
| 英语用128个符号编码就足够了，但若是用来表示汉字，128个符号是远远不够的，所以1981年5月中国国家标准总局发布了GB 2312编码，全称为信息交换用汉字编码字符集。
|
|
|
| GB 2312编码共收录6763个汉字，其中一级汉字3755个，二级汉字3008个；同时收录了包括拉丁字母、希腊字母、日文平假名及片假名字母、俄语西里尔字母在内的682个字符。GB 2312编码基本满足了汉字的计算机处理需要，它所收录的汉字已经覆盖了中国99.75%的使用频率。
|
|
|
| GB 2312编码中对所收录的汉字进行了“分区”处理，每区含有94个汉字／符号，这种表示方式也称区位码。
|
|
|
|
|
|
|
|
|
| 例如，“啊”字是GB 2312编码中的第一个汉字，它的区位码就是1601D，即表示“啊”字是位于第16区的第01个编码。
|
|
|
|
|
| 虽然汉字可以利用GB 2312编码表示，但对于世界上很多国家的文字和字符并没有包含在内，所以Unicode编码（又称万国码、国际码、统一码、单一码）出现了。Unicode编码对世界上大部分的文字系统都进行了整理、编码，是计算机科学领域中的一项业界标准。
|
|
|
| Unicode编码至今仍在不断增修，每个新版本都加入了更多新的字符，目前的最新版本已经收录了超过10万个字符。Unicode编码涵盖的数据除了视觉上的字形、编码方法、标准的字符编码外，还包含字符特性，如大小写字母。
|
|
|
| Unicode编码被广泛应用于计算机软件的国际化与本地化过程。有很多新科技，如可扩展标记语言、Java编程语言以及现代的操作系统都采用了Umicode编码。
|
|
|
| 需要注意的是，Unicode编码只是一个符号集，它只规定了符号的二进制代码，却没有规定这个二进制代码应该如何存储。比如，汉字“严”的Unicode编码是十六进制数4E25，转换成二进制数足足有15位（100111000100101），也就是说，表示这个符号至少需要2字节，表示其他更大的符号可能需要3字节或者4字节，甚至更多。
|
|
|
| Unicode编码的实现方式不同于编码方式。一个字符的Unicode编码是确定的，但是在实际传输过程中，由于不同系统平台的设计不一定一致，以及出于节省空间的目的，对Unicode编码的实现方式便会有所不同。Unicode编码的实现方式称为Unicode转换格式（Unicode Transformation Format, UTF）。目前最常用的实现编码为UTF-8,除此之外还有UTF-16、UTF-32。
|
|
|
|
|
| 计算机文字有多种不同的类型：根据是否具有编辑排版格式，可以分为纯文本和富文本两大类；根据文本内容的组织方式，可以分为线性文本和超文本两大类。
|
|
|
|
|
| 纯文本又称简单文本，只保存文本，不保存其格式设置。
|
|
|
| 常见的纯文本格式文件的扩展有：txt、asp、bat、c、bas、prg、cmd等。
|
|
|
| 常用的纯文本编辑软件有：记事本、Notepac、TXT Editor、Notepad++、Quickpad等。
|
|
|
|
|
| 富文本（Rich Text Format, RTF）包括大量符号标记，用于标记粗体、下画线、斜体、图形、符号或特殊字符及特殊打印格式等，格式丰富，所以称为富文本。
|
|
|
| 常见的富文本文件格式有：RTF、DOC、DOCX、WPS等。
|
|
|
|
|
|
|
| 在很多应用场合，特别是出于出版发行、发布等的需要，文本必须满足清晰、美观、便于使用等要求，为此对文本进行编辑和处理是必不可少的。
|
|
|
|
|
| . 对字、词、句、段落进行添加、删除、修改等操作。
|
|
|
| . 字的处理：设置字体、字号、字的排列方向、间距、颜色、效果等。
|
|
|
| . 段落的处理：设置行距、段间距、段缩进、对称方式等。
|
|
|
|
|
|
|
| . 页面布局（排版）：设置页边距、每页行列数、分栏、页眉、页脚、插图位置等。
|
|
|
| 文本处理强调的是使用计算机对文本中所含文字信息的形、音、义等进行分析和处理。文本处理可以在字、词（短语）、句子、篇章等不同的层面上进行。
|
|
|
| . 在字、词（短语）层面上进行的处理包括字数统计、自动分词、词性标注、词频统计、词语排序、词语错误检测、自动建立索引、简／繁体转换、大陆／台湾编码及术语转换等。
|
|
|
| . 在句子级别上进行的处理有语法检查、文语转换（语音合成）、文种转换（机器翻译）等。
|
|
|
| . 在篇章基础上进行的处理有关键词提取、文摘生成、文本分类、文本检索等。
|
|
|
| 此外，为了文本的信息安全和有效地存储或传输，还需要对文本进行加密、压缩等处理。
|
|
|
| 在各种文本处理应用中，使用得最多的是文本检索。文本检索是将文本按一定方式进行组织、存储、管理，并根据用户的要求查找到所需文本的技术。
|
|
|
