【scummvm汉化】BIG5码到GB码转换技术

shane007

BIG5码到GB码转换技术  
一起学习 中文因为数量太多，所以与英文用ASCII码一个字节表示不同，它使用两个字节来表示。通过计算这两个字节，我们可以得到其表示的汉字在中文字库中的位置。读取该位置的若干字节，以获得表示这个汉字的点阵信息。有了这些信息，就可以分别在DOS或WINDOWS中显示该汉字。事实上，在文本文件中保存的就是每个汉字对应的两个字节编码，而显示问题由中文操作系统自动解决。
% D: o! ~, l0 \- o& A' O
9 E0 v' q, F9 W! T. Y　　汉字编码并不统一，我们使用的是GB码，而台湾地区使用的是BIG5码。BIG5码文件中保存的是汉字相应的BIG5编码，GB码文件中保存的是汉字相应的GB编码（这也就是“乱码现象”的来由）。所以转换工作的关键是有一个记录每个BIG5编码对应GB编码的码表文件。

6 n& a6 d) f' \. M  E第一步 制作码表文件

　　BIG5码编码规则是这样的：每个汉字由两个字节构成，第一个字节的范围从0X81－0XFE，共126种。第二个字节的范围分别为0X40－0X7E，0XA1－0XFE，共157种。也就是说，利用这两个字节共可定义出 126 * 157＝19782种汉字。这些汉字的一部分是我们常用到的，如一、丁，这些字我们称为常用字，其BIG5码的范围为0XA440－0XC671，共5401个。较不常用的字，如滥、调，我们称为次常用字，范围为 0XC940－0XF9FE，共7652个，剩下的便是一些特殊字符。
制作码表文件的原理是这样的：首先将所有的BIG5编码写入一个文件，然后，使用具有BIG5码到GB码转换功能的软件，如地球村、东方快车、四通利方，将文件转换为GB码文件，即得到码表文件。

5 o4 e. f% g5 E8 Y- E$ Q2 E　　 下面的源程序将所有可能的BIG5编码（0XA100－0XFEFF）写入文件“Table.TXT”。

4 r4 |; g9 ]9 ?0 K//TURBO C 3.0
/ ^  x+ g6 E% W- l#include <Stdio.h>
+ b! S6 C: j/ {* Y; V% U/ b$ R#include <stdlib.h>
3 f- R# g, ^; V4 q6 w* |void main(){
FILE * codefile;
int I,j,k;
0 Y9 J6 I$ l6 H% `codefile=fopen("table.txt","w b");
% K7 I: m. Z* G6 b: U; Dfor (i=0xa1;i<=0xfe;I ){
. d% n% ~# n, `: bfor(j=0x00;j<=0xff;j ){
fwrite(& I,1,1,codefile);
fwrite(& j,1,1,codefile);}
}
* F7 p) \3 r" q8 ^: Mfclose(codefile);
' y' Y; i- N( e$ Y0 l  Vreturn;
6 |$ \% `# X/ l. Z$ K  Y- N3 p) v}
/ ]" c; j8 }6 b* V5 G- }6 h, R& @1 H　　运行地球村、东方快车或四通利方，将“Table.txt”从BIG5码转换为GB码，即获得码表文件。


第二步 转换

// 本文转自 C Builder研究 - http://www.ccrun.com/article.asp?i=166&d=8dgfdd
　　下面的源程序，将BIG5码文件转换为GB码文件。
8 t( a- R: Y1 w4 s9 @
! ^: c3 I; x# F$ r) X9 r//TURBO C 3.0
4 [6 g- H" c8 y0 o2 Y#include <stdio.h>
#include <stdlib.h>
void main(){
$ `/ j: i  f6 W8 v. Hint que, wei;
FILE * sourcefile;
FILE * tabfile;
FILE * destfile;
sourcefile = fopen("big.txt', "r b");
//BIG5 码文件
tabfile = fopen("table.txt", 'r b");
//码表文件
destfile = fopen("gb.txt","w b");
//转换生成的GB码文件
while (!feof(sourcefile)){
) `7 V+ m$ Z. L+ y2 p8 [# bfread(& que,1,1,sourcefile);
if (feof(sourcefile)){
( ?' f5 C0 v& H$ T9 S# ybreak; }
if (que> =0xa1 && que <=0xfe)
! F. W, Q$ S3 |0 ]4 q9 ]0 j2 \! ~6 d//叛断是否汉字（BIG5编码）
7 h. V: h) t9 I/ q4 j- w{fread(& wei,1,1,sourcefile);
if (wei<0xa1) wei = wei - 0x40;
if (wei>=0xa1) wei = wei - 0xa1 0x7e - 0x40 1;
fseek(tabfile, 2 * ((que -0xa1) * (0xfe - 0xa1 1 0x7e - 0x40 1 ) wei), SEEK_SET);
9 z/ W- u5 Z! h+ s) d9 s# yfread(& que,1,1,tabfile);
- Y, D# Z: ]2 sfread(& wei,1,1,tabfile);
# @) u. ~% s6 s; c7 X, ]+ b+ H# t# Ofwrite(& que,1,1,destfile);
' [$ V, t; u  I" r# o; Z) a/ ^fwrite(& wei,1,1,destfile);
9 s5 R# L% a  l4 @1 x$ G( \8 f}
else
0 D  x- w' S& [fwrite(& que,1,1,destfile); //处理英文
6 }) j1 j1 G8 S1 Y4 p) L+ B3 \0 G}
fclose(sourcefile);
2 D- m% M  e8 p6 gfclose(tabfile);
fclose(destfile);
return;
}
+ Q) U: W2 d! v. o! q. j
/ T$ K1 u0 {$ T$ p( b1 \! q　　以上程序在Win95/97，TC3.0 通过。稍加修改，也可用于CB、VC或VB程序中。用同样的方法，我们也可以将GB码转换为BIG5码。 中文因为数量太多，所以与英文用ASCII码一个字节表示不同，它使用两个字节来表示。通过计算这两个字节，我们可以得到其表示的汉字在中文字库中的位置。读取该位置的若干字节，以获得表示这个汉字的点阵信息。有了这些信息，就可以分别在DOS或WINDOWS中显示该汉字。事实上，在文本文件中保存的就是每个汉字对应的两个字节编码，而显示问题由中文操作系统自动解决。
8 `, `6 _) L' u! Q/ M2 e0 Q6 H) q
: d" I+ n) E/ h' Y5 i& e　　汉字编码并不统一，我们使用的是GB码，而台湾地区使用的是BIG5码。BIG5码文件中保存的是汉字相应的BIG5编码，GB码文件中保存的是汉字相应的GB编码（这也就是“乱码现象”的来由）。所以转换工作的关键是有一个记录每个BIG5编码对应GB编码的码表文件。

  \& G7 P+ P4 }; r/ f. b# x第一步 制作码表文件

$ C: x# K/ v2 Q0 A1 r　　BIG5码编码规则是这样的：每个汉字由两个字节构成，第一个字节的范围从0X81－0XFE，共126种。第二个字节的范围分别为0X40－0X7E，0XA1－0XFE，共157种。也就是说，利用这两个字节共可定义出 126 * 157＝19782种汉字。这些汉字的一部分是我们常用到的，如一、丁，这些字我们称为常用字，其BIG5码的范围为0XA440－0XC671，共5401个。较不常用的字，如滥、调，我们称为次常用字，范围为 0XC940－0XF9FE，共7652个，剩下的便是一些特殊字符。
制作码表文件的原理是这样的：首先将所有的BIG5编码写入一个文件，然后，使用具有BIG5码到GB码转换功能的软件，如地球村、东方快车、四通利方，将文件转换为GB码文件，即得到码表文件。

) ]5 Z; f3 U! k$ b- ?" z( o　　 下面的源程序将所有可能的BIG5编码（0XA100－0XFEFF）写入文件“Table.TXT”。

//TURBO C 3.0
#include <Stdio.h>
/ G) K, ^5 E4 H8 G, ?  P4 @* ~5 @  a#include <stdlib.h>
void main(){
3 |" d  _9 `' u9 {3 K% |* UFILE * codefile;
int I,j,k;
! v, }% J, i' ~2 e6 icodefile=fopen("table.txt","w b");
for (i=0xa1;i<=0xfe;I ){
# C& T( a, k( p  H7 U' q8 w* @for(j=0x00;j<=0xff;j ){
fwrite(& I,1,1,codefile);
; j. g5 u6 t' P( k0 Ffwrite(& j,1,1,codefile);}
}
. S2 j9 w) H5 d, n" \fclose(codefile);
return;
- u5 M3 m# F9 ~) [% {* l, m/ _}
1 b  W, k4 Z  Y! L  o! |$ h' @　　运行地球村、东方快车或四通利方，将“Table.txt”从BIG5码转换为GB码，即获得码表文件。

) e- L2 l' n! v: d8 y
+ Q- j; Z& N7 g0 D第二步 转换
+ ^- [. j: p5 h. O8 C1 B  H' Y
1 s3 Z3 u  O) ?9 x! K: Y// 本文转自 C Builder研究 - http://www.ccrun.com/article.asp?i=166&d=8dgfdd
6 ~7 T1 k) s# t$ m! |5 m　　下面的源程序，将BIG5码文件转换为GB码文件。

//TURBO C 3.0
#include <stdio.h>
" T2 N! K$ n" z0 H, {5 e9 c# o, j#include <stdlib.h>
8 b0 Q/ e/ c0 ^7 ?! R" h4 Zvoid main(){
int que, wei;
5 a% B8 |2 J3 Y+ l' c, rFILE * sourcefile;
FILE * tabfile;
FILE * destfile;
sourcefile = fopen("big.txt', "r b");
  [+ I" X2 H( s: X7 m$ H  M4 a//BIG5 码文件
tabfile = fopen("table.txt", 'r b");
//码表文件
3 t9 f1 O+ z% u4 _9 hdestfile = fopen("gb.txt","w b");
% H# x% F/ K2 u//转换生成的GB码文件
' Q% a8 e+ J- h& t, p! }: {while (!feof(sourcefile)){
fread(& que,1,1,sourcefile);
9 I6 X7 Z+ I$ f! I4 S) O* D4 {7 Hif (feof(sourcefile)){
break; }
2 t  y+ j1 |- v' F* O. p* }& X' Qif (que> =0xa1 && que <=0xfe)
4 P5 r+ s8 ]! I3 G6 g8 C" G0 o- P//叛断是否汉字（BIG5编码）
5 c* c0 U& D' q1 _' L! {0 D{fread(& wei,1,1,sourcefile);
if (wei<0xa1) wei = wei - 0x40;
if (wei>=0xa1) wei = wei - 0xa1 0x7e - 0x40 1;
5 v& s' |8 i1 H' e( \4 Hfseek(tabfile, 2 * ((que -0xa1) * (0xfe - 0xa1 1 0x7e - 0x40 1 ) wei), SEEK_SET);
' N- r, k3 o) M4 qfread(& que,1,1,tabfile);
fread(& wei,1,1,tabfile);
& A$ `1 R/ F  M* qfwrite(& que,1,1,destfile);
' I- ^# F* j$ s* l9 xfwrite(& wei,1,1,destfile);
8 g6 l; A- d3 o% A7 R1 {}
else
0 N( W1 m' o$ l) c3 R) N2 `4 c/ kfwrite(& que,1,1,destfile); //处理英文
0 U9 i8 s9 K; `6 I/ e+ C  }4 F}
* @4 H! B. p2 r& K# g7 S$ Ifclose(sourcefile);
5 V. p# U9 P' |fclose(tabfile);
fclose(destfile);
. W$ |6 V6 C' T$ e+ ?2 |. ureturn;
}

　　以上程序在Win95/97，TC3.0 通过。稍加修改，也可用于CB、VC或VB程序中。用同样的方法，我们也可以将GB码转换为BIG5码。