とほほの文字コード入門

• トップ
• 文字コード入門

• 文字コードとは
• 主な文字集合と符号化方式
• 文字集合
  • ASCII
  • ISO/IEC 646 (ASCIIの国際規格版)
  • JIS X 0201 (半角英数・半角カナ)
  • ISO-8859 (欧州系8ビット文字)
  • ISO/IEC 6429:1992 (制御文字)
  • JIS X 0211 (制御文字)
  • JIS X 0208 (第一水準・第二水準漢字)
  • JIS X 0212 (補助漢字)
  • JIS X 0213 (第三水準・第四水準漢字)
• 符号化方式
  • ISO-2022-JP (JISコード)
  • EUC-JP (EUC)
  • Shift_JIS (シフトJIS)
  • JIS系コードマップ
• Unicode
  • UTF-8
  • UTF-16
  • UTF-32
  • サロゲートペア
  • バイトオーダー
  • BOM(バイトオーダーマーク)
• その他
  • 合字
  • 組文字
  • 結合文字
  • 異体字
  • 絵文字修飾子
  • 正規化
• リンク

文字コードとは

「文字コード」とは、文字をコンピューターで表現する際にどのようなバイト表現にするかを定めるもので、下記の概念を持ちます。

主な文字集合と符号化方式

関連用語：

• サロゲートペア
• バイトオーダー
• BOM
• 合字
• 異体字
• 正規化

文字集合

ASCII

American Standard Code for Information Interchangeの略です。1963年に米国のASA(現在のANSI)が制定した 7ビット文字集合です。0x00～0x7F のバイトコードの中に 33文字の制御文字と、95文字の半角英数記号文字を定義しています。まだ文字集合と符号化方式という概念が生まれる前の文字コード体系です。最初は小文字の定義もなく、制御文字も異なっていましたが、1967年の改定でほぼ現在の定義になりました。

下記の版があります。

• ASA X3.4-1963：米国ASA(American Standards Association)が制定。まだ小文字もなく制御コードも異なっていた。
• USAS X3.4-1967：ASAがUSA SI(USA Standards Institue)に名称変更。内容改定しほぼ今の形式に。
• ANSI X3.4-1968：USA SIがANSI(Amarican National Standards Institute)に名称変更。微修正。
• ANSI X3.4-1986：改版。
• ANSI INCITS 4-1986：規格番号変更。

ISO/IEC 646 (ASCIIの国際規格版)

ASCII の規約を取り込みながら 1967年に ISO が制定した国際規格です。欧州でもほぼ同等の ECMA-6 を制定しています。当初は番号記号(#)が国際通貨記号(¤)に、チルダ(~)がオーバーライン(‾)になっている点が異なっていましたが、1991年の改定で番号記号(#) とチルダ(~)に変更されました。ただし、下記で色付きの文字(2/3-4, 4/0, 5/11-14, 6/0, 7/11-14) は推奨文字であり、各言語で別の文字を割り当ててもよいと規定されました。日本ではこの規格をベースに JIS X 0201 を制定しました。欧州各国でも同様の規格が制定されましたが、あまり使用されず、代わりに8ビット領域を使用した ISO/IEC 8859 が使用されています。

下記の版があります。

• ISO R 646:1967：初版制定。
• ISO 646:1972：改版。
• ISO 646:1983：改版。
• ISO/IEC 646:1991：ISO/ICE に改名。推奨文字を ¤ と ‾ から、# と ~ に変更。
• ECMA-6 (1965-04-30), 1st Edition：ISO 646 と並行して欧州で策定された規格。
• ECMA-6 (1967-06), 2nd Edition：改版。
• ECMA-6 (1970-07), 3rd Edition：改版。
• ECMA-6 (1973-08), 4th Edition：改版。
• ECMA-6 (1984-12, 1985-03), 5th Edition：改版。
• ECMA-6 (1991-12, 1997-08), 6th Edition：改版。

JIS X 0201 (半角英数・半角カナ)

ISO/IEC 646 を日本向けにカスタマイズし、1969年に日本工業規格(JIS) が制定しました。制定当時は JIS C 6220 でしたが、JIS の情緒部門(X)設立に伴い、JIS X 0201(ローマ字/半角カナ文字) に名称変更されました。ASCII とは、5/12 のバックスラッシュ(\)が円記号(¥)に、7/14 のチルダ(~)がオーバーライン(‾)になっている点が異なります。また、8ビット空間を用いて半角カナ文字も定義しています。

下記の版があります。

• JIS C 6220-1969：半角ローマ字および半角カナを制定。
• JIS X 0201-1976：情報部門(X)新設に伴う名称変更。
• JIS X 0201-1977：最新版。

ISO-8859 (欧州系8ビット文字)

ISO/IEC 646 ではカスタマイズできる文字数が少なすぎたため、欧州を中心に独自に制定した 8ビットコード体系です。

ISO/IEC 6429:1992 (制御文字)

C0領域(0x00～0x1F)、C1領域(0x80～0x9F) の制御文字を定義します。

下記の版があります。

• ISO 6429:1983
• ISO 6429:1988
• ISO/IEC 6429:1992

JIS X 0211 (制御文字)

ISO/IEC 6429 とほぼ同等内容の JIS 規格です。

下記の版があります。

• JIS C 6223-1986：制御文字を制定。
• JIS X 0211-1986：情報部門(X)新設に伴う名称変更。
• JIS X 0211-1991：改版。
• JIS X 0211-1994：最新版。ISO/IEC 6429:1992 を日本語訳したもの。

JIS X 0208 (第一水準・第二水準漢字)

平仮名、片仮名、漢字などの日本語の文字コードを定義します。1～84区を使用し、各区には 1～94点までの文字を定義しています。1978年に JIS C 6226 として定義され、後に JIS X 0208 に名称変更しました。第一水準、第二水準と呼ばれる漢字を定義しています。1-2区に全角記号、3区全角数字・ローマ字、4区平仮名、5区片仮名、6区ギリシャ文字、7区キリル文字、8区罫線16～47区第一水準漢字、48～84区第二水準漢字を定義しています。

下記の文字が定義されています。

• JIS X 0208コード表 (by Cyber Librarian)

下記の版があります。

• JIS C 6116-1978：通称「78JIS」。非漢字(453字)、第一水準(2,965字)、第二水準(3,384字)、合計(6,802文)を定義。
• JIS C 6226-1983：通称「83JIS」。2区記号(39字)、8区罫線(32字)追加。第一/第二水準の入替え(22組)、字形変化と移動(4字)。
• JIS X 0208-1990：通称「90JIS」。第二水準に漢字追加(2字)、225文字を字形変更しました。
• JIS X 0208-1997：通称「97JIS」。Shift_JIS, ISO-2022-JP, EUC-JP(に似たもの)の符号化方式を定義。

JIS C 6226-1983：2区：記号追加(39字)

　∠ ⊥ ⌒ ∂ ∇ ≡ ≒ ≪ ≫ √
　∽ ∝ ∵ ∫ ∬ ∈ ∋ ⊆ ⊇ ⊂
　⊃ ∪ ∩ ∧ ∨ ￢ ⇒ ⇔ ∀ ∃
　♯ ♭ ♪ † ‡ ¶ ◯ Å ‰

JIS C 6226-1983：8区：罫線文字追加(32字)

　─ │ ┌ ┐ ┘ └ ├ ┬ ┤ ┴ ┼ ━ ┃ ┏ ┓ ┛
　┗ ┣ ┳ ┫ ┻ ╋ ┠ ┯ ┨ ┷ ┿ ┝ ┰ ┥ ┸ ╂

JIS C 6226-1983：第一水準と第二水準入れ替え(22組)

　鯵鰺　鴬鶯　蛎蠣　撹攪　竃竈　潅灌　諌諫　頚頸　砿礦　蕊蘂
　靭靱　賎賤　壷壺　砺礪　梼檮　涛濤　迩邇　蝿蠅　桧檜　侭儘
　薮藪　篭籠

JIS C 6226-1983：第一水準の字形変化と旧字形を第二水準(84区)に移動(4字)

　尭堯　槙槇　遥遙　瑶瑤

JIS X 0208-1990：第二水準(84区)に漢字追加(2字)

　凜 熙

JIS X 0212 (補助漢字)

JIS X 0208 に足りない文字を追加したもので、特殊文字(21字)、アルファベット(245字)、補助漢字(5,801字)、合計(6,067字)を定義しています。1990年に制定されましたが、Shift_JIS との相性が悪くあまり使用されていません。

下記の版があります。

• JIS X 0212-1990：通称「JIS補助漢字」。

JIS X 0213 (第三水準・第四水準漢字)

JIS X 0212 の代わりに 2000年に制定されました。JIS X 0208(第1面) の空き領域に第三水準漢字を、また、第2面に第四水準漢字を定義しました。

下記の文字が定義されています。

• JIS X 0213 第1面(非漢字)一覧 (By Wikipedia)
• JIS X 0213 第1面(漢字)一覧 (By Wikipedia)
• JIS X 0213 第2面(漢字)一覧 (By Wikipedia)

下記の版があります。

• JIS X 0213-2000：通称「JIS2000」。初版。
• JIS X 0213-2004：通称「JIS2004」。第三水準(10字)を追加、字体変更(168字)。
• JIS X 0213-2012：常用漢字との対応表追加。

文字数は下記の様に変化しています。

符号化方式

ISO-2022-JP (JISコード)

電子メール等で利用される符号化方式です。俗にいう「JISコード」。JIS X 0211 の制御文字、JIS X 0201 のローマ字、JIS X 0208 の文字をバイト列に符号化します。ESC(0x1B) で始まるエスケープシーケンスで、その後に続く文字集合を指定します。全角文字は、区番号、点番号にそれぞれ 0x20 を足します。すべてのバイトが 0x00～0x7F の範囲に収まります。

エスケープシーケンスには下記などがあります。

ISO-2022-JP に類似した符号化方式には下記などがあります。

EUC-JP (EUC)

Extended UNIX Code Packed Format for Japanese の略。UNIX/Linix 系のシステムで使用される符号化方式です。ASCII と JIS X 0208(漢字)、JIS X 0201(半角カナ) を扱います。漢字は区点番号に 0xA0 を足すと EUC となります。例えば、「あ」(4区2点)は、0x04 0x02 ＋ 0xA0 0xA0 ＝ 0xA4 0xA2 で「あ」となります。半角カナは SS2(0x8E) を付加します。

Shift_JIS (シフトJIS)

Windows 系で使用される符号化方式です。JIS X 0208 の付属書で「シフト符号化表現」という名称で定義されています。半角文字(制御文字・英数記号・半角カナ)は JIS X 0201 の文字をそのまま使用し、全角文字は、1バイト目を JIS X 0201 で未使用の 0x81～0x9F、0xE0～0xEF、2バイト目を 0x40～0x7E、0x80～0xFC の領域に計算式でシフトして符号化します。

文字の割り当ては次のようになります。

区番号を c1、点番号を c2 とした場合、Shift_JIS の 1バイト目 b1、2バイト目 b2 は下記の計算で求められます。

if (c1 % 2) {
    b1 = int((c1 + 1) / 2) + 0x80;
    b2 = c2 + 0x3f;
} else {
    b1 = int(c1 / 2) + 0x80;
    b2 = c2 + 0x9d;
}
if (b1 >= 0xa0) { b1 = b1 + 0x40; }
if (b2 >= 0x7f) { b2 = b2 + 1; }

Shift_JIS に関連した符号化方式には下記などがあります。

JIS系コードマップ

JIS系文字集合のそれぞれの符号化方式によるマッピングは次のようになります。

Unicode

世界中の文字を一つのコード体系で表現しようとして制定されたものです。日本で定義された文字も取り込まれていますが、CJK(中国語・日本語・韓国語)で字形の似たものを統一するなどしています。JIS系のコードとは変換表を用いて変換します。当初は、16ビット＝256区×256点＝65,535字の中に収めようとしていましたが、現在では0面～16面を使用し、21ビット＝17面×256区×256点＝1,114,112字の領域に拡大しています。例えば日本語の「あ」は「0面48区66点」と定義されています。「0-48-66」の様に表現したり、48 → 0x30、66 → 0x42 と 16進数に変換して「U+3042」の様に表したりします。

• Unicode文字の一覧

UTF-8

Unicode系で一番利用されている符号化方式です。ASCII文字を 1バイトで表現できるように、U+007F までの文字は 1バイト、U+07FF までの文字は 2バイト、U+FFFF までの文字は 3バイトで表現します。U+10000～U+10FFFF の文字は、本来の UTF-8 では 4バイトに変換しますが、Oracle データベースなど一部のシステムでは サロゲートペア を用いる方式(CESU-8)で 6バイトに変換することもあります。

• UTF-8N：BOM無しの UTF-8。

UTF-16

U+0000～U+FFFF をそのまま16ビットで表現します。U+10000～U+10FFFF の文字は サロゲートペア を用いて表します。

• UTF-16：UTF-16 をリトルまたはビッグエンディアンで格納。BOMがあればBOMで判断。なければ通常ビッグエンディアン。
• UTF-16LE：UTF-16を リトルエンディアン で格納。BOM無し。
• UTF-16BE：UTF-16を ビッグエンディアン で格納。BOM無し。

UTF-32

Unicodeで定義されるすべての文字を32ビットで表現します。メモリ効率がよくないためあまり使用されていません。

• UTF-32：UTF-32 をリトルまたはビッグエンディアンで格納。BOMがあればBOMで判断。なければ通常ビッグエンディアン。
• UTF-32LE：UTF-32を リトルエンディアン で格納。BOM無し。
• UTF-32BE：UTF-32を ビッグエンディアン で格納。BOM無し。

サロゲートペア

Unicode が 16ビットから 21ビットに拡張されたことに伴い U+10000～U+10FFFF の文字を表現する必要が生じました。UTF-32 であれば表すことができますが、UTF-16 ではビット数が足りません。そこで、21ビットを前半と後半の2つの領域に分け、1文字目を U+D800～U+DBFF、2文字目を U+DC00～U+DFFF の2文字で表す方式が採用されました。この2文字のペアを サロゲートペア と呼びます。

• 21ビットを「zzzzz yyyyyyyy xxxxxxxx」の様に分ける。
• zzzzz から 1を引いて wwww とする。(zzzz は 0x01～0x10 の範囲なので1を引けば 0x0～0xF の4ビットに収まる)
• 1文字目を「110110ww wwyyyyyy」、2文字目を「110111yy xxxxxxxx」とする。

例えば魚の 「𩸽(ほっけ:U+29E3D)」 という文字は、次のように変換します。

U+29E3D
→ 00010 10011110 00111101			// 29E3Dを21ビットの2進数に変換
→ 0001 10011110 00111101 			// zzzzzから1引いて4ビットにする
→ [110110] 0001 100111 [110111]10 00111101	// 110110ww wwyyyyyy 110111yy xxxxxxxx 形式にする
→ 1101 1000 0110 0111 1101 1110 0011 1101	// 4ビット毎に整形
→ D867 DC3D					// 16進数に変換
→ U+D867 U+DE3D					// 2文字分のコードで𩸽(U+29E3D)を表す

これにより、U+10000～U+10FFFF 領域の文字に対応していないプログラムでも、この領域の文字を U+0000～U+FFFF 領域の文字として扱うことが可能となります。ただし、文字数をカウントする際に1文字を2文字とカウントしたり、区切ってはならない箇所で区切ったりなどの問題は発生します。

バイトオーダー

16ビットや32ビットの値をファイルやネットワークに書き出す際に、上位バイトから書き出す方式（ビッグエンディアン）と下位バイトから書き出す方式（リトルエンディアン）があります。例えば「あ(U+3042)」を UTF-16 で符号化し、ビッグエンディアンで書き出すと 0x30 0x42 の順序となりますが、リトルエンディアンで書き出すと 0x42 0x30 の順序となります。ネットワークでは通常ビッグエンディアンが使用されます。ファイルでは Windows 系が x86系CPU が効率的に扱えるリトルエンディアンを使用していることから、リトルエンディアンが主流となっています。UTF-8 の場合はバイトオーダーの概念はありません。

BOM(バイトオーダーマーク)

UTF-16 や UTF-32 のバイトオーダーを示すために、ファイルの先頭にオプションとして付加する、U+FFFE (ZERO WIDTH NO-BREAK SPACE) 文字に相当する数バイトのデータです。

その他

合字

「Julius Cæsar」の「æ」(U+00E6) の様に「a」と「e」など、複数の文字が組み合わさって1つの文字として表記されるものを 合字(ligature) と呼びます。

æ  U+00E6
Π U+0152

組文字

「平成」を「㍻」、「アパート」を「㌀」と表記するように、複数の文字を表現上1文字で表すものを 組文字 と呼びます。

㍻ U+337B
㌀ U+3300

結合文字

下記の「ガ」と「ガ」は同じ文字に見えますが、上段は「ガ(U+30AC)」の1文字なのに対し、下段は「カ(U+30AB)」と「゙ (U+3099)」を組み合わせた文字になっています。「カ」＋「゙ 」→「ガ」の変換を合成(composition)、「ガ」→「カ」＋「゙ 」の変換を分解(decomposition)と呼びます。「カ」の様に合字の対象となる文字を基底文字(base character)、「゙ 」の様に補足する文字を結合文字(combining character)、合成された文字を合成済み文字(combining character)と呼びます。

ガ U+30AC
ガ U+30AB U+3099

下記なども結合の例です。

ǖ U+01D6
ǖ U+00FC U+0304
ǖ U+0075 U+0308 U+0304

合字と呼ぶのか結合文字と呼ぶのか分かりませんが、「😵(U+1F635)」と「💫(U+1F4AB)」を「Zero Width Joiner(U+200D)」と呼ばれる特殊文字で連結すると、下記の様に新たな表情の絵文字を表示できるようです。(Windows 11 以降で表示)

😵💫	U+1F635 U+1F4AB
😵‍💫		U+1F635 U+200D U+1F4AB

異体字

意味は同じだけど表記が少し異なる文字があります。「鬼滅の刃」 の 「竈門禰󠄀豆子」 の 「禰󠄀(部首がネ)」 は文字としては登録されておらず、「禰(部首が示)」 の 異体字(variant) として扱われます。異体字は、元の文字に 異体字セレクタ(variation Selector) と呼ばれる U+180B～U+180D(3個)、U+FE00～U+FE0F(16個)、U+E0100～U+E01EF(240個) を付加して表します。

禰 U+79B0
禰󠄀 U+79B0  U+E0100
葛 U+845B
葛󠄀 U+845B U+E0100

絵文字修飾子

絵文字にもいくつか絵文字修飾子(emoji modifier)と呼ばれるものが用意されており、例えば下記の絵文字などは絵文字修飾子で肌の色を変更することができます。

👦 U+1F466
👦🏽 U+1F466 U+1F3FD
👦🏿 U+1F466 U+1F3FF

正規化

「ガ(U+30AC)」 と合字の 「ガ(U+30AB U+3099)」 を比較したり、全角の 「カ(U+30AB)」 と半角の 「ｶ(U+FF76)」 を区別なく比較したい時、正規化(normalization) を行います。正準等価変換 では 「ガ(U+30AC)」 と合字の 「ガ(U+30AB U+3099)」 の様に見栄えが同じ状態で変換します。互換等価変換 では 「ｶ(半角)」 を 「カ(全角)」、「１(全角)」 や 「①」 を 「1(半角)」、「㌀」 を 「アパート」 に変換するなど、見栄えも変わる不可逆変換を行います。厳密比較を行いたいときは NFC で、あいまい比較を行いたいときは NFKC で変換してから比較するとよいでしょう。JavaScript では normalize()、Python では unicodedata.normalize() で変換できます。

NFD (Normalization Form Canonical Decomposition) 正準等価で分解
  ガ(U+304C) → ガ(U+30AB U+3099)
  ガ(U+30AB U+3099) → ガ(U+30AB U+3099)
  ｶﾞ(U+FF76 U+FF9E) → ｶﾞ(U+FF76 U+FF9E)

NFC (Normalization Form Canonical Composition) 正準等価で分解後に正準等価で合成
  ガ(U+304C) → ガ(U+304C)
  ガ(U+30AB U+3099) → ガ(U+304C)
  ｶﾞ(U+FF76 U+FF9E) → ｶﾞ(U+FF76 U+FF9E)

NFKD (Normalization Form Compatibility Decomposition) 互換等価で分解
  ガ(U+304C) → ガ(U+30AB U+3099)
  ガ(U+30AB U+3099) → ガ(U+30AB U+3099)
  ｶﾞ(U+FF76 U+FF9E) →  ガ(U+30AB U+3099)

NFKC (Normalization Form Compatibility Composition) 互換等価で分解後に正準等価で合成
  ガ(U+304C) → ガ(U+304C)
  ガ(U+30AB U+3099) → ガ(U+304C)
  ｶﾞ(U+FF76 U+FF9E) →  ガ(U+304C)

リンク

• JIS規格検索
• http://fujimura2.fiw-web.net/java/lang/JIS02XX.html
• https://ja.wikipedia.org/wiki/Unicode