2. 데이터 - 0과 1로 문자를 표현하는 방법

[jcrescent61]

출처 - [한빛미디어 유튜브 바로가기]

0과 1로 문자를 표현하는 방법

컴퓨터는 0과 1밖에 이해하지 못한다. 그렇지만 우리들은 한글도 사용하고 영어도 사용 할 수 있다. 어떻게 다양한 문자들을 사용할 수 있는걸까?
아스키 코드, 유니코드 등은 컴퓨터가 이해할 수 있는 0과 1로 다양한 문자를 표현하는 방법이다. 여러 가지 문자 표현 방법을 학습해보자.

문자 집합과 인코딩

문자 집합(character set)

• 컴퓨터가 이해할 수 있는 문자의 모음

인코딩(encoding)

• 코드화 하는 과정
• 문자를 0과 1로 이루어진 문자 코드로 변환하는 과정

디코딩(decoding)

• 코드를 해석하는 과정
• 0과 1로 표현된 문자 코드로 문자로 변환하는 과정

컴퓨터가 이해할 수 있는 언어로 변경하는 것이 인코딩
사람들이 읽을 수 있는 문자로 변환하는 과정을 디코딩이라고 한다.

아스키 코드

• 초창기 문자 집합 중 하나
• 알파벳, 아라비아 숫자, 일부 특수 문자 및 제어 문자
• 7비트로 하나의 문자 표현
  • 8비트 중 1비트는 오류 검출을 위해 사용되는 패리티 비트(parity bit)
• 아스키 코드 표 보러가기
  • A는 65로 인코딩
  • a는 97로 인코딩
  • 간단한 인코딩
  • But 한글을 포함한 다른 언어의 문자, 다양한 특수 문자 표현 불가
    • 아스키 코드는 7비트로 하나의 문자를 표현하기에
    • 128개보다 많은 문자를 표현할 수 없음
    • 8비트 확장 아스키 (extended ASCII)의 등장, 여전히 부족

한글 인코딩: 완성형 vs 조합형 인코딩

• 한글을 위한 인코딩이 필요
  • 한글의 특징
  • 알파벳을 이어 쓰면 단어가 되는 영어
  • 초성 중정 종성의 조합으로 이루어진 한글
  • 완성형 인코딩 방식과 조합형 인코딩 방식이 존재

완성형 인코딩

이 방식은 초성, 중성, 종성의 조합으로 이루어진 완선된 하나의 글자에 고유한 코드를 부여하는 인코딩 방식이다. 예를들어 가는1, 나는 2 다는 3 이런 식으로 인코딩하는 방식.

조합형 인코딩 방식

이 방식은 초성을 위한 비트열, 중성을 위한 비트열, 종성을 위한 비트열을 할당하여 그것들의 조합으로 하나의 글자 코드를 완성하는 인코딩 방식이다. 다시 말해 초성, 중성, 종성에 해당하는 코드를 합하여 하나의 글자 코드를 만드는 인코딩 방식이다.

EUC-KR

• KS X 1001, KS X 1003 문자 집합 기반의 한글 인코딩 방식
• 완성형 인코딩 방식
• 글자 하나 하나에 2바이트 크기의 코드 부여
  • 2바이트 == 16비트 == 4자리 십육진수로 표현
• 직접 인코딩 해볼 수 있는 사이트 링크
• 2300여개의 한글 표현 가능
• 여전히 모든 한글을 표현하기에는 부족한 수
• 쀏, 뙠, 휔 같은 한글은 표현 불가능

EUC-KR 단점

언어벌 인코딩을 국가마다 하게 되면 다국어를 지원하는 프로그램을 개발할 때엔 언어별 인코딩 방식을 모두 이해해야 한다.
그래서 모든 언어, 특수 문자 까지 통일된 문자 집합을 사용하면 어떨까? 통일된 문자 집합 & 인코딩 방식이 있다면?

유니코드와 UTF-8

• 유니코드
  • 통일된 문자 집합
  • 한글, 영어, 화살표와 같은 특수 문자, 심지어 이모티콘까지
  • 현대 문자 표현에 있어 매우 중요한 위치
• 유니코드의 인코딩 방식
  • utf-8, utf-16, utf-32
• 유니코드 문자 집합 보러가기

utf-8 인코딩

• UTF(Unicode Transformation Format) == 유니코드 인코딩 방법
• 가변 길이 인코딩: 인코딩 결과가 1바이트~4바이트
• 인코딩 결과가 몇 바이트가 될지는 유니코드에 부여된 값에 따라 다름

한: D55C (== 1101 0101 0101 1100) 글: AE00 (== 1010 1110 0000 0000) 대략 이러하다.