[과목 I] 제 2장 데이터 모델과 성능

성능 데이터 모델링

DB 성능 향상을 목적으로 설계 단계의 데이터 모델링 때부터 정규화, 반정규화, 테이블 통합, 테이블 분할, 조인 구조, PK, FK 등 여러 가지 성능과 관련된 사항이 데이터 모델링에 반영될 수 있도록 하는 것이다.

성능 데이터 모델링에 대한 설명

• 데이터의 증가가 빠를수록 성능 저하에 따른 성능 개선비용은 증가한다.
• 데이터 모델은 성능을 튜닝하면서 변경될 수 있는 특징이 있다.
• 분석/설계 단계에서 성능을 고려한 데이터 모델링을 수행할 경우 성능 저하에 따른 Rework 비용을 최소화할 수 있는 기회를 가지게 된다.

성능을 고려한 데이터 모델링의 순서

1. 데이터 모델링을 할 때 정규화를 정확하게 수행한다.
2. 데이터베이스 용량 산정을 수행한다.
3. 데이터베이스에 발생되는 트랜잭션의 유형을 파악한다.
4. 용량과 트랜잭션의 유형에 따라 반정규화(역정규화)를 수행한다.
5. 이력 모델의 조정, PK/FK 조정, 슈퍼 타입/서브 타입 조정 등을 수행한다.
6. 성능 관점에서 데이터 모델을 검증한다.

성능 데이터 모델링을 할 때 고려사항

• 용량 산정은 전체적인 데이터베이스에 발생되는 트랜잭션의 유형과 양을 분석하는 자료가 되므로 성능 데이터 모델링을 할 때 중요한 작업이 될 수 있다.
• 물리적인 데이터 모델링을 할 때 PK/FK의 칼럼의 순서 조정, FK 인덱스 생성 등은 성능 향상을 위한 데이터 모델링 작업에 중요한 요소가 된다.
• 이력 데이터는 시간에 따라 반복적으로 발생이 되기 때문에 대량 데이터일 가능성이 높아 특별히 성능을 고려하여 칼럼 등을 추가하도록 설계해야 한다.

정규화가 항상 조회 성능을 저하시킨다는 것은 잘못된 생각이며 기본적으로 중복된 데이터를 제거함으로써 조회 성능을 향상할 수 있다.

함수적 종속성

데이터들이 어떤 기준 값에 의해 종속되는 현상을 의미한다.

(-) 정규화

정규화란 반복적인 데이터를 분리하고 각 데이터가 종속된 테이블에 적절하게 배치되도록 하는 것이다.

1차 정규화

같은 성격, 내용 칼럼이 연속될 때 칼럼을 제거하고 테이블을 생성한다.

2차 정규화

PK가  복합 키 구성일 때 부분적 함수 종속 관계 테이블을 분리한다.

3차 정규화 

PK가 아닌 일반 칼럼에 의존하는 칼럼을 분리한다.

(+) 반정규화

반정규화란 정규화된 엔티티, 속성, 관계에 대해 시스템의 성능 향상과 개발, 운영의 단순화를 위해 중복, 통합, 분리 등을 수행하는 데이터 모델링 기법이다.

 

조회 시 디스크 I/O가 많거나 경로가 멀어 조인에 의한 성능 저하를 막기 위해 수행한다.

 

일반적으로 정규화 시 입력/수정/삭제 성능이 향상되며, 반정규화 시 조인 성능이 향상된다.

반정규화 절차

1. 반정규화 대상 조사(범위 처리 빈도수, 범위, 통계성)

• 자주 사용되는 테이블에 접근하는 프로세스의 수가 많고 항상 일정한 범위만 조회하는 경우
• 테이블에 대량의 데이터가 있고 대량의 데이터 범위를 자주 처리하는 경우에 처리 범위를 일정하게 줄이지 않으면 성능을 보장할 수 없는 경우
• 통계성 프로세스에 의해 통계 정보를 필요로 할 때 별도의 통계 테이블을 생성
• 테이블에 지나치게 많은 조인이 걸려 데이터를 조회하는 작업이 기술적으로 어려울 경우

2. 다른 방법 유도 검토(VIEW, 클러스터링, 파티셔닝, 캐시)

• VIEW 사용: 지나치게 많은 조인이 걸려 데이터를 조회하는 작업이 기술적으로 어려울 경우 VIEW를 사용한다. (VIEW가 성능 향상에 도움이 되는 것은 아니다.)
• 클러스터링: 대량의 데이터 처리나 부분 처리에 의해 성능이 저하되는 경우 클러스터링을 적용하거나 인덱스를 조정한다. (조회가 대부분일 땐 클러스터링을 적용한다.)
• 파티셔닝: 대량의 데이터는 PK의 성격에 따라 부분적인 테이블로 분리할 수 있다. 파티셔닝 키에 의해 물리적 저장 공간을 분리한다.
• 캐시: 응용 애플리케이션에서 로직을 구사하는 방법을 변경함으로써 성능을 향상한다.

3. 반정규화 적용

테이블의 반 정규화

테이블 병합(1:1 관계, 1:M 관계, 슈퍼/서브타입)

• 1:1 관계를 통합하여 성능을 향상한다.
• 1:M 관계를 통합하여 성능을 향상한다.
• 슈퍼/서브 관계를 통합하여 성능을 향상한다.

테이블 분할(수직 분할, 수평 분할)

• 수직 분할: 칼럼 단위 테이블을 디스크 I/O에 분산 처리하기 위해 테이블을 1:1로 분리하여 성능을 향상한다.
• 수평 분할: 로우 단위로 집중 발생되는 트랜잭션을 분석하여 디스크 I/O 및 데이터 접근의 효율성을 높여 성능을 향상하기 위해 로우 단위 테이블을 쪼갠다.

테이블 추가

• 중복: 다른 업무이거나 서버가 다른 경우 동일한 테이블 구조를 중복하여 원격 조인을 제거하여 성능을 향상한다.
• 통계: SUM, AVG 등을 미리 수행하여 계산해 둠으로써 조회 시 성능을 향상한다.
• 이력: 이력 테이블 중 마스터 테이블에 존재하는 레코드를 중복하여 이력 테이블에 존재시킴으로써 성능을 향상한다.
• 부분: 하나의 테이블의 전체 칼럼 중 자주 이용하는 집중화된 칼럼들이 있을 때 디스크 I/O를 줄이기 위해 해당 칼럼들을 모아 놓은 별도의 반정규화 된 테이블을 생성한다.

칼럼의 반정규화

• 중복 칼럼 추가: 조인에 의해 처리할 때 성능 저하를 예방하기 위해 중복된 칼럼을 위치시킨다.
• 파생 칼럼 추가: 트랜잭션이 처리되는 시점에 계산에 의해 발생되는 성능 저하를 예방하기 위해 미리 값을 계산하여 칼럼에 보관한다.
• 이력 테이블 칼럼 추가: 대량의 이력 데이터를 처리할 때 불특정 조회나 최근 값을 조회할 때 나타날 수 있는 성능 저하를 예방하기 위해 이력 테이블에 기능성 칼럼(최근 값 여부, 시작과 종료 일자 등)을 추가한다.
• 응용시스템 오작동을 위한 칼럼 추가: 업무적으로 의미가 없지만 사용자의 실수로 원래의 값을 복구하기 원하는 경우 이전 데이터를 임시적으로 중복하여 보관하는 기법이다.
• PK에 의한 칼럼 추가: 단일 PK 안에서 특정 값을 별도로 조회하는 경우 성능 저하가 발생할 수 있어 일반 속성으로 추가한다.

PK에 대한 속성 추가는 반정규화 기법이라기 보단 데이터 모델링에서 관계를 연결할 때 나타나는 자연스러운 현상이다.

 

[문제] 하나의 테이블의 전체 칼럼 중 자주 이용하는 집중화된 칼럼들이 있을 때 디스크 I/O를 줄이기 위해 해당 칼럼들을 별도로 모아놓은 반정규화 기법은 무엇인가?

테이블 추가 - 부분 테이블 추가

관계의 반정규화

• 무결성 유지

 

중복 관계 추가: 데이터를 처리하기 위한 여러 경로를 거쳐 조인이 가능하지만 이때 발생할 수 있는 성능 저하를 예방하기 위해 추가적인 관계를 맺는 방법이다.

---

로우 체이닝

로우의 길이가 너무 길어서 데이터 블록 하나에 데이터가 모두 저장되지 않고 두 개 이상의 블록에 걸쳐 하나의 로우가 저장되어 있는 형태이다.

로우 마이그레이션

데이터 블록에서 수정이 발생하면 수정된 데이터를 해당 데이터 블록에 저장하지 못하고 다른 블록의 빈 공간을 찾아 저장하는 방식이다.

---

로우 체이닝과 로우 마이그레이션이 발생하여 많은 블록에 데이터가 저장되면 DB 메모리에서 디스크 I/O가 발생할 때 많은 I/O가 발생하여 성능 저하가 발생한다.

 

트랜잭션을 분석하여 적절하게 1:1 관계로 분리함으로써 성능 향상이 가능하도록 해야 한다.

PK에 의해 테이블을 분할하는 방법(파티셔닝)

• RANGE PARTITION: 대상 테이블이 날짜 또는 숫자 값으로 분리가 가능하고 각 영역별로 트랜잭션이 분리되는 경우 사용한다. ex) 요금_0818
• LIST PARTITION: 지점, 사업소 등 핵심적인 코드 값으로 PK가 구성되어 있고 대량의 데이터가 있는 테이블의 경우 사용한다. ex) 고객_서울
• HASH PARTITION: 지정된 HASH 조건에 따라 해시 알고리즘이 적용되어 테이블이 분리될 때 사용한다.

[문제] 아래의 설명에서 데이터 액세스 성능을 향상하기 위해 적용하는 방법에 대해서 괄호를 채우시오.

하나의 테이블에 많은 양의 데이터가 저장되면 인덱스를 추가하고 테이블을 몇 개로 쪼개도 성능이 저하되는 경우가 있다. 이때 논리적으로는 하나의 테이블이지만 물리적으로는 여러 개의 테이블로 분리하여야 데이터 액세스 성능도 향상하고, 데이터 관리 방법도 개선할 수 있도록 테이블에 적용하는 기법을 (    )라고 한다.

파티셔닝(Partitioning)

테이블에 대한 수평/수직 분할의 절차

1. 데이터 모델링을 완성한다.
2. 데이터베이스 용량 산정을 한다.
3. 대량 데이터가 처리되는 테이블에 대해 트랜잭션 처리 패턴을 분석한다.
4. 칼럼 단위로 집중화된 처리가 발생하는지, 로우 단위로 집중화된 처리가 발생하는지 분석하여 집중화된 단위로 테이블을 분리하는 것을 검토한다.

칼럼이 많으면 1:1 분리를 하고, 데이터가 많으면 파티셔닝을 이용한다.

슈퍼/서브 타입 모델

슈퍼/서브 타입의 모델은 업무를 구성하는 데이터를 공통과 차이점의 특징을 고려하여 효과적으로 표현할 수 있다.

논리적 모델

• 슈퍼 타입: 공통부분
• 서브 타입: 공통으로부터 상속받아 다른 엔티티와 차이가 있는 속성

슈퍼/서브 타입 데이터 모델의 변환 기술

• 개별로 발생되는 트랜잭션에 대해서는 개별 테이블로 구성한다. (OneToOne Type)
• 슈퍼 타입 + 서브 타입에 대해 발생되는 트랜잭션에 대해서는 슈퍼+서브 타입 테이블로 구성한다. (Plus Type)
• 전체를 하나로 묶어 트랜잭션이 발생할 땐 하나의 테이블로 구성한다. (Single Type, All in One Type)

인덱스 특성을 고려한 PK/FK DB 성능 향상

인덱스의 특징은 여러 개의 속성이 하나의 인덱스로 구성되어 있을 때 앞쪽에 위치한 속성의 값이 비교자로 있어야 좋은 효율을 나타낸다는 것이다.

 

앞쪽에 위치한 속성의 값이 가급적 '=' 아니면 최소한 범위 'BETWEEN', '<>'가 들어와야 효율적이다.

분산 DB

여러 곳으로 분산되어 있는 DB를 하나의 가상 시스템으로 사용할 수 있도록 한 DB이다.

논리적으로 동일한 시스템에 속하지만, 컴퓨터 네트워크를 통해 물리적으로 분산되어 있는 데이터의 집합이다.

분산 DB를 만족하기 위한 6가지 투명성

1. 분할 투명성(단편화): 하나의 논리적 Relation이 여러 단편으로 분할되어 각 사본이 여러 site에 저장된다.
2. 위치 투명성: 사용하려는 데이터의 저장 장소 명시가 불필요하며, 위치 정보가 시스템 카탈로그에 유지된다.
3. 지역 사상 투명성: 지역 DBMS와 물리적 DB사이의 Mapping을 보장한다.
4. 중복 투명성: DB 객체가 여러 site에 중복되어 있는지 알 필요가 없는 성질이다.
5. 장애 투명성: 구성요소의 장애에 무관한 트랜잭션의 원자성이 유지된다.
6. 병행 투명성: 다수 트랜잭션을 동시에 수행 시 결과의 일관성이 유지되며, Time Stamp, 분산 2단계, Locking을 이용한다.

분산 DB 장단점

장점

• 지역 자치성, 점증적 시스템 용량 확장
• 신뢰성과 가용성
• 효용성과 융통성
• 빠른 응답 속도와 통신 비용 절감
• 시스템 규모의 적절한 조절
• 각 지역 사용자의 요구 수용 증대

단점

• 소프트웨어 개발 비용
• 오류의 잠재성 증대
• 처리 비용의 증대
• 설계, 관리의 복잡성과 비용
• 불규칙한 응답 속도
• 통제의 어려움
• 데이터 무결성에 대한 위협

분산 DB 적용 기법

• 테이블 위치 분산: 설계된 테이블을 본사와 지사단위로 분산, 위치별 DB문서 필요
• 테이블 분할 분산: 각각의 테이블을 쪼개어 분산
  • 수평 분할: 로우 단위로 분리, 지사별로 다를 때 중복이 없다.
  • 수직 분할: 칼럼 단위로 분리, 각 테이블에 동일한 PK가 있어야 한다.
• 테이블 복제 분산: 동일한 테이블을 다른 지역이나 서버에서 생성하여 관리하는 유형
  • 부분 복제: 마스터 DB에서 테이블의 일부의 내용만 다른 지역이나 서버에 위치한다.
  • 광역 복제: 마스터 DB 테이블의 내용이 각 지역이나 서버에 존재한다.
• 테이블 요약 분산: 지역 간에 또는 서버 간에 데이터가 비슷하지만 서로 다른 유형으로 존재하는 경우
  • 분석 요약: 동일한 테이블 구조를 가지고 있으면서, 분산되어 있는 동일한 내용의 데이터를 이용하여 통합된 데이터를 산출하는 방식이다. ex) 판매실적 지사 A, 지사 B
  • 통합 요약: 분산되어 있는 다른 내용의 데이터를 이용하여 통합된 데이터를 산출하는 방식이다. ex) 판매실적 지사 A:C 제품, 지사 B:D 제품

분산 DB 설계를 고려해야 하는 경우

1. 성능이 중요한 사이트일 경우

2. 공통 코드, 기준 정보, 마스터 데이터의 성능 향상

3. 실시간 동기화가 요구되지 않는 경우, 거의 실시간(Near Real Time) 특징을 가지고 있는 경우

4. 특정 서버에 부하가 집중되어 부하를 분산해야 하는 경우

5. 백업 사이트를 구성하는 경우