[정처기 개념] 3. 데이터 입출력 구현

Chapter1. 데이터 저장소

1. 데이터 모델

• 개념 : 현실 세계의 정보를 인간과 컴퓨터가 이해할 수 있도록 추상화하여 표현한 모델
• 절차
  • 요구조건 분석
  • 개념적 설계 : 사용자의 요구에 대한 트랜잭션을 모델링하는 단계
  • 논리적 설계 : 트랜잭션의 인터페이스를 설계하는 단계
    • DBMS에 맞는 논리적 스키마를 설계하는 단계
  • 물리적 설계 : 논리 데이터 모델을 사용하고자 하는 각 DBMS의 특성을 고려하여 데이터베이스 저장 구조로 변환하는 모델

2. 논리 데이터 모델

• 개념 : 업무의 모습을 모델링 표기법으로 형상화하여 사람이 이해하기 쉽게 표현하는 프로세스
• 종류
  • 관계 데이터 모델 : 데이터를 행과 열로 구성된 2차원 테이블 형태로 구성한 모델
    • 릴레이션, 튜플(행), 속성(열), 카디널리티(튜플 수), 차수(속성 수), 스키마, 인스턴스
    • 관계 대수 : 관계형 데이터베이스에서 원하는 정보와 그 정보를 어떻게 유도하는가를 기술한 절차적 정형 언어
      • 일반 집합 연산자 : 합집합, 교집합, 차집합, 카티션 프로덕트(RXS)
      • 순수 관계 연산자 : 셀렉트, 프로젝트, 조인, 디비전
    • 관계 해석 : 튜플 관계 해석과 도메인 관계 해석을 하는 비절차적 언어
  • 논리 데이터 모델
    • 속성
      • 개체 : 데이터베이스에 표현하려는 사물 또는 사건
      • 속성 : 개체가 가지고 있는 요소 또는 성질
      • 관계 : 두 개체 간의 관계를 정의
  • 개체-관계(E-R) 모델
    • 개념 : 현실 세계에 존재하는 데이터와 그들 간의 관계를 사람이 이해할 수 있는 형태로 명확하게 표현하기 위해서 가장 널리 사용되고 있는 모델
    • 기호 : 개체(사각형), 관계(마름모), 속성(타원), 다중 값 속성(이중 타원), 개체 집합-관계 집합 연결(실선), 개체 집합-속성 연결(실선), 관계 집합-속성 연결(점선)
  • 정규화
    • 이상 현상 : 데이터의 중복성으로 인해 릴레이션을 조작할 때 발생하는 비합리적 현상
      • 삽입 이상
      • 삭제 이상
      • 갱신 이상
    • 함수 종속 : 릴레이션에서 속성의 의미와 속성 간 상호 관계로부터 발생하는 제약 조건
      • 결정자/종속자 : X->Y일 때, X는 결정자, Y는 종속자
      • 종류
        • 부분 함수 종속 : 릴레이션에서 기본 키가 복합 키일 경우 기본 키를 구성하는 속성 중 일부에게 종속된 경우
        • 완전 함수 종속 : 릴레이션에서 X->Y 관계가 있을 때, Y는 X의 전체 속성에 대해 종속하고, 부분 집합 속성에 종속하지 않는 경우
        • 이행 함수 종속 : X->Y, Y->Z 이면 X->Z가 성립되는 경우
    • 정규화 단계
      • 1정규형 : 원자값으로 구성
      • 2정규형 : 부분 함수 종속 제거
      • 3정규형 : 이행 함수 종속 제거
      • 보이스-코드 정규형(BCNF) : 결정자 후보 키가 아닌 함수 종속 제거
      • 4정규형 : 다치(다중 값) 종속 제거
      • 5정규형 : 조인 종속 제거
      • https://2junbeom.tistory.com/73
    • 반 정규화(비정규화, 역정규화) : 정규화된 엔터티, 속성, 관계에 대해 성능 향상과 개발 운영의 단순화를 위해 중복, 통합, 분리 등을 수행하는 데이터 모델링의 기법
      • 장점 : 반 정규화된 데이터 구조는 성능 향상과 관리의 효율성 증가
      • 단점 : 데이터 일관성 및 정합성 저하, 유지를 위한 비용이 별도로 발생하여 성능에 나쁜 영향 미칠 수 있음
  • 계층 데이터 모델
  • 네트워크 데이터 모델

 

[Database] 정규화란? (1NF, 2NF, 3NF, BCNF,4NF, 5NF)

 

3. 물리 데이터 모델

• 데이터베이스 무결성 : 데이터베이스에 저장된 데이터 값과 그것이 표현하는 세계의 실제 값이 일치하는 성질
• 데이터베이스 무결성 종류
  • 개체 무결성 : 한 엔터티에서 같은 기본 키를 가질 수 없거나, 기본 키의 속성이 NULL을 허용할 수 없는 제약 조건
  • 참조 무결성 : 외래 키가 참조하는 다른 개체의 기본 키에 해당하는 값이 기본 키값이나 NULL이어야 하는 제약 조건
  • 속성 무결성 : 속성의 값은 기본값, NULL 여부, 도메인이 지정된 규칙을 준수해야 하는 제약 조건
  • 사용자 정의 무결성 : 사용자의 의미적 요구사항을 준수해야 하는 제약조건
  • 키 무결성 : 한 릴레이션에 같은 키값을 가진 튜플들을 허용할 수 없는 제약 조건
• 키 : 데이터베이스에서 조건을 만족하는 튜플을 찾거나 순서대로 정렬할 때 다른 튜플들과 구별할 수 있는 기준이 되는 속성
  • 특성 
    • 유일성 : 식별자에 의해 엔터티 내에 모든 튜플들을 유일하게 구분하는 특성
    • 최소성 : 최소한의 속성으로 식별자를 구성하는 특성
  • 종류

종류	설명
기본 키	테이블의 각 튜플들을 고유하게 식별하는 키
대체 키	후보 키 중에서 기본 키로 선택되지 않은 키(후보 키 - 기본 키 = 대체 키)
후보 키	테이블에서 각 튜플을 구별하는 데 기준이 되는 키
슈퍼 키	유일성은 만족하지만, 최소성은 만족 X
외래 키	한 릴레이션의 컬럼이 다른 릴레이션의 기본 키로 이용되는 키(참조 데이터 무결성을 위한 제약 조건)

• 인덱스 : 검색 연산의 최적화를 위해 데이터베이스 내 열에 대한 정보를 구성한 데이터 구조
• 파티셔닝 : 테이블 또는 인덱스 데이터를 파티션 단위로 나누어 저장하는 기법
  1. 레인지 파티셔닝 : 연속적인 숫자나 날짜 기준
  2. 해시 파티셔닝 : 파티션 키의 해시 함수 값에 의한 파티셔닝 기법
  3. 리스트 파티셔닝 : 특정 파티션에 저장될 데이터에 대한 명시적 제어가 가능한 파티셔닝 기법
  4. 컴포지트 파티셔닝 : 레인지 파티셔닝, 해시 파티셔닝, 리스트 파티셔닝 중 2개 이상의 파티셔닝을 결합하는 기법
  5. 라운드로빈 : 라운드로빈으로 회전하면서 새로운 행을 파티션에 할당하는 기법

 

 

Chapter2. 데이터베이스 기초 활용

1. 데이터베이스

• 개념 : 다수의 인원, 시스템 또는 프로그램이 사용할 목적으로 통합하여 관리되는 데이터의 집합
• 정의
  • 통합된 데이터 : 자료의 중복을 배제한 데이터의 모임
  • 저장된 데이터 : 저장 매체에 저장된 데이터
  • 운영 데이터 : 조직의 업무를 수행하는 데 필요한 데이터
  • 공용 데이터 : 여러 애플리케이션, 시스템들이 공동으로 사용하는 데이터
• 특성 : 실시간 접근성, 계속적인 변화, 동시공용, 내용 참조
• DBMS : 데이터 관리의 복잡성을 해결하는 동시에 데이터 추가, 변경, 검색, 삭제 및 백업, 복구, 보안 등의 기능을 지원하는 SW

 

2. 데이터베이스 저장 기술

• 데이터 웨어하우스 : 사용자의 의사결정에 도움을 주기 위하여, 기간 시스템의 데이터베이스에 축적된 데이터를 공통 형식으로 변환해서 관리하는 데이터베이스
  • 특징 : 주제 지향적, 통합적, 시 계열적, 비휘발적
• 데이터 마트 : 전사적으로 구축된 데이터 속의 특정 주제, 부서 중심으로 구축된 소규모 단위 주제의 데이터 웨어하우스
  • 특징
    • 데이터 웨어하우스 환경에서 정의된 접근 계층으로, 데이터 웨어하우스에서 데이터를 꺼내 사용자에게 제공하는 역할
    • 데이터 웨어하우스의 부분이며, 대개 특정한 조직 혹은 팀에서 사용하는 것을 목적으로 한다
  • 빅데이터의 특성 : 양, 다양성, 속도
• 하둡 : 오픈 소스를 기반으로 한 분산 컴퓨팅 플랫폼
• NoSQL : 데이터 저장에 고정된 테이블 스키마가 필요하지 않고 조인 연산을 사용할 수 없으며, 수평적으로 확장이 가능한 DBMS
  • 특성
    • Basically Available : 언제든지 데이터는 접근 가능, 가용성 중시
    • Soft-State : 노드의 상태는 내부에 포함된 정보에 의해 결정되는 것 X, 외부에서 전송된 정보를 통해 결정되는 속성
    • Eventually Consistency : 일정 시간 지나면 데이터 일관성이 유지되는 속성
  • 유형 : Key-Value Store, Column Family Data Store, Document Store, Graph Store
• 데이터 마이닝 : 대규모로 저장된 데이터 안에서 체계적이고 자동적으로 통계적 규칙이나 패턴을 찾아내는 기술
  • 주요 기법 : 분류 규칙, 연관 규칙, 연속 규칙, 데이터 군집화

* 데이터 관련 용어
- 텍스트 마이닝 : 대량의 텍스트 데이터로부터 패턴 또는 관계를 추출하여 의미 있는 정보를 찾아내는 기법
- 웹 마이닝 : 웹으로부터 얻어지는 방대한 양의 정보로부터 유용한 정보를 찾아내기 위해 분석하는 기법
- 다크 데이터 : 수집된 후 저장은 되어있지만, 분석에 활용되지 않는 다량의 데이터
- 메타 데이터 : 데이터에 대한 구조적인 데이터로서, 일련의 데이터를 정의하고 설명해주는 데이터이고, 구축할 정보 자원을 기술하는 데이터
- 디지털 아카이빙 : 지속적으로 보존할 가치를 가진 디지털 객체를 장기간 관리하여 이후의 이용을 보장할 수 있도록 변환, 압축 저장하여 DB화하는 작업
- 마이 데이터 : 정보 주체가 기관으로부터 자기 정보를 직접 내려받아 이용하거나 제3자 제공을 허용하는 방식으로 정보 주체 중심의 데이터 활용 체계