[탑싯 대비 문제풀이] 02. 데이터 이해와 활용

졸업해야지,,,

 

 

1번. 데이터베이스 시스템

데이터베이스 시스템 = 데이터베이서 + 데이터베이스 관리 시스템

 

스키마(Schema)

데이터베이스에 저장되는 데이터 구조와 제약조건을 정의한 것

스키마 : 데이터베이스 : 테이블 = 평면도 : 집 : 방

 

인스턴스(Instance)

스키마에 따라 데이터베이스에 실제로 저장된 값

개체 인스턴스 = 레코드

 

데이터베이스의 3단계 구조

데이터베이스를 쉽게 이해하고 이용할 수 있도록 하나의 데이터베이스를 관점에 따라 세 단계로 나눈 것

1. 외부 단계 - 개별 사용자 관점
   - 데이터베이스 하나에 외부 스키마가 여러 개 존재할 수 있다.
   - 외부 스키마 = 서브 스키마
   - 외부 단계에서 사용자에게 필요한 데이터베이스를 정의한 것
   - 각 사용자가 생각하는 데이터베이스의 모습, 논리적 구조로 사용자마다 다른 모습
   
   
2. 개념 단계 - 조직 전체의 관점, 논리적인 구조와 유사
   - 데이터베이스 하나에 개념 스키마가 하나만 존재한다.
   - 개념 스키마 = 스키마
   - 전체 데이터베이스에 어떤 데이터가 저장되는지, 데이터들 간의 관계와 제약조건을 정의한다.
   - 또한 데이터에 대한 보안 정책이나 접근 권한에 대한 정의도 포함한다.
   
   
3. 내부 단계 - 물리적인 저장 장치의 관점, 실질적인 내용
   - 데이터베이스 하나에 내부 스키마가 하나만 존재한다.
   - 내부 스키마 = 저장 스키마
   - 전체 데이터베이스가 저장 장치에 실제로 저장되는 방법을 정의한 것이다.
   - 레코드 구조, 필드 크기, 레코드 접근 경로 등 물리적인 저장 구조를 정의한다.

 

3단계 데이터베이스 구조의 사상 또는 매핑

• 데이터의 독립성을 실현한다.
• 스키마 사이의 대응 관계 / 관계와 관계를 정의하는 것이다.
• 미리 정의된 사상 정보를 이용해 사용자가 원하는 데이터에 접근한다. (고객분석팀에서 고객 정보 데이터 접근)
• 데이터베이스를 3단계 구조로 나누고 단게별로 스키마를 유지하며 스키마 사이의 대응 관계를 정의하는 목적이다.

1. 외부/개념 사상 - 응용 인터페이스
   외부 스키마와 개념 스키마의 대응 관계
2. 개념/내부 사상 - 저장 인터페이스
   개념 스키마와 내부 스키마의 대응 관계

 

데이터의 독립성

파일 시스템의 종속성 문제를 해결하고 하위 스키마를 변경하더라도 상위 스키마가 영향을 받지 않는 특성이다.

1. 논리적 데이터 독립성 (응용 인터페이스 독립성 유지)
   - 개념 스키마가 변경되어도 외부 스키마가 영향을 받지 않는다.
   - 개념 스키마가 변경되면 관련된 외부/개념 사상만 정확하게 수정해주면 된다.
2. 물리적 데이터 독립성 (저장 인터페이스 독립성 유지)
   - 내부 스키마가 변경되어도 개념 스키마는 영향을 받지 않는다.
   - 내부 스키마가 변경되면 관련된 개념/내부 사상만 정확하게 수정해주면 된다.

 

 

2번. 인공지능 구현 기술

1. 전문가 시스템은 방대한 지식 체계를 규칙으로 표현하여 데이터를 입력하면 컴퓨터가 정해진 규칙에 따라 판단을 내리도록 한다. If-then-else 형태로 구성되는 시스템으로 규칙의 종류가 많을수록 정확도가 높아진다.
2. 인공 신경망은 기계 학습 분야에서 연구되고 있는 학습 알고리즘들 중 하나로, 인간의 뇌의 뉴런과 시냅스의 연결을 프로그램으로 재현하는 것이다.
3. 딥 러닝은 입력과 출력 사이에 있는 인공 뉴런들을 여러 개 층층히 쌓고 연결한 인공 신경망 기법을 주로 다루는 연구이다. 단일 층이 아닌 실제 뇌처럼 여러 계층으로 되어있다.
4. 유전 알고리즘은 자연의 진화 과정을 모방한 연구이다. 어떤 세대를 구성하는 개체군의 교배와 돌연변이 과정을 통해 세대를 반복시켜 특정한 문제의 적절한 답을 찾는 것이다.

 

 

3번. 빅데이터 저장/처리 기술

 

 

4번. 분산 데이터베이스

분산 데이터베이스의 특징

네트워크 상에서 여러 컴퓨터에 물리적으로 분산되어 있지만 사용자가 하나의 데이터베이스처럼 인식할 수 있도록 논리적으로 통합되어 공유되는 데이터베이스를 의미한다.

 

구성 요소

• 분산 처리기
  자체적으로 처리 능력을 가지면 지리적으로 분산되어 있는 컴퓨터 시스템을 말한다.
  
  
• 분산 데이터베이스
  지리적으로 분산되어 있는 데이터베이스로서 해당 지역의 특성에 맞게 데이터베이스가 구성된다.
  
  
• 통신 네트워크
  분산처리기들을 통신망으로 연결하여 논리적으로 하나의 시스템처럼 작동할 수 있도록 하는 통신 네트워크를 말한다.

 

장점

• 자신의 데이터를 지역적으로 제어하여 원격 데이터에 대한 의존도 감소
• 단일 서버에서 불가능한 대용량 처리가 가능
• 기존 시스템에 서버를 추가하여 점진적으로 확장 가능
• 한 사이트가 고장나더라도 해당 사이트의 데이터만 사용하지 못하므로 신뢰도와 가용성 향상

 

단점

• 분산 처리로 인해 복잡도 증가, 소프트웨어 개발 비용 증가
• 통제 기능이 취약
• 분산 처리에 따른 오류 발생 가능성 증가
• 데이터가 물리적으로 저장된 시스템의 상황에 따라 응답 속도의 불규칙성
• 데이터의 무결성 보장의 어려움

분산 데이터베이스의 구조

 

투명성

특징	설명
분할 투명성	- 하나의 논리적 릴레이션이 여러 단편으로 분할되어 각 단편의 사본이 여러 사이트에 저장되어 있음을 사용자가 알 필요가 없는 성질 - 수직 분할: 한 릴레이션을 속성들의 부분 집합으로 이루어진 릴레이션으로 나눔 - 수평 분할: 한 릴레이션을 튜플들의 부분 집합으로 이루어진 릴레이션으로 나눔
위치 투명성	- 사용자나 애플리케이션에서 분산 데이터베이스 상에 존재하는 데이터의 물리적인 위치를 알 필요가 없다. - 사용자는 데이터의 위치나 입력 시스템의 위치와 무관하게 동일한 명령을 사용하여 데이터에 접근할 수 있어야 한다.
중복 투명성	- 어떤 데이터가 중복되었는지, 또는 어디에 중복 데이터를 보관하고 있는지 사용자가 알 필요가 없어야 한다. - 사용자는 자신이 사용하는 데이터가 논리적으로 유일하다고 생각할 수 있어야 한다.
장애 투명성	- 분산되어 있는 각 컴퓨터 시스템이나 네트워크에 장애가 발생하더라도 데이터의 무결성이 보장되어야 한다. - 그 구성 요소의 장애에 무관하게 트랜잭션의 원자성을 유지해야한다.
병행 투명성	- 다수 트랜잭션이 동시에 수행되어도 결과의 일관성이 유지되는 성질이다. - 분산 트랜잭션의 일관성을 유지하기 위해 잠금(Locking)과 타임스탬프(Timestamp)의 두 가지 방법을 사용한다.

 

 

5번. ER 다이어그램, 첸(Chen) 모형

피터첸에 의해 ER(Entity Realationship Model)이라는 표기법이 만들어 졌다. 데이터의 구성과 연관성을 나타내는 데이터 모델링 방식으로 가장 먼저 제시된 모델이다.

 

 

ER 모델 표기법

요소	표기	의미	요소	표기	의미
개체		- 의미있는 하나의 정보 단위 - 물리적 객체: 학생, 자동차, 강의실 - 개념적 객체: 프로젝트, 직업, 교과목 - 자체 식별자(키속성)을 갖는다	속성		- 개체의 본질적 성질을 나타낸다.
약성 개체		- 자체 식별자를 갖지 않는 개체	키속성		- 자체 식별자 - 모든 개체의 집합에서 항상 유일한 값을 갖는 속성이다.
관계 타입		- 개체들 사이의 연관성	부분 키속성		- 약성 속성 - 식별자를 갖지 않고 식별 속성 역할을 하는 다른 속성과 연결되어야 한다.
식별 관계		- 약성 개체와 식별 개체를 연결하는 관계	다중 키속성		- 여러 값을 동시에 가질 수 있는 속성이다.
관계		- 1:1, 1:N, N:M 등의 개체 관계에 대해 선 위에 대응수를 나타낸다.	유도 속성		- 저장된 데이터로 유도가 가능 속성
선		- 화살표를 표기하지 않는다. - 개체의 타입과 속성을 연결한다.	복합 속성		- 둘 이상의 요소로 분해가 가능한 속성

 

 

관계의 대응수

대응수	표현 예
일대일 (1:1)
일대다 (1:N or N:1)
다대다 (M:N)

사진출처: https://liveyourit.tistory.com/208

 

 

확장 ER 모델

일반화/특수화	- 일반화 : 하나의 엔티티 타입을 다수의 하위 레벨 엔티티 타입으로 분리하는 것을 의미 - 특수화 : 다수의 엔티티 타입을 하나의 상위 레벨 엔티티 타입으로 통합하는 것을 의미 - 서로 역의 관계에 있으며 IS-A 관계라고 한다. - 상속 개념이 적용된다.
집단화	- 여러 엔티티(속성)의 집합으로 새로운 엔티티를 정의하는 것 - IS-PART-OF 관계라고 한다. - 상속 개념이 적용되지 않는다.

 

 

6번. 정규화

종속성에 대한 엄밀한 고려 없이 잘못 설계된 관계형 스키마에서는 데이터 처리 연산 수행 시 각종 이상 현상이 발생할 수 있다. 이런 이상 현상은 데이터베이스의 테이블을 더 작은 속성의 세트로 쪼개어 바람직한 스키마로 만들어갈 수 있다.

 

이상현상의 종류

1. 삽입 이상
   - 어떤 정보를 삽입하고자 할 때, 원하지 않는 정보까지 함께 삽임해야만 하는 현상
2. 삭제 이상
   - 어떤 정보를 삭제하고자 할 때, 필요한 정보까지 함께 삭제되어야 하는 현상
3. 수정 이상 (갱신 이상)
   - 어떤 정보를 수정하고자 할 때, 동일한 내용을 여러 건의 데이터에서 반복 수정해야 하는 현상

 

장점

• 데이터베이스 변경 시 이상현상을 제거할 수 있다.
• 정규화된 데이터베이스 구조에서는 새로운 데이터형의 추가로 인한 확장 시, 그 구조를 변경하지 않아도 되거나 일부만 변경해도 된다. 데이터 추가 시 구조 변경 최소화
• 데이터베이스와 연동된 응용 프로그램에 최소한의 영향만을 미치게 되어 응용 프로그램의 생명을 연장시킨다.

단점

• 릴레이션의 분해로 릴레이션간의 JOIN연산이 많아진다.
• 질의에 대한 응답 시간이 느려질 수도 있다. 중복 속성을 제거하고 결정자에 의해 동일한 의미의 일반 속성이 하나의 테이블로 집약되므로 한 테이블의 데이터 용량이 최소화가 되는 효과가 있다.
• 데이터를 처리할 때 속도가 빨라질 수도, 느려질 수도 있다.
• JOIN이 많이 발생해 성능 저하가 나타나면 반정규화를 적용할 수도 있다.

 

 

여기서부터 출처: https://code-lab1.tistory.com/48

함수 종속성 (FD, Functional Dependency)

테이블에서 정의된 필드들의 부분집합 X와 Y에서, 임의의 레코드 쌍 t1, t2의 X값이 동일하면 두 레코드의 Y값도 동일할 때, Y는 X에 함수적으로 종속된다고 한다.

표현: X → Y

• X를 Y의 결정자(Determinant)라고 한다.
• X는 Y를 결정한다.(Determine)
• Y는 X에 종속한다.(Dependent)
• 예시: 주민번호 → 이름, 사람에 대한 테이블에서 두 레코드의 주민번호가 같다면 두 레코드의 이름도 항상 같다.

 

 

 

 

 

• 릴레이션의 속성 : 직사각형
• 속성 간의 함수 종속성 : 화살표
• 복합 속성 : 직사각형으로 묶음

 

 

함수 종속성 규칙 

적용 규칙	사례	설명
부분집합 규칙 if Y⊆ X, then X → Y	(학과, 주소) → 학과	학과는 (학과, 주소)의 부분집합 속성이므로 (학과, 주소) → 학과 성립
증가 규칙 if X → Y, then XZ → YZ	(학생번호, 강좌이름) → (학생이름, 강좌이름)	학생 번호 → 학생 이름 이므로 강좌를 추가해 (학생 번호, 강좌 이름) → (학생 이름, 강좌 이름) 성립
이행 규칙 if X → Y and Y → Z, then X → Z	학생 번호 → 학과 사무실	학생 번호 → 학과, 학과 → 학과 사무실 이므로 이행 규칙을 적용해 학생 번호 → 학과 사무실 성립
결합 규칙 if X → Y and X → Z, then X → YZ	학생 번호 → (학생이름, 주소)	학생 번호 → 학생 이름, 학생 번호 → 주소 이므로 결합 규칙을 적용해 학생번호 → (학생이름, 주소) 성립
분해 규칙 if X → YZ, then X → Y and X → Z	학생 번호 → 학생 이름, 학생 번호 → 주소	학생 번호 → (학생이름, 주소) 이므로 분해하여 학생 번호 → 학생이름, 학생 번호 → 주소
유사이행 규칙 if X → Z and WY → Z, then WX → Z	(강좌 이름, 학생 이름) → 성정	학생 이름 → 학생번호 (학생 이름이 중복한 경우가 없을 때) (강좌이름, 학생번호) → 성적이므로 유사이행 규칙을 적용해 (강좌이름, 학생이름) → 성적 성립

 

 

함수 종속성의 유형

유형	개념
완전함수 종속	Full Functional Dependency X ⊂ X 이고, X' → Y를 만족하는 애트리뷰트 X'이 존재하지 않는다.
부분 함수 종속 (2FN)	Partial Funtional Dependency X' ⊂ X 이고, X' → Y를 만족하는 애트리뷰터 X'이 존재한다.
이행함수적 종속성 (3FN)	Transitive Dependence 릴레이션 R에서 속성 A → X 이고, X → Y 이면 A → Y 이다.
결정자 함수적 종속성(BCNF)	Boyce-code Normalization 함수적 종속이 되는 결장자가 후보키가 아닌 경우 X → Y에서, X가 후보키가 아니다.

 

 

정규화 적용하기

제1 정규형 (1NF)

• 각 컬럼이 하나의 속성만을 가져야 한다.
• 하나의 컬럼은 같은 종류나 타입의 값을 가져야 한다.
• 각 컬럼이 유일한 이름을 가져야 한다.
• 칼럼의 순서가 상관없어야 한다.

 

 

 

 

제 2 정규형 (2NF)

• 1 정규형을 만족해야 한다.
• 모든 컬럼이 부분적 종속이 없어야 한다. → 모든 컬럼이 완전 함수 종속을 만족해야 한다.
• 좌측의 테이블에서 (학번, 과목코드) → (과목명) 의 함수 종속에서 (과목코드) → (과목명) 의 부분 함수 종속이 존재한다.
• 학점을 알기 위해서는 (학번 + 과목코드)가 있어야 한다. 하지만 특정과목의 과목 코드를 알면 과목명을 알 수 있다.

 

 

제 3 정규형 (3NF)

• 2 정규형을 만족해야 한다.
• 기본키를 제외한 속성들 간의 이행 종속성이 없어야 한다.
• 좌측의 테이블에서 (학번) → (학과), (학과) → (학과 사무실)이 이행 함수 종속이 존재한다.
• 학번을 알면 학과를 알 수 있고, 학과를 알면 학과 사무실을 알 수 있다, 우측 테이블에서는 학번을 알면 학과 사무실을 알 수 있다.

 

 

 

BCNF (Boyce-Codd Normal Form)

• 제 3 정규형을 좀 더 강화한 버전이다.
• 제 3 정규형을 만족해야 한다.
• 모든 결정자가 후보키 집합에 속해야 한다. 즉, 후보키 집합에 없는 칼럼이 결정자가 되어서는 안된다는 뜻이다.
• 좌측의 테이블에서 (교수, 과목명) → (교재명), (교재명) → (과목명)의 함수 종속 관계가 존재한다고 가정하자.
• 좌측 테이블은 후보키가 아닌 함수 종속 (교재명) → (과목명)이 존재하기 때문에 보이스-코드 정규형이 아니다.
• 우측과 같이 두 개의 테이블로 분할해야한다.