정보처리기사 33일차

 3.5 데이터 전환

  3.5.3 데이터 전환 수행

  3.5.4 데이터 정제

---

1. 데이터 전환 수행 계획

 

1.1 데이터 전환 절차

데이터 전환 수행 계획서를 만들기 위해서는 전체적인 데이터 전환 방법론을 이해해야 한다.

데이터 전환 절차는 요구사항 분석단계, 설계 단계, 구현단계, 테스트 단계, 데이터 전환으로 구분한다.

 

1.2 데이터 전환 수행 계획

데이터 전환 수행 계획 작성을 위해서는 데이터 전환 범위, 일정, 전환절차를 명확히 해야한다.

 

1. 데이터 전환 범위 선정

전환 대상의 상세 내용, 데이터 형식, 대상 건수를 파악한다.

전환 제외 대상을 기록한다.

 

2. 데이터 전환 일정 선정

팀별 업무를 분장하여 팀별 역할과 납기를 기록한다. 전환 차수의 결정은 통합 전환 계획 및 테스트 계획에 의해 결정된다.

 

3. 데이터 전환 절차

현행 시스템에서 목표 시스템으로 데이터 전환을 위한 단계를 구분하고 각 단계별 작업 내용과 사용되는 도구를 별도로 기록한다.

원천 데이터베이스의 데이터는 백업하여 스테이징 데이터베이스로 복구한 후 정비 및 변환 작업을 수행한다. 이는 원천 데이터베이스의 손상과 변형을 막기 위한 방법이다.

데이터 전환이 완료된 후 검증단계에서는 스테이징 데이터베이스가 아닌 원천 데이터베이스와 비교하여 데이터 오류를 확인해야 한다.

 

4. 데이터 전환 계획서 작성

데이터 전환을 위해 여러 단계를 거치는 전환 계획서를 작성하여 데이터 전환 시 발생할 수 있는 리스크를 사전에 예방한다.

 

2. 체크리스트

전환 프로그램의 에러, 시간의 제약, 업무 프로세스의 변경, 빈번한 데이터 요건 변경, 하드웨어 장애 등의 위험 요소에 최대한 대응하기 위해 체크리스트를 작성한다.

체크리스트에는 데이터 전환 수행자가 수행할 작업의 상세항목, 작업 내용, 예정 시작, 종료 시각, 작업 담당자를 기재한다.

 

3. 데이터 검증

데이터 검증 방법으로 추출 검증, 전송 검증, 전환 검증, 적재 검증, 통합 검증 방법이 있다.

 

3.1 추출 후 검증

현행 시스템에서 최초 원시 데이터에 대한 검증을 수행한다.

 

3.2 전송 검증

전송된 추출 파일의 코드 전환 후 검증한다.

 

3.3 전환 검증

Tool을 이용해서 데이터를 추출하여 Staging DB를 구성한 후 검증한다.

 

3.4 적재 검증

목적 테이블에 대해 데이터를 검증한다.

데이터 전환이 완료되었다 하더라도 데이터 전환 과정에서 수행한 검증 작업은 단순 매핑 결과에 대한 검증 역할 밖에 할 수 없는 한계가 있다.

목적 테이블에 대한 데이터를 검증함으로 오류 및 데이터 누락 손실 등을 찾을 수 있다.

 

3.5 통합 검증

매핑 후 검증을 의미한다.

오류 데이터를 분석하여 사전 정비 또는 전환 규칙 오류를 수정 반영한다.

 

- 데이터 정제

 

1. 데이터 정제

 

1.1 단계별 데이터 정제 방안

데이터 정제 항목을 정제 시점에 따라 전환 테스트 전, 전환 테스트 중, 최종 전환 중 3단계로 구분하여 데이터 정제작업을 수행한다.

 

2. 데이터 품질 분석

 

2.1 데이터 품질 관리의 정의

기관이나 조직 내외부의 정보시스템 및 DB 사용자의 기대를 만족시키기 위해 지속적으로 수행하는 데이터 관리 및 개선활동

 

2.2 원천 데이터 품질 분석

원천 데이터의 품질이 보장되지 않으면 전환 후의 데이터도 정확하지 않으며, 전환 후의 데이터 정합성 검증시 오류가 발생할 때 그 원인을 찾기도 어렵다.

따라서 전환 전에 원천 데이터의 품질을 검증함으로써 전환의 정확성을 보장할 수 있으며

이전에 미처 발견하지 못한 데이터의 오류도 찾아낼 수 있다.

 

2.3 목적 데이터 품질 분석

원천 데이터와 목적 데이터베이스의 속성 간 대응 관계를 1대1 대응 보다 n대m 대응 관계까 더 많기 때문에 양자 간의 대응 관계를 정확히 표현하기 위해서는 데이터 레이아웃을 정확하게 파악하고 품질 검증을 진행해야 한다.

 

1. 목적 데이터베이스의 전환 데이터 검증을 위한 고려 사항

현재 업무에서 사용하는 보고서나 통계용 정보를 사전에 조사하여 검증에 필요한 내용을 선정하고 현재의 원장을 바탕으로 검증용 정보를 도출한다.

전환 데이터의 검증은 데이터전환 팀 인원뿐만 아니라, 현업 인원도 함께 검증을 수행함으로써 검증의 정확성을 높이고 시간을 단축시키는 것이 중요하다.

 

2. 전환 데이터의 대표적인 정합성 검증 항목

과목별 좌수 및 잔액

특정 기준으로 분류된 좌수 및 잔액

보고서 항목 또는 통계 수치

계좌 및 고객을 Sampling 하여 해당 사항을 모두 검증

특수항 관계가 있는 고객을 추출하여 관련된 데이터가 정확한지 검증

 

3. 오류 데이터 측정

 

3.1 정량적 측정

데이터 품질 기준에 따라 정상 데이터와 오류 데이터를 분리하고, 그 수향을 정확히 측정하여 오류 관리 목록에 기재한다.

 

1. 정상 데이터의 건수를 정량적으로 측정한다.

전환 대상 범위의 데이터를 업무 영역별, 테이블 별로 세분화하여 정상 데이터의 수량을 정확히 측정하고 기록한다.

 

2.오류 데이터의 유형과 건수를 정량적으로 측정한다.

원천 데이터의 정합성 기준을 근거로 업무별로 오류 위치와 유행을 파악하고 그 수량을 정확히 측정하여 기록한다.

 

3.2 오류 원인 파악 및 정제여부 결정

오류 목록의 내용을 확인하고 오류 해결 방안을 참조하여 원천 데이터의 정제를 요청할 것인지 아니면 전환 프로그램을 수정할 것인지 데이터 정제 여부를 결정한다.

 

1. 발견된 데이터 오류를 분석하고 원인을 파악한다.

오류 관리 목록에 기록된 오류 내용을 확인하고 오류의 상태와 심각도를 결정한 후 오류원인을 파악한다.

 

2. 파악된 원인을 기반으로 원천데이터와 전환 프로그램의 정제 필요 여부를 결정한다.