기존 시스템에서 신규 시스템으로 이전을 하기 위한 프로젝트나 시스템 운영을 하다보면, 꼭 나오는 부분이 대량의 데이터를 추출해서 이행하는 과정이 있습니다.
이번에 진행하는 프로젝트에서는 DB툴로 DBeaver를 신규로 주력으로 사용해보고 있는데요. 여기서 대량의 데이터를 추출하는 방법 부터 알아봤습니다.
저는 옛날(?)사람이기 때문에 가장 쉬운 엑셀파일은 다량의 데이터를 내릴 때 적절하지 못하다고 알고 있고, 이번에는 CSV 파일로 내려보는 과정을 진행해볼게요.
위 에디터에서 SQL을 작성하고 실행하면 아래에 데이터 그리드가 나타나게 되는데요. 데이터가 나타난 그리드에 마우스 우측 버튼을 클릭해줍니다.
그럼 아래와 같은 메뉴들이 나타나게 되는데요. 여기서 "데이터 추출" 메뉴를 선택해 줍니다.
그 다음 아래와 같은 Data Transfer 팝업 화면이 나타나게 됩니다.
추출할 파일의 양식을 먼저 정의합니다. 이번에는 CSV 파일로 내릴 예정이기 때문에 CSV Export target을 선택합니다. 참고로 CSV는 Comma Separeated Value로 데이터가 ,로 구분된 값이라고 보면 됩니다.
콤마(,)로 구분된 값들이기 때문에 데이터에 콤마가 포함되면 컬럼이 늘어나는 개념이기에 데이터에 콤마가 있는지 없는지에 따라 이 타겟 옵션을 선택해야 합니다.
이번에 테스트할 데이터는 모두 콤마와 상관없는 데이터이기 때문에 기본 옵션으로 두고 "다음"을 눌러 진행합니다.
다음 단계는 Extraction settings로 다양한 추출 옵션을 설정할 수 있는데요. Open new connection(s) : 신규 커넥션을 연결해 할것인지, Select row count : 줄번호를 나타나게 할 것인지, Fetch size : 10000 등 등을 선택할 수 있습니다.
여기서 별다른 옵션을 건드릴 내용은 없으니 "다음"을 눌러 진행합니다.
그 다음은 Format settings 옵션을 선택하게 되는데요. 구분자를 다른 문자로 대체할 수 있게 구성되어 있고 각 종 특수문자들을 어떻게 추출할 것인지를 정의할 수 있습니다.
이번에는 CSV로 콤마를 이용해 추출하는 과정이니 기본 세팅으로 놔두고 "다음"을 눌러 다음 단계로 진행합니다.
그 다음은 Output 옵션으로 데이터를 추출한 파일이 어느 경로에 어떤 형식으로 지정할 것인지 정의하는 부분입니다. Directory쪽에 경로를 설정하고, File name pattern에서 해당 파일의 형식을 어떻게 할 것인지 정의합니다.
추출된 데이터 파일명의 기본적인 옵션은 테이블 명에 추출한 시간이 붙도록 설정되어 있고, 별도로 수정할 내역은 없으니 "다음"을 눌러 진행합니다.
그 다음으로는 앞서 설정한 옵션들의 최종 결과를 보여주고 이대로 진행할 것인지 확인하는 팝업이 나타나게 됩니다. 설정된 내역이 거의 기본이라 크게 확인할 내용은 없으니 "진행" 버튼을 눌러 다음으로 진행합니다.
진행을 누르고 난 후에는 아래와 같이 진행되는 과정을 나타내는 프로그래스 바가 나타나면서 진행과정을 알려주게되고요.
위에서 설정했던 추출파일이 위치할 경로를 C:로 지정했으니, 거기로 이동해보면 아래와 같은 파일이 생성된 것을 알 수 있습니다.
테이블 전체를 추출한 내용이 아니라, 실행 sql로 추출한 것이라 앞에는 SQL의 일부가 파일명으로 생성된 것을 알수가 있었습니다.
오늘은 이렇게 MySQL DB의 데이터를 DBeaver를 활용해 CSV 파일로 대량의 데이터를 추출하는 과정을 남겨봤습니다.
내용은 길어보이지만 옵션항목이 많을 뿐 어렵지 않은 내용이니 한번 해보세요!
긴 글 읽어주셔서 감사합니다.