똑같은 내용을 요구했는데 다른 포맷으로 데이터를 받았을 때: GPT와 GPTs로 엑셀 가공도 쉬워집니다
데이터 취합의 골칫거리, AI로 해결하기
여러분도 이런 상황을 경험해 보셨나요? 부서별로 제각각 다른 형식의 엑셀 파일을 받아 하나로 통합해야 하는 상황, 협력 기관이나 거래처에서 보내온 다양한 형식의 데이터를 일관된 형태로 정리해야 하는 일, 또는 오래된 데이터와 새로운 데이터의 형식이 달라 비교 분석이 어려운 경우…
상상력집단은 기업과 공공기관 담당자들이 이러한 ‘데이터 취합의 악몽’에서 벗어날 수 있도록 ChatGPT와 GPTs를 활용한 혁신적인 방법론을 연구했습니다. 전통적인 방식에 AI의 강력함을 더하여, 데이터 취합 업무를 획기적으로 개선할 수 있는 방법을 소개합니다.
“AI 시대에는 복잡한 엑셀 함수나 코딩 지식 없이도 데이터 통합이 가능합니다. ChatGPT가 여러분의 데이터 전문가가 되어 드립니다.”
☎️기업/관공서를 위한 AI교육 문의(클릭)
데이터 통합의 주요 과제와 AI 솔루션
🔄 데이터 취합 과정의 일반적인 문제점과 AI 해결책
[다양한 데이터 형식]→[열/행 구조 불일치]→[데이터 타입 불일치]→[누락된 데이터]→[중복 데이터]→[집계 오류]
주요 난관과 ChatGPT 활용 방안
데이터 통합 도전과제와 ChatGPT 해결책
1. 데이터 구조와 형식의 불일치
도전과제
기관이나 부서마다 같은 정보를 다른 방식으로 구성:
•A부서: 날짜를 ‘yyyy-mm-dd’ 형식으로 사용
•B부서: 날짜를 ‘dd/mm/yyyy’ 형식으로 사용
•C부서: 년도와 월만 별도 열로 표시
ChatGPT 솔루션
ChatGPT에 데이터 구조 분석과 변환 방법 요청:
•데이터 샘플을 제공하고 최적의 통합 구조 추천 받기
•다양한 날짜 형식을 표준화하는 Excel 함수 생성
•복잡한 데이터 매핑 규칙 설계 지원
2. 데이터 타입 불일치
도전과제
같은 항목이 다른 데이터 타입으로 저장:
•숫자가 텍스트로 저장됨 (‘1000’과 1000)
•날짜가 텍스트로 저장됨
•백분율 값이 소수(0.75)와 퍼센트(75%)로 혼용
ChatGPT 솔루션
ChatGPT에 데이터 타입 변환 로직 요청:
•데이터 타입 자동 감지 및 변환 스크립트 생성
•복잡한 조건부 변환 로직 설계
•파워 쿼리 M 코드 또는 VBA 스크립트 생성
3. 컬럼명과 데이터 구조 차이
도전과제
부서나 기간에 따라 다른 명명 규칙:
•’인원수’ vs ‘직원수’ vs ‘인력현황’
•’매출액(원)’ vs ‘매출액(천원)’ vs ‘Sales’
ChatGPT 솔루션
유사 용어 인식 및 표준화 지원:
•의미적으로 동일한 컬럼명 인식 및 매핑 테이블 생성
•산업별 전문 용어 이해 및 표준화 제안
•자동화된 데이터 사전 생성
ChatGPT를 활용한 데이터 통합 프로세스
1단계: ChatGPT로 데이터 분석 및 전략 수립
먼저 데이터 통합 전략을 수립하기 위해 ChatGPT를 활용합니다:
ChatGPT 프롬프트 예시:
다음과 같은 서로 다른 형식의 엑셀 파일을 통합하려고 합니다.가장효율적인 방법을 추천해주세요:
파일 A:
-날짜 형식: yyyy-mm-dd
-금액 단위: 원(KRW)
-컬럼 구조: [직원ID, 이름, 부서, 날짜, 금액]
파일 B:
-날짜 형식: mm/dd/yyyy
-금액 단위: 천원
-컬럼 구조: [ID, 성명, 팀, 발생일, 금액(천원)]
파일 C:
-날짜 형식: 연도, 월, 일이 별도 컬럼으로 존재
-금액 단위: 달러(USD)
-컬럼 구조: [사번, 성함, 소속, 연도, 월, 일, 달러금액, 환율]
이 파일들을 통합할 때 고려해야 할 사항과 최적의 통합 구조, 그리고 단계별 통합 방법을 알려주세요.
ChatGPT 응답 활용:
ChatGPT는 이 상황에 대한 상세한 분석과 추천 사항을 제공합니다:
1.최적의 통합 구조 추천
•표준화된 컬럼명 및 데이터 형식 제안
•필수 필드와 선택적 필드 구분
2.데이터 변환 로직 설계
•날짜 형식 표준화 방법
•통화 단위 변환 방법
•중복 처리 전략
3.통합 방법론 제안
•파워 쿼리 vs VBA vs Python 접근법 비교
•단계별 통합 프로세스 개요
2단계: ChatGPT로 데이터 매핑 테이블 작성
모든 소스 파일의 필드와 대상 통합 파일의 필드를 매핑하는 테이블을 ChatGPT의 도움으로 작성합니다:
ChatGPT 프롬프트 예시:
앞서 설명한 3개 파일(A, B, C)의 데이터를 통합하기 위한 매핑 테이블을 작성해주세요.아래형식으로 만들어주세요:
1.통합 필드명
2.각 파일별 원본 필드명
3.데이터 타입
4.필요한 변환 규칙
5.비고사항
또한 각 필드의 데이터 변환을 위한 Excel 함수나 파워 쿼리 M 코드도 함께 제공해주세요.
결과 매핑 테이블:
ChatGPT는 상세한 매핑 테이블과 변환 로직을 제공합니다:
| 통합 필드명 | 파일A 필드명 | 파일B 필드명 | 파일C 필드명 | 데이터 타입 | 변환 규칙 | 비고 |
| 직원ID | 직원ID | ID | 사번 | 텍스트 | 직접 매핑 | 기본 키로 사용 |
| 직원명 | 이름 | 성명 | 성함 | 텍스트 | 직접 매핑 | – |
| 소속부서 | 부서 | 팀 | 소속 | 텍스트 | 직접 매핑 | 부서명 표준화 필요 |
| 기준일자 | 날짜 | 발생일 | [연도,월,일] | 날짜 | 통일된 yyyy-mm-dd 형식으로 변환 | 파일C는 연도,월,일 열 결합 필요 |
| 금액(원) | 금액 | 금액(천원) | 달러금액 | 숫자 | B파일: 값1000<br>C파일: 값환율 | 모든 금액 원화로 통일 |
3단계: ChatGPT로 파워 쿼리 또는 VBA 코드 생성
통합 작업을 자동화하기 위한 코드를 ChatGPT에 요청합니다:
ChatGPT 프롬프트 예시:
위에서 설명한 데이터 통합을 위한 파워 쿼리 M 코드를 작성해주세요.다음단계를 포함해주세요:
1.세 개의 소스 파일 연결
2.각 파일별로 필요한 데이터 변환 적용(날짜 형식, 금액 단위 등)
3.모든 데이터를 하나의 테이블로 통합
4.중복 제거 및 정렬
5.최종 결과 내보내기
코드는 주석을 포함하여 단계별로 이해하기 쉽게 작성해주세요.
ChatGPT가 생성한 파워 쿼리 M 코드 예시:
// 1. 파일 A 데이터 로드 및 변환
let
SourceA=Excel.Workbook(File.Contents(“C:\Data\FileA.xlsx”), null, true),
DataA=SourceA{[Item=”Sheet1″,Kind=”Sheet”]}[Data],
// 열 이름 변환
RenamedA=Table.RenameColumns(DataA, {
{“직원ID”, “직원ID”},
{“이름”, “직원명”},
{“부서”, “소속부서”},
{“날짜”, “기준일자”},
{“금액”, “금액(원)”}
}),
// 날짜 형식 확인 및 변환
DateCheckedA=Table.TransformColumns(RenamedA, {
{“기준일자”, eachifValue.Is(_, type date) then _ else Date.FromText(_), type date}
}),
// 2. 파일 B 데이터 로드 및 변환
SourceB=Excel.Workbook(File.Contents(“C:\Data\FileB.xlsx”), null, true),
DataB=SourceB{[Item=”Sheet1″,Kind=”Sheet”]}[Data],
// 열 이름 변환
RenamedB=Table.RenameColumns(DataB, {
{“ID”, “직원ID”},
{“성명”, “직원명”},
{“팀”, “소속부서”},
{“발생일”, “기준일자”},
{“금액(천원)”, “금액(천원)”}
}),
// 날짜 형식 변환 (mm/dd/yyyy -> yyyy-mm-dd)
DateCheckedB=Table.TransformColumns(RenamedB, {
{“기준일자”, eachifValue.Is(_, type date) then _ else Date.FromText(_, “mm/dd/yyyy”), type date}
}),
// 금액 단위 변환 (천원 -> 원)
AmountConvertedB=Table.TransformColumns(DateCheckedB, {
{“금액(천원)”, each_*1000, type number}
}),
RenamedAmountB=Table.RenameColumns(AmountConvertedB, {{“금액(천원)”, “금액(원)”}}),
// 3. 파일 C 데이터 로드 및 변환
SourceC=Excel.Workbook(File.Contents(“C:\Data\FileC.xlsx”), null, true),
DataC=SourceC{[Item=”Sheet1″,Kind=”Sheet”]}[Data],
// 열 이름 변환
RenamedC=Table.RenameColumns(DataC, {
{“사번”, “직원ID”},
{“성함”, “직원명”},
{“소속”, “소속부서”}
}),
// 날짜 열 통합 (연도, 월, 일 -> 기준일자)
DateCombinedC=Table.AddColumn(RenamedC, “기준일자”, each Date.FromText(
Text.From([연도])&”-“&Text.From([월])&”-“&Text.From([일])
), type date),
// 불필요한 날짜 개별 열 제거
DateColumnsRemovedC=Table.RemoveColumns(DateCombinedC, {“연도”, “월”, “일”}),
// 달러 금액을 원화로 변환
AmountConvertedC=Table.AddColumn(DateColumnsRemovedC, “금액(원)”, each[달러금액]*[환율], type number),
// 불필요한 열 제거
FinalC=Table.RemoveColumns(AmountConvertedC, {“달러금액”, “환율”}),
// 4. 세 테이블 통합
CombinedTables=Table.Combine({DateCheckedA, RenamedAmountB, FinalC}),
// 5. 중복 제거 및 정렬
DuplicatesRemoved=Table.Distinct(CombinedTables, {“직원ID”, “기준일자”}),
SortedTable=Table.Sort(DuplicatesRemoved, {{“기준일자”, Order.Ascending}, {“직원ID”, Order.Ascending}}),
// 6. 최종 결과
FinalResult=SortedTable
in
FinalResult
4단계: GPTs로 맞춤형 데이터 통합 솔루션 만들기
더 나아가, 반복적인 데이터 통합 작업을 위한 맞춤형 GPT(Custom GPT)를 만들어 활용할 수 있습니다.
Excel 데이터 통합 전문가 GPT 만들기:
1.GPT 생성 및 설정
•ChatGPT Plus 구독 활성화
•’Create a GPT’ 메뉴 선택
•이름: “Excel 데이터 통합 전문가”
2.GPT 지시사항 작성
당신은 Excel 데이터 통합 전문가입니다.사용자가서로 다른 형식의 엑셀 파일을 통합하는 것을 돕습니다.
다음기능을 제공합니다:
1.데이터 샘플 분석 및 통합 전략 제안
2.데이터 매핑 테이블 생성
3.파워 쿼리 M 코드 또는 VBA 스크립트 작성
4.데이터 변환을 위한 Excel 함수 제안
5.문제 해결 및 오류 디버깅 지원
사용자가 데이터 샘플을 제공하면 구체적인 분석과 솔루션을 제공하십시오.
특히날짜 형식, 숫자 데이터 타입, 통화 단위 등 일반적인 불일치 문제에 대한 해결책을 상세히 안내하십시오.
응답은항상 단계별로 구성하고, 가능한 한 구체적인 코드 예시를 포함하십시오.
3.지식 파일 업로드
•엑셀 데이터 변환 관련 참고 자료
•파워 쿼리 M 코드 예시 모음
•일반적인 VBA 스크립트 템플릿
4.
대화 예시 추가
사용자: 서로 다른 날짜 형식을 가진 두 엑셀 파일을 통합하려고 합니다.어떻게해야 할까요?
GPT:서로 다른 날짜 형식의 통합은 파워 쿼리를 활용하면 효과적입니다.다음단계를 따라 진행해 보세요:
1.데이터 탭에서 ‘데이터 가져오기 > 파일에서 > Excel 통합 문서’를 선택합니다.
2.각 파일을 로드한 후, 날짜 열을 선택하고 ‘변환’탭에서 ‘데이터 유형 변경 > 날짜’를 선택합니다.
3.파워쿼리는 자동으로 다양한 날짜 형식을 인식하여 표준 형식으로 변환합니다.
구체적인데이터 샘플을 공유해 주시면 더 맞춤화된 솔루션을 제공해 드릴 수 있습니다.
맞춤형 GPT 활용 방법:
1.데이터 샘플 업로드
•통합이 필요한 엑셀 파일 샘플 첨부
•각 파일의 특성 및 통합 목표 설명
2.단계별 가이드 요청
•”이 파일들을 어떻게 효율적으로 통합할 수 있을까요?”
•”파워 쿼리로 이 데이터를 변환하는 코드를 작성해주세요.”
3.코드 생성 및 적용
•GPT가 제안한 코드를 엑셀에 적용
•필요한 경우 GPT에 코드 수정 요청
4.문제 해결 지원
•오류나 예상치 못한 결과 발생 시 GPT에 문제 설명
•디버깅 및 개선된 솔루션 받기
☎️기업/관공서를 위한 AI교육 문의(클릭)
실전 활용 사례: AI 기반 공공기관 보고서 통합 프로젝트
상상력집단이 ChatGPT와 GPTs를 활용해 진행한 실제 공공기관 데이터 취합 프로젝트를 소개합니다.
시나리오:
•17개 시도별로 제각각 다른 형식의 월간 실적 보고서 취합 필요
•5년치 데이터 중 일부는 형식이 변경되어 불일치 발생
•일부 데이터는 수기 입력으로 인한 오류 포함
•분기별/연도별 종합 분석 보고서 작성 필요
AI 활용 접근법:
1.ChatGPT로 데이터 분석 및 통합 전략 수립
17개 시도의 월간 실적 보고서 샘플을 분석한 결과, 다음과 같은 패턴이 발견되었습니다:
-그룹 A(서울, 경기, 인천): 표준 형식 준수, 날짜 형식만 상이
-그룹 B(부산, 대구, 광주 등): 컬럼명 상이, 데이터 구조는 유사
-그룹 C(강원, 제주 등): 완전히 다른 구조, 세부 데이터 추가 포함
최적의 통합 방안은 다음과 같습니다:
1.표준 데이터 모델 정의: [상세 구조 제안]
2.그룹별 변환 로직 구현: [그룹별 변환 규칙]
3.데이터 검증 프로세스: [검증 방법론]
2.맞춤형 데이터 변환 GPT 개발
•공공기관 보고서 특화 지식 학습
•시도별 보고서 형식 인식 및 자동 변환
•행정 용어 표준화 및 데이터 검증 규칙 적용
3.AI 기반 자동화 워크플로우 구축
•ChatGPT 생성 코드로 파워 쿼리 모델 구현
•파워 오토메이트와 연계한 자동 데이터 수집
•에러 발생 시 GPT 활용 자동 문제 해결
결과:
•시간 절약: 월간 취합 작업 시간 5일에서 2시간으로 단축 (약 95% 절감)
•오류 감소: 데이터 오류 90% 이상 감소
•분석 품질: 일관된 형식으로 인한 분석 정확도 향상
•의사결정 속도: 신속한 데이터 통합으로 의사결정 주기 단축
일반적인 데이터 통합 문제를 ChatGPT로 해결하기
데이터 취합 과정에서 자주 마주치는 문제를 ChatGPT를 활용해 해결하는 방법을 알아봅시다.
컬럼 구조 불일치 해결하기
문제
유사한 데이터가 서로 다른 열 이름과 순서로 구성됨
ChatGPT 활용법
1.컬럼명 목록을 ChatGPT에 제공하기
2.예시 프롬프트:
3.”다음 세 파일의 컬럼명을 분석하고 표준화된 매핑 테이블을 만들어주세요:
4.파일A: [‘직원ID’, ‘이름’, ‘부서’, ‘입사일’, ‘월급여’]
5.파일B: [‘ID’, ‘성명’, ‘팀’, ‘입사_연월일’, ‘급여(만원)’]
6.파일C: [‘사번’, ‘성함’, ‘근무부서’, ‘입사년도’, ‘입사월’, ‘월급’]”
7.ChatGPT 응답 결과:
| 표준 컬럼명 | 파일A 컬럼명 | 파일B 컬럼명 | 파일C 컬럼명 | 데이터 타입 | 변환 규칙 |
| 직원번호 | 직원ID | ID | 사번 | 텍스트 | 직접 매핑 |
| 이름 | 이름 | 성명 | 성함 | 텍스트 | 직접 매핑 |
| 부서 | 부서 | 팀 | 근무부서 | 텍스트 | 직접 매핑 |
| 입사일자 | 입사일 | 입사_연월일 | [입사년도, 입사월] | 날짜 | 파일C: 입사년도 & 입사월 & “01” 결합 |
| 급여(원) | 월급여 | 급여(만원) | 월급 | 숫자 | 파일B: 값*10000 |
8.이 매핑 테이블을 기반으로 파워 쿼리 코드 생성 요청도 가능
중복 데이터 처리
문제
여러 소스에서 동일 데이터가 중복 입력되는 경우
ChatGPT 활용법
1.중복 데이터 사례를 ChatGPT에 제공
2.예시 프롬프트:
3.”여러 파일에서 통합한 데이터에 중복 레코드가 있습니다. 직원ID와 날짜가 같지만 일부 다른 값이 있는 경우, 가장 최신 파일의 데이터를 유지하는 파워 쿼리 로직을 작성해주세요.”
4.ChatGPT 응답:
// 중복 제거를 위한 파워 쿼리 M 코드
let
Source=통합된_테이블,
// 데이터 소스 정보를 기준으로 날짜 컬럼 추가 (파일 생성 또는 수정 날짜)
AddSourceDate=Table.AddColumn(Source, “SourceDate”, each[SourceInfo]),
// 그룹화를 통한 중복 제거 준비
GroupedRows=Table.Group(AddSourceDate, {“직원ID”, “기준일자”}, {
{“AllData”, each _, type table},
{“Count”, eachTable.RowCount(_), type number}
}),
// 각 그룹에서 SourceDate가 가장 최근인 행 선택
SelectLatestRows=Table.AddColumn(GroupedRows, “LatestData”, each
Table.First(Table.Sort([AllData], {{“SourceDate”, Order.Descending}}))
),
// 결과 테이블 전개
ExpandedTable=Table.ExpandRecordColumn(SelectLatestRows, “LatestData”,
Table.ColumnNames(Source), Table.ColumnNames(Source)),
// 불필요한 컬럼 제거
FinalTable=Table.RemoveColumns(ExpandedTable, {“AllData”, “Count”, “SourceDate”})
in
FinalTable
5.생성된 코드를 파워 쿼리 편집기에 복사하여 적용 가능
ChatGPT와 GPTs로 데이터 통합 시스템 고도화하기
단순한 일회성 데이터 통합을 넘어, ChatGPT와 GPTs를 활용하여 지속 가능한 데이터 통합 시스템을 구축하는 방법을 알아봅시다.
1. AI 기반 데이터 매핑 지식 베이스 구축
기존 매핑 패턴을 학습하여 미래의 유사 작업을 자동화하는 시스템:
GPT를 활용한 기업 데이터 사전 구축 프로세스:
1.초기 데이터 매핑 작업 → ChatGPT 수행
2.매핑 패턴 및 규칙 수집 → 지식 베이스 구축
3.맞춤형 데이터 매핑 GPT 개발 → 조직 특화 솔루션
4.직원 교육 및 프로세스 통합 → 조직 전체 활용
5.지속적 학습 및 개선 → 자동화 수준 향상
이 프로세스는 처음에는 챗GPT를 활용해 데이터 매핑 작업을 수행하고, 그 과정에서 발견된 패턴과 규칙을 수집해 지식 베이스를 구축합니다. 이후 조직에 맞는 맞춤형 GPT를 개발하고, 이를 직원들이 활용할 수 있도록 교육을 제공합니다. 마지막으로 지속적인 피드백과 업데이트를 통해 자동화 수준을 계속 향상시키는 과정입니다.
이 방법을 통해 기업은 일회성 데이터 통합이 아닌, 지속적이고 일관된 데이터 관리 체계를 구축할 수 있습니다. 또한 조직 내 데이터 용어와 구조가 표준화되어 부서 간 소통과 데이터 활용이 더욱 원활해집니다.
ChatGPT 프롬프트 예시:
우리 회사에서 자주 사용하는 데이터 필드 용어를 표준화하고 싶습니다.
다음은지난 1년간 사용된 다양한 필드명입니다:
[필드명 목록 제공]
이를 분석하여:
1.의미적으로 동일한 필드끼리 그룹화
2.각 그룹별 표준 필드명 제안
3.회사 표준 데이터 사전 형식으로 정리
해주시겠어요?표준 필드명은 간결하면서도 명확하게 의미를 전달할 수 있어야 합니다.
2. GPTs와 VBA의 결합으로 자동화 수준 향상
맞춤형 GPT를 VBA와 결합하여 엑셀 내에서 직접 AI 기반 데이터 변환을 구현:
VBA에서 GPT API 호출 코드 예시:
Sub TransformDataWithGPT()
Dim rng As Range
Dim http As Object
Dim apiKey As String
Dim response As String
Dim i As Long, lastRow As Long
‘ 워크시트와 데이터 범위 설정
Set ws=ActiveSheet
lastRow=ws.Cells(ws.Rows.Count, “A”).End(xlUp).Row
‘ API 키 설정 (실제 사용 시 안전하게 관리)
apiKey=”your-api-key-here”
‘ HTTP 요청 객체 생성
Set http=CreateObject(“MSXML2.XMLHTTP”)
‘ 데이터 변환 진행률 표시
Application.StatusBar=”데이터 변환 중…”
‘ 각 행 처리
For i=2To lastRow ‘ 첫 번째 행은 헤더로 가정
‘ GPT API 호출
http.Open”POST”, “https://api.openai.com/v1/chat/completions”, False
http.setRequestHeader”Content-Type”, “application/json”
http.setRequestHeader”Authorization”, “Bearer “&apiKey
‘ 요청 본문 구성
Dim requestBody As String
requestBody=”{“”model””: “”gpt-4″”, “”messages””: [{“”role””: “”system””, “”content””: “”당신은 데이터 변환 전문가입니다. 주어진 데이터를 회사 표준 형식으로 변환합니다.””}, {“”role””: “”user””, “”content””: “”다음 데이터를 표준 형식으로 변환해주세요: 날짜=”&ws.Cells(i, 1).Value&”, 금액=”&ws.Cells(i, 2).Value&”, 부서=”&ws.Cells(i, 3).Value&”””}]}”
http.sendrequestBody
‘ 응답 파싱 및 결과 적용
If http.Status=200Then
response=http.responseText
‘ JSON 파싱은 별도 함수로 구현 필요
‘ 파싱된 결과를 셀에 적용
ws.Cells(i, 4).Value = ExtractStandardDate(response)
ws.Cells(i, 5).Value = ExtractStandardAmount(response)
ws.Cells(i, 6).Value = ExtractStandardDepartment(response)
Else
ws.Cells(i, 4).Value = “Error: ” & http.Status
End If
‘진행률 업데이트
Application.StatusBar=”데이터 변환 중… “&Format(i/lastRow, “0%”)
Next i
‘ 상태 표시줄 초기화
Application.StatusBar=False
MsgBox “데이터 변환이 완료되었습니다.”
End Sub
‘ 응답에서 표준 날짜 추출 함수 (구현 필요)
Function ExtractStandardDate(jsonResponse As String)As String
‘ JSON 파싱 및 날짜 추출 로직
End Function
‘ 응답에서 표준 금액 추출 함수 (구현 필요)
Function ExtractStandardAmount(jsonResponse As String)As String
‘ JSON 파싱 및 금액 추출 로직
End Function
‘ 응답에서 표준 부서명 추출 함수 (구현 필요)
Function ExtractStandardDepartment(jsonResponse As String)As String
‘ JSON 파싱 및 부서명 추출 로직
End Function
3. 데이터 품질 모니터링을 위한 AI 어시스턴트
GPTs의 분석 능력을 활용해 통합 데이터의 품질을 지속적으로 모니터링하고 개선:
데이터 품질 점검 GPT 개발:
1.GPT 지시사항 설계
당신은 데이터 품질 분석 전문가입니다.사용자가업로드한 데이터 파일의 품질을 평가하고 개선점을 제안합니다.
다음항목을 중점적으로 분석하십시오:
1.완전성: 필수 데이터 누락 여부
2.정확성: 값의 범위, 형식, 타입 적합성
3.일관성: 관련 필드 간 논리적 일치
4.현행성: 시간 관련 데이터의 유효성
5.중복성: 중복 레코드 존재 여부
항상 문제의 심각도를 함께 평가하고, 데이터 품질 점수(100점 만점)를 제공하십시오.
또한발견된 문제에 대한 구체적인 해결책을 제안하십시오.
2.데이터 품질 평가 프로세스
•데이터 샘플 업로드 → GPT 자동 분석
•품질 점수 및 문제점 식별 → 리포트 생성
•개선 방안 제안 → 자동화된 수정 스크립트 생성
•수정 적용 및 재검증 → 품질 개선 확인
ChatGPT 활용 품질 보고서 예시:
## 데이터 품질 분석 보고서
### 개요
-파일명: 2023년_1분기_영업실적.xlsx
-레코드 수: 1,248
-컬럼 수: 12
-분석 일시: 2025-03-1614:30:22
### 품질 점수: 78/100
### 주요 문제점
1.완전성(85/100)
-‘담당자’필드 누락: 52개 레코드(4.2%)[심각도: 중]
-‘계약일자’필드 누락: 15개 레코드(1.2%)[심각도: 높음]
2.정확성(72/100)
-‘계약금액’필드에 음수값 존재: 8개 레코드[심각도: 높음]
-‘고객코드’형식 불일치: 37개 레코드[심각도: 중]
3.일관성(80/100)
-‘계약시작일’이 ‘계약종료일’보다 늦은 경우: 12개 레코드[심각도: 높음]
4.현행성(85/100)
-미래 날짜 데이터 포함: 5개 레코드[심각도: 중]
5.중복성(70/100)
-동일 ‘계약번호’중복: 23쌍 발견[심각도: 높음]
### 개선 방안
1.담당자 필드 누락 처리:
=IF(ISBLANK([담당자]), “미배정”, [담당자])
2. 계약금액 음수값 수정:
=IF([계약금액]<0, ABS([계약금액]), [계약금액])
3. 고객코드 형식 표준화:
// 파워 쿼리 M 코드
Text.PadStart(Text.Remove([고객코드], {“CU-“, “CUST”, “C”}), 6, “0”)
4.계약일자 논리 오류 수정:
// 파워 쿼리에서 조건부 열 교체
if [계약시작일] > [계약종료일] then [계약종료일] else [계약시작일]
5. 중복 레코드 처리:
// 파워 쿼리에서 그룹화 및 최신 레코드 유지
// 상세 코드 첨부…
이 보고서에 기반한 자동 수정 스크립트를 생성하시겠습니까?
결론: AI 시대의 데이터 통합, 효율성을 넘어 지능화로
서로 다른 데이터 타입의 엑셀 파일 취합 작업은 더 이상 데이터 담당자의 골치 아픈 업무가 아닙니다. ChatGPT와 GPTs를 활용한 접근법은 단순히 업무 효율성을 높이는 것을 넘어 데이터 통합 프로세스 자체를 지능화합니다.
상상력집단은 다양한 기업과 공공기관의 데이터 통합 프로젝트를 통해, AI와 기존 도구의 결합이 조직의 데이터 활용 역량을 획기적으로 향상시킬 수 있음을 확인했습니다. 이제 조직은 데이터 취합에 들이는 시간을 줄이고, 데이터의 의미와 가치를 발굴하는 데 더 많은 에너지를 투자할 수 있게 되었습니다.
“AI 시대의 데이터 통합은 단순한 작업 자동화를 넘어, 데이터에 숨겨진 통찰을 발견하고 지식을 창출하는 지능형 프로세스로 진화하고 있습니다.”
