데이터 생존 로그

해당 게시글에서는 프롬프트 엔지니어링을 활용한 EDA(Exploratory Data Analysis)를 시도합니다. 개요저번 글을 작성하며 한 가지 아쉬웠던 점이 있었다. pandasai는 API를 활용해야하므로 한정된 만큼만 활용할 수 있었고, 자유롭게 활용하기 위해서는 결제가 필요했다. 그래서 pandas-ai 코드를 까봤고, 다음과 같은 프롬프트로 ChatGPT를 활용하고 있음을 파악했다. https://github.com/gventuri/pandas-ai/tree/main/pandasai/prompts (23년 6월 4일 기준) GitHub - gventuri/pandas-ai: Pandas AI is a Python library that integrates generative artificia..

Intro 해당 게시글은 Pandas에 AI를 입힌 PandasAI에 대해 소개합니다. Pandas는 Data Handling과 Visualization에 많이 활용된다. PandasAI는 Pandas에 Open AI API를 붙혀서, 문장으로 데이터에 대한 질의응답 및 시각화를 할 수 있는 파이썬 라이브러리이다. 활용 준비 활용 준비 방법은 간단하다. pandasai를 설치해주고 import 해준다. pip install pandasai import pandas as pd from pandasai import PandasAI from pandasai.llm.openai import OpenAI 그리고 발급받은 Open AI API key만 입력해주면 활용 준비 끝! OPENAI_API_KEY = "발..

글또 첫 번째 글 소환 https://analyst-ggom-chi-kim.tistory.com/1 [글또] OT 후기랑 생각들 2023년 성장은 너로 정했다 2019년 군전역 이후, 매년 다른 모임에서 꾸준히 성장해왔다. IT에 관심이 생긴 2020은 멋쟁이 사자처럼 데이터 공부를 해보고 싶었던 2021은 데이터사이언스 연구실 공부 analyst-ggom-chi-kim.tistory.com 총 12번의 글 제출 중 이번이 6번째다. 딱 중간인 시점에서 중간점검을 해보고자 한다. 일단 시작할 때 정했던 목표는 다음과 같았다. 1. 12번의 글 제출 모두 하기 2. 어디가서 인과추론에 대해 설명할 수 있는 지식 기반 (+ 자신감) 마련하기 - 이거 기반으로 회사에서 분석 프로젝트도 주도적으로 해보기 3. ..

Datahub가 뭐에요? Chat GPT에게 물었다. 데이터 분석가 관점에서 짧게 Datahub를 정의해보면 아래와 같다. 다양한 데이터 소스에 흩어져있는 스키마들의 정보를 보기 쉽게 정리해주는 툴이다. 즉, 사용자가 보고싶은 정보는 어떤 테이블을 활용해야하며, 그 테이블은 어떤 구조를 가지고 있는지 쉽게 찾아주는 역할을 한다. 그래서? 데이터 분석가로 일하면서 아래와 같은 고민을 했다. 데이터 요청에 더 빠르고 정확하게 대응할 수 없을까? 데이터 구조(혹은 특정 조건)에 대해 반복되는 질문이 겹치는데, 이걸 줄일 수는 없을까? 개발자와 소통을 통해 어렵게 스키마 구조를 알아냈는데, 효율적으로 아카이빙 및 공유할 수는 없을까? 데이터 분석가 신규입사자분들의 온보딩을 빠르게 도와줄 수는 없을까? 사실 위 ..

Kanaries에서 태블로 스타일의 파이썬 패키지인 PyGWalker를 만들었다. 정제가 깔끔하게 완료된 테이블을 요리조리 EDA 해볼 때 유용할 것 같다. 바로 활용해보자! 패키지를 install 해줍시다. pip install pygwalker 그 후 import 해주면 활용준비 끝 import pandas as pd import pygwalker as pyg 해당 게시글에서 활용할 데이터는 갭마인더에서 가져왔으며, 세 가지 필드만 뽑아서 활용할 것이다. 필드명 데이터 타입 country string income int life int 이제 데이터까지 준비되었으니 실행시켜보자 data = pd.read_csv('./preprocessed.csv') pyg.walk(data) X축, Y축, 활용가능한 ..

이전글: 2023.02.21 - [📊 분석 한 스푼 🥄] - 00. 분석으로 진수성찬을 만들어보자🍚🍖 00. 분석으로 진수성찬을 만들어보자🍚🍖 배경 데이터 분석가로써 벌써 반 년을 일했다. 분석 취준 시절과 얼마 안되는 분석가로써의 업무를 경험하면서 내 성장은 항상 하드스킬에만 초점이 맞춰져있었다. 이제 조금씩 분석 업무도 진 analyst-ggom-chi-kim.tistory.com 세상은 개발도상국과 선진국으로 나뉠까? 책 [팩트풀니스]를 읽었다. 첫 챕터의 내용은 대충 이랬다. 다수의 사람들은 세상이 선진국과 개발도상국으로 나뉜다고 생각한다. 하지만 그건 오래 전의 일이고, 현재는 4단계로 나눌 수 있다. 위 내용을 읽으면서 다양하고 복잡한 호기심과 의심점이 생겼지만 크게 두 가지로 정리해보면 다음..

배경 데이터 분석가로써 벌써 반 년을 일했다. 분석 취준 시절과 얼마 안되는 분석가로써의 업무를 경험하면서 내 성장은 항상 하드스킬에만 초점이 맞춰져있었다. 이제 조금씩 분석 업무도 진행하고 회사 생활도 해보니, 점점 소프트스킬의 중요성이 피부에 와닿는 것 같다. 즉, 데이터를 읽고 어떤 생각을 하고 어떻게 말로 표현하는지에 대한 나의 능력치를 올리고 싶어졌다! 이걸 어떻게 키울까 고민하다가 분석 한 스푼이라는 나 스스로에 대한 기획을 해버렸다. 거창하게 말고, 조금씩, 간단하게, 가볍게 데이터를 보고 내 호기심을 해소하며 이걸 글로 표현해보는 것이다! (꾸준히!!!) 마침 글또도 하니까 중간중간 원래 하고싶던 주제랑 섞어서 제출해야지 :-) 내 분석 한 스푼이 진수성찬이 되는 그 날까지 화이팅 ! 🍚🍖..

2023년 성장은 너로 정했다 2019년 군전역 이후, 매년 다른 모임에서 꾸준히 성장해왔다. IT에 관심이 생긴 2020은 멋쟁이 사자처럼 데이터 공부를 해보고 싶었던 2021은 데이터사이언스 연구실 공부한 데이터 이론을 직접 프로젝트에 써먹고 싶었던 2022는 BOAZ에서 매년 후회없이 활동했다. 나는 혼자 목표를 정하고 공부나 프로젝트를 하면 잘 어그러진다. 그 이유를 생각해봤다. 1. 혼자 생각이 깊어지면 빠져나오기 어렵다. 2. 해보고 싶은게 많아서 이것저것 동시에 시도한다. 3. 꾸준히 하다가도, 한 번 어기면 그 이후로 지키기가 어렵다. 1월 29일에 글또 OT를 들으면서, 글또는 내 단점을 커버하기 너무 좋은 환경이 조성되어 있다고 생각했다. 1. 서로 글에 대한 피드백 2. 글쓰기를 통한..