데이터 생존 로그

* 이 글은 data popcorn에서 진행하는 n8n 스터디 2기에 참여하고 그 과정을 글로 남긴 게시글입니다.n8n 기초 강의: https://youtu.be/zcjTErUqvxM?si=MN0VAE5p6RtQ2YLkn8n & AI 자동화 커뮤니티: https://open.kakao.com/o/gwBKXcSg 이번 게시글에서는 n8n 워크플로우를 활용하여 버스 실시간 위치 데이터 수집하는 과정을 담았습니다.- 저번 게시글1: https://analyst-ggom-chi-kim.tistory.com/26- 저번 게시글2: https://analyst-ggom-chi-kim.tistory.com/27 전체 워크플로우 Overview 위 n8n 워크플로우는 버스 실시간 위치 데이터를 수집하고 이를 Googl..

배경나는 수원 - 강남을 통근하는 통근러이다.매주 출근일마다 편도 100분 가량 걸리는 거리를 3000번 버스와 함께 통근한다. 아주 춥던 어느 날, 퇴근 버스를 놓치고 말았다.요즘 광역 버스는 입석이 안되고, 내 앞앞에서 잔여 좌석이 0석이 되어 강제로 타지 못하고 말았다,,, 그래서 시작했다.언제 퇴근을 해야 내가 안전하게 버스를 타고 집에 갈 수 있을 지를 데이터 기반으로 찾아보기로! 데이터 수집내가 모으고자 하는 데이터는 깊게 생각치 않았다. 여러 지도 플랫폼에서 제공하는 버스 위치/잔여 좌석 데이터의 스냅샷을 최대한 '짧은 주기'로 모으면 만사 OK라고 생각했다.  내가 얻고자 하는 버스 데이터는 '공공 데이터 포털'의 OPEN API와 요즘 내가 요리조리 써 먹고 있는 'N8N'이라는 자동화 ..

* 이 글은 data popcorn에서 진행하는 n8n 스터디 2기에 참여하고 그 과정을 글로 남긴 게시글입니다.n8n 기초 강의: https://youtu.be/zcjTErUqvxM?si=MN0VAE5p6RtQ2YLkn8n & AI 자동화 커뮤니티: https://open.kakao.com/o/gwBKXcSg 이번 게시글에서는 저번 게시글에서 간단히 기획했던 아이디어를 본격적으로 만들기 위해, 사전 작업을 하는 과정을 담고 있습니다. (경기 버스 API, 공공 데이터 포털 활용 세팅)- 저번 게시글: https://analyst-ggom-chi-kim.tistory.com/26 n8n 자동화 프로젝트① - n8n에 대한 이해와 프로젝트 기획* 이 글은 data popcorn에서 진행하는 n8n 스터디 ..

* 이 글은 data popcorn에서 진행하는 n8n 스터디 2기에 참여하고 그 과정을 글로 남긴 게시글입니다.n8n 기초 강의: https://youtu.be/zcjTErUqvxM?si=MN0VAE5p6RtQ2YLkn8n & AI 자동화 커뮤니티: https://open.kakao.com/o/gwBKXcSg 자동화를 아는 것과 모르는 것은 업무 효율에 큰 영향을 미친다. 특히, LLM을 통한 업무 비중이 증가하고, LLM 업무의 자동화 니즈에 따라노코드 기반의 자동화 및 자동화 템플릿의 생성/공유 시장이 커질 수도 있겠다는 생각이 든다. 이번 게시글에서는 n8n이라는 노코드 자동화 툴에 대해 간단히 알아보고, 기획한 자동화 프로젝트를 공유해 보려 한다! ❓ n8n은 무엇인가? n8n은 오픈소스 워크플..

데이터를 해석하고 분석할 때, 가장 주의해야 하는 것이 편향이다.대부분의 데이터는 편향을 담고 있고, 이를 기반으로 단순 집계한 통계량에도 편향이 섞여있을 수 밖에 없다. 한 가지 예시를 들어보자!우리가 인스타그램의 데이터 분석가라고 가정해 보자.그리고 다음과 같은 분석 결과를 보게 되었다.릴스를 1회라도 올린 유저가 그렇지 않은 유저에 비해 팔로워 수가 더 많다.(통계적 유의)따라서 '릴스 업로드 유무'는 '팔로워 수'의 요인이라고 볼 수 있다. 우리는 위 분석 결과를 '통계적으로 유의'하기 때문에 받아들여야 할까? 당연히 아니다. 애초에 릴스를 1회라도 올린 유저는 다른 활동 역시 활발하게 할 확률이 높고(게시글, 댓글, 좋아요 등),이에 따라 팔로워 수가 높을 수도 있기 때문이다. 즉,  '팔로워 ..

회귀 분석의 활용 방식 중, 변수 선택과 비선형 패턴에 대해 알아봅니다. 저번 게시글에서는 회귀 분석의 예측과 요인 분석에 대해 알아보았다.https://analyst-ggom-chi-kim.tistory.com/23 🌟 데이터 분석가가 회귀 분석으로 할 수 있는 4가지① - 예측과 요인 분석회귀 분석의 활용법을 4가지 관점에서 정리하고,장점과 한계점에 대해 알아봅니다. 처음 머신러닝을 배우면서 회귀 분석을 접했을 때는 이런 생각이 들었다."기초적이고 성능도 별로일 것 같은analyst-ggom-chi-kim.tistory.com 이번 게시글에서는 회귀 분석을 통한 변수 선택과 비선형 패턴에 대해 알아보자! 3. 변수 선택: 중요한 변수만 남겨라 🎯 데이터 분석에서 모든 변수가 중요한 것은 아니다. ..

회귀 분석의 활용법을 4가지 관점에서 정리하고,장점과 한계점에 대해 알아봅니다. 처음 머신러닝을 배우면서 회귀 분석을 접했을 때는 이런 생각이 들었다."기초적이고 성능도 별로일 것 같은데, 실무에서 과연 쓸 일이 있을까?" 하지만 통계를 배우고, 실무에서 데이터를 다뤄보니 회귀 분석은 단순한 예측 모델에 그치지 않고 다양한 활용 가능성을 가진 도구라는 걸 깨달았다.이번 포스팅에서는 회귀 분석의 활용 방법과 이를 통해 할 수 있는 네 가지 작업 중 두 가지를 먼저 정리해보았다. 바로 알아보자! 🚀1. 예측: 미래를 내다보는 도구 🔮회귀 분석의 가장 기본적인 활용은 예측이다.데이터를 기반으로 무언가를 예측하기에 가장 기초적인 도구로 사용할 수 있다. 하지만 더 깊게 다루진 않으려 한다!왜나하면, '데이터..

이번 게시글에서는 통계와 관련된 알아두면 쓸모 있을 (수도 있는...) 신기한 썰 몇 개를 소개해 보겠다! 🏀 마이클 조던이 만든 '지리학과 신화'대학 졸업 후 가장 높은 연봉을 기대할 수 있는 학과는 어디일까?의대, 법대 같은 전문직 학과가 떠오르겠지만, 미국 노스캐롤라이나 주립대에서는 뜻밖의 결과가 나왔디.바로 지리학과가 평균 연봉 1위를 차지한 것! 하지만 이 결과의 비밀은 다름 아닌 전설적인 농구 스타 마이클 조던 덕분이었다.조던은 노스캐롤라이나 주립대 지리학과 출신으로, NBA에서 역대 최고 연봉 기록을 세웠다.그의 연봉인 3,300만 달러(약 390억 원) 덕분에 지리학과의 평균 연봉이 치솟았다. 이렇듯 조던 한 명의 초고액 연봉이 지리학과 전체를 고액 연봉 학과로 보이게 만든 것이었다!이 ..

0. 개요🤔전환은 왜 중요한가?'전환'이라는 지표는 단순히 마케팅 활동의 성과를 넘어, 비즈니스의 핵심 성과 지표(Key Performance Indicator)와 큰 연관성이 있다.특히 데이터 분석가에게 전환율은 유저 행동 파악, 채널별 마케팅 효과를 분석, 구매로의 전환 등 다양한 관점에서 분석이 필요한 경우가 많다!유저가 처음 서비스와 만나는 순간부터 구매를 결정하기까지 다양한 접점이 존재하는데, 이 과정을 이해하고 최적화하는 것이 지표 개선에 필수적이기 때문이다. 📊 전환을 다섯 가지 방식으로 구분해서 분석해야하는 이유유저의 전환 여정은 다층적이고, 하나의 시각만으로는 충분히 설명할 수 없다.유저가 전환을 위해 거치는 여러 접점을 파악하기 위해서는 다양한 분석 모델을 통해 전환에 대한 포괄적인..

첫 데이터 분석가로 입사했을 때 나의 꿈은 '이 조직에서 몰랐던 엄청난 사실을 발견해서 알려줘야지!'였다. 그리고 모든 데이터 분석가가 저 정도는 할 줄 알았다. 데이터 분석가로 일하게 된지 1년 반 정도가 지난 지금, 저 꿈이 누구나 할 수 있는 쉬운 일이라고 생각하지 않는다. 인사이트(라고 말하기엔 거창하긴 하지만..)로 가는 길은 멀고 험난하며, 그 길 도중엔 데이터 분석가를 홀리기 쉬운 여러가지 함정들이 도사리고 있기 때문! 그래서 이번 게시글에선 데이터 분석가가 빠지기 쉬운 함정 세 가지에 대해 다뤄보고자 한다. 개인적으로 많이 당할뻔(?)했던 함정 세 가지를 차례대로 담아보았다! 트위먼의 법칙(Twyman's Law) 데이터가 특이하거나 흥미로울수록, 특정 오류로 인한 결과일 가능성이 높다. ..