본문 바로가기

데이터분석40

파이썬에서 MySQL 쿼리로 DB 데이터 끌어오는 방법 파이썬과 MySQL을 연동하여 DB 데이터를 끌어오는 방법에 대해서 간단하게 알아보겠습니다. 꼭 필요한 코드만 담았습니다. 또한, 끌어온 데이터로 시각화하는 방법까지 공유드리겠습니다 :) 파이썬에 MySQL 연동하는 전체 코드 import pymysql plt.rcParams['font.family'] = 'Malgun Gothic' conn = pymysql.connect(host='localhost', user='root', password='0000', db='main_db', charset='utf8') cursor = conn.cursor() sql = """ select * from user limit 5 """ cursor.excute(sql) data = cursor.fetchall() c.. 2023. 12. 17.
파이썬 웹 크롤링 환경세팅(VScode, miniconda, selenium) 및 예시코드 이 글에서는 크롤링을 위한 VScode, miniconda 환경 세팅부터 Selenium, ChromDriver 자동관리 라이브러리 설치 방법까지 알아볼 것이다. 또한, 실습이 가능하도록 실제로 구글 스토어 댓글을 크롤링하는 코드를 제공한다. 파이썬 코딩을 할 때, 흔히 사용하는 Colab은 크롤링이 실제로 동작하는지 볼 수 없다. 반면 VScode에서는 이를 확인할 수 있다.다만 VScode에서는 .ipynb파일을 실행하려면 파이썬 에디터인 Jupyter Notebook이 필요하다. miniconda는 Jupyter Notebook과 파이썬에서 필요한 최소한의 라이브버리들, 그리고 가상환경을 관리할 수 있게 만들어진 툴이다. 따라서 환경세팅을 위해 VScode와 miniconda를 먼저 다운로드 받아야.. 2023. 12. 10.
MySQL 내장 함수 53가지 정리 (숫자, 문자, 날짜, 논리, 집계) MySQL을 사용할 때, 사용할 수 있는 내장 함수 53가지를 준비했다. 함수 종류가 많아서 하니씩 다 찾아보기 힘든 분들을 위해 카테고리 별로 나눠서 표로 정리했다. 숫자, 문자, 날짜, 논리, 집계 5가지 카테고리로 분류된다. 내용은 예시 SQL문, 실행 결과, 데이터를 가져왔을 때 사용하는 예문으로 구성된다. 각 함수에 대한 설명은 예시에 설명해 놓았다. 숫자 관련 함수 1. ABS(number) -- 예시: 음수의 절대값 계산 SELECT ABS(-15); -- 결과: 15 -- 활용: 테이블의 특정 열에 있는 모든 값의 절대값 계산 SELECT ABS(column_name) FROM table_name; 2. CEILING(number) -- 예시: 소수점 이하를 올림 SELECT CEILING.. 2023. 11. 23.
앱시트 + 구글 스프레드시트로 개인용 앱 만들기 1시간 컷 앱시트와 구글 스프레드시트를 사용하여 개인용 앱을 만드는 방법에 대해 알아보겠습니다. 이 방법은 매우 쉬운 방법으로 개발이 따로 필요 없습니다. 초등학생도 따라 할 수 있는 수준입니다. 조금 숙련이 되면 누구나 1시간 안에 원하는 기능까지 구현이 가능합니다. 구글 스프레드시트의 장점은 클라우드 형태로 저장이 된다는 점입니다. 그렇기 때문에 어떤 기기에서든 접속이 가능합니다. 그래서 앱으로 데이터를 입력할 수 있는 것이죠. 이러한 특징으로 인해 구글 스프레드시트와 앱시트를 사용하면 아주 간단하게 앱을 만들 수 있습니다. 목차 1. 구글 스프레드시트를 생성한다. 2. 필요한 Columns를 정한다. 3. 앱시트로 앱을 만든다. 4. 앱시트를 커스터마이징한다. 5. 구글 스토어에서 앱시트를 설치하고 계정을 연.. 2023. 11. 6.
Seaborn 막대 그래프 7가지 종류 그리는 방법 (vs Matplotlib) 이 글에서는 Python의 Seaborn 라이브러리를 사용하여 다양한 막대 그래프를 그리는 방법을 설명하겠습니다. 기본 막대 그래프부터 수평 막대, 그룹별, 에러바, 누적 및 100% 누적 바 그래프까지 다룹니다. 각 예시에는 코드가 포함되어 있고, 깃허브에 full 코드를 업로드해두었습니다. 저번 시간에는 Matplotlib 라이브러리를 활용해서 아래 목차에 해당하는 그래프를 그리는 방법에 대해서 다루었습니다. Seaborn 같은 경우엔 대부분 Matplotlib보다 훨씬 간단하게 그래프를 표현할 수 있기 때문에 Seaborn 라이브러리도 충분히 익혀두는 것을 추천드립니다. 목차1. Seaborn 기본 막대 그래프 그리기2. 수평 막대 그래프 그리기3. 다중 그룹 데이터 비교하기4. 다중 그룹 하나의 .. 2023. 10. 27.
Matplotlib 막대 그래프 그리는 7가지 방법(errorbar, 100% 누적 바 등) 이 글에서는 Python의 Matplotlib 라이브러리를 사용하여 다양한 막대 그래프를 그리는 방법을 상세하게 설명합니다. 기본 막대 그래프부터 수평 막대, 그룹별 그래프, 에러바, 누적 및 100% 누적 바 차트까지 다룹니다. 각 예시에는 필요한 속성과 코드 설명이 포함되어 있습니다. 목차 1. Matplotlib 기본 막대 그래프 그리기 2. 수평 막대 그래프 그리기 3. 여러 그룹 데이터 비교하기 4. 여러 그룹 하나의 그래프에 담기 5. errorbar 그리기(평균, 표준편차) 6. 누적 바 차트 그리기 7. 100% 누적 바 차트 그리기 8. 속성 요약 1. Matplotlib 기본 막대 그래프 그리기 먼저 가장 기본적인 Matplotlib 라이브러리의 막대 그래프를 그릴 건데요. plt.ba.. 2023. 10. 16.
Matplotlib Subplot 활용해서 그래프 여러개 그리는 3가지 방법 Python에서 데이터 시각화를 할 때, 여러 그래프를 하나의 화면에 표시하고 싶다면 'Subplot'이 해결책입니다. 이 글에서는 Python의 대표적인 시각화 라이브러리인 Matplotlib, Seaborn, Plotly를 사용하여 Subplot을 그리는 방법에 대해 알아보겠습니다. 목차 Subplot 그리는 방법 1. plt.subplot(O행, O열, O번째) 2. fig, ax = plt.subplot(O행, O열) 3. Gridspec 라이브러리별 Subplot 적용 방법 1. matplotlib 2. seaborn 3. plotly Subplot 그리는 방법 subplot을 그리는 대표적인 3가지 방법을 소개합니다. 이 3가지 방법은 matplotlib와 seaborn을 활용하여 그린 그래프.. 2023. 10. 12.
데이터 시각화를 하는 이유, 좋은 시각화 핵심 법칙 데이터 시각화를 하는 이유와 기업에서의 활용 방법을 소개합니다. 또한, 액션 가능한 인사이트를 얻기 위한 다양한 그래프 유형과 좋은 시각화 핵심 법칙을 알아보겠습니다. 인간이 어떤 정보를 받아들일 때 70%를 시각으로 받아들인다고 합니다. 오른쪽 사진처럼 색상 속성을 활용하면, 같은 정보라도 훨씬 빠르게 정보를 이해할 수 있죠. 이처럼 쉽게 이해할 수 있게 시각적으로 표현하면, 보다 수월한 커뮤니케이션을 진행할 수 있습니다. 기업에서 시각화를 하는 이유 기업에서 데이터 시각화를 하는 이유는 궁극적으로 액션 가능한 인사이트를 찾고 커뮤니케이션을 하기 위해서입니다. 제품과 서비스가 실패하는 대부분의 이유는 제품-시장 적합성(Product-Market Fit, PMF)을 찾지 못했기 때문입니다. 사람들의 필요.. 2023. 10. 11.
plt.legend 옵션으로 그래프 범례 모양 커스터마이즈하기 이 글은 plt.legend 함수를 통해 그래프 범례 모양을 내 마음대로 커스터마이즈하고 싶은 분들을 위한 글입니다. 이를 위한 label, loc, ncol, fontsize, frameon, shadow 총 6가지의 옵션과 기타 옵션들에 대해서 예시와 함께 설명하며, 실습합니다. plt.legend는 그래프의 범례를 표기할 때 사용하는 함수입니다. 다음과 같이 matplotilb 라이브러리를 불러오면 사용이 가능하죠. import matplotlib.pyplot as plt plt.legend 함수에는 다양한 옵션들이 있는데, 이 옵션들을 사용하면 범례의 위치, 스타일, 크기 등을 커스터마이즈 할 수 있습니다. 주요 옵션에는 다음과 같은 것들이 있습니다. 목차 label loc ncol fontsiz.. 2023. 10. 10.
구글 스프레드시트 SPARKLINE : 100% 누적 바 그래프 함수로 그리기 100% 누적 바 그래프를 어떻게 하면 손쉽게 그릴 수 있을까요? 구글 스프레드시트의 SPARKLINE 함수를 사용하면, 아주 간단하게 그래프를 그릴 수 있습니다. 위 이미지는 태블로를 통해 표현된 100% 누적 바 차트입니다. 이러한 유료 프로그램을 사용하지 않고, 아래와 같은 표를 이용해서 100% 누적 바 차트를 그리려면 어떻게 해야 할까요? 2가지 방법이 있습니다. 첫 번째, 차트를 삽입한다. 두 번째, 함수를 활용한다. 차트 삽입하는 방법은 메뉴 -> 삽입 -> 차트를 클릭하면 쉽게 삽입을 할 수 있으니 오늘은 보다 생소하고, 간편한 방법인 Sparkline 함수를 이용해서 그래프 그리는 방법을 알아보겠습니다. SPARKLINE 함수로 그릴 수 있는 그래프 종류 SPARKLINE(데이터, [옵션.. 2023. 9. 18.
구글 스프레드시트 데이터 분석 핵심 함수 5가지 구글 스프레드시트 데이터 분석 업무에 가장 많이 쓰이는 핵심 함수 5가지를 소개합니다. 계산을 한 번에 해주는 ARRAYFORMULA 함수부터 VLOOKUP, FILTER, QUERY와 같은 조건 검색 함수, 그리고 여러 파일을 연결시켜 주는 IMPORTRANGE 함수까지 설명합니다. 기본적으로 구글 스프레드시트에서 제공하는 함수들은 아래 사이트에서 전부 확인해 볼 수 있습니다. 본 블로그에서는 실무에서 가장 많이 사용하는 '조건에 맞는 데이터를 가져와 분석하는 함수'를 다루겠습니다. Google Sheets 함수 목록 1. 구글 스프레드시트 효율 끝판왕 함수 : ARRAYFORMULA 함수 : ARRAYFORMULA(배열 수식) ARRAYFORMULA 함수는 배열 연산을 수행하기 위해 설계된 함수입니다.. 2023. 8. 27.
A/B 테스트 설계 및 방법과 유의 사항 with 실무예제 목차 1. A/B 테스트 설계 방법 2. A/B 테스트 설계 시 유의사항 3. A/B 테스트 결과를 분석하는 방법 3-1. A/B테스트 계산기 3-2. 테스트 비용과 효과 크기 💡 A/B 테스트란? 두 개의 변형 A와 B를 사용하는 종합 대조 실험. 두 가지 서로 다른 옵션에 대한 사용자의 반응을 측정함으로써 어떤 옵션이 더 효과적인지를 검증하는 과정이다. 1. A/B 테스트 설계 방법 가설 : A/B테스트의 출발점은 가설. 가설은 독립변수와 종속 변수가 무엇인지를 정의하고 종속 변수의 목표 수준을 정하는 형태로 이뤄진다. 실험 집단/통제 집단 : 전체 모수 중 실험 조건에 할당되는 사용자들을 어떤 기준으로 구분하고, 어떤 비율로 할당할 것인지 정의해야 한다. 가장 중요한 정차는 통제 변수 관리와 엄격한.. 2023. 8. 14.