Dev/Python
-
[python] 파이썬 데이터 분석 - 시계열 데이터 (pandas 활용, 시각화)Dev/Python 2023. 1. 16. 02:35
시계열 데이터 순차적인 시간 흐름으로 기록된 관측치 집합 고정된 시간 구간 Pandas 시계열 데이터를 위한 DatetimeInex 자료형 제공 년, 월, 일 문자열 데이터 -> DatetimeIndex 변환 (pd.to_datetime()) pd.DataFrame.plot() 이용 시각화 Pandas이용한 Resample 시간 간격 재조정 Down-sampling : 원래의 데이터가 그룹으로 묶여 대표 값 필요 (ex. 일별 데이터 -> 월별 데이터) Up-sampling : 실제로 존재하지 않는 데이터를 만듦. (ex. 월별 데이터 -> 일별 데이터) HTML 삽입 미리보기할 수 없는 소스
-
[python] 파이썬 데이터 분석 - 데이터 병합, 그룹화 (pandas 활용)Dev/Python 2023. 1. 16. 02:24
데이터 병합 공통키를 가진 두 개의 DataFrame을 하나로 만드는 것 방식 : Inner Join, Outer Join, Left Join, Right Join Pandas의 merge(), join() 사용하여 병합 구현 가능 Pandas의 Index 기준으로 병합이 이루어지기도 한다. Inner Join key 값이 A, B에 모두 존재해야 병합 가능 일치하는 key 값 없다면 결과 테이블에 포함되지 않는다. Outer Join 공통된 값이 아닌 부분까지도 같이 병합 Key 값이 한쪽에만 있어도 결합 가능 정보 없는 경우에는 결측 (NaN) 처리 양쪽 Dataframe의 모든 정보를 하나로 묶어서 가져온다. Left Join 왼쪽 Dataframe (A)의 Key 값을 모두 포함 우측 Datafr..
-
[python] 파이썬 데이터 분석 - 데이터 조작 (pandas, numpy 활용 - 데이터 조작, 변경)Dev/Python 2023. 1. 16. 01:56
이전 글 아나콘다 python 가상 환경 설정 [python] 파이썬 데이터 분석 1. anaconda 환경 설정 명령어 추후 AI 관련 학습에 앞서, 파이썬의 pandas, numpy 라이브러리를 이용해 실습해 보며 데이터 분석을 공부해보려고 합니다. Anaconda 가상 환경 설정 및 Jupyter notebook 설치 Anaconda : 데이터 처리, 분석을 keydi.tistory.com 데이터 선택 파이썬으로 데이터 조작 시, Numpy와 pandas 라이브러리를 주로 사용한다. Numpy 다차원 배열 자료구조를 사용하여 데이터 조작시 주로 사용 파이썬 리스트에 비해 빠른 속도와 좋은 메모리 효율 선형대수 연산 쉬운 데이터 배열 처리 축(axis)에 따른 집계 연산 pandas 스프레드 시트를 ..
-
[python] 파이썬 anaconda 환경 설정 명령어Dev/Python 2023. 1. 16. 01:05
추후 AI 관련 학습에 앞서, 파이썬의 pandas, numpy 라이브러리를 이용해 실습해 보며 데이터 분석을 공부해보려고 합니다. Anaconda 가상 환경 설정 및 Jupyter notebook 설치 Anaconda : 데이터 처리, 분석을 위해 여러 패키지를 포함한 배포판 Jupyter notebook : 대화형 인터프리터로 웹 브라우저 기반 파이썬 개발 환경 $ conda info --envs - 가상환경 확인 $ conda create -n (가상환경이름) python=(사용할버전) - anconda의 envs 디렉토리에 생성한 가상환경이 생성된다. $ conda activate 가상환경이름 - 생성한 가상환경 활성화한다. $ conda install jupyter notebook pandas ..
-
[Python] 파이썬 웹 크롤링 - Selenium 이용한 트위터 자동 로그인 매크로 봇 만들기(2) - 다중 계정 로그인Dev/Python 2022. 12. 23. 04:23
Selenium 기초와 자세한 설명은 이전 게시글 참고해 주세요. [Python] 파이썬 웹 크롤링 - Selenium 이용한 트위터 자동 로그인 매크로 봇 만들기 파이썬 크롤링 추후 포트폴리오를 만들 때 웹 크롤링과 Ai를 활용한 웹서비스 프로젝트를 하고 싶다는 막연한 생각 중에 종강 후 여유가 있을 때 하나씩 공부해보면 좋을 것 같아 우선 크롤링부 keydi.tistory.com 지난 게시글에서 만든 트위터 자동 로그인에서 여러 계정을 한 번에 로그인할 수 있도록 간단하게 만들 봤다. 소스코드 패키지 # import necessary libraries import pyperclip # Copy + paste, 클립보드를 사용하기 위한 라이브러리 (웹 크롤링 봇 탐지 우회용) from selenium ..
-
[Python] 파이썬 웹 크롤링 - Selenium 이용한 트위터 자동 로그인 매크로 봇 만들기 (1) - 단일 계정Dev/Python 2022. 12. 22. 23:44
파이썬 크롤링 추후 포트폴리오를 만들 때 웹 크롤링과 Ai를 활용한 웹서비스 프로젝트를 하고 싶다는 막연한 생각 중에 종강 후 여유가 있을 때 하나씩 공부해보면 좋을 것 같아 우선 크롤링부터 정리해보려고 합니다. 이론위주보다는 실습을 통해 학습하는 것이 효율적이라 생각되어 트위터 자동 로그인 구현을 통해 Selenium 기초를 학습하고자 합니다. Selenium(셀레니움) 이란? 셀레니움은 자동 데이터 수집 등 브라우저를 사용하는 작업을 자동화시킬 수 있는 파이썬 패키지이다. 따라서 셀레니움을 이용하여 크롬 브라우저 자동 실행, 자동 반복 작업을 통해 자동 매크로 프로그램을 만들 수 있다. 크롬 드라이버(Chrome Driver) 설치 - 크롬 브라우저 동작을 위한 환경 설정 ChromeDriver - ..