TIL

1월 2주차 정리 html에서 표 가져오기 | 디렉토리 내 파일 탐색 | 파일 확장자 검사 | 사용자 정의 예외처리 | 디렉토리 내 모든 데이터프레임 합치기 | 데이터프레임 정렬 및 인덱스 초기화 | 로..

html에서 표 가져오기 및 데이터프레임으로 만들기 import pandas as pd url='https://naver.com/......' # 이와 같은 url 주소 table = pd.read_html(url, header=0, encoding='utf-8') # 해당 http 문서에 있는 table 들을 모두 가져온다. print(table[1]) # 인덱스를 사용해 원하는 테이블에 접근 가능 table2 = pd.read_html(url, match = '국가', header=0, encoding='utf-8') # 해당 문서에 있는 table 중 특정 문자열을 포함하는 표만 가져온다. print(table2[0]) #위 조건에 만족하는 표가 하나였어도 리스트안에 데이터프레임이 들어있는 형태로 ..

01.08 vi 문자열찾기 | 환경변수 추가 | 리스트간집합연산

vi 에서 문자열 찾기 :/ 찾을문자열 -> 현재 커서 위치에서 아래쪽으로 문자열 탐색 :?찾을문자열 -> 현재 커서 위치에서 위쪽으로 문자열 탐색 그 다음 문자열를 탐색(계속 탐색)을 하려면 소문자 "n" 을 누르면 되고 이전 문자열를 탐색(계속 탐색 - 역방향)을 하려면 대문자 "N"을 누르면 된다. 리눅스 환경변수 추가 export PATH=$PATH:새로등록할프로그램이위치한주소 리스트간 차집합 lst1 = ['A', 'B', 'C', 'D'] lst2 = ['C', 'D', 'E', 'F'] complement = list(set(lst1) - set(lst2)) print( complement ) # ['B', 'A'] complement = list(set(lst1).difference(lst..

01.04 requests.get.status_code | read_csv | to_csv | 파이썬 병렬 컴퓨팅 | list&dict -> dataframe | fake_agent

requests.get(url).status_code ok : 200 too many requests : 429 404 : not found 502 : Bad gateway csv 파일 열기 pd.read_csv import pandas as pd pd.read_csv("./testFile.csv", index_col=0) # index_col=0 -> Unnamed:0 컬럼 없이 csv open csv 파일 저장 import pandas as pd time_pd = pd.DataFrame(0., columns=col, index=time_range) time_pd.to_csv("filename.csv") 파이썬 병렬 프로그래밍 - concurrent.future from concurrent.future..

01.01 datetime | pass vs continue | 예외처리 | json.dump | 파이썬 API 호출 | Thunder Client

datetime import datetime print(datetime.datetime.now()) # 2020-01-07 15:40:15.087337 현재시각출력 now = datetime.datetime.now() print(now.year) # 2023 print(now.month) # 1 print(now.day) # 1 print(now.hour) # 15 print(now.minute) # 40 print(now.second)# 15 print(now.microsecond) # 087337 print(now.strftime('%Y-%m-%d')) # 2023-01-01 print(now.strftime('%H:%M:%S')) # 15:40:15 print(now.strftime('%Y-%m-%..

12.30 pow | 원형큐 | ASCII | reduce

pow(x,y) x의 y 제곱의 값을 float 로 반환 deque.rotate(x) 큐를 회전시켜 큐의 시작 원소를 변경(인덱스 조정) queue=[1,3,5,6] queue.rotate(1) print(queue) # [6,1,3,5] 우로 1 회전 queue.rotate(-2) print(queue) # [3,5,6,1] 좌로 1 회전 ord(문자) chr(숫자) 문자를 ASCII 넘버로, ASCII 넘버를 문자로 reduce 리스트의 원소들의 총 합을 구할때 sum을 쓰는것처럼, 리스트 원소들의 사칙연산의 값을 구할때는 reduce 를 쓰자 from functools import reduce array=[2,3,4,5] res= reduce(lambda x,y:x*y,array) print(res..

12.28 defaultdict | setrecursionlimit | 큰수 계산

defaultdict from collections import defaultdict graph = defaultdict(list) graph[s].append(e) 재귀 깊이 제한 sys.setrecursionlimit(10**8) 큰수를 여러번 계산 + 나머지만 구해라 → 계산 중간중간을 나눠서 작은 수로 저장해라

12.27 set | sort | deque

set add,remove,update 정렬 list.sort(), sorted(list) from collections import deque queue= deque(list) queue.popleft() queue.append()