Im heedy

0. package install 먼저, python yaml 패키지가 설치되어야 합니다. !pip install PyYAML 1. yaml import 후 읽기 그 후, yaml를 import 한 후 읽습니다. import yaml with open('./parameter.yaml') as f: parameters = yaml.load(f, Loader = yaml.FullLoader) 2. parameter 지정 yaml file은 key와 value 값으로 구성되어 있기 때문에 key 값으로 value를 불러옵니다. learning_rate = parameters['learning_rate'] epoch = parameters['epoch']

- Scaler 저장 from pickle import dump from sklearn.preprocessing import MinMaxScaler mm = MinMaxScaler() # scaler 적용 mm.fit(df[['col']]) # scaler 저장 dump(mm, open('minmax_scaler,pkl', 'wb')) - Scaler 불러오기 from pickle import load scaler = load(open('minmax_scaler.pkl', 'rb'))

dataframe shuffle 시 df.sample(frac = 1) * frac - 0 ~ 1사이 비율 설정 시 해당 비율만큼 무작위 추출 frac = 1 은 표본 전체 무작위로 추출

- 자연상수 e, 지수표현 변환 소수점 자릿수 설정하여 지수표현을 float 형태로 변환 → 원하는 자릿수로 설정 가능 pd.options.display.float_format = '{:.5f}'.format - 다시 지수표현으로 변환 float형태를 지수표현으로 변경하는 것이 아닌, 원래의 표현 방식으로 재설정 pd.reset_option('display.float_format')

- 문자 치환 , 지우기 df = df.replace(',', '') ,를 !로 변경 df = df.replace(',', '!') 문자 중간에 있는 값 변경 : 문자 사이(ex: 123,125)에 변경하기 원하는 값이 있을 경우 regex option을 True로 설정해야 변경됨. ,를 *로 변경 → regex option 주기 df = df.replace(',','*', regex = True)

for문 진행 시 전역 변수를 일괄로 적용할 수 있는 함수입니다. 저는 주로 특정 문자로 시작하는 변수들로 이루어져 있는 데이터 프레임을 만들 때 사용합니다. 먼저, titanic 데이터를 불러옵니다. from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import accuracy_score from sklearn.model_selection import train_test_split, StratifiedKFold import pandas as pd # data load df = pd.read_csv('train.csv') df.head() 이제, 전역 변수를 설정합니다. 저는 A, P, C로 시작하는 변수들로 이루어진 데이터..

map 함수 사용 li = [1, 2, 3, 4] # string으로 타입 변경 li_str = list(map(str, li)) # int로 타입 변경 li_int = list(map(int,li))

데이터 원소 li1 = ['A', 'B', 'C', 'D'] li2 = ['C', 'D', 'E', 'F'] 1) 합집합 union = list(set(li1 + li2)) print(union) union1 = list(set(li1) | set(li2)) print(union1) union2 = list(set().union(li1, li2)) print(union2) 2) 교집합 inter = list(set(li1) & set(li2)) print(inter) inter1= list(set(li1).intersection(li2)) print(inter1) 3) 차집합 comp = list(set(li1) - set(li2)) print(comp) comp1 = list(set(li1).diffe..

DataFrame을 Data 기준에 대해 알아보겠습니다. - sort_values() titanic 데이터를 load 해줍니다. import pandas as pd # data load df = pd.read_csv('train.csv') Pclass 기준으로 데이터를 정렬합니다. option으로 by를 사용하여 기준 컬럼을 설정할 수 있습니다. df.sort_values(by = 'Pclass') Pclass 기준으로 오름차순 정렬이 됐습니다. Pclass 기준으로 내림차순 정렬을 하겠습니다. ascending = False로 설정하여 내림차순을 할 수 있습니다. df.sort_values(by = 'Pclass', ascending = False) - 다중 정렬 by option을 통해 다중 정렬도 ..

1개의 배열을 binary형태로 저장 import numpy as np li = ['a', 'b', 'c', 'd'] np.save('filename.npy', li) 저장한 배열 불러오기 li = np.load('filename.npy') ValueError: Object arrays cannot be loaded when allow_pickle=False가 뜬다면 (allow_pickle = True) option을 넣으면 해결 li = np.load('filename.npy', allow_pickle = True)