from IPython.core.display import display, HTML
display(HTML("<style> .container{width:90% !important;}</style>"))

import pandas as pd
import numpy as np

# 임의의 데이터프레임 생성
df = pd.DataFrame( [ [np.nan, 2, np.nan, 0], 
                     [3, 4, np.nan, 1],
                     [np.nan, np.nan, np.nan, 5] ],
                                 columns = list('ABCD') )
df

# 전부다 Null인 컬럼 drop
df.dropna(axis=1, how= 'all') 

# 하나라도 Null이 있는 컬럼 drop
df.dropna(axis=1, how= 'any') 

# 전부다 Null인 열 drop
df.dropna(axis=0, how='all')

# 하나라도 Null이 있는 열 drop
df.dropna(axis=0, how='any')

# 결측치 0으로 채우기
df.fillna(0)

# 딕셔너리를 사용해서 컬럼별로 지정값으로 채우기
values = { 'A' : 0, 'B': 1, 'C': 2, 'D': 3}
df.fillna(value=values)

# 결측치를 중앙값으로 채우기
fill_na_value = df['D'].median()
df.fillna(fill_na_value)

# 컬럼별로 결측치 데이터 갯수 확인
df.isnull().sum() 

# 컬럼별로 결측치가 아닌 데이터 갯수 확인
df.notnull().sum()

from IPython.core.display import display, HTML
display(HTML("<style> .container{width:90% !important;}</style>"))

import pandas as pd
import seaborn as sns
import numpy as np

# 예제 데이터셋 불러오기
df = sns.load_dataset('iris')
df.shape

df.head()

# 카테고리형 변수가 각 값별로 데이터가 얼마나 있는지 확인
df['species'].value_counts() 

# value_counts() 한 것을 데이터 프레임으로 넣기
df['species'].value_counts().to_frame()
# pd.DataFrame(df['species'].value_counts()) 도 같은 결과

# 데이터 프레임의 행수 확인
len(df)
# df.shape[0] 도 같은 결과

# 변수의 유니크한 값 개수
df['species'].nunique() 

# describe()를 사용해서 기본 통계값들을 확인할 수 있다.
df.describe()

# include = 'all' 인자를 넣어주면 categorical 변수에 대한 값인 unique, top, freq도 조회할 수 있음
df.describe(include='all')

# 문자형(카테고리형) 변수에 대한 통계값을 조회할 수 있음
df.describe(include=[np.object])

# 수치형 변수에 대한 통계값을 조회할 수 있음
df.describe(include=[np.number])

# 해당 컬럼의 값 합계
df['petal_width'].sum()

# 해당 컬럼의 null이 아닌 행의 수
df['petal_width'].count()

# 해당 컬럼의 중위수
df['petal_width'].median()

# 해당 컬럼의 평균값
df['petal_width'].mean()

# 데이터 프레임 각 컬럼의 평균값
df.mean()

# 4분위수 확인하기
df.quantile([0.25, 0.75])

# 데이터 프레임 각 컬럼의 최댓값
df.max()

# 데이터 프레임 각 컬럼의 최솟값
df.min()

# 데이터 프레임 각 컬럼의 분산
df.var()

# 데이터 프레임의 각 컬럼의 표준편차
df.std()

# 임의의 함수 설정
def smp(x):
    # 뒤에서 세번째까지의 문자를 가져오는 함수
    x = x[-3:]
    return x 

# lambda 익명함수 적용
df['species_3'] = df['species'].apply(lambda x : x[:3]) 

# 설정해둔 함수 적용
df['species_4'] = df['species'].apply(smp) 

df.head()

from IPython.core.display import display, HTML
display(HTML("<style> .container{width:90% !important;}</style>"))

import pandas as pd
import seaborn as sns

# 예시 데이터 불러오기
df = sns.load_dataset('iris')
print(df.shape)
df.head()

columns = ['sepal_length', 'sepal_width', 'species']
df[columns].head()

# 이 방식에서는 한글이나 특수문자가 들어간 컬럼명을 쓸 수 없음
df.sepal_width.head() 

df['sepal_width'].head()

df.filter(regex='\,').head(3)

df.filter(regex='length$').head(3)

df.filter(regex='_').head(3)

df.filter(regex='^sepal').head(3)

df.filter(regex='^(?!species).*').head(3)

df.filter(regex='^x[1-5]$').head(3)

df.loc[2:5, 'sepal_width':'petal_width']

df.iloc[2:5:,  1:3]

df.loc[df['sepal_length']>3 , ['sepal_length','sepal_width']].head()

from IPython.core.display import display, HTML
display(HTML("<style> .container{width:90% !important;}</style>"))

import pandas as pd
import numpy as np

# 데이터프레임 생성
df = pd.DataFrame(
                            {'a' : [4, 5, 6], 
                             'b' : [7, 8, 9],
                             'c' : [6, 9, 12]},
                            index = pd.MultiIndex.from_tuples( [('d', 1), ('d', 2), ('e', 2)] ,
                                                                                     names = ['n', 'v'] )
                                )

df

# 기본적으로  <, >, = 와 같은 연산자를 이용하면 아래와 같이 불린 값이 반환된다.
df['a'] < 6

# True로 값을 반환한 행에 대해서만 데이터를 불러온다.
df[df['a'] < 6]

# 중복된 행을 가지는 임의의 데이터프레임 생성
df = pd.DataFrame(
                {'a' : [4, 5, 6, 6 ],
                 'b' : [7, 8, 9, 9],
                 'c' : [6, 9, 12, 12]},
                index = pd.MultiIndex.from_tuples(
                                    [('d', 1), ('d',2), ('e', 2), ('e', 3)],
                                    names = ['n', 'v']    )
                                )
df

# drop_duplicates을 수행하면 중복된 행을 제거해준다
df.drop_duplicates()

# 하지만 위의 코드를 실행 후 다시 데이터프레임을 불러오면 중복된 값이 그대로 살아있다.
df

# 결과를 데이터프레임에 적용하려면 아래와 같이 괄호 안에 inplace = True 추가하면 된다.
# df.drop_duplicates(inplace=True)

# 하지만 권장되는 방법은 아니며 주로 아래와 같이 기존 데이터 프레임에 덧씌우는 방식을 사용
df = df.drop_duplicates()

# 중복데이터가 제거된체 데이터프레임이 저장되었음을 확인할 수 있다.
df

# 예시데이터 불러오기
import numpy as np

df = pd.DataFrame(
                {'a' : [4, 5, 6, 6, np.nan ],
                 'b' : [7, 8, 9, 9, np.nan],
                 'c' : [6, 9, 12, np.nan, 12]},
                index = pd.MultiIndex.from_tuples(
                                    [('d', 1), ('d',2), ('e', 2), ('e', 3), ('e', 4)],
                                    names = ['n', 'v']    )
                                )
df

df['a'] < 5

df['b'] != 7

df['a'] == 5

df['a'].isin([5])

pd.isnull(df)

# isnull() 과 sum() 을 같이 활용해서 null 값의 수를 셀 수 있다.
df['a'].isnull().sum()

pd.notnull(df)

# isnull() 과 any()를 동시에 사용해서 null 값이 하나라도 있으면 True를 반환
df.isnull().any()

# isnull() 과 all()를 동시에 사용해서 모두 null 값이면 True를 반환
df.isnull().all()

# ~ 는 not 의 의미로 아래에서는 결국 Null이면 True를 반환
~df['a'].notnull()

# 데이터프레임에서는 and를 쓸 수 없고 & 를 사용해야함
df[(df['b']==7) and (df['a'] ==4) ]

df[ (df['b']==7) & (df['a'] ==4) ]

# 최초 n행 조회하기 (default는 5행)
df.head(2)

# 마지막 n행 조회하기 (default는 5행)
df.tail(2)

# 전체 데이터프레임에서 특정 비율만큼 샘플링하는 것
df.sample(frac=0.5) 

# 하지만 코드를 실행할 때마다 다른 샘플이 나옴
df.sample(frac=0.5) 

# 아래와 같이 난수값을 설정함으로써 일관된 샘플을 할 수 있다.
df.sample(frac=0.5, random_state=5) 

# 샘플 갯수 설정
df.sample(n=3)

# df.iloc[인덱스 시작: 인덱스 끝]
# iloc로 조회를 할 떄 인덱스 끝의 바로 앞 데이터까지만 조회가 된다.
df.iloc[2:4]  

# 콜론 앞에 아무것도 입력하지 않으면 첫 데이터부터 조회
df.iloc[:4]

# 음수값을 입력하면 뒤에서 몇번째인지를 나타냄
# 아래 코드는 뒤에서 두번째 행부터 끝까지 조회
df.iloc[-2:]

# df.iloc 
df.iloc[2:4, 1:]

# 샘플 데이터프레임 생성
df = pd.DataFrame(  { 'a' : [1, 10, 8, 11, -1],
                             'b' : list('abcde'),
                             'c' : [1.0, 2.0, np.nan, 3.0, 4.0]}  )
df

# 가장 큰  a 값을 가진 행 조회
df.nlargest(1, 'a')

#  a 값이 큰 순서대로 상위 3개 행 조회
df.nlargest(3, 'a')

# 문자열에는 사용할 수 없음
df.nlargest(2, 'b')

#  a 값이 작은 순서대로 상위 3개 행 조회
df.nsmallest(3, 'a')

from IPython.core.display import display, HTML
display(HTML("<style> .container{width:90% !important;}</style>"))

import pandas as pd

# 인덱스 옵션을 넣지 않으면 행 인덱스가 0부터 생성
df = pd.DataFrame(
                {'a' : [4, 5, 6],
                 'b' : [7, 8, 9],
                 'c' : [10, 11, 12]},
                )

df

# 인덱스 값을 입력해서 내가 원하는 임의의 인덱스 값을 설정할 수 있다.
df = pd.DataFrame(
                {'a' : [4, 5, 6],
                 'b' : [7, 8, 9],
                 'c' : [10, 11, 12]},
                 index = [1, 2, 3]
                )

df

# 하나의 컬럼만 불러오기
df['a']

# 두 개 이상의 컬럼을 불러올 때는 대괄호 안에 리스트 형식으로 불러온다.
df[ ['a','b'] ]

# 행(혹은 인덱스) 기준으로 데이터를 불러올 때는 df.loc[인덱스] 를 사용
df.loc[2]

# df.loc[인덱스, 컬럼명] 을 사용해서 특정 행, 열의 데이터를 불러올 수 있다
df.loc[2, 'a']

# 이 때 복수의 행과 열을 조회할 때는 행과 열을 각각 리스트 형식으로 적어주면 된다
df.loc[[1, 2], ['a', 'b']]

# 리스트를 사용하여 데이터프레임을 만들 때, 컬럼명 옵션을 입력하지 않으면
# 0부터 순서대로 컬럼명이 만들어진다
df = pd.DataFrame(
                [ [4, 5, 6],
                  [7, 8, 9],
                  [10, 11, 12]],
                index = [1, 2, 3]
                )

df

# 때문에 리스트로 데이터 프레임을 만들 때 아래 처럼 컬럼명을 설정해주는 것이 보통
df = pd.DataFrame(
                [ [4, 5, 6],
                  [7, 8, 9],
                  [10, 11, 12]],
                 index = [1, 2, 3],
                columns = ['a', 'b', 'c']
                )

df

# 복수의 인덱스를 만들어 줄 수도 있음 (pd.Multiindex 사용)
df = pd.DataFrame(
                            {'a' : [4, 5, 6], 
                             'b' : [7, 8, 9],
                             'c' : [6, 9, 12]},
                            index = pd.MultiIndex.from_tuples( [('d', 1), ('d', 2), ('e', 2)] ,
                                                                                     names = ['n', 'v'] )
                                )

df