TY_DataFullStack

In [ ]:# JSON : 서로 다른 프로그램 /서비스/ 어플리케이션 사이에# 데이터를 주고 받을 때 사용하는 양식 중 하나..# ==> 어떤 값은 뭐구요~~~, 그 값은 어떤 양식 해당!!!!# 파이썬의 리스트와 dict 상당히 유사함!!!!!# 실제 JSON 데이터 : 문자열로 작성된어 있는 text 데이트!!!# ---> 보면 양식이 거의 파이썬의 리스트, dict에 대응!!!# ---> re정규식을 활용해서 정보들을 추출해야하는데..,,# json양식은 파이썬의 자료형으로 변환해주는 패키지!!!# json 패키지를 사용(anaconda, colba 기본 패키지..)# 정규식안 써도 파이썬의 리스트./dict 값을 접근할 수 있도록 ..

PandasPandas가 메인으로 데이터를 핸들링 할때 주로 사용하는 패키지최근걸로 필터링하고 사용해라pandas 자료형 : Seires, DataFrame1차원 : Series2차원 : DataFrame3차원 : Pannel내가 처리할 자료들이 어떤 형식인지1D 을 표현하는 자료형 : Series→ 직접적으로 사용할 일은 거의 없음!!!Pandas를 개발한 사람들은 “차원”을 중심으로 여러 자료형!!!1차원 벡터 → Series type2차원 행렬 → DataFrame 자주 사용3차원 텐서 → Pannel Type동영상은 4차원의 데이터 → 전통적인 머신러닝의 한계차원축소가 필요함 → 데이터가 뭉개질수도 있음 → 잘 이용해라특징 : 인덱스를 내가 원하는 대로 ㅏㅁㄴ들 수 있음!원하는 정보로 접근도 가능..

In [ ]:# 잠시 리뷰# 1. 파이썬의 여러가지 자료형!# ==> 값 1개, 여러개의 값을# ==> 여러 개 값 : 리스트/튜플/문자열, Dict(k-v), set# 2. 반복 : for --> 주어진 여러개의 값을 돌려주는 역할!!!# : 필요한 값들을 만들어서 돌린다!!!# 3. 제어문 : if ~ else ~~ ( if~~elif ~~ elif ~~ else)# ==> 하나의 덩어리!!!!( 각기 조건을 분할의 개념!)# ==> 조건 작성에서 명확하게 작성!!!!!!In [ ]: In [ ]:# 문제) ["A","B","A","O","AB","AB","O","A","B","AB"]# 여러 사람들의 혈핵형의 정보를 수집하였습니다.# ..

In [ ]:# 문제) 한 점을 구성하는 x,y 좌표를 입력을 받아서# 이 점의 좌표가 (50,40), (50,80), (100,40), (100,80)# 꼭지점으로 하는 사각형의 내부에 있는지# 외부에 있는지를 판별하세요!!!!!!# ==> 의도 : 이 가장 기본적인 문제를 어떻게 코테형으로# 변형을 할지에 대한 가장 기본 단계!!!!!In [ ]: In [ ]:# part1) 사용자한테 좌표를 입력!!! + 예외입력없다고 가정!!x = int(input("x좌표를 입력하세요."))y = int(input("y좌표를 입력하세요."))# part2) 범위에 대한 지정 : 안쪽 or 외각 기준을 할지 선택!!!# ===> 좌표를 도입하면 in/out에 ..

In [ ]:# 문제) a = {"A":90, "B":80, "C":70}# 이 중에서 "B"의 점수를 출력하세요!!!!In [ ]:a = {"A":90, "B":80, "C":70}aOut[ ]:{'A': 90, 'B': 80, 'C': 70}In [ ]:a["B"]Out[ ]:80In [ ]:a["b"] # --> 오타, 대소문자, 공백 주의!!!# ==> key : Exact matcing!!!!---------------------------------------------------------------------------KeyError Traceback (most recent call last) in ()----> 1 a["b"]Ke..

In [ ]:# 문제 ) a = [1,2,3,4,5] 리스트가 주어졌을 때# ==> [1,3,5]의 리스트로 만들어 보세요!!!!# : 기존의 값들에서 필요한 조건에 맞는 값들만 필터링!!! In [ ]:# sol1) 내가 제거할 값들에 대해서 규칙이 있냐/없냐? yes# 규칙 : 홀수/짝수 판별# 살리는 값을 기준으로 한다면 : 홀수만 살리자!!# 2로 나눠서 나머지가 1인 모든 수 : %# ==> a의 모든 원소를 대상으로 규칙을 적용해봐야 함!!!# for문으로 롤링!!!!! In [ ]:a = [ 1,2,3,4,5]a Out[ ]:[1, 2, 3, 4, 5] In [ ]:b = []for i in a:..

In [ ]:# 문제 : a = ["one", "two","three","four"]로 되어 있는데# for문을 사용해서# b = ["one1","two2", "three3","four4"] 만들어보세요!! In [ ]:a = ["one", "two","three","four"]a Out[ ]:['one', 'two', 'three', 'four'] In [ ]:# 시도1) for & range : 정수인덱스 중심# 시도2) for & a의 값 자체로 돌리는 방법# ==> 2가지 모든 방식을 다 해보세요!!!! In [ ]:["one1","two2", "three3","four4"] Out[ ]:['one1', 'two2', 'three3', 'four4'] In [ ]:  In [ ]:# sol1) 내..

ExplainableAI(XAI)이란 : 사용자가 머신 러닝 알고리즘으로 생성된 결과와 출력을 이해하고, 신뢰할 수 있게 하는 일련의 프로세스 Explainable Boosting Machine (EBM)Model debugging - 내 모델이 이런 실수를 왜 하는지Feature Engineering - 내 모델을 어떻게 향상시킬건Detecting fairness issues - 내 모델이 공정성을 해치는지Human-AI cooperation - 내가 내 모델을 어떻게 이해하고 신뢰할수 있는지Regulatory compliance - 내 모델이 합법적인지High-risk applications - 헬스케어, 금융, 사법 마이크로소프트에서 만든 모델. GAM(일반화된 가중 모델?)을 통해랜덤포레스트, G..

Python Outlier Detection다변량 데이터에 적용가능한 이상치 탐지 방법들이 30여개 이상 구현되어 있는 라이브러리 이상치 탐지 학습용으로 좋아보인다. 1. Credit Card Fraud Detection 실습1.1 Data 소개이번 예제에서 사용할 데이터는 캐글에서 제공하는 신용카드 거래 데이터입니다.2일 동안 발생한 284,807건의 거래 중 492건이 사기 거래(0.172%)이고 변수는 PCA로 가공된 28개의 변수와 시간, 금액 그리고 타겟 클래스 변수가 있습니다.다른 모델을 사용하지 않고 PyOD의 간단한 알고리즘을 사용하여 사기거래를 이상치로 분류해보려고 합니다. 1.2 적용해 볼 이상치 탐지 알고리즘최대한 간단하고 명료한 방법론을 먼저 시도해보려고 합니다. 1.2.1. LOF..

밸런싱을 통해 다양한 레벨의 선형 SVM 분류기의 학습 효과를 위한 샘플링 메서드