맛있는 개발 레시피

안녕하세요~! Json 형태를 가공하느라 잠깐 문자열로 형변환 후 다시 원 Json 파일에 붙이려니 문자열 그대로 따옴표가 붙어버리더랍니다..ㅠ 아래와 같은 형태로.. # Before "{"apple": "fruite", "monkey":"animal"}" # After {"apple": "fruite", "monkey":"animal"} 이런 경우 따옴표가 제거된, 딕셔너리 형태로 원복해주는 내장형 함수가 있습니다. from ast import literal_eval literal_eval 내장함수 import 해주시고 아래와 같이 사용해주시면 형 변환 되어 따옴표가 제거되게 됩니다. literal_eval(dict) 해피코딩 하세요~!!!! ;D

최근 회사에서 자동화 업무를 요청받았습니다!! (너무 기분 좋습니다ㅠㅠ) 경우의 수를 모두 아우를 수 있는 코드를 짜야하는데 for을 여러개 쌓아 직접 만들어보려 했는데 검색해보니 편한 라이브러리가 있었습니다, itertools라는 라이브러리고 내장 함수입니다. from itertools import * 로 간단히 import 받으시면 됩니다. 1. 순열(Permutation) 순서는 있으나 중복 없는 모든 경우의 수를 나열합니다. 2는 dataset에서 2개를 뽑아 리스트를 만들어주는 역할을 합니다. dataset = ['A', 'B', 'C'] printList = list(permutations(dataset, 2)) print(printList) # 결과값 # [('A', 'B'), ('A', '..

매일 잘 동작하던 코드가 어느날 갑자기 작동이 안됩니다... 일해야 하는데 코드는 말을 듣지 않고, 분명 패키지는 설치 되어 있음에도 불구하고 계속 같은 에러만 토해냅니다.. ModuleNotFoundError: No module named pip3 install로 재설치 해보지만, Requirement already satisfied로 이미 설치 되어 있다고만 합니다. 같은 코드로 다른 컴퓨터에서는 문제 없이 동작하는데, 집에서 사용하는 컴퓨터에서만 동작하지 않는지 몰라서 구글 신께 빌고 빌었습니다. 일단 코드 자체에는 문제가 없고 의외로 간단한 부분에서 틀어진 것으로 생각했는데 맞았습니다. 일단 첫번째로 체크헤 보아야 한다고 생각한 것은 다음과 같습니다 1. 내가 설치한 라이브러리의 전역설정 체크 파..

회사에서 API를 사용해서 내가 구축한 DB에 파싱하고자 한다. 그럼 사람이 일일이 작업해서 적재하는 공수를 많이 줄이게 될것이다..! 첫번째로 해야할 일은 파이썬으로 API를 끌고와서 데이터를 받아보는것이고, 해당 건은 완료 및 csv 형태로도 import 가능하게 짰다. 이제 json response도 자유롭게 받을 수 있게 되었으니, 이 데이터를 DB에 자동으로 파싱 및 적재할 수 있게끔 로직을 짜려고 했는데, 일단 DB가 있어야 뭘 넣든말든 할게 아닌가. DB를 고르는데 현재 회사 내 개발 업체에서는 mysql을 사용중이고, GUI로는 workbench를 사용하고 있는데, 아무래도 회사 데이터이다보니까 mysql을 사용하기는 조금 그렇고, 또 마리아DB가 무료라고 그래서 마리아 DB를 선택했다. ..

'unicodeescape' codec can't decode bytes in position 2-3: truncated \UXXXXXXXX escape 앞에 r을 붙여주면 해결!

오늘 공부한 것 Json 직렬화/역직렬화 파이썬 내 내장된 모듈 사용하여 json 응답받은 형식을 객체화 혹은 문자열화 할 수 있음 직렬화 : 객체 > 문자열 (dump) 역직렬화 : 문자열 > 객체 (json_string) cURL 형식을 파이썬 코드로 변환 후 API로 호출 가능 cURL을 선택한 이유 XML, Json, cURL 셋 중 계정 토큰 정보 모두 포함해서 호출하기 쉬운 형태로 cURL 선택 이후 XML 호출 연습 예정 cURL 내 JSON response 형태 변경 필요 없음 데이터 수정 요청시, jSON 형식 그대로 요청받기 때문에 이후 기간 혹은 report suite 등 request문 내 파라미터 수정이 필요할 때 유동적으로 변경하고자 함 API 개념 정립 클라이언트가 회사 서비스..

**피가되고 살이되는 3시간 삽질 여정 기록 내가 예상한 시나리오는 이렇다. cURL을 JSON 형식으로 요청 후 파싱해서 DB에 적재 후 데이터를 가공하고자 하는데, API 요청 후 받은 응답을 처리하는 데 있어 애를 먹었다. 받은 응답은 분명 json 형태인데, 해당 객체를 직렬화 해야 가공이든 무엇이든 할까 싶어 json.dumps로 직렬화를 하려 했으나, 해당 에러를 계속해서 만났다.. TypeError: Object of type Response is not JSON serializable (직렬화 : 객체 > 문자열 역직렬화 : 문자열 > 객체) 찾아보니, json 모듈 호출 시에 해당 객체를 돌면서(iteration) 내부 value를 string으로 변환하는 작업을 거쳐야 하는데, 내부에 ..

Json 파일의 경우 응답 받은 결과값을 파싱해 주는 과정을 거쳐야 하는데, 파싱을 하기 위해서는 역직렬화 ( deserialization ) 과정이 필요하다. 1. Json 직렬화 - 객체를 문자열로 변환 json_string = json.dumps(post_list) 2. Json 역직렬화 - 문자열을 객체로 변환 json.loads(json_string)

Syntax Error: EOL while scanning string literal 파이썬의 경우 enter키가 들어가게 되면 OS가 다른 커맨드 라인으로 인식하게 되기 때문에 \ 혹은 """ """ 로 묶어주기

회귀변수를 진행할 때는 학습(training)을 위한 데이터 집합이 필요하다. 이 학습 데이터 집합의 종속 변수값을 얼마나 잘 예측하였는지를 나타내는 성능을 표본내 성능 검증(in-sample testing)이라고 한다. 그런데 회귀분석 모형을 만드는 목적 중 하나는 종속 변수의 값을 아직 알지 못하고 따라서 학습에 사용하지 않은 표본의 대해 종속 변수의 값을 알아내고자 하는 것, 즉 예측(prediction)이다. 이렇게 학습에 쓰이지 않는 표본 데이터 집합의 종속 변수 값을 얼마나 잘 예측하는가를 검사하는 것을 표본외 성능 검증(out-of-sample testing) 혹은 교차검증(cross validation)이라고 한다. - (데이터 사이언스 스쿨 발췌) K겹 교차 검증이란 K-fold란 데이터..