Skip to content

cmman75/Open_data_R_with_Shiny

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

143 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

[Do it!] 공공데이터로 배우는 R 데이터 분석 with 샤이니

#--------------------------------------

  1. [25-02-26]

부록(화성시 교통카드 데이터 분석)에서 지도 시각화를 위한 라이브러리인 tmap에서 qtm 기능이 일부 변경되어 본 분석에 적용이 어렵게 되었습니다. 따라서 qtm 대신 leaflet 을 사용하여 분석하도록 수정 하였습니다 (교재 내 일부 기능 변경)

  1. [25-02-19]

교재 93 페이지(7장 시각화)의 rgdal 패키지 설치 에러는 무시하셔도 됩니다. 최근 rgdal 패키지가 cran 에서 삭제되었습니다(공식적으로 2023년 10월 이후 삭제). 해당 라이브러리를 사용하는 이유는 좌표계 설정 때문인데, 이는 다른 패키지에서 보완하고 있습니다. 따라서 해당 패키지 설치 없이도 교재 수행에 문제 없습니다.

  1. [25-01-12]

독자분의 제보를 통하여 chap. 5 의 카카오맵을 이용한 지오코딩이 안되는 현상을 발견하였습니다. 최근 카카오맵 API 신청 및 이용방식이 달라져서 교재의 방법이 적용되지 않습니다. 신규신청자의 경우 별도의 신청절차를 거쳐야 합니다 (기존 사용자는 그대로 사용 가능합니다). 신규신청자는 아래의 자료를 참고하시어 카카오 지오코딩을 이용하시면 됩니다. (https://github.com/cmman75/Open_data_R_with_Shiny/blob/main/250118_(%EC%B6%94%EA%B0%80)_%EB%B3%80%EA%B2%BD%EB%90%9C%20%EC%A7%80%EC%98%A4%EC%BD%94%EB%94%A9%20%EC%8B%A0%EC%B2%AD%EB%B0%A9%EB%B2%95.pdf)

또한 발표자료도 실수로 삭제된 것으로 나타나 수정보완본을 다시 업로드 합니다. https://github.com/cmman75/Open_data_R_with_Shiny/tree/main/%ED%8C%8C%EC%9B%8C%ED%8F%AC%EC%9D%B8%ED%8A%B8(01-12%EA%B0%95)

  1. [24-09-22]

독자분의 제보를 통하여 공공데이터 포털에서 제공하는 새로운 API가 기존의 코드와 맞지 않는다는 문제를 발견하였습니다. 요청 url이 달라졌기 때문에 03_자료수집.R 에서 csv 저장시 수집 지역명과 지역연월이 표시되지 않는 문제가 나타났습니다.

이에 교재 47 페이지의 [5단계] 응답 내역 저장하기 코드를 다음과 같이 변경하였습니다. 인증키 발급받으신 시기와 상관없이 모두 정상 작동되는 것을 확인하였습니다.

수정 이전
113: region_nm <- subset(loc, code== str_sub(url_list[i],195, 199))$addr_1 # 지역명 추출
114: month <- str_sub(url_list[i],210, 215) # 연월(YYYYMM) 추출

수정 이후
113: region_nm <- subset(loc, code == regmatches(url_list[i], regexpr("(?<=LAWD_CD=)[^&]*", url_list[i], perl=TRUE)))[,4] # 지역명 추출
114: month <- gsub(".DEAL_YMD=(\d{6}).", "\1", url_list[i]) # 연월(YYYYMM) 추출

또한 추가적으로 수집건수가 몇 건 안된다고 알려주시어 살펴본 결과, 최대 수집건수를 1,000건으로 지정하였습니다. 이 설정이 안되어 있을 경우 기본수집 건수가 한 지역에 10건으로 설정되어 자료가 제대로 수집되지 않는 문제가 있을 수 있습니다. 혹시 해당 지역에 1,000건 이상의 거래가 있을 경우 이 부분을 늘려주시면 됩니다.

50: "&numOfRows=", 1000

#--------------------------------------
11) [24-08-05]

독자분의 제보를 통하여 공공데이터 포털 API가 변경된 것을 알게되었습니다.
2024년 7월 17일자로 공공데이터 포털에서 제공하던 '국토교통부 실거래 자료' API 신규 활용신청이 중지되었습니다.
완전히 사용 중지된 것은 아니고 단순히 신규 가입이 막혔기 때문에 기존에 가입하여 사용하시던 분은 그대로 사용 가능하십니다.

요청 주소가 변경되어 일부 코드를 수정하여 재업로드 하였습니다.
2024년 7월 이후로 공공데이터 포털에 가입하시거나 API 활용 신청을 하시고자 하시는 분들은 새로운 API에 활용신청을 해 주셔야 합니다.
기존 API 신규 가입이 막혔으므로 교재 26 페이지의 '02-2 API 인증키 얻기' 대신 다음의 PDF 파일을 참조하여 API를 신청해 주십시요

https://github.com/cmman75/Open_data_R_with_Shiny/blob/main/202408_api%20%EC%8B%A0%EC%B2%AD%EB%B0%A9%EB%B2%95.pdf

2408_응용 스크립트_전국 부동산 데이터 분석_부산 사례도 새롭게 업데이트 하였습니다.

#--------------------------------------
10) [24-05-28]

공공데이터포털에서 아파트 실거래가 정보 구조가 일부 변경되어 '02_자료수집.R' 스크립트의 일부를 다음과 같이 변경하였습니다. (등기일자, 매도자, 매수자, 중개사 소재지 등이 새롭게 추가되어 데이터 항목이 또 다시 일부 변동되었습니다.) (독자분들의 제보로 변경사실을 알게 되었습니다. 감사합니다. !!!) 지금부터는 새로운 스크립트를 받아서 연습하여 보시면 됩니다.

데이터 항목이 추가되면서 위치가 계속 변동되고 있어서 달라질 때마다 새롭게 업데이트 하겠습니다.
이번 코드는 2024.05.08 기준입니다.

item_temp[1] # 거래금액
item_temp[2] # 거래유형
item_temp[3] # 건축년도
item_temp[4] # 거래연도
item_temp[5] # 행정동
item_temp[6] # 등기일지 => 신규추가 항목
item_temp[7] # 매도자 => 신규추가 항목
item_temp[8] # 매수자 => 신규추가 항목
item_temp[9] # 법정동
item_temp[10] # 아파트 단지명
item_temp[11] # 월
item_temp[12] # 일
item_temp[13] # 전용면적
item_temp[14] # 중개사 소재지 => 신규추가 항목
item_temp[15] # 지번
item_temp[16] # 지역코드
item_temp[17] # 층수
item_temp[18] # 해제사유 발생일 => 신규추가 항목
item_temp[19] # 해제여부 => 신규추가 항목

#--------------------------------------
9) [24-01-18] 전국분석 코드 최신 업데이트: 2401_응용 스크립트_전국 부동산 데이터 분석_천안시 사례

공공데이터포털의 아파트 실거래가 정보 구조 변경을 반영한 전국 부동산 데이터 분석을 업데이트 하였습니다. 이번 업데이트에는 천안시를 대상으로 실제 데이터 수집 및 분석 모든 코드 및 데이터가 반영되어 있으니, 다른 자치단체를 분석하고자 하시는 독자분들께서는 01_code 폴더 외 다른 폴더는 모두 지워주시고 분석하시면 될 듯 합니다. 이번 업데이트 역시, 독자분들의 요청사항으로 변경되었습니다. (용량 관계상 zip 파일을 6개로 쪼개서 올려 놓았습니다. 모두 다운 받으시고 압축 푸시면 됩니다.)

#--------------------------------------
8) [23-12-28]

공공데이터포털에서 아파트 실거래가 정보 구조가 일부 변경되어 '02_자료수집.R' 스크립트의 일부를 다음과 같이 변경하였습니다. (독자분들의 제보로 변경사실을 알게 되었습니다. 감사합니다. !!!) 지금부터는 새로운 스크립트를 받아서 연습하여 보시면 됩니다. 엑셀에서 csv 파일을 열어보았을 때 정렬이 잘 안되어 있는 것 같지만 끝까지 실행하여 보시면 정확하게 결과가 도출됩니다. (그리고 csv 파일을 여실 때 엑셀보다는 메모장을 추천해드립니다.)

--- 변경이후 스크립트 ---
item_temp_dt <- data.table(year = item_temp[4],
month = item_temp[8],
day = item_temp[9],
price = item_temp[1],
code = item_temp[13],
dong_nm = item_temp[6],
jibun = item_temp[12],
con_year = item_temp[3],
apt_nm = item_temp[7],
area = item_temp[10],
floor = item_temp[14])

#--------------------------------------
7) [23-12-06]

부록에 들어있는 화성시 교통카드 데이터 분석 예제 데이터에 문제가 생겨서 다시 업로드하였습니다. SBJ_2003_001.zip ~ SBJ_2003_001.z02 까지 세 개 파일을 다운받으시면 됩니다. 파일이 잘 안풀리는 경우가 있어서 원본 위치 링크 올려드립니다. 전체 다운받기로 다운 받으시면 됩니다.

https://compas.lh.or.kr/subj/past/data?subjNo=SBJ_1910_001

#--------------------------------------
6) [23-12-06]

전국 시군별 부동산 데이터 분석 서울 외 다른 지역의 데이터 분석을 원하시는 독자분들이 많아서 전국 시군별 분석 가능한 스크립트를 업로드 하였습니다. 깃허브에 분할 업로드 되어 있습니다. 2208_응용 스크립트_전국 부동산 데이터 분석.zip ~ 2208_응용 스크립트_전국 부동산 데이터 분석.z04 까지 다섯 개 파일 다운로드 받으시면 됩니다.

#--------------------------------------
5) [22-12-26]

공공데이터포털에서 API 신청하실때「아파트매매 실거래 상세 자료」가 아닌「아파트매매 실거래」를 신청하셔야 합니다.
다른 API를 신청하신 다음에 크롤링 하시면 SERVICE ACCESS DENIED ERROR가 나옵니다.

이 때 아래 링크에 있는「아파트매매 실거래」API를 신청하시면 정상 작동 될겁니다.
https://www.data.go.kr/tcs/dss/selectApiDataDetailView.do?publicDataPk=15058747

#--------------------------------------
4) [22-08-15]

독자분들께서 이메일로 문의하신 내용과 답변들을 정리하여 업로드할 예정입니다. https://github.com/cmman75/Open_data_R_with_Shiny/blob/main/13_%EC%A7%88%EB%AC%B8%EA%B3%BC%20%EB%8B%B5%EB%B3%80(Q%26A)

#--------------------------------------
3) [22-08-06]

챕터별 강의 PPT 업로드: 깃허브에서 파워포인트(01-12강).zip 다운로드 받으시면 됩니다.
https://github.com/cmman75/Open_data_R_with_Shiny/blob/main/%ED%8C%8C%EC%9B%8C%ED%8F%AC%EC%9D%B8%ED%8A%B8(01-12%EA%B0%95).zip

#--------------------------------------
2) [22-06-01]

전체 데이터.zip: 최종 완성본 파일을 원하시는 독자분들이 있어 압축파일을 올립니다.

#--------------------------------------

  1. [22-05-25]

    챕터별 스크립트 파일 업로드 하였습니다.

#-----#

@ 문의 또는 질문이 있으시면 아래 주소로 보내 주세요

김철민 cmman75@gmail.com

About

DO IT BOOK CODE

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages