-api Beautifulsoup,selenium 보다 좋은 스크래이핑 도구 스크래이핑 할 때 가장 좋은 접근 방법이 api 오픈 api/ 클로즈 api 모든 정보에는 권한을 설정해놓음 윈도우가 권한을 가지고 있는 키보드나 마우스 입력 권한을 활성화되어 있는 크롬에게 넘겨주는 것. 하드웨어에서 작동한 정보를 현재 활성화된 오에스에 전달 하는 것(하드웨어와 소프트 웨어의 오에스가 다름에도 불구하고) rest API url 에 정보와 행동을 조합해서 사용자가 컨트롤 하는 것 예를 들어 포스트(회원 가입시 전달한 개인 정보를 홈페이지 상 회원 정보에 쌓기) url과 행동을 가지고 어떤 것을 요청할 수 있다. 웹에서 송금 요청과 앱에서의 송금요청의 요청과 결과물이 같음-> 범용성 url 에 정보를 요청하고 그 정보를 가지고 쌓을 것임 XHR- 데이터 관련 json subjects/? 이런거 주위 깊게 볼 것, XHR상 내가 찾고자 하는 데이터 제목에 해당되는 것을 찾는 게 중요함. Copy-copy link address 스크래핑 순서 -권한을 먼저 확인 할 것(로버스트로) robosts.txt
- 개발자 도구-> 네트워크 -> api
- 제이슨으로 제공되는 것이 없다면, 뷰티풀 숲이나 셀리늄 사용할 것