Skip to content

[크롤링]데이터 수집 테스트 중 재료 태그가 다른 페이지 조금씩 존재 #6

@kkssbbb

Description

@kkssbbb

ISSUE

데이터 수집 테스트 중 재료 태그가 다른 페이지가 400개중에 10개정도 존재

  • 4만건 수집집 한다면 약 100개정도?

정상 재료 수집 태그

스크린샷 2024-03-13 오후 10 13 37

예외 태그 재료

스크린샷 2024-03-13 오후 10 07 30

재료 태그가 다른 페이지가 많지 않을꺼라고 판단하여 태그가 다른 요소는 예외처리 없이 로그만 띄우고 예외처리 예정

스크린샷 2024-03-13 오후 10 09 47

실제 닭복음탕 레시피 400개중 태그가 다른 게시글 번호들
스크린샷 2024-03-13 오후 10 11 34

https://www.10000recipe.com/recipe/3392979/ ← 요소 다른 레시피페이지

https://www.10000recipe.com/recipe/6889570 ← 일반적인 레시피페이지

아래 사진처럼 재료가 빈 오브젝트 존재

  • 빈요를 포함한 레시피 데이터 넣은 후 데이터 정제
  • 빈요소를 제외한 레시피데이터만 디비에 삽입
스크린샷 2024-03-13 오후 10 17 04 스크린샷 2024-03-13 오후 10 29 00

Metadata

Metadata

Assignees

No one assigned

    Labels

    크롤링크롤링 관련 이슈 태그

    Type

    No type

    Projects

    No projects

    Milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions