시간에 따라 변경되는 과목 데이터를 동기화한다.

[3Juhwan]

개요

시간에 따라 원본 과목 데이터가 변경됩니다.

원본 과목 데이터는 SJPT(학사정보시스템)에서 크롤링해서 얻은 데이터를 의미합니다.
올클 DB에서 관리하는 과목 데이터는 사본 데이터라 할 수 있습니다.

문제 상황

매학기마다 학교는 SJPT에 과목을 등록합니다. 시간이 지남에 따라 원본 과목 데이터는 다음 이유로 변경됩니다.

• 과목이 폐강될 수 있습니다.
• 과목이 신설될 수 있습니다.
• 과목의 세부 정보가 변경될 수 있습니다. (eg. 교수명 변경, 과목명 변경 등)
• 그외에 파악하지 못한 변경이 있을 수 있습니다.

해결해야 하는 이유

• 과목 데이터는 올클 서비스에서 가장 중요한 데이터입니다.
• 사용자에게 최고의 서비스를 제공하기 위해서는 최선 과목 데이터가 확보되어야 합니다.
• 원본 과목 데이터를 확보하지 못한다면,
  • 삭제된 과목을 사용자에게 노출할 수 있습니다.
  • 신설된 과목을 사용자에게 서비스할 수 없습니다.

해결 아이디어

다음과 같이 원본 과목 데이터를 크롤링하여 동기화하면 어떨까요?

처리 조건	동작 내용
폐강된 경우	soft delete 수행 → subject.isDeleted = true 설정
신설된 경우	새 과목 추가 (insert)
과목 정보 변경	교수명, 과목명 등 변경 시 해당 필드 수정
기타 변경 사항	모든 변경 사항은 로그를 통해 모니터링

매일 오전 9시 30분에 위와 같이 동기화하고, 변경된 내용을 집계하여 추적할 수 있으면 좋겠습니다.
오전 9시 30분인 이유는, 수강신청 시간(오전 10시)가 되기 전에 직원들이 출근해서 과목 데이터를 변경할 수 있어서 입니다.
오전 9시 30분 ~ 오전 10시 50분 사이에 동기화 작업을 하면 되겠습니다.

변경된 내용을 집계하는 것은 진행하면 좋을 작업인데요. 집계 리포트에 포함될 내용은 아래와 같습니다.

📊 과목 변경 집계 리포트 (예시)

구분	건수	비고
전체 과목 수	2,400	동기화 시점 기준
신설된 과목 수	45	DB에 없던 과목 신규 추가
폐강된 과목 수	30	isDeleted = true 처리됨
정보 변경 과목 수	78	교수명, 과목명 등 주요 정보 수정
기타 변경 감지	12	원인 미상의 데이터 차이 → 로그 기록

🔍 정보 변경 세부 집계

변경 필드	변경된 과목 수	예시
교수명 변경	55	과목 ID: 12345 → 교수 A → B
과목명 변경	23	과목 ID: 67890 → “정보보호론” → “정보보안론”

⏰ 동기화 수행 정보

항목	내용
동기화 실행 시각	2025-08-01 09:30
동기화 소요 시간	약 2분 35초
로그 파일 경로	/logs/subject-sync-2025-08-01.log

[goldm0ng]

기존 크롤러의 과목 조회 로직에는 크게 두 가지 작업이 진행되었습니다.

1. 과목이 존재하지 않다가 생기면 추가합니다.
2. 과목이 존재했다가 폐강되면 soft delete로 삭제합니다.

그런데 주환님의 말씀처럼 시간에 따라 과목 데이터들의 상세 정보는 변동될 수 있습니다.
따라서, 과목 데이터 상세 정보 동기화의 필요성을 느꼈고, 해당 이슈에 대한 작업이 최근에 진행된 바 있습니다.

진행한 작업에 대해 간단하게 설명드리자면, 과목 데이터의 상세 정보(ex 강의 시간, 교수님 성함, 강의실)가 변경된 것이 감지되면 업데이트 해주는 로직을 추가했습니다!

자세한 내용은 해당 PR에서 확인해주세요. https://github.com/allcll/allcll-crawler/pull/14

[goldm0ng]

추가적으로, 변경 내역 집계하는 작업을 추후 해윤님과 의논 후 작업 할당해서 진행해보겠습니다!

[3Juhwan]

이미 구현한 부분이었군요 💯 좋습니다.
allcll-crawler#14 읽어보니까, 변경 내역을 로깅하는 코드도 보이네요 👍
그럼 아래 작업이 필요할 것 같아요.

• 과목 동기화 로직을 스케줄링하여 매일 수행
• allcll-crawler#14에서 구현한 부분에 대한 테스트 코드의 부재
• 변경 내역 로깅 구체화

과목 동기화 로직을 스케줄링하여 매일 수행

PR#14에서 추가한 로직을 매일 수행하도록 하면 되겠어요!
개발자가 매일 수동으로 하는 것보다 스케줄러로 자동화하면 운영이 쉬워지니깐요.

테스트 코드의 부재

PR#14에서 변경한 부분을 신뢰하기 어려운데요.
크롤러 코드엔 테스트 코드를 아예 작성하지 않고 있어요. 하지만 PR#14는 분명히 테스트가 필요한 코드에요.
그럼 어떻게 해야 할까요? 저는 2가지 방법이 떠올라요.

1. 크롤러 코드에 테스트 코드를 추가한다.
2. 크롤러 코드에는 "크롤링 로직"만 남기고, "그외의 로직"은 백엔드 코드로 옮긴다.

• "크롤링 로직"은 오직 학사정보시스템에 요청을 보내서 크롤링만 하는 kr/allcll/crawler/client에 포함된 코드들을 의미해요.
• "그외의 로직"은 "과목 데이터를 주기적으로 크롤링해서 동기화하는 로직", "여석 크롤링한 것을 담는 버퍼 클래스들"을 의미해요.

저는 2번이 유지보수에 용이하다고 생각해요.
크롤러 코드는 가볍게 유지하는 것이 좋다고 생각해요. 크롤러 코드를 서브모듈화 하고, private repo로 둔 것은 크롤러 로직을 외부로부터 숨기기 위함이에요.
현재는 크롤링 로직과 그외의 로직이 모두 크롤러 코드에 존재해요. 여기에서 유지보수성이 낮아지게 되는 것인데.
그외의 로직들, 예를 들면 과목 데이터를 주기적으로 크롤링해서 동기화하는 로직. 이런 것들은 계속해서 추가될 것으로 예상하는데, 그때마다 서브모듈을 업데이트해야 해요. 서브모듈은 관리가 제법 까다로워서 웬만하면 변경이 발생하지 않는 것이 좋다고 생각해요.

2번으로 하게 되면 백엔드 코드쪽에 PR#14에 대한 테스트 코드를 작성하면 되겠어요. 지금 2번 방식으로 가자는 것은 아니고, 추후에 변경하게 될 수 있다는 것을 전달하는 거예요.

변경 내역 로깅 구체화

아래 그림은 PR#14에 포함된 코드에요. 그림을 보면 삭제/추가/변경되면 로깅을 남기도록 되어 있어요.

현재 로깅은 변경이 일어난 과목 수만을 남기고 있는데, 제가 위 코멘트에 첨부한 것처럼 구체적으로 남기면 좋겠어요!
어떤 과목이 추가됐고, 어떤 과목이 삭제됐는지, 변경된 과목은 어떤 필드가 어떻게 변경되었는지요!
또, 로깅보다는 리포트를 만들어서 올클 메일로 전송하면 좋겠어요 ㅋㅋㅋ (희망사항입니다)