작동 순서 및 방식

1. 자동 수집 (5분마다)

IP: 서버 IP (프록시 미사용)

  1. 설정된 키워드 목록으로 디시인사이드 검색 API 호출
  2. 각 키워드별로 최대 10페이지까지 크롤링
  3. 마지막 검색 시간 이후의 새 글만 수집
  4. 기존 글과 병합 후 24시간 이내 글만 유지
  5. 결과를 DB에 저장 (status: unchecked)

2. 자동 댓글 (10분마다, 3개씩)

IP: 프록시 IP (IPRoyal rotating residential)

  1. unchecked 상태 글 중 가장 오래된 3개 선택
  2. Selenium 브라우저(프록시 적용)로 게시글 페이지 열기
  3. 게시글 제목/내용 추출
  4. OpenAI API로 댓글 생성 (가이드 반영)
  5. AI가 광고/스팸 판단 시 → 숨김 처리
  6. 댓글 작성 시도

3. 차단/캡차 재시도 로직

  1. 댓글 게시 시 IP 차단 또는 캡차 감지
  2. 브라우저 종료 → 새 브라우저 생성 (새 프록시 IP 자동 할당)
  3. 같은 글에 대해 최대 3회 재시도
  4. 3회 모두 실패 시 → 실패 처리 후 다음 글로 진행

참고

IPRoyal rotating proxy는 새 연결마다 자동으로 다른 한국 IP를 할당합니다. 브라우저를 재생성하면 새 IP로 전환됩니다.

4. 프록시 적용 구조

기능 IP 방식
키워드 크롤링 서버 IP requests.get
게시글 열기 (댓글용) 프록시 IP Selenium (--proxy-server)
댓글 작성 프록시 IP Selenium / requests.Session
OpenAI API 호출 서버 IP requests.post

5. 게시글 상태 흐름

unchecked → 수집됨, 아직 처리 안됨

checked → 댓글 작성 완료

hidden → AI 판단으로 스킵 또는 내용 없음

[차단] → 3회 재시도 후 IP 차단으로 실패

[캡차] → 3회 재시도 후 캡차로 실패

[게시실패] → 기타 오류로 실패