정지용
프로젝트 목록
백엔드

뉴스 크롤링 · 퍼블리싱 모노레포 플랫폼

크롤러, 러너, 퍼블리셔 등 5개 서브 프로젝트로 구성된 뉴스 데이터 수집·발행 워크스페이스

news-platform-monorepo-docs최근 업데이트 2026년 7월 26일

개요

뉴스 및 미디어 데이터를 수집하고 발행하는 파이프라인을 여러 서브 프로젝트로 분리해 관리하는 모노레포 워크스페이스입니다. 크롤러 API PoC 서버가 데이터 수집 기능을 검증하고, 크롤러 러너가 실제 수집 작업을 실행하며, 퍼블리셔/pub-sub 컴포넌트가 수집된 데이터를 다른 시스템으로 전달하는 역할을 담당합니다. 이 모든 구성 요소는 통합 워크스페이스 안에서 함께 관리되며, 배포 자동화를 위한 SSH 공개키 파일이 포함되어 있어 CI/CD 환경에서의 배포도 고려된 구조입니다. 본 저장소는 소스 코드가 아닌 공개용 기술 문서만을 담고 있습니다.

담당 역할

뉴스 플랫폼 모노레포의 전체 구조를 설계하고, 크롤러·러너·퍼블리셔 등 서브 프로젝트 간 역할을 분리하여 워크스페이스를 구성했습니다.

아키텍처 다이어그램

레포지토리 분석 결과를 바탕으로 자동 생성된 구조도입니다.

아키텍처

뉴스 플랫폼 모노레포 구조

모노레포 내 5개 서브 프로젝트가 어떻게 역할을 나누어 데이터를 수집하고 발행하는지 보여줍니다.

다이어그램을 그리는 중…

기술스택

각 기술을 이 프로젝트에서 어떤 용도로 썼는지 정리했습니다.

도구

  • Monorepo5개 서브 프로젝트를 하나의 워크스페이스로 통합 관리

백엔드

  • Pub/Sub퍼블리셔 컴포넌트가 수집 데이터를 구독자에게 전달하는 메시징 방식

DevOps

  • SSH배포 자동화 과정에서 공개키 기반 인증에 사용

핵심 포인트

  • 크롤러, 러너, 퍼블리셔를 별도 서브 프로젝트로 분리해 역할별 독립 배포가 가능한 구조
  • pub-sub 방식으로 수집 데이터를 발행해 후속 시스템과 느슨하게 연결
  • SSH 공개키 기반 배포 자동화 설정을 포함해 CI/CD 연동을 고려

레포지토리 정보

생성
2026년 7월 26일
최근 커밋
2026년 7월 26일
크기
0 KB
라이선스
없음

이 문서는 2026년 7월 26일 에 자동 분석으로 생성되었습니다.