[robots.txt 설정법]

Cloudflare Workers로 robots.txt 연결하는 방법 총정리

✅ 목표

https://monovelstory.kr/robots.txt 주소에서 접근 가능하게 만들고,
검색엔진이 사이트를 올바르게 색인할 수 있도록 유도합니다.

🛠 Step 1. robots.txt 내용 작성 ( 코드에 작성해놨습니다. 쭉 따라오세요)

📝 설명

User-agent: * → 모든 검색엔진 크롤러 허용
Allow: / → 모든 경로에 대한 크롤링 허용
Sitemap: → 구글에 사이트맵 주소를 명시 (※ 실제 sitemap 주소 사용해야 함)

🛠 Step 2. Cloudflare Workers에 robots.txt 설정

이미 ads.txt를 설정했던 방식과 동일하게,
같은 Worker 파일 안에 robots.txt도 함께 추가하면 됩니다.

💡 하나의 Worker로 ads.txt + robots.txt 모두 대응

코드 수정 위치:

Cloudflare 대시보드 → Workers & Pages 클릭
사용 중인 워커 이름(예: winter-tooth-5a87) 클릭
상단 탭에서 Deployments 말고 Settings 옆의 ⋯ 또는 ✏️ 아이콘 클릭
혹은 우측 상단의 "Quick Edit" 버튼 선택 → 코드 에디터 열기

✏️ 아래 코드로 수정 후 발행까지 클릭!!

pub-본인아이디, 본인 블로그 주소로만 수정하시면 됩니다.


export default {
  async fetch(request) {
    const url = new URL(request.url);

    if (url.pathname === '/ads.txt') {
      return new Response(
        'google.com, pub-(본인아이디)012126675, DIRECT, f08c47fec0942fa0',
        { headers: { 'Content-Type': 'text/plain' } }
      );
    }

    if (url.pathname === '/robots.txt') {
      return new Response(
        `User-agent: *\nAllow: /\n\nSitemap: https://(본인주소)monovelstory.kr/sitemap.xml`,
        { headers: { 'Content-Type': 'text/plain' } }
      );
    }

    return new Response('Not found', { status: 404 });
  },
};

발행까지 마치셨다면

🛠 Step 3. /robots.txt 경로 라우팅 추가

Cloudflare 대시보드 > Workers & Pages > Domains & Routes > [+ Add] 클릭 후 아래 정보 입력:

항목 값

Zone	monovelstory.kr
Route	monovelstory.kr/robots.txt
Failure Mode	Fail closed (block)

✔️ 성공적으로 설정되면 /robots.txt 경로가 목록에 추가됩니다.
✔️ 브라우저에서 https://본인블로그주소/robots.txt 접속 시 텍스트가 보여야 완료입니다.

🧠 참고: 왜 robots.txt 설정이 중요한가요?

구분설명

🕷️ 크롤링 지시	검색봇에게 어떤 경로를 크롤링할지 알려주는 핵심 파일
🗺️ 사이트맵 연결	sitemap.xml 경로를 검색엔진에 알려 빠른 색인 유도
💰 애드센스 영향	로봇 접근 차단 시, 애드센스가 콘텐츠를 분석하지 못해 승인 지연 또는 실패 가능

이 설정을 통해 구독자님의 블로그는 검색 노출 최적화와 애드센스 수익 안정성 두 마리 토끼를 모두 잡을 수 있습니다.
다음 글에서는 sitemap.xml 관리 팁과 Search Console과의 연결 전략도 안내드릴 예정입니다.

검색 노출 최적화의 핵심. robots.txt와 sitemap.xml 설정하는 법”