# cleave.work — 크롤러 규칙 # robots.txt 는 오리진당 하나(/robots.txt)만 유효하므로 규칙은 전부 여기에 둔다. # (seminar/robots.txt 는 크롤러가 읽지 않는다) # # 방침: 열어두고, 노출되면 안 되는 것만 골라 닫는다. # # 사이트 전체를 닫는 «Disallow: /» 를 쓰지 않는 이유가 하나 더 있다. # 페이지마다 붙여둔 noindex 는 크롤러가 그 페이지를 **읽을 수 있어야** 작동한다. # 크롤 자체를 막으면 noindex 를 읽지 못해, 외부에서 링크가 걸리면 오히려 # 주소만 검색 결과에 남는 일이 생긴다. 열어야 noindex 가 제 역할을 한다. # Meta 광고의 링크 미리보기(OG 스크랩) User-agent: facebookexternalhit Allow: / User-agent: facebookcatalog Allow: / # 일반 검색엔진 # · /seminar/i/t/ — 초청 인사말 데이터(JSON). 실명·회사·직책이 들어 있다. # 페이지가 아니라 데이터 파일이라 noindex 를 붙일 수 없으므로 여기서 막는다. # · /seminar/i/ «페이지 자체» 는 열어 둔다. 2026-08-19, 카톡으로 초청 링크를 보냈더니 # 미리보기 카드가 통째로 안 떴다. 카톡 스크랩 봇은 robots.txt 를 지키는데 이 경로가 # 막혀 있어 OG 를 읽지 못한 것이다. 라우터 페이지에는 개인정보가 없고(토큰은 쿼리스트링, # 인사말은 위 t/ 안에 있다) 페이지 자체에 noindex 가 붙어 있어 색인되지도 않는다. # · /_adcards/ — 광고 소재 이미지. 색인될 이유가 없다. # · 개인정보처리방침·옛 초청 페이지·광고 소재 미리보기는 각 페이지의 noindex 가 맡는다. User-agent: * Disallow: /seminar/i/t/ Disallow: /_adcards/ Allow: / # 네이버 검색로봇. 와일드카드 규칙으로도 통하지만, 네이버는 자기 이름의 규칙을 # 우선해서 읽으므로 같은 내용을 한 번 더 적어 둔다. User-agent: Yeti Disallow: /seminar/i/t/ Disallow: /_adcards/ Allow: / Sitemap: https://cleave.work/sitemap.xml