AI 에이전트 웹 접근 차단, 자료 수집과 온라인 업무 대응법

AI 에이전트에 웹 자료 수집이나 온라인 업무를 맡길 때는 사이트의 접근 허용 여부부터 확인해야 합니다. 접근이 막힌 자료는 ‘내용 없음’이 아니라 ‘확인하지 못함’으로 남기고, 사람이 이어받을 단계와 완료 증거를 미리 정해 두세요. 자동화의 범위는 AI의 능력뿐 아니라 대상 사이트의 이용 조건과 접근 통제에도 영향을 받습니다.

사이트가 AI 접근을 막으면 무엇이 달라지나요?

웹사이트 운영자는 자동으로 자료를 읽는 프로그램인 크롤러의 접근을 선택적으로 허용하거나 차단할 수 있습니다. 실제로 Cloudflare는 운영자가 AI 크롤러별로 접근을 허용하거나 막는 기능을 안내합니다. 따라서 한 사이트에서 수집이 됐다는 이유로 다른 사이트에서도 같은 작업이 된다고 가정해서는 안 됩니다. Cloudflare의 AI 크롤러 관리 안내

의미: 접근 제한은 조사 범위와 완료 판단에 영향을 줍니다

여기서 자료를 읽는 크롤러와 여러 단계를 수행하는 업무 에이전트를 구분해야 합니다. 특정 크롤러의 차단을 모든 AI 업무의 중단으로 확대 해석할 필요는 없습니다. 실무에서는 내가 사용하는 도구로 필요한 페이지를 읽을 수 있는지, 다음 작업까지 진행할 수 있는지를 각각 시험하는 편이 좋습니다.

예를 들어 교육 프로그램 공고를 모아 비교표를 만드는 일을 생각해 보세요. 일부 사이트를 읽지 못했다면 비교표의 자료 범위가 줄어듭니다. 행사 신청 업무라면 공고를 읽는 단계와 신청이 접수되는 단계의 완료 여부를 따로 확인해야 합니다. 보고서에는 수집된 내용과 함께 확인하지 못한 대상도 남기세요.

이 차이는 결과를 해석할 때 중요합니다. 확인하지 못한 공고를 목록에서 빼면, 목록을 보는 사람은 해당 공고가 없거나 비교 대상에 맞지 않는다고 받아들일 수 있습니다. 접근 실패를 별도로 남겨야 추가 확인이 필요한 대상과 이미 검토한 대상을 구분할 수 있습니다. 자료 수집의 완료 여부도 표가 채워졌는지만 볼 것이 아니라, 처음 정한 대상과 항목을 어디까지 확인했는지로 판단해야 합니다.

사이트마다 접근 조건이 달라 수집 가능한 자료의 범위도 달라집니다

작업 전에 이용 조건을 어떻게 확인하나요?

적용: 이용 조건을 확인하고 작은 범위로 시험합니다

사이트의 이용약관, 자동 수집 안내, 자료 재이용 조건을 먼저 살펴보세요. 공개 페이지라는 이유만으로 자동 수집과 재배포까지 허용된 것으로 판단하지 않는 것이 좋습니다. 내부 검토용 요약인지 외부에 배포할 안내문인지도 구분해 확인합니다.

robots.txt는 자동 수집 프로그램에 접근 규칙을 알리는 파일입니다. 이 규칙 안내와 실제 접속 차단은 별개입니다. Cloudflare도 robots.txt 설정과 별도로 접근 제한을 집행하려면 크롤러 차단 기능을 사용하라고 설명합니다. 따라서 파일에 허용 표시가 있거나 페이지가 열린다는 사실만으로 이용 조건 확인을 끝내지 마세요. Cloudflare의 robots.txt 안내

다음 순서로 작은 작업부터 시험하면 중간에 멈췄을 때 넘겨받기 쉽습니다.

1. 대상과 목적을 정합니다. 수집할 사이트 주소, 필요한 항목, 결과의 사용처를 적습니다. 공고 비교라면 신청 대상·마감일·필수 서류처럼 항목을 먼저 고정합니다.
2. 허용된 경로를 확인합니다. 자동 수집 조건과 공식 다운로드·API 제공 여부를 살펴봅니다. 공식 경로가 있다면 해당 경로의 이용 조건도 확인합니다. 조건이 불명확하면 운영자 안내를 확인할 때까지 해당 대상의 자동 수집을 보류합니다.
3. 일부 페이지로 시험합니다. 제목만 가져왔는지, 본문과 첨부 자료까지 확인했는지 점검합니다. 필요한 항목이 빠졌다면 범위를 늘리기 전에 원인을 확인합니다.
4. 중단·인계 기준을 정합니다. 접근 거부, 사람 확인 요청, 필수 항목 누락 시 멈추도록 요청합니다. 재시도 횟수와 사람이 검토할 지점을 작업 지시에 포함합니다.

시험 결과는 이후 업무를 나누는 기준으로 활용합니다. 제목과 본문은 읽히지만 첨부 자료를 확인하지 못했다면, 첨부 자료에만 있는 필수 서류까지 검토한 것으로 처리하지 않습니다. 확보한 항목은 정리하되 빠진 항목을 함께 표시하면, 담당자는 전체 수집을 처음부터 반복하지 않고 확인이 필요한 부분부터 이어갈 수 있습니다.

적용: 실패를 ‘자료 없음’으로 처리하지 마세요

HTTP 상태 코드가 보이는 도구라면 오류 코드와 안내 문구를 함께 기록하세요. 403은 서버가 요청 처리를 거부했다는 뜻이고, 429는 일정 시간 동안 요청이 너무 많았다는 뜻입니다. 429 응답에는 다시 요청하기 전 기다릴 시간을 알리는 Retry-After가 포함될 수 있습니다. 코드만으로 AI 차단 여부를 단정하지 말고 사이트 안내를 함께 확인해야 합니다. MDN의 403 설명, MDN의 429 설명

아래는 작업 기록에 적용할 수 있는 처리 기준입니다. 상태 코드가 표시되지 않는 도구에서는 화면의 안내 문구와 실제 확보한 내용을 기준으로 기록합니다.

특히 공고의 마감일을 읽지 못했다면 빈칸이나 ‘미확인’으로 남기세요. 다른 공고의 날짜나 검색 결과의 짧은 설명으로 메우지 않도록 지시합니다. 접근 실패 항목을 결과표에서 삭제하면 담당자는 조사 범위가 줄었다는 사실을 놓칠 수 있습니다.

상태를 구분하는 목적은 다음 행동을 정하기 위해서입니다. ‘접근 실패’는 권한과 안내를 확인할 대상으로, ‘부분 수집’은 누락 항목을 보완할 대상으로 넘깁니다. ‘완료 미확인’은 이미 처리됐을 가능성을 확인해야 하므로 곧바로 다시 제출하는 근거로 삼지 않습니다. 인계 기록에는 상태와 함께 원문 주소, 마지막으로 완료한 단계, 남은 확인 항목을 적어 두세요.

실패한 단계와 확보한 자료를 함께 넘기면 사람이 확인할 범위가 분명해집니다

활용: 사람이 이어받을 단계까지 요청문에 넣으세요

다음은 공고 수집에 사용할 수 있는 요청문 예시입니다. 사용하는 도구가 웹 접근과 작업 기록을 지원하는 범위에서 적용하세요.

지정한 사이트에서 교육 프로그램 공고를 확인해 제목, 신청 대상, 마감일, 필수 서류, 원문 주소를 표로 정리해 줘. 원문을 읽지 못한 항목은 추측하지 말고 ‘미확인’으로 남겨 줘. 접근 거부나 사람 확인 요청이 나오면 해당 사이트 작업을 멈추고 주소, 안내 문구, 마지막으로 완료한 단계를 보고해 줘. 수집 성공·부분 수집·접근 실패를 구분하고, 신청이나 제출은 진행하지 마.

이 요청문은 필요한 결과뿐 아니라 멈출 조건과 보고할 내용을 함께 정합니다. 공고 표를 받으면 먼저 각 항목의 확인 상태를 살펴보고, 신청 대상이나 마감일처럼 판단에 필요한 조건이 빠진 행을 검토 대상으로 남깁니다. 확인한 자료로 비교 초안을 만들 수는 있지만, 미확인 조건까지 확정된 안내문으로 옮기지 않도록 구분해야 합니다.

사람이 이어받을 때는 원문 주소, 실패한 단계, 이미 확보한 자료, 아직 확인하지 못한 항목을 함께 봅니다. 사이트에서 허용하는 방식으로 직접 열람하거나 내려받은 뒤, AI에 제공할 수 있는 자료인지 확인하고 요약·표 정리 작업을 이어갑니다. 직접 열람할 수 있다는 이유만으로 제한된 자료를 AI에 전달해도 된다고 판단하지 마세요.

온라인 신청이나 예약처럼 상태가 바뀌는 업무는 별도 완료 기준을 두세요. 담당자가 입력 내용을 검토하고 최종 제출을 처리하도록 역할을 나누는 방법이 있습니다. 제출 뒤에는 완료 안내와 처리 내역을 확인해 기록하고, 결과가 불분명하면 기존 접수 여부부터 확인한 뒤 재시도를 결정합니다.

자주 묻는 질문

내 브라우저에서 열리면 AI도 읽을 수 있나요?

그렇게 단정할 수 없습니다. 사이트는 AI 크롤러의 접근을 선택적으로 제한할 수 있으므로, 사용하는 도구에서 필요한 본문까지 확보되는지 시험해야 합니다.

차단되면 계속 다시 시도하면 되나요?

접근 거부와 요청 제한을 구분하세요. 접근 거부는 권한과 이용 조건을 확인하고, 요청 제한은 사이트의 대기 안내와 미리 정한 재시도 기준에 따라 처리합니다.

일부 자료만 수집했어도 결과를 사용할 수 있나요?

확인한 범위를 명시한 초안으로 사용할 수 있습니다. 부분 수집·접근 실패 항목을 함께 남기고, 안내문에 넣을 핵심 조건은 원문 확인 후 확정하세요.