챗GPT 검색 답변에 우리 홈페이지가 출처로 나오길 원해도 AI 학습용 수집까지 허용할 필요는 없습니다. OpenAI는 웹 검색에 필요한 정보를 찾는 일과 모델 학습에 쓸 수 있는 자료를 모으는 일을 구분합니다. 홈페이지 운영자는 두 가지를 따로 결정할 수 있습니다. [1]

홈페이지를 제작사에 맡겼다면 검색에 공개하고 싶은 페이지 주소를 하나 골라 보세요. ‘AI 수집을 허용했나요?’라고 물으면 검색과 학습 중 어느 쪽을 확인했는지 모호합니다. 페이지 주소와 수집기 이름을 함께 전달하면 설정을 바꿀 필요가 있는지 알 수 있습니다.

홈페이지 관리자에게 확인할 두 이름

챗GPT의 검색용 수집기는 OAI-SearchBot입니다. 공개된 페이지를 방문해 챗GPT 웹 검색에 쓰일 정보를 찾습니다. 이름이 비슷한 GPTBot은 OpenAI의 생성형 AI 모델 학습에 쓰일 수 있는 콘텐츠를 수집합니다. 검색에 공개할 페이지에서는 OAI-SearchBot의 접근을 허용하고 GPTBot의 수집은 제한할 수 있습니다. [1]

관리자에게서 ‘GPTBot 차단’이라는 답을 받았다면 학습용 수집 설정을 확인한 셈입니다. 이어서 확인할 항목은 같은 페이지에 OAI-SearchBot이 접근할 수 있는지입니다. 검색에 나오게 하려고 GPTBot의 차단까지 풀 이유는 없습니다.

검색용 OAI-SearchBot과 학습용 GPTBot의 역할을 구분한 그림

홈페이지 주소 뒤에 /robots.txt를 붙여 보세요

브라우저 주소창에 홈페이지 도메인을 쓰고 바로 뒤에 /robots.txt를 붙이면 사이트의 수집 규칙을 확인할 수 있습니다. 파일에서 User-agent는 규칙을 적용할 수집기의 이름이고, Disallow는 수집을 제한하는 경로입니다. OAI-SearchBot이 따로 적혀 있지 않으면 User-agent: * 아래의 공통 규칙을 확인하세요. 내가 공개하려는 페이지가 차단 경로에 포함되는지, 해당 경로를 다시 허용하는 Allow 규칙이 있는지 함께 보면 됩니다. [3]

이 파일에서 허용한 페이지도 호스팅이나 보안 서비스가 검색 수집기의 접속을 막으면 읽을 수 없습니다. 내 휴대폰에서 홈페이지가 잘 열려도 수집기는 다른 응답을 받을 수 있습니다. 제작사에 페이지 주소를 보내고, 호스팅이나 보안 서비스에서 OpenAI가 공개한 검색 수집기의 IP 주소를 차단하고 있는지 확인해 달라고 하세요. [2]

챗GPT 답변에서는 출처 링크를 열어 보세요

설정을 확인했다면 고객이 자주 묻는 질문으로 챗GPT 웹 검색을 해 보세요. 이때는 홈페이지 주소를 질문에 넣지 않습니다. 주소를 직접 주고 페이지를 읽어 달라고 하면 사용자의 요청으로 방문하는 별도 프로그램인 ChatGPT-User가 쓰일 수 있습니다. 그 결과로는 챗GPT가 검색을 통해 페이지를 찾았는지 알기 어렵습니다. [1]

챗GPT 검색 답변에 연결된 출처 페이지를 확인하는 그림

답변에 업체명이 보이면 그 문장에 붙은 출처를 눌러 보세요. 우리 홈페이지가 열릴 수도 있고, 우리 업체를 언급한 외부 글이 열릴 수도 있습니다. 확인한 날짜와 질문, 실제로 열린 페이지 주소를 함께 남겨 두면 다음 점검 때 어떤 답변에서 자사 페이지가 인용됐는지 비교할 수 있습니다. [2]

검색 수집을 허용해도 모든 답변에 홈페이지가 인용되지는 않습니다. 접근은 정상인데 외부 글이 인용됐다면, 다음에 살펴볼 곳은 자사 페이지의 본문입니다. 고객이 물어본 비용이나 이용 조건을 그 페이지에서 바로 확인할 수 있는지 읽어 보고, 빠진 조건이 있다면 그 대목부터 보완하세요. [2]

함께 읽기

AI 검색 답변에 우리 업체가 나오려면 홈페이지에 어떤 정보가 필요할까요?

참고 자료

  1. OpenAI 공식 문서 · 검색용·학습용 수집기 안내

  2. OpenAI 도움말 · 챗GPT 웹 검색과 출처 확인

  3. 인터넷 표준 RFC 9309 · robots.txt 규칙과 적용 범위