# Criteo Crawler

### Criteo Crawler란?
Criteo Crawler는 웹 페이지에 접속해 콘텐츠를 분석하고 관련 광고를 제공하는 소프트웨어입니다. Criteo Crawler는 다음의 사용자-에이전트로 식별됩니다.

CriteoBot/0.1 (+https://www.criteo.com/criteo-crawler/)

### Criteo Crawler가 왜 우리 사이트에 접속하나요?
크리테오는 전 세계 마케터들에게 신뢰할 수 있고 영향력 있는 광고를 제공하는 선도적인 글로벌 기술 기업입니다. 다양한 규모의 기업들이 고객에게 더 나은 정보와 서비스를 제공하는 데 필요한 기술을 제공하고 있습니다. 크리테오는 웹페이지에 관련성 높은 광고를 보여줌으로써 광고주를 지원하고 제휴매체사가 콘텐츠에서 더 나은 수익을 창출할 수 있도록 문맥 광고(contextual advertising) 솔루션을 구축하는 중입니다.

이를 위해, 크리테오는 웹페이지를 크롤링하여 공개된 웹 콘텐츠를 분석합니다. 크리테오의 기술은 웹 페이지에서 콘텐츠 카테고리를 식별합니다. 예를 들어, 스포츠 및 러닝화에 대한 게시물의 경우, 카테고리는 ‘스포츠’, 하위 카테고리는 ‘달리기’로 분류합니다.

### Criteo Crawler가 언제 사이트에 액세스하나요?
Criteo Crawler는 웹사이트가 도메인에 광고를 제공해달라는 요청을 크리테오에 전송하는 경우에만 URL에 액세스를 시도합니다. Criteo Crawler의 웹사이트 접근은 제한되어 있습니다. Crawler는 수집된 카테고리를 더 이상 사용할 수 없거나 목록이 최신 상태가 아닌 경우에만 웹사이트에 대한 액세스를 요청합니다.

### 사이트에서 어떤 데이터가 크롤링되나요?
Crawler는 소스 코드를 추출하거나 저장하지 않습니다. 언어 및 콘텐츠 카테고리(예: 스포츠 > 달리기) 같이 공개적으로 사용 가능한 페이지 콘텐츠에 **관한** 데이터만 제공합니다.

Criteo Crawler는 개인정보 보호를 준수하는 시스템입니다. Crawler는 웹사이트를 탐색하는 사용자의 데이터에는 액세스하지 않습니다. Crawler는 인터넷에서 공개적으로 사용 가능한 데이터에만 액세스합니다.

### Crawler를 허용하려면 어떻게 해야 하나요?
많은 프리미엄 제휴매체사들은 Criteo Crawler가 자사 사이트에 액세스하도록 명시적으로 허용하고 있습니다. 제휴매체사는 크리테오의 인벤토리 분류를 통해 타겟 캠페인을 최적화할 수 있습니다.

Criteo Crawler를 승인하려면 다음과 같이 robots.txt에 별도의 단락을 추가하면 됩니다.

```
User-agent: CriteoBot/0.1
Disallow:
```

### Crawler를 사이트에서 제외시키려면 어떻게 해야 하나요? (출시 예정: 2021년)
Criteo Crawler가 사이트의 특정 섹션을 방문하지 않도록 만들려면, robots.txt에 별도의 단락을 추가하고 제외할 경로를 다음과 같이 지정하면 됩니다.

```
User-agent: CriteoBot/0.1
Disallow: /path/
```

Criteo Crawler가 사이트 전체를 방문하지 않도록 만들려면, robots.txt에 별도의 단락을 추가하면 됩니다.

```
User-agent: CriteoBot/0.1
Disallow: /
```

### **노트**
robots.txt 프로세스를 아직 사용할 수 없는 경우 크롤러를 제외시킬 수 있습니다.

### 상세정보
크롤러에 대해 보다 자세한 정보를 원하는 직접 파트너는 크리테오 담당자에게 연락하거나 crawler@criteo.com 으로 이메일을 보내주십시오.