Чтобы закрыть сайт от индексации, в корневую папку сайта добавляем файл robots.txt со следующим содержимым:

User-agent: *
Disallow: /

Запретить индексацию через robots.txt можно на любом сайте. Не важно, на каком движке работает сайт: Битрикс, Вордпресс, Джумла (или вообще без движка).

Это может понадобиться в случае, если сайт уже размещен на рабочем домене, но уникальный контент еще не написан. Или наоборот: уникальный контент готов и размещен на сайте, но сайт висит на техдомене — в таком случае лучше запретить индексацию сайта, чтобы техдомен не попал в поисковую выдачу.