Сайт компании: маркетинговые аспекты и оценка для покупки/продажи - стр. 16

В файле robots. txt должны присутствовать две директивы: User-agent и Disallow. Директива User-agent. Директивой указывается, для какого поисковика предназначены инструкции. Для указания инструкции для всех поисковиков сразу, необходимо прибегнуть к использованию в User-agent «звездочки» – *.