что то с утра мне в голову попал вопрос:
Индексируются ли наши сайтовые страницы поисковыми машинами?
и как это можно регулировать.
спасибо
Если сайтовая страница открыта (в смысле ни под каким нибудь паролем кастомным) то конечно индексируется. Можно кстати проверить - есть сервис например гугловский который позволяет увидеть как боты видят твою страницу. Погугли этот вопрос. Там скармливаешь урл и тебе возвращается исходный текст страницы который получают боты при запросе урла.
ок а можно сделать, чтоб не индексировались, или это не серьезно, интернет есть интернет?
Можно конечно. Просто это будет своего рода рекомендация для поисковиков не индексировать страницу или ее часть. Но сам понимаешь - что там они реально делают фиг его знает и конечно разные поисковики по разному будут трактовать эти рекомендации.
Т.е. если тебя интересует SEO область, то есть теги специальные
https://support.google.com/webmasters/answer/93710?hl=en
Если ты реально не хочешь чтобы поисковики видели контент а значит и индексировали его, то Javascript в помощь.
Yes, you are right. I have tried this for my own site.
Прикольно 
Нас уже спамеры заметили 
причем англоязычные
