Цитата Сообщение от ZS_
По строке описания браузера. Но это убогий вариант. Самый надержный - по IP адресам, но это уже описано выше.
В панели управления форума можно указать, каие USER_AGENT считать поисковиками. Только сайты умные пошли, защиту ставят от поисковиков, ну и поисковики умнеют - маскируются под обычные мазилы.

На счет robots.txt - это поможет закрыть от индексации поисковиками какие-то страницы (реально работает), но заходить они все равно будут, т.е. в нашем случае не спасет.