Примерно тем-же, чем руководствуюсь я в истио - минимизацией ресурсов.
Пока я не договорился с яндексом, то я экономлю количество обращений к яндексу, и поэтому пользуюсь не самым точным алгоритмом из тех которые у меня есть. Но у меня не реально не так много запросов как у яндекса, поэтому, хоть у яндекса свой индекс, но ему тоже надо экономить количество и сложность запросов к базе, поскольку более сложные алгоритмы увеличивают количество необходимых серверов, а в их масштабах это большие деньги....
Нк а если поменьше политики, и побольше техники, то есть небольшие различия, типа контекста (меню, других заметок на той же странице, коментариев), есть неболишие изменения типа синонимайзера и тп.
это мешает яше при беглом просмотре склеить статьи...
да, потом, когда до них дойдет очередь, склейщик их может быть склеит, но может быть он решит, что тот кто скопировал статью более авторитетный, и может быть на его сайте есть еще, что-то интересное для пользователя...
в общем много разных соображений есть у роботов, включая банальную глупость
но всего не раскажешь - есть свои секреты в этой области....))