Как и обещал публикую документ описания алгоритма.

Выявление групп платных ссылок  в сети Интернет

Альтруизма в данной публикации немного, так как уже есть понимание ограничений алгоритма и того что нужно для их преодоления, поэтому в документе не все критерии которые я считаю важными при отсеве естественных и неестественных ссылок, но значительная их часть. Также, [...]

Размышляю о возможности раскрытия части алгоритма и исходного кода выявления платных ссылок о котором я писал ранее. Сам алгоритм состоит из двух частей — выявление ссылочных блоков и ранжирование найденных ссылок. В данном случае речь идёт о части с ранжированием.

Во-первых потому как уже есть понимание его текущих ограничений и как их обойти, но [...]

Собираю вопросы по семантизации (структуризации) веба. На часть из них ответы у меня уже есть, хотя бы частичные, но многие всё ещё нераскрытые.

1. Как мотивировать создателей веб ресурсов и информационных банков делиться информацией через открытые API?

2.  Можно ли определить тип веб-ресурса (сайта) по его содержимому? Можно ли определить тип информационного блока (запись в [...]

С интересом обнаружил для себя блог Yahoo! Hadoop, оказывается на сегодняшний день у них самый большой Hadoop кластер из имеющихся.

10 тысяч процессоров; 300 терабайт сжатых данных 5 петабайт данных всего

Судя по тому что они пишут про использование данных собранных в Hadoop для поисковых запросов, не удивлюсь что они постепенно заменяют (или уже [...]