Не так давно, где-то с месяц назад в процессе экспериментов над алгоритмом Скиура — я таки нашёл для него первое практическое полезное применение, помимо, частного использования. Впрочем о проекте для которого Скиур будет использоваться я ещё напишу когда он будет готов, сейчас же о другом — о том как переводить полу-структурированную информацию из веб-страницы [...]

В Скиуре, сервисе по извлечению новостей из HTML в формат RSS прошло очередное обновление.

Из-за проблем с нагрузкой, пришлось практически полностью переделать правила распознавания новостных лент, в частности отказаться и регулярных выражений преобразовав их в специальные парсеры и построив вокруг них ускоряющий индекс похожий на RETree, а ещё вернее его «симуляцию» тем не менее [...]

Проект продолжает развиваться и недавно обновился сразу в нескольких областях:

Внешние изменения

появился букмарклет для запуска распознавания новостей через браузер — его можно перетащить на панель закладок по перейдя по ссылке - http://www.skyur.ru/tools/ появился каталог ранее распознанных RSS лент - http://www.skyur.ru/catalog/  у проекта появилось API для проверки можно ли страницу/сайта преобразовать в RSS. Само API пока закрыто, [...]

Как пример того для чего Скиур может использоваться — в каталоге сайтов Енота Поискуна сейчас 2148 ссылок посвящённым тематике закупок и присутствия российского государства в сети.

В своё время, чтобы не делать каталог просто набором ссылок, для него был создан специальный скрипт который время от времени проходил по ресурсам в каталоге и занимался [...]

Я ранее неоднократно писал что при анализе HTML (да и любых других неструктурироанных/полуструктурированных данных) очень важен правильный подбор метрик для анализа. Часть из этих метрик и многие другие используются в Скиуре и ещё ряде алгоритмов анализа HTML о которых я ранее упоминал.

—

  Уровень тэга (tag level) — это характеристика тэга веб страницы определяющая [...]