Метрики для анализа HTML

Я ранее неоднократно писал что при анализе HTML (да и любых других неструктурироанных/полуструктурированных данных) очень важен правильный подбор метрик для анализа. Часть из этих метрик и многие другие используются в Скиуре и ещё ряде алгоритмов анализа HTML о которых я ранее упоминал.

—

  Уровень тэга (tag level) — это характеристика тэга веб страницы определяющая глубину его нахождения в дереве тэгов начиная от корневого тэга html.

  Сдвиг тэга (tag shift) — это характеристика тэга веб страницы определяющая его позицию в списке потомков его родителя

  Уровень схожести пути тэгов (tags path similarity) — является характеристикой отношений двух тэгов когда в качестве оценки используется оценка числа тэгов находящихся от каждого из сравниваемых тэгов до общего родителя.

  Уровень схожести тэгов (tag similarity) — является характеристикой отношения двух тэгов основанной на сравнении их естественных  и назначенных атрибутов в соответствии с моделью сравнения.

  Глубина тэга (tag deepness) — определяет максимальную глубину тэга по совокупности всех его потомков

  Обратный путь (reversed path) — путь от тэга к его родителю в обратной нотации (или через xpath — parent)

  Путь сдвига (shift path) — путь от родительского тэга до выбранного основанный на сдвиге тэга потомка от родительского.    Путь сдвига записывается в виде массива цифр.