Обновление Скиура

Как многие заметили в последнее время Скиур не распознавал многие из новостных страниц.
Основной проблемой этого являлась нарастающая нагрузка на и увеличивающееся число страниц для распознавания что и приводило к таймаутам и т.д. до ненахождения информации.

Чтобы решить эту проблему Скиур был довольно серьёзно изменён внутри:
— заменён парсер на более быстрый
— оптимизированы алгоритмы работы с регулярными выражениями
— анализ страниц выделен в отдельный сервис и теперь происходит асинхронно отображением.
— страницы проверяются на обновление раз в сутки.
— улучшено распознавание кодировок

Визуально практически ничего не изменилось, за исключением того что теперь при запросе ссылки на распознавание установлен таймаут в 7 секунд.

About This Author

Яндекс.Метрика