Скиур. Обновления

Скиур, экспериментальный проект по извлечению новостей из HTML обновился. Основные изменения были внутренними, но кое что будет заметно и пользователям сервиса:

  • вместо Couchdb теперь используется связка Couchdb + MySQL. Couchdb, конечно, прекрасный продукт, но производительность его пока оставляет желать лучшего. Поэтому иерархические данные, такие как веб страницы краулера хрянятся в Couchdb, а записи и ленты в MySQL;
  • теперь доступен каталог RSS лент — перечень текущих успешно распознаваемых Скиуром лент;
  • небольшие улучшения производительности;
  • добавлена поддержка формата даты «dd.mm» без указания года, при этом год автоматически проставляется текущий.

И существующие баги/особенности:

  • выявилось что в некоторых случаях Скиур не определяет автоматически структуру веб страницы даже когда распознаёт даты. Например, так не распознаются даты на странице Росгидромета — http://www.meteorf.ru/default.aspx. Причина пока неясна, но обязательно выяснится. 
  • пока не решена окончательно задача по распознаванию всех возможных видов дат;
  • примерно в 3% случаех кодировка веб страницы не распознаётся. 
About This Author

  • http://sms-subscribe.com/ Igor

    Отличный сервис, давно за вами слежу, новости распознались, http://www.skyur.ru/?url=http%3A%2F%2Fsms-subscribe.com%2Fnews.html, но вот RSS не работает, возвращает ошибку, в гугл тоже не добавляется…

    • http://ivan.begtin.name ivbeg

      Игорь, спасибо, сегодня разберусь с этой проблемой

    • http://ivan.begtin.name ivbeg

      Теперь RSS и Atom подписки будут работать.

  • http://sms-subscribe.com/ Igor

    Отлично, всё руки не доходят сделать RSS экспорт для своих новостей. Кстати, давайте сотрудничать, мы можем для сформированных RSS каналов сделать SMS подписку, всякий желающий сможет получать обновления прямо на телефон.

  • http://sms-subscribe.com/ Igor

    Выглядеть это может так: на странице http://www.skyur.ru/?url=http%3A%2F%2Fsms-subscribe.com%2Fnews.html, под ссылкой «сохранить в закладки», вы вешаете кнопку «подпишись, и получай по смс».

  • http://ivan.begtin.name ivbeg

    Игорь, интересный сервис и у меня есть ряд вопросов:
    1. Как регистрировать RSS ленты автоматически посредством API?
    2. Как разместить на Вас кнопку так чтобы она указывала на конкретную подписку?
    Лучше по email: ibegtin (собака) gmail.com

Яндекс.Метрика