Currently viewing the category: "скиур"

Работа с данными с нечеткой структурой

By On 01.04.2009 · 3 Comments

Прежде чем продолжить рассуждения, а что же такое данные с нечеткой структурой? Начну с примера.

При преобразовании HTML в RSS, как, например, это происходит в Скиуре, очень часта ситуация когда структура данных меняется. Это может быть из-за того что немного подкрутили верстку или, к примеру, у новости появилась метка которая при обучении на данных сайта не [...]

Continue Reading →

Алгоритмы. Регулярные выражений. Пример графика индекса

By On 14.01.2009 · Leave a Comment

Как пример, промежуточных результатов,  для построения RE-индексов под катом график и краткое описание индекса.

Continue Reading →

Алгоритмы. Регулярные выражения — Know how

By On 13.01.2009 · Leave a Comment

Как резюме предыдущих рассуждений — ускорение matching для регулярных выражений в 8-10 раз достижимо и зависимость времени далека от O(mn) и сильно зависит от содержимого коллекции выражений и потока данных, впрочем, это я уже упоминал. Осталось только довести прототип до ума, но сам он уже работает именно с такой производительностью.

В любом случае производительность превышает [...]

Continue Reading →

Скиур — развитие и регулярные выражения

By On 11.01.2009 · 1 Comment

Хотя я давно не писал про Скиур, который экспериментальный ресурс и алгоритм по преобразованию веб-страниц в RSS, тем не менее не забыл о нём. Сейчас основная загвоздка в его развитии алгоритмическая поскольку несмотря на то что мне удалось частично оптимизировать используемые внутри регулярные выражения и уменьших их число до 171, тем не менее без [...]

Continue Reading →

Скиур. RSS ленты новостей университетов

By On 18.11.2008 · 7 Comments

Для тех кто хочет получать новости по своему институту примеры того как можно использовать дя этой цели Скиур.

Московский государственный университет — http://www.skyur.ru/?url=http%3A%2F%2Fmosgu.ru%2Fpress-tsentr%2Fnews_university%2F РГАУ-МСХА — http://www.skyur.ru/?url=http%3A%2F%2Fwww.timacad.ru%2F Государственный университет управления — http://www.skyur.ru/?url=http%3A%2F%2Fguu.ru%2Findex.php ВАВТ — http://www.skyur.ru/?url=http%3A%2F%2Fwww.vavt.ru%2Fwww%2Fmain.nsf Московский институт открытого образования — http://www.skyur.ru/?url=http%3A%2F%2Fwww.mioo.ru%2F Московский банковский институт — http://www.skyur.ru/?url=http%3A%2F%2Fwww.mbinst.ru%2F%3FSHOWALL_1%3D1

Continue Reading →

Скиур. Новые примеры извлечения новостей

By On 30.10.2008 · Leave a Comment

Дополняя примеры сайтов с которыми умеет работать Скиур создавая RSS ленту из новостной веб страницы. В этот раз сайты посольств и международных организаций.

Новости ООН (на основном сайте) — http://www.skyur.ru/?url=http%3A%2F%2Fwww.un.org%2Frussian%2Fnews%2F Новости Юнеско — http://www.skyur.ru/?url=http%3A%2F%2Ftypo38.unesco.org%2Fru%2Funesco-home.html Заседания совета экспертных групп СНГ — http://www.skyur.ru/?url=http%3A%2F%2Fwww.cis.minsk.by%2Fmain.aspx%3Fuid%3D48 Новости посольства Казахстана в России — http://www.skyur.ru/?url=http%3A%2F%2Fwww.kazembassy.ru%2Fpress_service%2Fnews%2F Новости [...]

Continue Reading →

Подборка RSS лент ФОИВов из Скиура

By On 21.10.2008 · Leave a Comment

Некоторые из сайтов на которых я тренировал точность распознавания Скиура.

Сайты ФОИВ

Новости Рослесхоза — http://www.skyur.ru/?url=http%3A%2F%2Fles.mnr.gov.ru%2F Новости Роспрома — http://www.skyur.ru/?url=http%3A%2F%2Fnews.rosprom.org%2Fnews.php Новости Федеральной службы по природопользованию — http://www.skyur.ru/?url=http%3A%2F%2Fcontrol.mnr.gov.ru%2F Новости Федерального агенства по образованию — http://www.skyur.ru/?url=http%3A%2F%2Fwww.ed.gov.ru%2Fnews%2Fobnews%2F Новости МинРегиона — http://www.skyur.ru/?url=http%3A%2F%2Fwww.minregion.ru%2FWorkItems%2FListNews.aspx%3FPageID%3D378 Новости Ростимущества — http://www.skyur.ru/?url=http%3A%2F%2Fwww.rosim.ru%2Fpressa%2Fevents%2F Новости Федерального Космического Агенства — http://www.skyur.ru/?url=http%3A%2F%2Fwww.federalspace.ru%2FNewsDoSele.asp%3FRazdelID%3D3 [...]

Continue Reading →

Скиур: технологическое

By On 25.09.2008 · 9 Comments

Поскольку уже было несколько вопросов о том на чём Скиур основан и как работает приведу некоторые подробности.

В проекте используется 3 технологии:

- CouchDb

- Python

- Django

Насколько я знаю, в России, это первое практическое использование CouchDb, но рад буду ошибиться если кто-либо приведёт примеры обратного.

Почему CouchDb? Потому как для подобного типа задач, [...]

Continue Reading →

Скиур запущен

By On 20.09.2008 · 4 Comments

Как я и обещал и даже с некоторым опережением Скиур запущен и доступен всем желающим по ссылке http://www.skyur.ru

Что такое Скиур?

Скиур — это сервис и алгоритм извлечения новостных блоков из веб страниц. Он не просто отслеживает изменения на страницах, но восстанавливает даты, текст, заголовки и ссылки новости и предоставляет их в форматах RSS [...]

Continue Reading →