Иван Бегтин

Чем дальше тем больше собираю коллекцию технических проблем или барьеров с которыми приходится сталкиваться при создании проектов/систем так или иначе взаимодействующих и связанных с госорганами.

Вот текущий список:

1. Справочники и классификаторы

Все кто когда бы то ни было занимались автоматизации в гос. учреждениях задавались вопросами:

Где найти последнюю редакцию ОКОГУ, ОКВЭД, ОКЕИ, ОКАТО или одного из множества других общероссийских справочников? А также как обеспечить автоматическое их обновление при изменении законодательства.

Проблема в том что какого-бы то ни было универсального решения здесь нет. В лучшем случае у автоматизируемой организации есть часть этих справочников, чаще их нет.

Несмотря на то что в Интернете практически все их можно найти, в подавляющем большинстве случаев это просто HTML страницы причём не обновляемые. Просто создатели сайтов получили справочник на дату и так его показывают.

А вот получить справочники с сайта Федерального агенства по техническому регулированию и метрологии, www.gost.ru – это задачка для крепких нервами и подготовленных к неудачам. Мои попытки приводили лишь к тому что ссылки на документы (PDF) там есть, но при их открытии выдаются ошибки. Да и там в структурированном виде их нет в любом случае. Альтернативный вариант – отслеживание публикаций изменений в Консультанте и вручное их внесение собственные справочники.

Конечно, есть ряд коммерческих продуктов и организаций торгующими документами с описаниями классификаторов и справочников, но это совсем другая история.

Continue reading «e-Gov. Типовые технические проблемы»

Все обсуждают Cuil и его переспективы и я добавлю свои 5 копеек.

Разговоры насчёт вот он новый «убийца Google» ходят и ходили про десятки разных проектов – Wikia, Powerset, Facebook и т.д. В основном оценки убийственности измерялись в инновационности и посещаемости ресурса.

Сможет ли это сделать Cuil? Сомневаюсь. Google сейчас как тот носорог который ещё не подслеповат, а вот массу и скорость уже набрал.

Скорее похоже Cuil рано или поздно будет приобретён одним из крупных игроков онлайн рынка.

Что странного / интересного в Cuil?

1. Объём индекса. Важное, но сомнительное преимущество. Не говоря уже о том цифры результатов в выдаче отличают от самой выдачи. Например, поиск по «ivbeg» возвращает 100 настоящих результатов и цифру 169 об общем числе.

2. Автоматическая подстановка изображений работает не всегда и часто некорректно. Например, я несколько раз наблюдал счётчик сайта в виде картинки – он, конечно, очень сайту подходит в поисковой выдаче.

3. Авторы заявляют о акценте на контентный анализ страниц и это уже интересно. Это идёт против существующей эволюции PageRank’овых алгоритмов с последующим активным использованием накопленной статистики пользовательских запросов. Если Cuil приобретёт популярность то будет интересно пронаблюдать его устойчивость к усилиям оптимизаторов.

Любопытные вещи выясняются если сравнивать рейтингование сайтов Yandex и Google.

Например, у Яндекса явный и сильный дисбаланс в сторону высоких рейтингов для онлайновых новостных изданий в то время как Google даёт высокие рейтинги государственным ресурсам практически во всех странах и в России тоже.

Не так давно я просматривал списки сайтов с наибольшими ТиЦ и PageRank и выявилось следующее.

Например у www.trud.ru – ТиЦ 8500 и PageRank 7, а у www1.minfin.ru – ТиЦ 2700 и PageRank 7

У lenta.ru – ТиЦ 23000 и PageRank 7, а у www.government.ru – ТиЦ 7400 и PageRank 8

У newsru.com – ТиЦ 17000 и PageRank 7, а у www.minsvyaz.ru – ТиЦ 4200 и PageRank 7

Пожалуй более всего показателен сайт Роструда (www.rostrud.info) – ТиЦ 1000 и PageRank 7

Что я хочу этим сказать? Я предполагаю что Google вплоть до того что вручную повышают рейтинги госсайтов и формируют из них «зону доверия» с минимальной вероятностью поисковой оптимизации и недобросовестной рекламы (платные ссылки, накрутка контекстной рекламы и так далее).

Всё это должно сильно помогать для формирования TrustRank поскольку это и есть «Trustrank Oracle».

А вот почему в Яндексе такой дисбаланс в сторону новостных сайтов – для меня загадка. Новостным изданиям это, безусловно, выгодно, но с точки зрения релевантности информации это под большим вопросом.

На сей раз на сайте Министерства образования и науки Республики Бурятия.

Два блога:

• Блог Жытмыгова Б.Т.
• Блог Кати Улановой

Настоящими блогами их назвать трудно – комменатриев не оставить, блогоплатформы там нет, но прогресс налицо.

В своё время, развлечения ради и для некоторой пользы, я сделал Урлус – сервис укорачивания ссылок. Собственно сделан он был скорее вспомогательно для отслеживания популярности ссылок и активности поисковиков, публичный интерфейс у него появился только позже. Я лично использую сервис время от времени для замеров времени попадания в ссылки в индекс разных поисковиков и частоты повторных обращений. Так сказать – личная тренировочная площадка.

Сейчас по нескольким запросам и по здравому размышлению в сервисе реализован простой API с возможностью создания коротких ссылок автоматизированным способом, а также по получению статистики за 10 дней.

Подробнее можно посмотреть по ссылке – http://urlus.ru/devel/

Сейчас доступ к API идёт по логину и паролю в GET запросе, если будут серьёзные предубеждения можно будет сделать доступ через apikey, но тогда надо будет запрашивать apikey у меня по email.

Чего там нехватает, так это детализации статистики обращений, пока нет простых идей как лучше её реализовать не нагружая сервер.

Как бы то ни было если будут вопросы, пожелания по API – обращайтесь.

Чем интересен подход Linked Data – так это тем что разнородные, но пересекающиеся по метаданным массивы объединяются в связанную и управляемую структуру.

Ещё интереснее то что этот подход может поменять принципы и логику раскрытия информации государственными учреждениями.

Например, системы раскрытия информации могут быть построены на основе Semantic MediaWiki, OpenLink Virtuoso или аналогичных продуктов. В этом случае соблюдается и публичность данных и создаётся возможность их использования вместе с другими системами.

Судя по тенденциям, подозреваю что в США требования по структурированному раскрытию уже года через 4 будут закрепляться законодательно. Вопрос когда до подобного дорастём мы в России.

Оказывается существует такая премия и заявки принимают до 10 августа, собственно ссылка и предлагаю номинировать – http://www.premia.webmastera.org/ .

Что мне в этой затее нравится:

1. Наконец-то начались попытки не только систематизировать требования к госсайтам, но и вовлечь органы власти к этой деятельности.

2. Среди экспертов есть как люди занимающиеся юзабилити, так и те кого можно назвать просто «продвинутыми пользователями».

3. На сайте представлен технический регламент требований к официальным сайтам. На мой взгляд, документ хоть и не полный, но нужный.

Что не нравится:

1. После рейтингов Института Свободы информации (www.svobodainfo.ru) по информационной открытости веб сайтов органов госвласти – у меня довольно скептический настрой к их деятельности.

2. Любой рейтинг прозрачности, открытости и так далее должен быть прозрачным и открытым. На сайте, к сожалению, упомянуты три оценки – «Экспертная», «Общественная», «Народная» и непонятно их распределение и формула расчёта.

—

В целом мнение скорее положительное. Главное чтобы всё не ограничилось только конкурсом – а работа над требованиями продолжилась и они пошли бы в работу.

Депутаты блоггеры в России уже давно, есть миллионеры блоггеры, а вот представителей исполнительной власти высокого уровня  почти не найти.

На днях нашёлся блога Министра труда и социального развития Омской области Андрея Бесштанько по моему это первый в России блог министра.

Конечно, ведётся он на CMS портала министерства который по сравнению с тем же Wordpress, выглядит совсем «некузяво» – важнее другое, прогресс налицо.

Сложно ничего не написать по злободневной теме.

Буду приводить разные интересные ссылки:

1. Текущая ситуация с сайтом уже «достала» не только поставщиков, но и заказчиков. Подробнее можно посмотреть что пишут люди на форуме.

http://oper.bestadmin.ru/agzrtf_postst319p10_——-.aspx

На всякий случай привожу кликабельный скриншот, опыт Школьного портала показал что администраторы форумов трут критические замечания пользователей, а тут человек по делу и серьёзно пишет.

2. Многие воспринимают государство как единое целое – это не совсем так. У разных чиновников свои функции, свои требования, свои штрафы за невыполнения работ. Но друг друга они обычно всегда понимают. Если почитать некоторые ветки на форуме операторов, то становится понятно что в текущем виде сайт нагадил очень многим заказчикам – все боятся штрафов и не знают как доказать что несоблюдение процедур было не по их вине.

3. С основной страницы – http://zakupki.gov.ru/ исчезли красные буквы и появились большие красные мигающие кнопки.  Первое место за худший дизайн сайтов по закупкам и сайтов органов гос-власти – этот сайт удержит ещё долго.

4. Есть большая разница между тем же школьным порталом и новым zakupki.gov.ru – разница в пользователях. Если Школьный портал ресурс в общем-то необязательный, то закупки ищут и публикуют по 4 000 штук в сутки.

5. Про поиск на сайте можно писать много и долго. Делать его таким образом можно лишь в состоянии полной безграмотности и непонимания как ищут поставщики или сознательно усложняя им жизнь.

На мой взгляд ситуация с федеральным сайтом уже почти тупиковая. То что Минэкономразвития никто публично не критикует может продолжаться ещё какое-то время, но рано или поздно ситуация может прийти к очередной аналитической записке Счетной Палаты или выносу вопроса на уровень Правительства РФ. Последствия этого я предсказать не берусь, зачем это нужно МЭРу тоже не понимаю. Но выглядит это всё странно, чертовски странно.

Продолжая, тему работы с информацией и того что можно называть «семантическими алгоритмами», пусть даже слово семантические уже набило оскомину – я приведу один из примеров сложного и полного решения довольно простой задачи.

Например, есть задача анализировать и разбирать на составные части адрес – почтовый или местонахождения организации. Задача довольно частая, есть компании которые даже специализируются на её решении, рассмотрим её подробнее.

Также как и для любой иной задачи, прежде чем её решать, необходимо понять области применения решения. Например, если задача только определения по адресу региона до определённого уровня (города, территории) – то это довольно просто, достаточно извлечь индекс и найти соответствия ключевых слов верхним срезам из ОКАТО, другое дело когда необходимо не просто разобрать адрес, а представить его в виде осмысленной структуры связанной с региональными классификаторами именно этот случай я приведу здесь в пример.

1. Первый и чуть ли не самый главный шаг – это накопление исследовательской выборки. Правило тут очень простое – чем больше данных накоплено, тем больше шансов охватить все возможные случаи причём важно чтобы накопленная выборка включала данные в разном качестве, разных форматах и так далее. Собрав хотя бы несколько десятков тысяч адресов можно приступать к их анализу.

Continue reading «Сложные решения простых задач. Структуризация почтового адреса»