Про открытые данные. Дайджест последних дней

Август уже на середине и славится он обычно не интересным содержанием, а различными общественными потрясениями, но и всякого разного, в том числе про открытые данные, у нас накопилось.

1. Хаб открытых данных переехал на HubOfData.ru

Мы перенесли всё что было на хабе и других наших общественных каталогах данных в новый каталог на базе последней версии CKAN 2.2a. Это последняя, экспериментальная версия движка и там хватает багов — в частности два самых заметных, это плохое отображение CSV разделенных не запятыми и пока еще не работает хранилище структурированных данных — данные там хранятся в структурированных файлах.  В остальном — существенный прогресс. Загружено уже более 4 965 массивов данных и, что немаловажно, это всё _машиночитаемые данные_.

Собственно это главное изменение. Если раньше мы в каталог вносили все потенциальные источники информации, то теперь появилось много открытых баз данных и можно вносить их. На этом и будет акцент и данные в неструктурированных форматах мы туда вносить не будем.

2. Планы по загрузке данных в хаб

Планы простые до безобразия — загрузить как можно больше массивов данных, желательно, полезных. Сейчас данные мы вносим автоматически — специальными скриптами они извлекаются из госсайтов, подготавливаются и грузятся в хаб. Так были загружены данные ЕМИСС, ЕСИМО, портала открытых данных Москвы и не только.

Ближайшие планы на загрузку:

— всевозможная статистика (обычно XLS и CSV);

— RSS ленты максимально возможно числа органов власти (XML, новостные данные);

— несколько больших баз в DBF форматах;

— данные переписи 2010 ( в XLS);

— данные из разделов по открытым данным на сайтах органов власти.

3. OpenGovData.ru будет преобразовываться в новостной и статейный формат

Сайт редко обновлялся и нес на себе ряд несвойственных функций так что сейчас он переделан в медийный формат и формат базы знаний. Последние изменения и события того что мы делаем по открытым данным будут публиковаться именно там.

4. Архивы государственных сайтов

Как Вы помните я давно занимаюсь этой темой и часть старых государственных сайтов удалось сохранить. Сейчас у меня есть примерно 18 гигабайт архивов — в распакованном виде это около 200 гигабайт. Часть из них была доступна через старый OpenGovData.ru и хаб, другие лежали мертвым грузом ибо объемы огромны.

Сейчас все они переносятся на CDN и будут доступны для всех желающих, но не через хаб, а, скорее всего, через отдельную систему. Главная проблема в больших объёмах так что сейчас думаем как лучше это организовать. Если архивы Вам очень нужны — напишите мне, я перешлю ссылки на их выгрузку.

А в ближайшее время повторно выложим те что были и те что к ним добавились.

Но всё это, в любом случае, не меняет проблематики регулярной архивации госсайтов и вообще ключевых веб-сайтов. Сильно мешает этому того что госполитика в этой области в России отсутствует полностью.

 

About This Author

Яндекс.Метрика