Иван Бегтин

Итак, в OpenGovData.ru и его Вики появилось много нового.

1. За 4 дня было было создано 14 парсеров и, соответственно, у нас появилось 14 новых массивов машиночитаемых данных. Почти все были сделаны волонтёрами по своей инициативе. Я считаю что это очень круто и мы вместе делаем очень важное дело. Пусть и по маленьким кусочкам, но, свершилось главное идея создания машиночитаемых данных своими руками – работает.

Кстати, предлагаю всем подумать над тем как можно проанализировать и что можно из этих данных интересное сделать. Например, я лично уже копаюсь в реестре недобросовестных поставщиков, а кому могут быть интересны данные государственного регистра фильмов, базы запуска космических аппаратов или сводной налоговой отчетности. Предлагаю всем заглянуть в то что у нас уже есть тут в вики и в списках массивов данных.

2. В список источников opengovdata.ru я добавил ещё 10 новых. Их можно просмотреть в списке тут в основном это статистика ФСИН, МЧС и МВД. Присылайте новые мне или вносите в список в вики проекта тут

3. В разделе рецепты и инструменты добавились ссылки на примеры кода, фреймворки и движки по извлечению данных, их обработке и визуализации. Постепенно там будет собрана максимально обширная коллекция материалов. Если Вы видите что там чего-то нехватает, смело добавляйте или пишите мне – я добавлю.

4. Я начал вносить в Вики собственные парсеры накопленные мною за время работы над opengovdata.ru. Сейчас на странице со списком преобразованных данных я выложил парсер списка сайтов кредитных организаций (банков) с сайта Банка России.

А также вот тут http://gist.github.com/555510 можно посмотреть пример кода как автоматизировать извлечение очень простых таблиц с веб-страниц и примеры того как этот код помог в сборе данных о грантах для РосГосЗатрат.  Фактически всё что нужно для простых таблиц – это ссылка, кодировка страницы и код xpath, как правило, очень простой.

—

Тем временем, пока мы вместо наших госорганов делаем данные открытыми и публичными, норвежские чиновники вот тут http://data.norge.no/blogg/2010/08/en-klausulbuffet-av-vilkar/ обсуждают вопросы лицензирования открытых данных отдавая предпочтение лицензии Creative Commons. Страница неплохо переводится на русский через Google Translate или же, разъяснения на английском, есть на общеевропейском портале.

На EPSIPlatform сообщают что Кенийское правительство запустило портал по общественно значимой информации (Public Sector Information) или, проще говоря, портал по открытым данным. Посмотреть сам портал можно по ссылке – http://www.opendata.go.ke/

Портал сделан на Joomla и до полноценного портала по открытым данным всё ещё далёк, поскольку ничего кроме нескольких документов в XLS и PDF форматах там нет. Например, у них уже есть раздел со списоками всех кенийских школ http://www.opendata.go.ke/index.php?option=com_docman&task=cat_view&gid=54&Itemid=56

Правда проект всё ещё в стадии беты, так что ждём развития.

Жаль, конечно, что они не стали использовать один из имеющихся публичных движков вроде того что делали в Sunlight labs как National Data Catalog или же CKAN. Впрочем это именно что портал PSI, а там кроме датасетов ещё и публикуют разные нормативные документы как использовать информацию.

А я вот думаю что data.gov.ru обязательно появится. Если уж кенийцы смогли то.

Мне тут в течении последних дней накидали ссылок на посты блоггеров нашедших на сайте МинКультуры (www.mkmk.ru) всякие «прикольные» названия фильмов в списке прокатных удостоверений.

Например:

• http://tema.livejournal.com/652819.html
• http://pochemu-ne-vernus.blogspot.com/2010/05/blog-post_29.html
• http://alikin.livejournal.com/53305.html
• http://observer-l.livejournal.com/69995.html
• и таких ещё до кучи

Я пересмотрел пару десятку постов на тему того чё есть на сайте Министерства Культуры и не нашёл в них самого главного – а что там должно быть?

Ну прикольно, увидели слово из 3-х букв, посмеялись, нашли много других слов , но хоть кто-нибудь бы проанализировал проблему и предложил решения, если, конечно проблема есть.

Поэтому выступлю в качестве «адвоката дьявола» – лично я, в этой ситуации на стороне Министерства Культуры.

А теперь посмотрим на эту ситуацию, как есть.

1. Министерство культуры ведёт «государственный регистр фильмов» и предоставляет его в общий доступ всем гражданам Российской Федерации

2. Реестр содержит информацию о ВСЕХ фильмах которые только выходили.

3. В реестре фильмов известно кто производитель фильма, а в реестре прокатных удостоверений кто прокатчик. Или к прокатчикам и производителям претензий нет, и во всём МинКульт виноват?

Иначе говоря, как раз Министерство Культуры обеспечило полную публичность всем гражданам информацию о национальных и иностранных фильмах на территории России.

Так в чём проблема?

В том что Минкультуры слишком публично, а информацию по прокатным удостоверениям с «возрастными ограничениями» надо прятать?  Товарищи да Вам не угодишь. Я вот считаю как раз в этом они молодцы.

Или может быть дело в том вообще такие фильмы на экраны выходят? Да, ну. Они выходят и выходили и будут выходить. Министерство в данном случае не ЦЕНЗОР, а РЕГИСТРАТОР. Если законы не нарушены и все правила соблюдены – они _не имеют права_ не внести фильм в реестр и не сделать его публичным в реестре. И если они не внесут – главное не забыть подать на них в прокуратуру и суд за несоблюдение нормативно-правовых актов утверждающих публичность данной информации

Может быть в том что при описании фильмов нет предупреждения что у него есть возрастные ограничения или же нет отдельного раздела для подобного рода фильмов? Это может быть резонно. Вот только помимо министерства почему бы не адресовать этот вопрос нашим депутатам которые и должны бы на уровне федеральных законов определять должна ли информация о  фильмах с возрастными ограничениями публиковаться с соответствующими предупреждениями.

И, если дело именно в этом, отчего же так приключилось что никто из блоггеров об этом не написал?

Так что лично я не рассматриваю эту ситуацию как проблему Министерства Культуры. Это стресс-тест для Вашего ханжества уважаемые. На Вашу адекватность на публичность государства.  На Вашу готовность к деятельной критике.

И ответьте сами себе на вопрос прошли ли Вы этот тест.

К вопросу о том есть ли в России энтузиасты работающие с открытыми данными и вообще умеющие их готовить.

В блоге n_fury появился небольшой обзор нескольких образовательных бюджетов. Частично на данных самостоятельно собранных автором, частично, в части бюджета Москвы, то что я автору переслал уже подготовленный датасет.

Для наглядности скриншот:

По моему это хороший признак – ещё одно подтверждение что востребованность в открытых данных есть.

Для интересующихся выкладываю сводную таблицу расходов по бюджету Москвы mos_fullbudget (Excel, 957KB).

В документе:
- В поле summ_str – сумма строкой в тысячах рублей
- В поле summ_rub – сумма числом в рублях

Скажу сразу – это не полностью готовые данные в моём понимании, а только дамп таблицы из документа бюджета с первым этапом обогащения информации – добавлен уровень, суммы переведены в из тысяч рублей в рубли.
Для простых исследований и преобразований этой таблицы должно быть достаточно.

Для сложных должно быть правильное описание структуры – над этим я работаю. Если у кого-то есть желание помочь в разработке форматов раскрытия бюджетов в машиночитаемой форме – деятельная помощь всячески приветствуется.

Хочу услышать Ваши мнения по поводу движка CKAN http://www.ckan.net
разработанного в OKFN http://www.okfn.org/

У него есть очень мощное преимущество в виде множества внедрений,
простой локализации, встроенного API, поддержке RDF описаний и так
далее.

Что думаете, стоит ли на него переводить OpenGovData.ru?

Как альтернатива можно создать отдельный портал на базе CKAN куда
включить открытые данные не только государственные, но вообще любые.

• http://www.deutschland-api.de – API Германии. Веб сервисы для доступа к различной государственной и политической информации
• http://opendata-network.org – блог и вики посвящённые открытым данным в Германии
• http://offenedaten.de – большой каталог открытых данных в Германии на базе движка CKAN
• https://wiki.opendata-network.org/index.php/Apps4Democracy – APP4Democracy. Инициатива по разработке некоммерческих проектов на базе открытых данных
• http://www.wahl.de/ – германский аналог Гослюдей, но более прокачанный и включающий политиков кандидатов
• http://www.gov20.de/ – Правительство 2.0 в Германии

В довесок, проект по раскрытию информации в Болгарии http://www.aip-bg.org болгарский читать несложно, а материалов там много.

Блоги:

• Президент Евросоюза – http://vloghvr.consilium.europa.eu/. Из-за отключеннёх комментариев в Гослюдях бы попал в антирейтинг
• Андрис Пиебалгс – http://blogs.ec.europa.eu/piebalgs/. Пишет не чаще раза в неделю, комментариев очень мало, живого текста тоже маловато. Не жжёт…
• Кристалина Георгиева – http://blogs.ec.europa.eu/piebalgs/. Комментариев больше, пишет чаще
• Вице-президент Еврокомиссии Neelie Kroes – http://blogs.ec.europa.eu/neelie-kroes/. Комментарии запрещены
• http://blogs.ec.europa.eu/ – остальные блоги членов Еврокомиссии и Евродепутатов

Статистика

• ЕвроСтат – http://epp.eurostat.ec.europa.eu
• База данных Евростата в CSV/XML и SDMX открытая для публичного скачивания –  http://europa.eu/estatref/download/everybody/
• Проекты по интеграции данных ЕвроСтата в Semantic Web – http://esw.w3.org/SweoIG/TaskForces/CommunityProjects/LinkingOpenData/EuroStat

Открытые данные

• Проект по раскрытию публичных данных в Евросоюзе - http://www.epsiplatform.eu
• Там же рейтинги/оценки уровня повтороного использования информации -http://www.epsiplatform.eu/examples/scorecard. UK выделяется огромным отрывом от всех остальных.

• OpenElectionData - http://openelectiondata.org/. Британский проект помощи местным властям в раскрытии информации о выборах.
• Я не особенно понимаю по норвежски, но похоже что http://data.norge.no/ на норвежский аналог data.gov.uk
• Открытые данные Франкфурта – http://www.frankfurt-gestalten.de/

Дублирую сообщение из группы OpenGovData.ru

—

Из недавно опубликованного вот тут (http://www.slideshare.net/iponomarev/100125-e-government) системного проекта по Электронной России удалось извлечь таблицу с перечнем публичных массивов данных.

Многих из них ещё нет в OpenGovData.Ru, а многие вообще малоизвестны.
А также около половины из них до сих пор недоступны онлайн в какой-
либо форме.

Весь список можно получить тут.
в CSV - http://groups.google.com/group/opengovdataru/web/public_data_sources.csv
(кодировка Windows-1251)
в XLS - http://groups.google.com/group/opengovdataru/web/public_data_sources.xls

В ближайшее время данные оттуда перекочуют в OpenGovData.ru, а также
предлагаю подумать стоит ли регистрировать массивы данных которые
недоступны онлайн?

Как всегда – отклик, идеи и предложения приветствуются. Можно тут, можно в группе Google Groups, можно через Reformal (http://opengovdata.reformal.ru/)

Игорь Артамонов буквально вот-вот запустил сайт http://www.datasetpublisher.com/ где будут публиковаться torrent’ы открытых данных которыми бы хотелось поделиться и которые хотелось бы скачать.

Пока данных там немного, но уверен что будет больше нашими совместными усилиями.

Плюс если Вы какие-то данные ищите и они публичны можно, например, отписаться мне и я буду выкладывать их и через трекер тоже.

Например, все данные из OpenGovData.ru я планирую публиковать через этот трекер.

Недавно Катерина Аксенова написала про ряд проектов по раскрытию государственных данных в сети. Обратите внимание что большая часть этих проектов проходит в «англо-саксонских странах» США и бывших британских колониях. Незнаю чем это обусловлено исторически, но да, почему-то именно в них к публичным данным особенно внимательное отношение именно сейчас.

Я приведу в дополнение ещё ряд интересных проектов на ту же тему:

• http://data-donnees.gc.ca – исследовательские и социальные датасеты раскрываемые правительством Канады
• http://www.gov.pe.ca/gis/index.php3?number=77543&lang=E – открытый каталог массивов данных GIS информации Канады
• http://www.geogratis.gc.ca/geogratis/en/index.html – векторная, растровая и табличная информация о наук о земле Канады
• http://www.nanaimo.ca/datafeeds – каталог открытых данных на официальном сайте города Нанаимо, Канада
• http://data.vancouver.ca/ – каталог открытых данных города Ванкувера, Канада
• http://dps.dc.gov/ – открытый каталог данных округа Колумбия, США
• http://api.dc.gov/ – открытое API округа Колумбия, США
• http://opendataoverheid.nl/ – некоммерческий вики проект по открытым данным в Нидерландах
• http://cat.open.org.nz/ – некоммерческий каталог открытых данных в Новой Зеландии
• http://data.australia.gov.au/ – государственный каталог открытых данныхАвтралии.
• http://data.nsw.gov.au/ – государственный каталог открытых данных правительства New South Wales в Австралии
• http://data.govt.nz/ – государственный каталог открытых данных Новой Зеландии
• http://www.data.gov – государственный каталог открытых данных США

И другие интересные ресурсы на ту же тему:

• http://data.un.org/ – каталог данных ООН
• Презентация Хосе Алонсо (eGovernment Lead W3C/CTIC) на тему Open Government Data - http://www.epractice.eu/files/Jose%20Alonso%20W3C.pdf

И, наконец, российские ресурсы:

• http://www.opengovdata.ru – сайт созданный мною в мае 2009 и понемногу наполняющийся.
• http://www.mosclassific.ru – сайт ГУП «Социальный регистр» – предоставляют в открытом доступе все московские и общероссийские классификаторы. Московские можно скачать в XML и DBF (после бесплатной регистрации), а общероссийские доступны только в виде HTML страниц,  но с более-менее удобным поиском.

Будет ли в России Data.Gov.Ru? Я бы переформулировал вопрос. А будет ли его кто-либо использовать?

Собственно это вопросы к читателям – если бы Data.Gov.Ru появился, то:

1. Какую информацию Вы бы хотели там увидеть?

2. Готовы ли Вы лично создавать проекты машапы на основе открытых данных?

3. Если готовы, то забесплатно, или же за деньги в виде конкурсов вроде «Apps for Russia»?

4. Какие машапы Вам было бы интересно увидеть как потребителям?