Иван Бегтин

Сейчас когда Гослюди,ру уже запущены, а также мы  мы активно там собираем блоги и идеи  (http://goslyudi.reformal.ru) я могу сравнить их с другими проектами и об их востребованности.

Например, с некоторым сожалением, но не отметить не могу – реакция на Гослюдей была и есть куда более активная чем на OpenGovData.ru. В OpenGovData и сейчас зарегистрировано всего 3 идеи (http://opengovdata.reformal.ru/) , комментариев раз-два и обсчёлся да и в группе проекта, честно скажем, активность пока небольшая.

Вопрос – отчего так? Можно подумать на дизайн, хотя, ИМХО, для OpenGovData.ru дизайн не самое главное.

Но я вижу что дело в другом – в востребованности проекта и его своевременности.

Гослюди.Ру, как оказалось, проект своевременный и актуальный – в России блоги госчиновников и народных избранников только-только стали массовым явлением.

А вот когда я начинаю рассказывать про OpenGovData.ru, то наталкиваюсь на то что очень многие просто не понимают зачем этот проект нужен. Что вообще даёт сбор открытых данных в одном ресурсе, какие с этого плюсы и так далее.

Я понимаю почему мы не готовы. Потому как в ряде других стран, в основном из англосферы, практика раскрытия данных и социальная активность вокруг их использования существуют давно. Особенно это важно относительно социальной активности – у нас не так много активных и технологически подкованных граждан понимающих ценность открытости данных и имеющих из них готовить всяческие вкусные сервисы и проекты.

Но, опять же, если ничего не делать, то ничего и не сделать и как продвинуть OpenGovData.ru, в первую очередь в умах, я думаю, а пока проект будет наполнятся данными и источниками информации.

Пока я думаю и собираю идеи и предложения по развитию OpenGovData.ru мне бы хотелось чтобы было понимание что критика относительно многих госпроектов и госсайтов была даже не конструктивной, а деятельной. Кроме того меня не покидает уверенность в том что достижение прозрачности возможно только прозрачными методами.

Для чего сейчас в OpenGovData.ru появилось открытое API с описанием которого можно ознакомиться по ссылке http://groups.google.com/group/opengovdataru/web/api–opengovdata-ru

Разумеется оно весьма несовершенно в первой своей форме, там реализован только экспорт информации, однако наверняка многим пригодится и это – теперь два основных банка данных, коллекции источников информации и коллекция обработанных данных доступны для повторного использования.

Критика, пожелания, предложения и _особенно_ повторное использование, всячески приветствуются.

Кроме того исходный код OpenGovData.ru, в его текущей, весьма несовершенной форме доступен по ссылке http://github.com/ivbeg/opengovdataru. Код, прямо скажем, унаследовал все недостатки того сколь быстро он разрабатывался и в него пока ещё не включены последние изменения, но, как я уже писал ранее – достижение прозрачности должно быть прозрачным.  Я считаю что мало заниматься деятельной критикой самому – надо давать и другим инструменты для этого полезного занятия.

• http://www.mn.gov/data/ – каталог данных штата Миннесота. В основном ссылки на сервисы и сайты органов власти в Миннесоте
• http://www.maine.gov/cgi-bin/data/index.pl – раскрытие данных в штате Мэйн (Maine DataShare). Много массивов данных в CSV, XML и KML
• http://www.michigan.gov/data – каталог открытых данных штата Мичиган. В основном старые данные в  виде файлов в DBF, XLS и SHP форматах. Видно что просто пособирали по сусекам что есть и выложили как есть
• http://www.nd.gov/gis/ – почти каталог данных, а на самом деле ГИС система штата Северная Дакота. Пока ничего впечатляющего.
• http://www.ca.gov/data/default.html – каталог данных штата Калифорния. Существует уже сравнительно давно и много данных в CSV, XML, XLS
• http://www.utah.gov/data/ – каталог данных штата Юта. Выглядит очень прилично, и сам сайт штата, и каталог.
• http://www.mass.gov/data – данные штата Массачусец. На самом деле там Wiki https://wiki.state.ma.us/confluence/display/data/Data+Catalog с возможностью оставлять комментарии. Пока не сильно впечатляет.
• http://www.nyc.gov/data – каталог данных города Нью-Йорк. Не штат конечно, но тем не менее.
• http://www.nysenate.gov/opendata – каталог открытых данных сената США
• http://www.fec.gov/data/ – раскрытие данных федеральной избирательной комиссией США
• http://data.seattle.gov/ – каталог данных города Сиэттла

Ну а я по прежнему считаю что в России должен появится свой data.gov.ru и примером того что это возможно является каталог OpenGovData.ru

В OpenGovData.ru очередное пополнение банка источников информации – добавлено 20 новых источников.

В основном это онлайн банки документов, банки резюме и вакансий и архивных документов. Полный список всего можно посмотреть здесь – http://www.opengovdata.ru/sources/, а также высказать свои замечания и предложения по текущему состоянию и развитию проекта зесь – http://opengovdata.reformal.ru/

Подавляющее число баз данных – это формы поиска и таблицы в HTML. Увы и ах, но по прежнему только единицы государственных баз данных и баз созданных на государственные деньги публикуются в машиночитаемой форме.

Все источники из «неразобранных запасов», а не из ранее опубликованного мною реестра выдернутого из пояснительной записки по Электронной России. Тому есть две причины:

1. Всё ещё слишком много невнесённых источников данных которые доступны онлайн и отсутствуют в этом списке

2. Список, как оказалось неполон, а вот мне наоборот удалось найти в накопленных ранее ссылках много нового. Например, многие библиотеки и архивные фонды поддерживают онлайн каталоги, а также многие банки данных «размазаны» по территориальным управлениям федеральных органов власти.  Например, это реестры хозяйствующих субъектов с долей более 35% которые есть на сайте всех ТУ ФАС России

• http://zakon.scli.ru – система раскрытия законодательных актов Минюста. Не идеально, но очень прилично. Не требует авторизации, поддерживает сложный поиск.
• http://www.pravo.fso.gov.ru – информационно-правовая система «Законодательство России». Бесплатный и публичный сайт с нормативными документами поддерживаемый ФСО России. Требует авторизации если заходить с главной страницы, но при заходе сразу на форму поиска – http://www.pravo.fso.gov.ru/proxy/ips?start_search авторизация ненужна. Не Гарант, не Консультант, но многие задачи успешно решает. И, весомое дополнение, содержит свод законов Российской Империи.
• http://77.108.74.231/Hydroposts/default.aspx – Информационная система «Реки России» (тестовая версия). Работает на ArcGIS, никакой обратной связи, нет открытых данных, нет описания в рамках какого проекта, ФЦП или финансирования создаётся.
• http://www.waterinfo.ru/gts/index.php – Российский регистр гидротехнических сооружений.  Как его применить пока не знаю, просто для коллекции.
• http://www.fgufccs.ru/po/ – реестр программных продуктов для сметных расчетов
• http://www.flc.ru/licens/ – Реестр лицензий Министерства Регионального развития. Обратите внимание на сознательно введённые ограничения на доступ к реестру лицензий.
• http://www.rosnedra.com/article/2604.html - »Перечень объектов выполнения работ по геологическому изучению недр и воспроизводству  минерально-сырьевой базы за счет средств федерального бюджета». Описано несколько сотен участков, минимум информации, но приведены расходы в тыс. рублей. Определённо будет в OpenGovData.ru

Официальные госсайты

• http://www.gosnadzor.ru/ – обновился сайт Ростехнадзора. Выглядит куда приличнее чем мог, ждём когда доделают и будем ругать или хвалить.
• http://www.minregion.ru/ – Обновился сайт Министерства регионального развития нашей с вами федерации. Там появились статданные по регионам
• http://www.roszeldor.ru/ – новый сайт Росжелдора. RSS нет, остальное без изысков.

Дублирую сообщение из группы OpenGovData.ru

—

Из недавно опубликованного вот тут (http://www.slideshare.net/iponomarev/100125-e-government) системного проекта по Электронной России удалось извлечь таблицу с перечнем публичных массивов данных.

Многих из них ещё нет в OpenGovData.Ru, а многие вообще малоизвестны.
А также около половины из них до сих пор недоступны онлайн в какой-
либо форме.

Весь список можно получить тут.
в CSV - http://groups.google.com/group/opengovdataru/web/public_data_sources.csv
(кодировка Windows-1251)
в XLS - http://groups.google.com/group/opengovdataru/web/public_data_sources.xls

В ближайшее время данные оттуда перекочуют в OpenGovData.ru, а также
предлагаю подумать стоит ли регистрировать массивы данных которые
недоступны онлайн?

Как всегда – отклик, идеи и предложения приветствуются. Можно тут, можно в группе Google Groups, можно через Reformal (http://opengovdata.reformal.ru/)

Собственно в Cnews прошла статья про этот системный проект – http://www.cnews.ru/news/top/index.shtml?2010/02/16/379863 и Илья Пономарев подверг его критике http://ilya-ponomarev.livejournal.com/410831.html.

Правда как я понимаю из статьи на Cnews, то критике подвергался не сам документ, а пояснительная записка к нему, однако документ неоднозначный и подвергать его бездеятельной критике, не предлагающей решений, у меня желания нет. Неинтересно.

Предлагаю критику деятельную:

1. «Обсуждение с народом» – это хорошая мысль когда поставлен процесс «общения с народом» и «народные мысли» четко структурированы и конструктивны. Поэтому обратим внимание на такой проект как Концепция Здравоохранения 2020 http://www.zdravo2020.ru/ где можно было публично этот документ обсудить. Я считаю что системный проект по электронной России должен быть не «эрзацем будущих внедрений», а живым документом с живым обсуждением и ничто не должно мешать сделать для него сайт, разбить документ по главам и дать возможность обсуждать каждую. Это, кстати, не потребует ни миллионых вложений, ни детальной аналитики, ни чего-то сверхсложного.

2. Что меня лично убивало во всех документах по ФЦП, не только по Электронной России, но и других – это в их зубодробительности и объёмности.  Универсального решения этой проблемы я не знаю, но думаю что то же самое «обсуждение с народом» должно преследовать цель поиска и его тоже.

3. Технический момент. С PDF документами без крепких выражений работать не получается. У SunLightLabs есть даже отдельный пост «Adobe is Bad for Open Government«. Да, я знаю плюсы PDF в виде цифровых подписей, ограничений на печать и копирование, удобство их печати и тому подобное. Однако Вы попробуйте хоть разок извлечь из них автоматически таблицу особенно большую и со сложными данными и поймёте что это за счастье. Например, мне бы очень хотелось получить из пояснительной записки что опубликовал Илья Пономарёв таблицу со списком баз данных стоящих на балансе федеральных органов власти. Да вот как бы не так! Даже ABBY PDF Transformer преобразует таблицы с массой ошибок особенно в длинных ссылках, а это один из лучших известных мне продуктов по преобразованию PDF в XLS.

В общем, формат имеет значение, особенно когда предполагается что с документом будут активно работать.

А в том что касается обсуждения документов, я давно думаю о том как можно было бы организовать их наиболее простым и удобным способом и все размышления пока упираются только в рутину по нарезке документов на главы. При наличии возможностей автоматизировать этот процесс, остальное решается быстро.

P.S. Кстати, если кто-нибудь знает способ эту таблицу оттуда всё таки извлечь не покорёжив текст и не поломав ссылки буду очень благодарен за помощь.

Ищущим вдохновения можно посоветовать «идейный рейтинг» (тут http://www.opengovtracker.com/) составленный парой энтузиастов на основе данных IdeaScale, сервиса который все ведомства США сейчас используют для обратной связи с пользователями и который предоставляет API с данными об идеях, голосах и комментариях.

Например, можно увидеть что наибольший интерес вызывает NASA, а наименьший такие ведомства как USAID и OSTP (Office of Science and Technology Policy).

И, конечно, немаловажное исходный код проекта доступен тут – http://github.com/jessykate/IdeaScale-Dashboard всем желающим.

Можно увидеть что код там совсем простой, сделать такой проект можно за день причём большую часть дня пить пиво и немного думать и совсем немного кодить когда уже всё понятно.

Но без открытых данных сделать его было бы невозможно и в том и есть ценность открытых данных, открытого API и наличия энтузиастов.

Все наверняка помнят что в декабре 2009 года Обама подписал Open Government Directive (http://www.whitehouse.gov/omb/assets/memoranda_2010/m10-06.pdf) где, в частности, было требование чтобы в течении 60 дней на всех сайтах федеральных департаментов США появился бы раздел раскрытия данных описанных в этой директиве.

Вот этот пункт:

Within 60 days, each agency shall create an Open Government Webpage located at http://www.[agency].gov/open to serve as the gateway for agency activities related to the Open Government Directive and shall maintain and update that webpage in a timely fashion.

Обратите внимание на вполне конкретное указание на шаблон ссылки.

И чтобы Вы думали, действительно на всех сайтах такие разделы появились, а в Sunlight Labs собрали их полный список вот он – http://sunlightlabs.com/open/

Причём не просто появились, а появились полноценно, наполненные данными, а кое-где, например, на странице GSA (http://www.gsa.gov/open) уже и с видеообращением и возможностью предлагать свои идеи (http://opengsa.ideascale.com/)  по аналогии с Data.Gov. Кстати обратите внимание что сайт GSA сделан на WebSphere с нечеловеческими ссылками, но они всё равно сделали ссылку с /open через редирект.

Более всего меня поражает скорость с которой всё это было проведено, всего лишь 60 дней. Да, может идеи и витали в воздухе, может многие ведомства были к этому готовы. Для сравнения в России 8-ФЗ был принят в начале 2009 года, а до сих пор, в лучшем случае, ему соответствуют единицы из госсайтов ведомств, а в худшем – НИ ОДИН сайт не соответствует.

Да чего уж там, я помню как после принятия 94-ФЗ многие регионы свои сайты закупок создавали и приводили в соответствие в течении нескольких лет. Причём далеко не всегда успешно, многие до сих пор работают с нарушениями. Если не по факту, то по смыслу закона – раскрывая информацию предельно неудобно.

На opengovdata.ru появился новый массив данных, справочник МКБ-10 который можно скачать в формате CSV и использовать в своих практических задачах. Большое спасибо за него, Юрию Кудрявцеву!

Также в сообществе проекта появилась подборка ссылок по открытым данным в мире – http://groups.google.com/group/opengovdataru/browse_thread/thread/6e13f7db8ef7960c

Можно найти самые разные разные проекты в различных странах. Пока ещё там не все ссылки, но постепенно они все там появятся.

Это всё о текущем, теперь же о будущем проекта.

Изначально он создавался как некоммерческий, бесплатный сайт аналогичный многим таким же в мире. Именно таким и предполагается оставить его далее, в том числе на сайте не будет никакой рекламы, контекстной ли баннерной ли. У него некоммерческие, если угодно «подвижнические» цели, и таким он останется.

Вопросы сейчас в том как продолжить его развитие.

В прошлом году удалось собрать большую базу различных источников данных, сделать 4 массива открытых данных, разработать специальный формат раскрытия в XML и создать банк нормативных документов по раскрытию данных в нашей стране.

Но… Всё это пока не решило несколько важных задач:

1. Вовлечение граждан в создание машапов.

При том что находятся волонтёры интересующиеся данными и готовые данными поделится, всё ещё мало социально-востребованных проектов по их повторному использованию. Нет примеров машапов, нет продвижения идеи в массы о том что открытые данные – это хорошо, нужно, полезно и необходимо.

2. Выбор пути сбора открытых данных

Фактически, есть всего два пути сбора открытых данных.

Первый – когда данные опубликованы в каком-либо формате на официальном сайте и они преобразуются в «нормальный вид» в виде XML/CSV и других полезных форматов волонтёрами с помощью специально написанных парсеров.

Второй – когда данные публикуются самими ведомствами в формате пригодном чтобы их можно было включать в реестр открытых данных.

По моему опыту, второй путь в России особенно сложен из-за непонимания чиновниками самого понятия открытых данных. Первый же путь сопряжён с многими издержками в виде необходимости обновлять, оптимизировать и улучшать парсеры.  Какой из этих путей более правильный – большой вопрос. Но, что можно отметить точно, так это необходимость медийной поддержки – нужны статьи, публикации, обзоры и целенаправленная работа в этом направлении. Любая помощь будет кстати.

3. Интеграция

Сейчас в мире постепенно набирает тенденция к унификации раскрытия информации. К использованию открытых форматов, к стандартизации отраслевого раскрытия, например, движения транспорта. Важно не остаться в стороне от происходящего и интегрироваться в общий процесс.

В частности есть несколько возможных направлений:

• Linked Data – http://linkeddata.org/ – интеграция в общий процесс Linked Data, для начала экспортом метаданных о массивах данных и их источниках.
• CKAN - http://ckan.net/ – экспорт данных как пакеты CKAN и интеграцией их в этот проект.

4. Расширение

Сейчас в OpenGovData.ru в основном федеральные данные. Их немало, но они далеко не всё и, как ни странно, в регионах немало открытой информации в публичном доступе, важно лишь умение её найти и понять пригодность к автоматическому использованию. А далее актуальна ситуация и с муниципалитетами.

5. Систематизация

На самом деле проблема систематизации она глобальная. И существует много нераскрытых вопросов как собирать данные и c какой стороны заходить со стороны что есть на самом деле или с того что правильно.

• Строить ли иерархию органов власти и к ним добавлять  описания доступных массивов данных или же первичны именно данные и информация об органах власти вторична?
• Собирать ли информация о различных интерактивных и полуинтерактивных сервисах дающие выборочные данные? Например, проверка налоговой задолженности или проверка паспорта в ФМС.

И так далее . Вопросов много и наложение геополитической онтологии что я публиковал ранее или же онтологии структуры органов власти  на реестр открытых данных будет непростой задачей и довольно длительной.  Тем не менее к этому постепенно всё будет приведено.

—-

Всё вышеперечисленное о том что происходит и будет происходить в проекте. Но самое главное – это отклик от потенциальных и существующих его пользователей. Критика, замечания, отзывы, предложений – всё что можно сказать и что может проект изменить и улучшить.