Иван Бегтин

Как многие знают вышла новая редакция Электронной России (прочитать и скачать её можно здесь – http://www.government.ru/content/governmentactivity/rfgovernmentdecisions/archive/2009/09/10/7594263.htm)

Но радость была бы не полной… Но одно дело когда текст представлен как текст и совсем другое данные для анализа. Я эти данные, потихоньку перевожу из DOC в Excel и далее CSV и прочие более полезные форматы.

Поэтому для ФЦП привожу первую порцию преобразованных данных как cравнение распределения расходов между редакциями от ПП 502 от 16 августа 2006 года и ПП 721 от 10 сентября 2009 года.

Плюс наиболее простой график на котором видны самые очевидные изменения в виде сокращении доли Росинформтехнологий и увеличение доли Минкомсвязи.

Впрочем используя данные из Excel’евского файла можно увидеть и меньшие изменения как-то сокращение капитальных расходов у Минэкономразвития и ФСО России, при сохранении прочих расходов и расходов на НИОКР.

Интересно, конечно, будет сравнить и изменение структуры мероприятий и ответственных за них, но это позже.

Кстати, тут имеется 4 уровня срезов данных – по постановлению правительства, по ведомству, по году, по виду расходов. Кто подскажет какой график лучше всего подойдёт для визуализации?

П.С. Если кто-нибудь занимается инфографикой или знает тех кто занимается, покидайте, плз, контакты/цены/ссылки на портфолио. Ибо есть у меня уже много данных и готовность заказывать их визуализацию.

В последнее время много времени уделяю различным инструментам работы с информацией – очистка, обработка, конвертация, визуализация и всё что с этим связано. Общее число инструментов весьма велико, как и число их возможных применений.

Просуммирую собственные размышления:

• большая часть инструментов работы с большими массивами информации написаны на Java. То же самое можно сказать про инструменты работы с semantic web. Может быть это именно мне попадались подобные, но думаю что действительно пока инструментов в Java больше.
• Язык R (R Language) впечатляет удобством и всё более идёи в массы, например, лично мне нравится возможность вызова его через код Python посредством rPy (http://rpy.sourceforge.net/).  Один лишь недостаток – язык под GPL и использовать его в коммерческих продуктах не получится. Но коммерческие продукты – это не всё и я уже знаю несколько примеров (вне России) где R используют внутри компаний или же как аутсорсинг услуг.
• большая часть задач по визуализации решается теми или иными плагинами для Excel, а также непосредственно возможностями Excel’я особенно версии 2007. Единственной более менее серьёзной заменой ему я знаю Tableau цена которого нереально выше – минимум $999 за персональную лицензию.
• весьма примечателен выбор графика в JuiceAnalytics там можно подобрать график под свои нужды и сразу скачать его под Excel или Powerpoint.
• а вот в для веб пока ничего более простого и удобного чем Amcharts (http://www.amcharts.com/) мне найти не удалось. При очень небольшой цене – весьма удобный и гибкий инструмент. Впрочем есть и бесплатные варианты вроде OpenFlashChart, бесплатной версии FusionCharts и Yahoo ASTRA Flash Components.
• есть целый ряд тем по обработке данных отодвинутых от наиболее продвинутых инструментов. Например, есть пробел с извлечением метаданных из различного рода файлов – фактически, за исключением самых популярных форматов,  в остальном под каждый формат свои библиотеки и инструменты зачастую только с закрытым исходным кодом или даже полное отсутствие описания формата. Правда относительно форматов файлов и их пакетной обработки надо отметить что у разных форматов разная судьба – если изображения, видео, музыку и различного рода текстовые файлы часто подвергают пакетной обработке, то для остального рода файлов знание их форматов ограничено узкой областью использующих их продуктов, антивирусов и разного рода security and forensic Software. Определённо можно свести эти темы воедино, вопрос в том лишь дорос ли рынок до такого объединения и будет ли это востребованно именно сейчас.
• Hadoop + HBase или альтернативы в виде Hypertable позволяют выходить на уровень BigData и работать с данными уже на принципиально ином уровне.  В англоязычном Интернете уже развиваются курсы по Hadoop, Hadoop Boot Camp и масса энтузиастов в России всё упирается в небольшие объёмы общедоступных массивов данных и ограниченностью предприятий/организаций заинтересованных в работе с большими объёмами.
• тема которая не относится к работе с данными напрямую, но важна с точки зрения их потребления, предоставления конечным пользователям – это формы предоставления информации. Её можно начинать от динамических контролов в веб и на десктопе которые бы подстараивались под вкладываемые в них данные в зависимости от объёма, продолжать автоматизированным и автоматическим подбором типов графиков под анализируемые данные и развивать к другим не менее интересным направлениям. Всё это в совокупности некий «мостик» между работой с данными, в том числе и BigData, и юзабилити. И пока я не вижу как иначе эти темы связать.
• продолжаю присматриваться к GreenPlum, пока на уровне понимания кейсов для чего может пригодится.
• то что крупные игроки вроде Microsoft, Google, Amazon начинают не просто работать с большими объёмами данных, но и предоставлять общедоступные данные всем желающим – это очень хороший сигнал. Хотя и каждый из них играет в свою игру, тем не менее появление лоббистов в этой области даёт шанс что они начнут взаимодействовать непосредственно с государственными органами для раскрытия информации. К сожалению, не российскими госудраственными органами.
• у меня накопилось порядка 200 гигабайт различных датасетов, при том что приходится себя ограничивать в скачке некоторых чтобы не забивать канал и потому как надо ещё и эти «переварить».

В продолжение прошлой подборки ссылок, то что в неё не вошло.

• Juice Analytics – подборка рецептов и примеров красивых графиков в Excel
• Karl Hartig: Data visualizations – отличные примеры графиков на различные темы от Карла Хартига. Например, показателен график роста мощностей компьютеров
• GraphJam – музыка и культура для тех кто любит графики. Не очень серьёзно, но весьма наглядно.
• Semiology of Graphics – книга Jasques Bertin о покупке которой я подумываю, а подглядел я её в блоге Visualcomplexity
• US GHG Emissions Flow chart – неплохая визуализация распределения выбросов в атмосферу по отраслям
• 10 Beautiful charts on love and sex – эту ссылку никак нельзя пропустить. Некоторые графики и в самом деле хороши.

Как общественно полезное дело сегодня за час перевёл Chart Chooser от Andrew Abela из ExtremePresentation. Это такой постер позволяющий значительно упростить выбор диаграммы при визуализации данных. Вначале я думал что это займёт максимум минут 10, но оказалось что редактирование текстов в редакторах PDF выдавало то ошибки с кодировкой, то неправильное восприятие ими графических элементов – в итоге я просто связался с автором и попросил у него исходник, а ниже результат перевода.

Можно скачать большой JPG файл, а можно русскоязычную PDF версию . А если понравилось или есть замечания можно отписаться мне тут.

Признаюсь русскоязычными терминами в названиях диаграмм я лично пользуюсь редко и некоторые переводы вроде «линейчатая диаграмма» (один в один как в Excel) или же «столбиковая диаграмма» (это из словаря) мне самому не нравятся, но готов их поправить если найдуться альтернативы.

Подборка ссылок и материалов по построению графиков:

ПО и ресурсы:

• Smashing Magazine: Diagrams: Tools and Tutorials – огромный перечень  инструментов актуальный на 2006 год
• Creating Graphs with Adobe Illustrator – рисуем красивые графики в графическом редакторе
• ChartGizmo – онлайновый стартап для рисования графиков.
• Online Charts Builder – ещё один онлайновый редактор графиков
• Google Chart API – не самые красивые, но удобные графики с API от Google
• Chart Patterns – анализ типовых шаблонов проявляющихся на графиках
• Amcharts – хорошо выглядящие Flash графики
• Chart WebFx – пример построения графиков только с использованием DHTML и JS
• Flash charting at Devexperts – интересные графики фондового рынка на Devexperts. По функциональности превосходят того же типа графики из пакета amcharts

Исследования:

• Data quality visualization research
• Information Visualization: Graphical Tools for Thinking about Data
• Developing accessible software for data visualization

Death and Taxes – отличная визуализация того на что идут федеральные деньги в США. Конечно, создание такой «штуки» это творческий процесс, его нельзя перенести на любую другую страну неглядя, но как пример формы подачи информации показателен.

В блоге создателей постера, WallStats есть много других интересных примеров по подаче информации.

Кстати, весьма интересно интервью с одним из экспертов по визуализации Пентагона про то как там целенаправленно начали реорганизацию формы подачи материалов для большей наглядности и презентация Пентагона на получение бюджета в Конгрессе на 2009 год.

К слову, ситуация с наглядностью подачи информации в России у гос. органов, мягко говоря, неидеальна и иногда и просто ужасна.

На днях, в поисках замены для Visio, открыл для себя Best4C. Весьма любопытный ресурс для построения диаграмм, в отличии от первопроходца в этой области Gliffy, обладает куда большей коллекцией элементов, начиная от карт метро, заканчивая UML и Workflow. Правда сразу же всплыла и куча недостатков – не поддерживается русский язык, непонятное отображение диаграмм при экспорте в картинку (у меня изображение съехало при этом), иногда глючит курсок при соединении элементов. Но… Недостатки эти выглядят исправляемыми, а в остальном сервис кажется весьма переспективным.

Впрочем этот сервис не единственный. Autodesk запустили демо своего Cumulate Draw с, пожалуй, лучшей прорисовкой чем любой иной подобный сервис. И это при том что, в отличии от flash’евых Gliffy и Best4C, он полностью сделан на HTML + Ajax.

MxGraph пошли дальше и предлагают движок для построения подобных диаграмм онлайн, у них же есть несколько сильно выглядящих демок – Network, Workflow и другие можно найти на их сайте. Впечатляет.

Их прямой конкурент Draw2D из проекта OpenJacob . Там хотя и не столь смазливый интерфейс и реактивность, но явно проект развивается и может иметь эффективное применение. Там же множество демок и описание библиотеки.

Напоследок, DiagramAnywhere постоенный на flash и не похоже что чем-либо превосходящий остальные подобные сервисы.

Как  следствие всего этого у Visio появилось значительное число альтернатив и, хотя и есть задачи где заменить пока его нечем, но, во многих случаях пользователю не нужен диаграммопостроитель на каждый день в отличии от почтовых клиентов или офисных программ. В итоге обратиться к онлайновому сервису будет проще чем покупать оффлайновое ПО.

Я редко выделяю какой-то отдельный англоязычный блог, но вот этот, BetterExplained, заслуживает внимания.

Автор пишет в основном о программировании и математике, периодически уделяя время маркетингу, принципам правильной подготовки статей для блога и близким темам. Практически всегда с собственными иллюстрациями и формулами.

Например,

• Intro to Distributed Version Control (Illustrated)
• Unicode and You
• An Intuitive (and Short) Explanation of Bayes’ Theorem
• What You Should Know About The Stock Market

Почитать стоит, хотя бы, с точки зрения оценки простоты и качества подачи материала.

Оказывается, WikiMindMap, умеют показывать статьи из ВикиПедии в виде карт разума / карт концепций. Работает явно на уровне категорий, разделов и ссылок и выглядит весьма симпатично. Пример – Russia из английской википедии
—

Специализированный поисковик по картам разума MindMapSearch заряжается от Goodle Coop и ищет по 179 сайтам по данной тематике. Также сайты можно посмотреть в рамках одного каталога.

—

Mappio онлайновый сервис построенный на правильной идее преобразования текста в Mind Map. У них же подробный Formatting Guide как готовить тексты для создания майндмэпов. Если совместить его с хорошей Flash реализацией, то появится чудо-сервис.

Mapul - «классические интеллект карты». Судя по текстам и счётчикам сервис российски. Дизайн сайта, признаться, совсем не впечатлил, а поскольку внутри SilverLight, то попробовать в моей среде Firefox/Fedora Core не удалось.

А вот Mind42 хотя и минималистичен, но тем и запомнился. Интерфейс произвёл приятное впечатление даже хотя и многие возможности отсутствовали. Как и WiseMapping, сделанный с хорошим пониманием об удобстве пользователей.

Более же всего понравился Comapping, живое подтверждение что Flash приложения могут заменить настольные для подобных задач.

—

И напоследок, Любопытная коллекция майндмапов для обучения медиков – MedMaps. Буквально хоть печатай и используй с другими обучающими материалами.

На сей раз я решил проделать всё тоже самое по виртуализации, но уже в настольном приложении XMIND 2007 от Mango Software. Вот тут по ссылке его можно найти – http://www.xmind.org/. Работает на Windows и Mac платформах, а учитывая что написано оно на Jave с использованием платформы Eclipse, то вполне возможно что разработчики и Linux скоро поддержат. На сайте можно скачать версию на 21 день.

Впечатления от приложения самые хорошие и цена в $99 по сравнению с $299 MindJet’а куда как лучше выглядит. Хотя и в любом случае проигрывает по бесплатности Bubbl.us, Mindomo и Mindster. Вот так оно выглядит на скриншоте.

а под катом пара моих карт разума.

Continue reading «В продолжение карт разума ещё две карты с помощью XMind.»