Иван Бегтин » diagramming

Электронная Россия в сравнении редакций. Часть 1

ivbeg — Sun, 20 Sep 2009 11:30:24 +0000

Как многие знают вышла новая редакция Электронной России (прочитать и скачать её можно здесь — http://www.government.ru/content/governmentactivity/rfgovernmentdecisions/archive/2009/09/10/7594263.htm)

Но радость была бы не полной… Но одно дело когда текст представлен как текст и совсем другое данные для анализа. Я эти данные, потихоньку перевожу из DOC в Excel и далее CSV и прочие более полезные форматы.

Поэтому для ФЦП привожу первую порцию преобразованных данных как cравнение распределения расходов между редакциями от ПП 502 от 16 августа 2006 года и ПП 721 от 10 сентября 2009 года.

Плюс наиболее простой график на котором видны самые очевидные изменения в виде сокращении доли Росинформтехнологий и увеличение доли Минкомсвязи.

Впрочем используя данные из Excel’евского файла можно увидеть и меньшие изменения как-то сокращение капитальных расходов у Минэкономразвития и ФСО России, при сохранении прочих расходов и расходов на НИОКР.

Интересно, конечно, будет сравнить и изменение структуры мероприятий и ответственных за них, но это позже.

Кстати, тут имеется 4 уровня срезов данных — по постановлению правительства, по ведомству, по году, по виду расходов. Кто подскажет какой график лучше всего подойдёт для визуализации?

П.С. Если кто-нибудь занимается инфографикой или знает тех кто занимается, покидайте, плз, контакты/цены/ссылки на портфолио. Ибо есть у меня уже много данных и готовность заказывать их визуализацию.

Инструменты работы с данными. Мысли и наблюдения

ivbeg — Fri, 15 May 2009 07:13:53 +0000

В последнее время много времени уделяю различным инструментам работы с информацией — очистка, обработка, конвертация, визуализация и всё что с этим связано. Общее число инструментов весьма велико, как и число их возможных применений.

Просуммирую собственные размышления:

большая часть инструментов работы с большими массивами информации написаны на Java. То же самое можно сказать про инструменты работы с semantic web. Может быть это именно мне попадались подобные, но думаю что действительно пока инструментов в Java больше.
Язык R (R Language) впечатляет удобством и всё более идёи в массы, например, лично мне нравится возможность вызова его через код Python посредством rPy (http://rpy.sourceforge.net/). Один лишь недостаток — язык под GPL и использовать его в коммерческих продуктах не получится. Но коммерческие продукты — это не всё и я уже знаю несколько примеров (вне России) где R используют внутри компаний или же как аутсорсинг услуг.
большая часть задач по визуализации решается теми или иными плагинами для Excel, а также непосредственно возможностями Excel’я особенно версии 2007. Единственной более менее серьёзной заменой ему я знаю Tableau цена которого нереально выше — минимум $999 за персональную лицензию.
весьма примечателен выбор графика в JuiceAnalytics там можно подобрать график под свои нужды и сразу скачать его под Excel или Powerpoint.
а вот в для веб пока ничего более простого и удобного чем Amcharts (http://www.amcharts.com/) мне найти не удалось. При очень небольшой цене — весьма удобный и гибкий инструмент. Впрочем есть и бесплатные варианты вроде OpenFlashChart, бесплатной версии FusionCharts и Yahoo ASTRA Flash Components.
есть целый ряд тем по обработке данных отодвинутых от наиболее продвинутых инструментов. Например, есть пробел с извлечением метаданных из различного рода файлов — фактически, за исключением самых популярных форматов, в остальном под каждый формат свои библиотеки и инструменты зачастую только с закрытым исходным кодом или даже полное отсутствие описания формата. Правда относительно форматов файлов и их пакетной обработки надо отметить что у разных форматов разная судьба — если изображения, видео, музыку и различного рода текстовые файлы часто подвергают пакетной обработке, то для остального рода файлов знание их форматов ограничено узкой областью использующих их продуктов, антивирусов и разного рода security and forensic Software. Определённо можно свести эти темы воедино, вопрос в том лишь дорос ли рынок до такого объединения и будет ли это востребованно именно сейчас.
Hadoop + HBase или альтернативы в виде Hypertable позволяют выходить на уровень BigData и работать с данными уже на принципиально ином уровне. В англоязычном Интернете уже развиваются курсы по Hadoop, Hadoop Boot Camp и масса энтузиастов в России всё упирается в небольшие объёмы общедоступных массивов данных и ограниченностью предприятий/организаций заинтересованных в работе с большими объёмами.
тема которая не относится к работе с данными напрямую, но важна с точки зрения их потребления, предоставления конечным пользователям — это формы предоставления информации. Её можно начинать от динамических контролов в веб и на десктопе которые бы подстараивались под вкладываемые в них данные в зависимости от объёма, продолжать автоматизированным и автоматическим подбором типов графиков под анализируемые данные и развивать к другим не менее интересным направлениям. Всё это в совокупности некий «мостик» между работой с данными, в том числе и BigData, и юзабилити. И пока я не вижу как иначе эти темы связать.
продолжаю присматриваться к GreenPlum, пока на уровне понимания кейсов для чего может пригодится.
то что крупные игроки вроде Microsoft, Google, Amazon начинают не просто работать с большими объёмами данных, но и предоставлять общедоступные данные всем желающим — это очень хороший сигнал. Хотя и каждый из них играет в свою игру, тем не менее появление лоббистов в этой области даёт шанс что они начнут взаимодействовать непосредственно с государственными органами для раскрытия информации. К сожалению, не российскими госудраственными органами.
у меня накопилось порядка 200 гигабайт различных датасетов, при том что приходится себя ограничивать в скачке некоторых чтобы не забивать канал и потому как надо ещё и эти «переварить».

Ссылки на 31.01.2009. Графики и визуализация. Продолжение

ivbeg — Sat, 31 Jan 2009 13:40:31 +0000

В продолжение прошлой подборки ссылок, то что в неё не вошло.

Juice Analytics — подборка рецептов и примеров красивых графиков в Excel
Karl Hartig: Data visualizations — отличные примеры графиков на различные темы от Карла Хартига. Например, показателен график роста мощностей компьютеров
GraphJam — музыка и культура для тех кто любит графики. Не очень серьёзно, но весьма наглядно.
Semiology of Graphics — книга Jasques Bertin о покупке которой я подумываю, а подглядел я её в блоге Visualcomplexity
US GHG Emissions Flow chart — неплохая визуализация распределения выбросов в атмосферу по отраслям
10 Beautiful charts on love and sex — эту ссылку никак нельзя пропустить. Некоторые графики и в самом деле хороши.

Постер: выбор графика — русскоязычная версия

ivbeg — Sat, 31 Jan 2009 08:21:01 +0000

Как общественно полезное дело сегодня за час перевёл Chart Chooser от Andrew Abela из ExtremePresentation. Это такой постер позволяющий значительно упростить выбор диаграммы при визуализации данных. Вначале я думал что это займёт максимум минут 10, но оказалось что редактирование текстов в редакторах PDF выдавало то ошибки с кодировкой, то неправильное восприятие ими графических элементов — в итоге я просто связался с автором и попросил у него исходник, а ниже результат перевода.

Можно скачать большой JPG файл, а можно русскоязычную PDF версию . А если понравилось или есть замечания можно отписаться мне тут.

Признаюсь русскоязычными терминами в названиях диаграмм я лично пользуюсь редко и некоторые переводы вроде «линейчатая диаграмма» (один в один как в Excel) или же «столбиковая диаграмма» (это из словаря) мне самому не нравятся, но готов их поправить если найдуться альтернативы.

Ссылки на 30.01.2009. Построение графиков и диаграмм

ivbeg — Fri, 30 Jan 2009 08:50:26 +0000

Подборка ссылок и материалов по построению графиков:

ПО и ресурсы:

Smashing Magazine: Diagrams: Tools and Tutorials — огромный перечень инструментов актуальный на 2006 год
Creating Graphs with Adobe Illustrator — рисуем красивые графики в графическом редакторе
ChartGizmo — онлайновый стартап для рисования графиков.
Online Charts Builder — ещё один онлайновый редактор графиков
Google Chart API — не самые красивые, но удобные графики с API от Google
Chart Patterns — анализ типовых шаблонов проявляющихся на графиках
Amcharts — хорошо выглядящие Flash графики
Chart WebFx — пример построения графиков только с использованием DHTML и JS
Flash charting at Devexperts — интересные графики фондового рынка на Devexperts. По функциональности превосходят того же типа графики из пакета amcharts

Исследования:

Смерть и налоги (Death and Taxes)

ivbeg — Tue, 16 Dec 2008 08:05:11 +0000

Death and Taxes — отличная визуализация того на что идут федеральные деньги в США. Конечно, создание такой «штуки» это творческий процесс, его нельзя перенести на любую другую страну неглядя, но как пример формы подачи информации показателен.

В блоге создателей постера, WallStats есть много других интересных примеров по подаче информации.

Кстати, весьма интересно интервью с одним из экспертов по визуализации Пентагона про то как там целенаправленно начали реорганизацию формы подачи материалов для большей наглядности и презентация Пентагона на получение бюджета в Конгрессе на 2009 год.

К слову, ситуация с наглядностью подачи информации в России у гос. органов, мягко говоря, неидеальна и иногда и просто ужасна.

Инструменты для онлайновых диаграмм

ivbeg — Mon, 03 Dec 2007 16:47:06 +0000

На днях, в поисках замены для Visio, открыл для себя Best4C. Весьма любопытный ресурс для построения диаграмм, в отличии от первопроходца в этой области Gliffy, обладает куда большей коллекцией элементов, начиная от карт метро, заканчивая UML и Workflow. Правда сразу же всплыла и куча недостатков — не поддерживается русский язык, непонятное отображение диаграмм при экспорте в картинку (у меня изображение съехало при этом), иногда глючит курсок при соединении элементов. Но… Недостатки эти выглядят исправляемыми, а в остальном сервис кажется весьма переспективным.

Впрочем этот сервис не единственный. Autodesk запустили демо своего Cumulate Draw с, пожалуй, лучшей прорисовкой чем любой иной подобный сервис. И это при том что, в отличии от flash’евых Gliffy и Best4C, он полностью сделан на HTML + Ajax.

MxGraph пошли дальше и предлагают движок для построения подобных диаграмм онлайн, у них же есть несколько сильно выглядящих демок — Network, Workflow и другие можно найти на их сайте. Впечатляет.

Их прямой конкурент Draw2D из проекта OpenJacob . Там хотя и не столь смазливый интерфейс и реактивность, но явно проект развивается и может иметь эффективное применение. Там же множество демок и описание библиотеки.

Напоследок, DiagramAnywhere постоенный на flash и не похоже что чем-либо превосходящий остальные подобные сервисы.

Как следствие всего этого у Visio появилось значительное число альтернатив и, хотя и есть задачи где заменить пока его нечем, но, во многих случаях пользователю не нужен диаграммопостроитель на каждый день в отличии от почтовых клиентов или офисных программ. В итоге обратиться к онлайновому сервису будет проще чем покупать оффлайновое ПО.

Пример ведения IT блога

ivbeg — Wed, 28 Nov 2007 09:48:21 +0000

Я редко выделяю какой-то отдельный англоязычный блог, но вот этот, BetterExplained, заслуживает внимания.

Автор пишет в основном о программировании и математике, периодически уделяя время маркетингу, принципам правильной подготовки статей для блога и близким темам. Практически всегда с собственными иллюстрациями и формулами.

Например,

Почитать стоит, хотя бы, с точки зрения оценки простоты и качества подачи материала.

Интересный Mind Mapping

ivbeg — Sun, 25 Nov 2007 15:02:10 +0000

Оказывается, WikiMindMap, умеют показывать статьи из ВикиПедии в виде карт разума / карт концепций. Работает явно на уровне категорий, разделов и ссылок и выглядит весьма симпатично. Пример — Russia из английской википедии
—

Специализированный поисковик по картам разума MindMapSearch заряжается от Goodle Coop и ищет по 179 сайтам по данной тематике. Также сайты можно посмотреть в рамках одного каталога.

—

Mappio онлайновый сервис построенный на правильной идее преобразования текста в Mind Map. У них же подробный Formatting Guide как готовить тексты для создания майндмэпов. Если совместить его с хорошей Flash реализацией, то появится чудо-сервис.

Mapul - «классические интеллект карты». Судя по текстам и счётчикам сервис российски. Дизайн сайта, признаться, совсем не впечатлил, а поскольку внутри SilverLight, то попробовать в моей среде Firefox/Fedora Core не удалось.

А вот Mind42 хотя и минималистичен, но тем и запомнился. Интерфейс произвёл приятное впечатление даже хотя и многие возможности отсутствовали. Как и WiseMapping, сделанный с хорошим пониманием об удобстве пользователей.

Более же всего понравился Comapping, живое подтверждение что Flash приложения могут заменить настольные для подобных задач.

—

И напоследок, Любопытная коллекция майндмапов для обучения медиков — MedMaps. Буквально хоть печатай и используй с другими обучающими материалами.

В продолжение карт разума ещё две карты с помощью XMind.

ivbeg — Wed, 25 Apr 2007 13:00:25 +0000

На сей раз я решил проделать всё тоже самое по виртуализации, но уже в настольном приложении XMIND 2007 от Mango Software. Вот тут по ссылке его можно найти — http://www.xmind.org/. Работает на Windows и Mac платформах, а учитывая что написано оно на Jave с использованием платформы Eclipse, то вполне возможно что разработчики и Linux скоро поддержат. На сайте можно скачать версию на 21 день.

Впечатления от приложения самые хорошие и цена в $99 по сравнению с $299 MindJet’а куда как лучше выглядит. Хотя и в любом случае проигрывает по бесплатности Bubbl.us, Mindomo и Mindster. Вот так оно выглядит на скриншоте.

а под катом пара моих карт разума.

Продукты Vmware

Технологии виртуализации на русском

Соответствено полный их список на Flickr