Техноблог – Электронное государство, поисковые системы, анализ неструктурированных данных
Окт 31 2008
Чуть было я задумался над этой темой как увидел пост Дениса Доронина-Бескова который, на мой взгляд, кратно и ёмко излагает, кто, что и как должен делать по документам в проектах на разработку.
Конечно, многие приведут примеры когда эти правила нарушаются, но это вопрос корректности совмещения ролей.
Окт 31 2008
Сейчас в Инфопространстве и сегодня я там половину на User Experience 2008, выступаю с докладом по юзабилити в e-Gov.
Если Вы тоже там и есть желание познакомиться вживую – связаться со мной можно по мобильному или если не знаете, киньте Ваши контакты в личку ЖЖ или мылом на ibegtin (собачка) gmail.com
Окт 30 2008
Дополняя примеры сайтов с которыми умеет работать Скиур создавая RSS ленту из новостной веб страницы. В этот раз сайты посольств и международных организаций.
Пока катастрофически нехватает времени на развитие алгоритма на следующие смысловой уровень, хотя идеи и понимание как это сделать есть, но пока он только хобби и источник вдохновения . Если будут предложения по осмысленному или коммерческому сотрудничеству в его использовании для пользы человечества – милости прошу.
Окт 30 2008
В Yahoo! опубликовали спецификацию на YQL – Yahoo! Query Language – язык запросов для получения данных из информационных массивов Yahoo! Причём доступ к данным производится через специальный вебсервис, а результаты можно получить в XML или JSON. Нехватает толькок Thrift./
При том что сама по себе идея очень интересная, она так и просится в различные системы раскрытия информации и предоставления онлайного программного доступа к массивам данных.
Окт 28 2008
Отличие поисковиков по подобиям в том что они не могут сделать простой фильтр по пропорциям в отличии от фильтров дубликатов и в том что у них нет словарной базы.
Кстати, поиск похожих изображений это один из способов, правда как оказалось не сильно удачных, для выявления «взрослых картинок».
Окт 28 2008
Поразмышляв как можно было бы реализовать поиск дубликатов изображений, а ля то что сделали в Яндекс, просуммирую мои мысли как это можно реализовать.
Заранее предупрежу что никакой строгой логики или формального изложения тут нет.
Какие шаги необходимо предпринять:
1. Создание «профилей изображений» – базы метаданных по каждому на основе которой можно было бы делать дальнейшие расчёты.
2. Для наполнения базы метаданных собрать базовые параметры: размер изображения в байтах, формат, crc32, md5, высоту, длину, отношение длины изображения к высоте.
3. Для каждого изображения сделать дополнительный расчёт следующих данных:
- таблицу цветоделения (с рядом упрощений);
- таблицу особенностей по результатам ridge и edge detection (как их рассчитывать отдельная тема).
- расчёт дополнительных особенностей (специалисты по компьютерному зрению знают)
Что характерно именно для изображений, мы относительно легко определить что некоторые изображения несхожи промеж собой, а также оценить сходство изображений при сравнении к 1 к 1.
Далее выберем наши критерии оценки и ограничений на выявление дубликатов:
1. Не рассматриваются как дубликаты изображения перевёрнутые на 90, 180 градусов.
2. Изображения полные дубликаты можно выявить по crc32 с доп. проверкой выявленных через md5
3. Изображение дубликат должно обладать близкими к оригинальному изображению пропорциями. Это отношение длины изображения к его высоте, которое у двух потенциальных дубликатов должно быть идентичным или же находится в пределах заданного отклонения.
4. Таблица цветоделения изображения дубликата должна соответствовать или же должна быть приближена в пределах заданного отклонения.
5. Таблица особенностей включая относительное расположение особенности, характер и размерность должны соответствовать у сравниваемых изображений.
Здесь, конечно, описано не всё, кроме того для данной задачи, с учётом объёмов крайне важна скорость работы алгоритмов, но, тем не менее решения есть.
Технически под эту задачу просятся HBase, Hypertable, Hadoop.
В значительной степени решение можно упростить группируя изображения кластерами и проводя покластерный анализ каждого.
Большой недостаток вышеописанного лежит в области объёмов метаданных – они огромны. Плюс в возможности дальнейшей группировки по множеству различных критериев.
В дополнение добавлю что можно вспомнить решение задачки с расстоянием Левенштейна которую я приводил ранее. Если мы попарно сравниваем изображение A и B, а потом изображение B и C и в обоих случаях мы можем замерить численным образом разницу между ними, то вопрос в том как организовать последующее сравнение изображений так чтобы учитывать предыдущие результаты.
Признаюсь правда сам я распознаванием изображений только интересовался, но сам такого не делал, хотя и смотрел n-ное число инструментов для этой цели.
Сейчас же, в эпоху Amazon EC2 решить эту задачку можно даже за относительно скромные деньги и время. Вот распознавание информации в изображениях от IBM iMars мне интересно куда больше, будущее именно за этим.
Окт 27 2008
Подборка статей по тому что происходит с ИТ в Индии:
В чём то ситуация в Индии похожа с Россией. Рупия упала к доллару на 20% с начала года, но учитывая величину их ИТ рынка компании от этого можут даже немного выигрывать – съэкономить на зарплатах. Но что характерно, пока разговоры идут только о замораживании найма и сокращении расходов, но не людей.
А вот у Росии есть и существенное отличие, значительная часть ИТ была ориентирована на корпоративный и гос. сектор. Чует моё сердце ФЦП будут резать, равно как и многие бюджеты. Например, уже точно понятно что будут резать московский бюджет, подозреваю что схожая ситуация будет со всеми регионами которым надо будет реструктурировать долги. То что расходы федерального бюджета будут сокращать лично я уже считаю неизбежным.
Правда, при всём при этом, расходы на ИТ всегда были несравнимыми с соц. расходами или на строительство/поддержку строительства к примеру, но на общем фоне начнуть сокращать и их тоже.
Кстати, интересно будет как изменится конкуренция между российскими офшорными разработчиками и индийскими. Если зарплаты в Российском ИТ секторе упадут, то у EPAM’а или Luxoft’а появится больше возможностей по найму специалистов. С другой стороны, покуда основная концентрация ИТ бизнеса в Москве и Питере, плюс всё ухудшающаяся инфраструктура в этих городах – дороги и экология, то может резко упасть число желающих сюда переезжать, плюс девальвация рубля к доллару при том что цены на недвижимость и её аренду всё ещё держатся высокоми – как следствие всего этого, дефицит кадров готовых работать в офисе «сжатие рынка» за счёт небольших компаний.
Пока в любом случае это гадание на кофейной гуще. Всё будет понятно к концу года, всего два месяца осталось.
Окт 27 2008
Вот тут сравнение ДНК с программирование DNA seen trough eyes of coder
Многие понятия генной инженерии понятно объяснены аналогами из прогарммирования.
Хотя и выглядит всё это страшновато если представить себе что геном когда-нибудь будет собираться мэйкфайлами или их аналогами.
Окт 26 2008
Окт 24 2008
Максим Крайнов очень по делу пишет о том как болтовня в онлайне мешает трудоустройству.
Я в свою очередь готов подтвердить что это всё именно так. Общаясь со знакомыми HR’ами практически все они говорили что если получают резюме человека на более менее серьёзную должность, то обязательно смотрят хотя бы его блог, профиль на Моём Круге и LinkedIn если они есть.
