Иван Бегтин

Возьмём, к примеру, структуру государственных расходов за июнь 2010 года.

Всего заключено 34 175 контрактов на сумму в 105 055 714 134 рублей и из них:

- 52 контракта, 0.015% от общего числа, заключено на сумму более 300 млн. рублей и в совокупности они составляют 46 750 052 313 рублей или 44.5% от всей суммы

- 206 контрактов, 0.6% от общего числа, заключено на сумму от 50 до 300 млн рублей и в совокупности они составляют 22 671 913 986 рублей или 21.6% от всей суммы

- 1 283 контрактов, 3.76% от общего числа, заключено на сумму от 5 до 50 млн. рублей и в совокупности они составляют 18 541 688 806 рублей или 17.6% от всей суммы

- 7 173 контрактов, 21% от общего числа, заключено на сумму от 500 тыс. до 5 млн. рублей и в совокупности они составляют 11 926 760 758 рублей или 11.4% от всей суммы

- 25 513 контрактов, 75% от общего числа, заключено на сумму менее 500 тыс. рублей и в совокупности составляют 5 165 298 268 рублей или 4,92% от всей суммы.

Если переводить в более наглядную форму то получится так:

- 44.5% средств приходится на 0.015% всех госконтрактов

-66% средств приходится на 0.62% всех госконтрактов

- на 75% госконтрактов приходится всего лишь 4,92% всех госсредств

- на 96% госконтрактов приходится всего лишь 16.3% всех госсредств

Какой из этого напрашивается вывод?

Исчерпывающая публичность информации по минимуму госконтрактов позволит обществу знать куда идёт две трети всех госрасходов по госзакупкам.

При этом публичность включала бы:

- обязательную многоэтапность конкурсных процедур

- публикацию всех заявок участников (да в общем случае это нехорошо, но начиная с определённых сумм – необходимо)

- наличие представителей некоммерческих организаций в конкурсных комиссиях, например, от общественной палаты. Как альтернатива, от Счетной Палаты, Совета Федерации или Госдумы.

- обязательная рассылка в бумажные и электронные СМИ извещений проведении закупок согласно утверждённому и публичному реестру СМИ;

- видеозапись голосования вскрытия и голосования конкурсной комиссии с публикацией онлайн;

- автоматическая отправка уведомления в ФАС России, Счетную Палату и Генпрокуратуру о всех случаях когда на конкурс или аукцион подаётся только один участник. То есть аукцион или конкурс не состоялся

- публикация актов по результатам приёмки работ.

И конечно, всё это в той форме чтобы с этой информацией было бы удобно работать.

Я тут углядел в журнале Елены Голубевой из ИРСИ призыв к поддержке открытого письма по раскрытию ГОСТ’ов – можно посмотреть вот тут http://fogosa.livejournal.com/7319.html и поддержать само письмо тут – http://www.open-letter.ru/letter/7170.  Я считаю эту идею нужной и правильной и тем кто тоже так считает предлагаю поставить ссылку на пост Елены, может и попадёт во все нынешние рейтинги записей. Внимание к этой теме я думаю что будет нелишним.

Однако само это открытое письмо натолкнуло меня на иную мысль. Собственно сайт http://www.open-letter.ru реализует правильную идею что мысли людей надо доносить до власть придержащих, но делает это, прямо скажем – неважнецки. Хотя вполне мог бы быть эффективным и полезным соц. проектом в руках некоммерческой организации, деятельного СМИ или просто группы активных граждан.

Перечислю что мне лично не нравится в open-letter.ru:

- должно быть указание кто и зачем сайт сделал. Некий объём личного самопиара или пиара организации что сайт создаёт.

- на таком сайте не должно быть рекламы. Во первых денег с неё будет и так кот наплакал, во вторых стоимость его разработки будет не так велика чтобы её было нужно «отбивать».

- многие адресаты сайта известны заранее: президент, премьер, губернаторы, мэры, спикеры и депутаты. Их всех можно и нужно выбирать из рубрикатора.

- нужно составлять рейтинги власть придержащих по числу открытых писем к ним.

- должна быть интеграция с соц. сетями: кросспост, комментарии через авторизацию по OpenID, трансляция с соц. сети;

- должны быть контакты персон к которым эти письма пишутся или же автоматическая их отправка на электронную почту, а ещё лучше бумажной почтой.

И так далее. Предлагайте свои идеи, предлагайте свои реализации и если кто-то решиться сделать такой собственный сайт или же создатели open-letter.ru его оцивилизуют - это будет просто прекрасно.

Да, придётся потрудится чтобы составить рубрикатор, да стоит потратить усилия чтобы дизайн сайта был удобен, да этот сайт не будет приносить денег, но с него будет явная и безусловная польза.

Не занимайся я сам сейчас парой соц. проектов я бы и сам такой сделал.

И не забудьте проголосовать за ГОСТы!

• ShoeBoxed – небольшой стартап с хитрым ноу-хау. Вы отправляете им в конверте свои счета и визитки, а они с помощью специальных сканеров и алгоритмов все это оцифровывают, распознают и предоставляют Вам через веб интерфейс. Задумка более чем интересная, я как раз не так давно задумывался об автоматизации распознавания кассовых чеков
• URLClassifier – сервис тематической классификации веб страниц. Явно использует словари и классификация у него двухуровневая, но! сама идея правильная и весьма полезная. Предоставляют API
• Feedity – ещё один сервис по преобразованию HTML в RSS, на сей раз полуавтомат. Анализирует страницу и предлагает варианты. Скиур (моё творение) мне нравится больше, но «пусть растут 100 цветов», пригодятся все.
• ColourLovers – огромная база цветов, паттернов и палитр. Проектов таких много, но эти дают ещё и API.

Идеи

• Если в поездах метро между стеклами вагонов поместить полупрозрачные экраны на которые можно было бы во время движения поездов  транслировать рекламу, то рекламодатели получили бы аудиторию в несколько миллионов человек ежемесячно.
• Классификация по ключевым словам в названиях, моделях телефонов и их стоимости помноженное на накопленные статистические данные по демографии может позволить, с некоторой вероятностью, определять средний возраст людей присутствующих на заданной территории используя BlueTooth. Зачем? Например, рекламный таргетинг
• Чтобы обеспечить контроль хоть как-то близкий к тотальному, то далеко ходить не надо – достаточно МВД потребовать от всех охранных агенств и вневедомственной охраны ведения электронных журналов учета посетителей. Так чтобы номера паспортов и ФИО вносились не в журнал, а в базы данных синхронизировались с центральной. Разумеется этого никогда не будет.
• Карты покрытия сотовыми операторами «наоборот». На них показывается где в городе (или местности) есть места где Вам гарантированно не смогут дозвониться. Для тех кто увлекается кратковременным дауншифтингом сервис будет незаменимым.

Всё таки блокировка всех альтернативных мессенжеров никак иначе чем использованием монопольного положения на рынке для извлечения прибыли назвать нельзя.

Вообще то что вытворяет AOL ни умным,  ни логичным назвать невозможно. С каждым таким отключением всё больше людей будет мигрировать на альтернативные мессенжеры.

Ну а поскольку AOL решили, наконец-то, не прекрываться обновлениями протоколов, а напрямую сказать всем остальным поддерживающим их протокол – «идите вон», то и откреститься что это было не нарочно им не удастся.

Вопрос который я поднимал уже пару раз, но может быть что-то изменилось за последние полгода.

Учитывая род моей деятельности, да и общую большую склонность к систематизации чем идеегенерации – каждая идея приходящая в голову представляет ценность. Не все из них имеют коммерческое применение, некоторые просто из серии «может пригодится» или те что я периодически закидываю в блог.

Я лично уже пару лет их веду в виде разных заметок, потом в отдельной папке Google Docs – что сразу делает возможность докинуть что-то новое в любое время.

Сейчас в виде табличных файлов. С четкой систематизацией на: проект, описание, тип проекта (разработка, проектирование, организация и т.д.), платформа разработки (если разработка), востребованность, ожидаемая аудитория и так далее.

Но, такой подход:

а. Ресурсозатратен так как систематизирован

б. Не учитывает время жизни идеи – идея, проработка, оценка

в. Не позволяет быстро фиксировать все приходящие в мысли через SMS, Twitter или какой-либо аналог.

В итоге я думаю как процесс реорганизовать.

Корпоративный idea management для моих целей не годятся. А системы и сервисы управления задачами все страдают плохим юзабилити или неполнотой функций.

Может ли кто-нибудь подсказать ПО/сервис для управления идеями?

Что меня удивляло и продолжает удивлять так это так это нерасторопность поисковых машин, за исключением Google,  в продвижении своих сервисов везде где только возможно.

Например, организация поиска по собственному сайту с помощью внешнего поисковика требует хоть и не слишком многих, но всё же усилий и хотя бы небольшого понимания HTML. Да и многие просто ленятся делать, то что можно не делать.

Вот я и не могу понять что мешает поисковым машинам:

1. Спонсировать разработчиков open-source CMS для поддержки поиска по внешней системы «из коробки».

2. Договариваться с разработчиками коммерческих CMS а ля 1С-Битрикс для поддержки внешнего поиска из коробки или же опционально.

3. Договариваться с провайдерами о том чтобы на их хостингах CMS продукты включали модули, возможности и расширения для поиска через внешний поисковик.

Вот вам и будет увеличение доли поисковой машины на рынке поиска. Всё таки владельцев сайтов десятки и сотни тысяч, а создателей значимых CMS десятки и сотни. С сотней человек договорится проще.

В копилку к идеям которые я уже размещал у себя на сайте предлагаю ещё одну которая в принципе подойдёт профильным изданиям по ИТ и Интернет бизнесу. Например, в Cnews, Roem, TelNews, WebPlanet и так далее.

Повысить интерес к сайту издания можно сравнительно просто – позволив пользователям заниматься осмысленными предсказаниями.

Вообще какие треды обсуждений новостей я не прочитаю везде найдётся несколько человек, а то и все ктог обязательно знает наперёд что и как будет. Точнее думает что знает ибо проверить то можно лишь со временем. А ведь каждому хочеться почувствовать себя пророком чтобы потом при встрече говорить: «Я знал» или «Я знала».

Поэтому реализовав возможности аналогичные The Industry Standard и выдавая ежемесячные призы, к примеру, можно создать очень интересный проект.  Причём можно продумать как реализовать проект без использования денежных ставок чтобы не попасть под законодательство о онлайновых тотализаторах.

Мысль пока не оформившаяся у меня в окончательное видение – пока только как идея и алгоритм выявления сплогов на блогоплатформах (LJ, Blogger или Community Server) с одной стороны блокирующая спам боты с другой подталкивающая пользователей к активности.

1. Введение на блогоплатформах системы рейтингов а ля СоциоРанк основанных доверии и активности уже зарегистрированных участников плюс расширение его правилами для TrustRank.

2. Создание шкалы «спамоподавления» для участников с разными рейтингами – необходимость ввода каптчи при публикации записи, принудительное преобразование всех ссылок в записях пользователя в plain text или маршрутизация их вроде коротких ссылок используемых в Урлусе (www.urlus.ru) и других подобных сервисах.

3. При выявлении спам блога, не только его блокировка, но и фиксация его рейтинга на момент блокировки плюс фиксация кто из других участников выразил ему доверие (добавил во френды, блогролл и так далее) после чего автоматическое внесение подобных участников в «группу риска» с назначением штрафных баллов. По накоплению этих штрафных баллов – понижение рейтинга участника.

—

Проблема тут всего одна.

Большинство существующих блогохостингов нацелены на максимальное увеличение своей аудитории пусть даже и ценой спам-ботов. За редким исключением они применяют весьма малое число мер для борьбы со спам-блогами поскольку если только блогоплатформа не поддерживается самим поисковиком то, по большому счету, на владельцев блогохостинга обилие спама волнует мало.

В остальном же совокупность простых технических и организационных решений и простых алгоритмов будет достаточно если не для ликвидации проблемы, то для сильного её снижения.

Что такое ветер – это небо.

Юрий Шевчук

Вопрос – что такое слово? Обычное слово, в предложении, суть буквы и ничего более. Конечно слово – это часть речи, может быть представлено родом и склонением, глаголы имеют спряжения и так далее. Рассмотрим слово и некоторые другие понятия с точки зрения информационных моделей и извлечения информации.

Для начала дадим определения рассматриваемым объектам.

Предложе́ние (в языке) — это минимальная единица человеческой речи, которое представляет собой грамматически организованное соединение слов (или слово), обладающее смысловой и интонационной законченностью. («Современный русский язык» Валгина Н. С.) .

Слово – центральная единица языка. Это основная номинативная и когнитивная единица языка, служащая для именования и сообщения о предметах, признаках, процессах и отношениях. Слово представляет собой структурно-семантическую двустороннюю единицу языка, обладающую формой (планом выражения) и значением (планом содержания).

Бу́ква — отдельный символ какого-либо алфавита, графема.

Итак, условно определим следующие аксиомы:

1. Слово состоит из букв и определяется совмещённым значением буквы с её позицией. Фактически – это массив элементов.

2. Буквы могут быть строчными и прописными, при этом значение буквы не меняется, меняется значение буквы в слове, а также может менятся значение самого слова в контексте предложения. Форма буквы является характеристикой позиции в слове и определяет ряд характеристик самого слова, но не является характеристикой буквы, как буквы алфавита.

3. Ударение является характеристикой исключительно данного слова, но связано с буквой. Оно может быть записано как атрибут буквы, так и самого слова. Это характеристика слова связанная с его структурой и накладываемая на неё.

4. Часть речи, род, спряжения и прочие лексические характеристики конечны на уровне слова и не имеют прямых связей с буквами и их атрибутами.

Continue reading «Слова и буквы в контексте информационной модели»

Ранее я писал про работу с текстом и частотный анализ, например, то что при наличии первой и последней буквы и перемешанных остальных слово прочитать возможно. Несмотря на сомнения некоторых читателей, я всё же ещё раз хочу подтвердить – для того чтобы понимать слово, особенно в контексте, часто достаточно только первой и последней буквы и знать сколько в нём букв всего. Переставленные буквы лишь упрощают этот анализ.

Впрочем у частотного анализа букв есть и более практические применения. Пример – определение кодировок текстов. На тему определения по частоте букв рекомендую статьи Ивана Рощина Автоматическое определение кодировки текста и Автоматическое определение кодировки текста – 2.

Во второй части автор упоминает методику уточнения кодировки по матрице возможных комбинаций букв, некоторые буквы рядом никогда не встречаются и, да, это может быть уточнение.

Я приведу в пример другой подход – определение кодировки по «карте расстояний».

Что это такое? Карта расстояний – это матрица разниц в численном представлении букв. Для каждой буквы мы берём её значение в кодовой таблице, откладываем по осям x и y весь алфавит и прописываем в клетки разницу между значениями букв.

В конечном итоге все они не понадобятся, будут нужны лишь наиболее частые гласные.

Например, для кодировки cp1251 разница расстояний между наиболее частыми буквами:

- а-и: -8, а-е: -5, е-и: -3, а-о: -15, е-о: -12, и-о: -7 и обратные им и-а: 8, е-а: 5, и-е: 3, о-а: 15, о-е: 12, о-и: 7

Для кодировки KOI8-R расчёты будут несколько иными, так как буквы там идут не в алфавитном порядке, но незначительно так как это затрагивает только букву расстояния до буквы е.

Алгоритм определения кодировки в этом случае сводится к следующим операциям:

1. Расчёт частоты встречаемости букв в тексте.

2. Выборка 8 наиболее частых букв

3. Наложение матриц расстояний между букв в выборке, на матрицу расстояний между гласными в данной кодировке.

4. При совпадении, определение кодировки и декодирование текста.

Ограничения:

1. Требует доработки для поддержки текстов где много слов из заглавных букв.

2. Алгоритм работает на предположении что 4 наиболее популярные гласные входят в 8-ку наиболее популярных букв. Для небольших текстов это может быть не так.

3. Алгоритм не работает на текстах прошедших многократное преобразование кодировок. Для таких случаев существуют другие алгоритмы.

Примеры кода приводить не буду, желающие могут попробовать свои силы сами. Скажу лишь что и этот алгоритм 100% гарантии не даёт, а приближение к 100% определению возможно уже при использовании словарей, причём относительно небольших по размеру.

P.S. На самом деле даже анализ 8 букв – это с большим запасом. В 99% случаев первые 5 букв по частоте – это о, е, а, н, и.