Иван Бегтин

Перечитывая законы об официальных сайтах, госзакупках и ещё ряд законов по информатизации и т.д. лично я прихожу к одному, несколько удручающему выводу.

В Российском законодательстве фактически нигде не закладывается возможность развития и нигде не предусматривается что издержки от отсутствия информации по рассматриваемой в законе/законах темам могут превышать, и значительно, издержки по сбору этой информации.

Немного зная о информатизации различных областей деятельности государства я могу с уверенностью сказать что есть целый ряд тем по которым данных для осмысленного принятия решений просто нет, ибо эти данные не собираются и не собираются во многом от того что регулирующее темы законодательство это не предусматривает и, даже предусматривая, не конкретизирует результаты.

Возьмём ту же область госзакупок. Например, все изменения в законодательстве которые происходят они ведь должны быть подкреплены цифрами, причём цифрами соответствующими действительности, дабы понять будут ли действенны данные меры или нет, актуальны ли они и вообще на что повлияют. Рассмотрим изменение 94-ФЗ в части требований по приведению эквивалентных российских товаров для иностранных товаров. Вопрос – а есть ли у МЭР, Росстата, Правительства, ГД или СовФед’а реальные данные по доле иностранных товаров в закупках? На этот вопрос я могу ответить и сам. Этих данных нет ни у кого, по той причине что статистика не собирается. Максимум известной статистики касается только тех данных которые более/менее структурированно есть на оф. сайтах закупок, где, соответственно, отсутствует информация о происхождении товара. Аналогично с ведением контрактов – в реестрах контрактов эта информация не фиксируется.

Если подумать то статистическая инфомрация могла бы собираться Россстатом, она могла бы собираться и уполномоченными и контролирующими органами, при её наличии можно было бы аргументированно говорить о необходимости развития в том или ином направлении, но без неё – ничего подобного нет.

Это лишь один из немногих примеров который я просто знаю чуть лучше чем другие. Во множестве других областей ситуация схожая – государство начиная регулировать ту или иную область как то фондовый рынок, промышленность, внешнюю торговлю не предусматривает или предусматривает довольно скупо обязательность информационного и отчётного наполнения регулируемых событий и явлений внутри себя самого. Причём всё это необходимо в государствах любого типа и любого политического устройства – от диктатур до демократии и особенно всё это важно сейчас когда информация приобретает всё большее значение в жизни каждого. Впрочем я не о политике – я о качестве работы государственной машины в принципе.

Вопросы ответы на которые мне не ведомы:

1. Почему если гражданину оказывается услуга нигде не фиксируется сколько времени, сколько сотрудников заняло её оказание и какова реальная «маршрутная карта» услуги по результатам?

2. Отчего законодательство по раскрытию информации предусматривает требования к срокам и порядку представления, но  не предусматривает требований к формам?. А также не предусматривает органов ответственных за регулирование форм представления. Говоря иначе – если не пишите в законах как информация должна быть подана, опишите хотя бы кто должен это написать.

В принципе же качество информации определяет качество развития любой информационной системы. Прежде чем вводить любое регулирование – необходимо иметь цифры на руках, необходимо обладать этими цифрами почти в реальном времени и именно они будут определять качество результатов регулирования и качество дальнейшего развития.

Мало ввести требования к официальным сайтам – необходимы требования к отчётности об их наполнении.

Мало ввести требования по публикации информации – необходимы детальные технические требования к формам её представления.

Мало ввести требования по эквивалентности товаров – необходимо ввести форму опроса заказчиков с ответами на вопросы:

1. Был ли указан эквивалентный российский товар при закупке?

2. Был ли в итоге закуплен эквивалентный товар вместо заявленного иностранного?

Опять же это лишь только пример вакуума post-performance анализа, есть множество и других примеров.

Ещё из интересных законов – 26 декабря Госдума приняла во втором чтении закон Об обеспечении доступа к информации о деятельности государственных органов и органов местного самоуправления который всё никак не могли принять с июня 2007 года.

Фактически если его примут то наконец-то узаконят официальные сайты муниципальных образований и введут к ним требования аналогичные требованиям к сайтам субъектов федерации.

Хотя и надо сказать что от всех законов в России которые затрагивают вопросы работы с информацией и ведения соответствующих систем у меня ощущение словно их создатели не желают как либо заниматься систематизацией. Словно законодатели и юристы живут в каком-то своём замкнутом мире.

Не все могут знать, но вчера Совет Федерации одобрил очередные изменения к российским законам о госзакупкам 94-ФЗ и 218-ФЗ. Собственно их заседание по этому вопросу я и слушал вчера в онлайновой трансляции.

По ссылке можно посмотреть подробнее что там и как ибо изменений очень много  О внесении изменений в Федеральный закон «О размещении заказов на поставки товаров, выполнение работ, оказание услуг для государственных и муниципальных нужд» и отдельные законодательные акты Российской Федерации

Причём скорее всего закон президент подпишет, либо до конца этого года, либо в начале следующего

Я сделаю акцент на том что мне бросилось в глаза:

Continue reading «Изменения в законодательстве по госзакупкам»

Сегодня совершенно случайно обнаружил что на сайте Совета Федерации РФ появились видеотрансляции. Всем интересующимся как происходят обсуждения законов, рекомендую к посещению по ссылкам на основной странице – http://council.gov.ru/index.html.

Прямо сейчас слушаю вместо заместо музыки, медитативно, хотя и на любителя. Можно прописывать в умерянных дозах вместо снотворного и успокоительного.

Ещё бы они выкладывали план рассмотрения законов на заседение – было бы совсем хорошо, но и так ощутимый прогресс.

Если бы этим же путём пошли Госдума, Правительство, Счетная Палата (не обязательно в реальном времени) и другие ведомства – вот это я понимаю.

P.S. Ещё бы видеоархив, каталогизированный была бы сказка.

P.P.S. А там оказалось что есть что послушать, но о политике небуду, для этого блога неформат.

Наконец-то я прогнал несколько полноценных тестов по оптимизированному алгоритму и словарю в 1 361 764 слов (1.3 миллиона слов) – спасибо Андрею Сатеренко за словари с скрипт по генерации словоформ. Далее результаты бенчмарков и комментарии.

Continue reading «Техническое. Бенчмарки по опечаткам»

Вернувшись таки к теме исправления опечаток – я, наконец-то, подвёл эксперименты под теоретическую основу, а то всё ранее по наитию, и завершил тесты.

В итоге среднее время проверки одного слова по словарю из 108 070 слов занимает от 0.02 до 0.3 секунды для MySQL и от 0.01 до 1.8 секунды для MSSQL на рядовом компьютере 2GHz Athlon TL-60 Mobile.

Особенность в том что никаких знаний о морфологии, словоформах или звучании слова (soundex) не используется – алгоритм является заменителем полного перебора при сравнении по алгоритму Левенштейна по L1 (но можно дополнить до любого Ln). А что уж там слова или любые другие комбинации символов – малозначимо.

Кстати, оказалось что MSSQL в среднем в 2-3 раза производительнее причём похоже исключительно благодаря индексам. Времени сейчас не так уж много чтобы проверять с остальными СУБД, но думаю что и там результаты будут не хуже. Конечно, всё можно оптимизировать ещё где-то на 50% если заменить СУБД на загрузку словаря в память, построение дерева, оптимизация на C и т.д. и т.п., но это уже не так интересно и в готовые системы где SQL активно используется так просто не вставишь.

Да, конечно, производительность алгоритма – это куда лучше чем O(mn). Фактически он состоит из двух частей – фильтра и сравнивателя. Фильтр отсеивает все варианты сравнение с которыми точно превышает L1, а сравниватель уже проверяет полученную выборку со словом по алгоритму Левенштейна. Сейчас фильтр, в среднем, возвращает от 1 до 200 результатов в выборке и даже если словарь увеличить в разы, то сильно на производительности это не скажется поскольку доля времени на сравнение данных в выборке несопоставимо со временем фильтрации, в свою очередь этими временами можно управлять упрощая фильтр и уменьшая время сравнения. Плюс ещё масса оптимизационных трюков как общетехнических, которые в обыденных задачах просто ни к чему – ибо они полезны уже только при соответствующих нагрузках, так и алгоритмических поскольку ряд шагов алгоритма можно существенно упростить.

Поскольку результаты оказались хоть и не идеальными, но лучше чем хотелось – исходный код, увы, показать не могу, а вот если кому-либо интересны детали бенчмарков отметьтесь – перешлю по email.

Если кто-нибудь также может подсказать где можно взять словарь из хотя бы 5-10 миллионов слов – буду благодарен. Делать словарь самому никакого азарта нет.

В остальном же у меня, к сожалению,  всё меньше времени времени на исследовательские задачи. Так что я ещё какое-то время буду писать о тех что я хочу довести до ума чтобы просто не потерять наработки, а далее некая пауза.

Правительство опубликовало перечень системообразующих предприятий страны, что интересно так непосредственно в документе есть такие отрасли как «Связь / Сми»  и «Радиоэлектронная промышленность», но нет такой как Информационные технологии.

Продублирую дословно два эти раздела.

Continue reading «А ИТ у нас нет»

Признаться слово «кризис» уже набило оскомину, кризиса как такового, ИМХО, пока ещё нет, например, в ИТ есть Рыночная Ситуация или просто Ситуация которую однозначно плохой назвать нельзя. Например, сейчас в зависимости от того как и на сколько изменятся курсы валют на фоне рисков девальвации рубля, а может быть, и доллара – будет понятно кто на рынке останется в проигрыше, а кто в выигрыше.

Например, аутсорсеры вроде EPAM’а или Luxoft’а, вроде как, от девальвации рубля должны только выиграть – себестоимость работ снизится и расходы на них будут в рублях, а основная прибыль в долларах и евро.

С другой стороны госпроекты, про которые Cnews пишет уже не в первый раз как про наименее рискованную область будут иметь ту специфику что поступление по ним средств будет, как и в прошлые годы, ближе к концу 2009 года. В ситуации когда есть много неизвестных факторов хватит ли ЗВР на 2009 год и какие ещё проблемы будут, не появится ли доп. потерь бюджета если будут массовые волнения – то, опять же ИМХО, есть риск продолжения секвестирования бюджетов в 2009 году. Но если сравнить с тем как бюджеты сейчас уже начинает резать коммерческий сектор, то, может быть, госпроекты и будут менее рискованы.

Ещё один вопрос в том как теперь будет происходить автоматизация в регионах с учётом падения доходов бюджетов и необходимостью выполнения ими соц. обязательств. По всем раскладам суммы которые регионы раньше тратили на собственные порталы, сайты и т.п. и раньше то были скромными, а так будут ещё скромнее.

Предупреждаю сразу данный пост по отрицательному опыту.

Собственно на днях для «попробовать ради» зарегистрировался, какое-то время присматривался, а вчера убедился что никаких «professionali.ru» использовать я точно не буду – только LinkedIn, MoiKrug и не более.

Перечислю причины:

1. На странице настроек – всегда включена без возможности отключения галочка » Единожды оповестить мои импортированные контакты о сохранности их данных«. То есть импортируя данные у меня нет выбора уведомлять или нет пользователей по этим контактам – это происходит всегда.

2. На страницах «Об этом проекте», «Обратная связь» и так далее полностью отсутствует какая-либо информация об организации отвественной за ведение проекта. Есть конечно стартапы-одночеловеки, где подобное допустимо, в остальных случаях это очень и очень настораживает. Более того юридически все их требования по конфиденциальности получаются что ничтожны поскольку фактически отсутствуют реквизиты организации обязанной эту конфиденциальность соблюдать.

3. И, наконец, вчера вечером получил удивительное письмо от одного из представителей этого проекта которое, поскольку личной перепиской не является, публикую тут с изменением ФИО отправителя:

—

Добрый день!
Исходя из положений «Политики конфиденциальности», сеть Professionali.ru не намерена предоставлять третьим лицам Вашу информацию без Вашего на то согласия. На основании вышеизложенного вынужден Вас попросить указать свое реальное место работы в течение 3-х дней из уважения к деловому сообществу:

http://professionali.ru/EditProfile/Headline

Всегда рад Вам помочь!
С уважением,
Некто Нектов

—

Опускаю тему того что в информация в моём профиле была более чем реальной, важно не это. На моей памяти это первый случай когда представитель социальной сеть _запрашивает персональную информацию у участников_. Тут очень важно почувствовать разницу между тем что любой пользователь размещает в соц. сети беря ответственность за предоставление информации на себя и совсем другая ситуация когда данную информацию затребуют представители соц. сети. В последнем случае возникают перечисленные выше вопросы из пункта 2 – что за организация, её официальные реквизиты, соблюдает ли она требования к обработке персональных данных согласно Российскому законодательству и где её регистрационный номер в реестре операторов персональных данных Россвязькомнадзора. Понятно что пока ещё прецендентов рассмотрения подобных ситуаций Россвязькомнадзором небыло, но ведь можно и создать, большой вопрос зачем это нужно его создателям. По принципу – главное пусть говорят лишь бы говорили? Странный принцип право слово.

Пока же я оставил им запрос с запросом подтверждения статуса данного письма.

Как бы то ни было сервис я лично использовать не буду и к использованию не рекомендую. Из таких вот «нюансов» и складывается отрицательный пользовательский опыт.

Дизклеймер: Автор не имеет никакого отношения ни к организации за «professionali.ru», ни к организациям стоящими за конкурирующими с ними социальными сетями схожего толка.

Размышляя о WiMax, 3G и прочих возможностях по наличию «широкополосного канала в кармане» интересный вопрос возникает о том что будет если если использование интернет телефонии на мобильных платформах превратится из экспериментов в повседневную практику.

Например, начисто исчезнет возможность выяснения того с кем же разговаривал пользователь и сколько времени шёл разговор. Про перехват самого разговора речи вообще уже не будет – если только спецслужбы не начнут договариваться с разраьотчиком VoIP телефонов о закладках, но вопрос а с какими разработчиками и чьи спецслужбы, если таковое вообще будет? И будет ли в этом вообще хоть какой-то смысл когда есть open-source аналоги или они моментально появятся как только явление станет массовым.

Соответственно какую стратегию займут операторы – полностью переход на интернет услуги и тарифы с помегабайтной оплатой или же торможение процесса интернетизации всеми силами?

Но даже при высокой стоимости одного мегабайта, появляется возможность экономить, например, на звонках с мобильного в другие страны или другие города. Она в общем-то есть и сейчас при работе через Wi-Fi, но пока ещё в массы это не пошло.

В любом случае, многое изменится и я пока не вижу способа сотовым операторам этого избежать – только оттянуть и задержать.