Иван Бегтин

В Arstechnica вышла замечательная статья о том как технологии влияют на жизнь и на политику в частности - An Elephant never forgets? George Bush missing emails

Если вкратце, то после прихода к власти Джорджа Буша младшего, вместе с ним пришли его люди и сменился практически весь персонал. Новая IT команда сразу же заменила работающую там систему Lotus Notes на Microsoft Exchange + Outlook, сломав использующуюся ранее систему резервного копирования писем и не имея для неё альтернатив.

Одновременно на серверах отсутствовали политики безопасности и любой имеющий к ним доступ мог удалить файлы / письма и невозможно было бы отследить кто и когда это сделал.

Результат этой истории – потеря как минимум 5 миллионов писем. При том что можно спорить и предполагать было ли это сделано осознанно или по причинам расхлябанности персонала, но в суд на администрацию Буша уже подали, а конгресс проводит своё расследование.
У меня такое чувство что более всех в этой ситуации выигрывает IBM, трудно придумать для Lotus Notes рекламу лучше, к тому же забесплатно.

Собираю разную интересную статистику по закупкам набрал вот такую интересную подборку.

Закупка услуг SEO:

• Запрос котировочной цены № ЗК-372/08/07 на оказание услуг по продвижению сайта Курсов иностранных языков филологического факультета в поисковых системах
• Администрирование и продвижение в поисковых системах web-сайта в период с 01.11.2007 по 01.11.2008 года
• Регистрация, перерегистрация, поддержка и продвижение в каталогах поисковых систем Яндекс (www.yandex.ru) и Рамблер (www.rambler.ru) сайтов www.magistratura-mai.ru и www.diomen.ru

Даже незнаю как к этому относится. Как к демонстрации повышения грамотности работы с Интернет или что-то ещё. А вот что действительно интересно, существуют ли формальные критерии оценки оказания подобных услуг и критерии их некачественного исполнения? Почти серьёзно.

Совместимость с MS-DOS всё ещё имеет значение:

• закупки оборудования
• На поставку технических средств и вычислительной техники

На дворе 2008 год, но DOS вечен. Я подозреваю что и через 5 лет мало что изменится.

Что такое «Информационно-логическая модель» и «принципы объектного web мониторинга»? Я теряюсь в догадках, но вот есть такое:

• Конкурсная документация (оригинальный документ с диаграммами)

Вот такая забавность:

Аукцион проводится в электронной форме. Всем участникам имеющим статус «Допущен до участия в электронном аукционе» на адрес электронной почты и номер ICQ Заказчик высылает адрес места проведения электронного аукциона, логин и пароль доступа.

А если у меня нет ICQ и вообще, политика безопасности компании запрещает его использование?

Ну а если серьёзно, то проблема ИТ в гос-ве – это бессистемность. Ладно требований, нет даже рекомендаций и практик предоставления услуг и закупки ПО.

Как и обещал пишу подробнее что же это такое и с чем его едят. Заодно готов ответить на вопросы если они будут.

1. СоциоРанк вовсе не показатель повышенной активности участника сообщества в его жизни, хотя, несомненно эта активность на него влияет. В первую очередь СоциоРанк показывает авторитетность участника, способность активизировать живую дискуссию или же высказывать мнение к которому прислушаются другие. В само сообщество он при этом вообще может ничего не писать (хотя это тоже влияет), но быть авторитетом для других. Итого СоциоРанк – это тематическая авторитетность.

2. Любое тематическое сообщество по сути является ещё и подтверждением активности интереса пользователя. Можно обратить внимание что многие сообщества в блогосервисах дублируются. У этого много причин – несогласие с модераторами, невозможность найти другое ранее созданное сообщество заинтересованными, некоторые отличия в темах и так далее. Специально для этого в социоранке есть два критерия выявления отношений между сообществами. Это влияние и близость.

3. Влияние сообществ – это проникновение идей, мыслей, участников из одного сообщества в другое. При этом, поскольку сообщества все разные, в одном может быть 10000 человек в другом только 50, то и влияют они друг на друга по разному. У  влияния есть направление и вес от 0 до 100, чем выше тем оно более. Если, к примеру, влияние сообщества A на сообщество B превышает 50% можно говорить о том что сообщество B находится в подчинённом положении к A, но… это не всегда так так как сообщество B может быть наоборот создано небольшой интеллектуальной группой для обсуждения более серьёзных тем. Пример, сообщества ru_php и ru_php_guru. Итоговые отношения между сообществами также можно рассчитать, но это уже отдельные алгоритмы.

3.  Близость сообществ - принципиально отличается от влияния тем что влиять может любое сообщество на любое, например, advertka оказывает сильное влияние практически на все другие крупные сообщества, а вот тематическое соответствие сообществ и максимальная сходимость и пересечение их тем – это и есть близость нескольких сообществ между собой. Её очень легко определить при просмотре любых сообществ визуально, например ru_books и ru_knigi схожи, но определять что-либо визуально это не наш метод. В итоге все сообщества, алгоритмическим образом, анализируются и собираются в тематические кластеры. Их можно пронаблюдать например как Кластер веб-разработки (ru_webdev) или Экономический кластер (ru_banks).

Единственная, относительная сложность в данном подходе – это подбор имён для кластеров так как они постоянно перестраиваются. Впрочем и это решается, также без участия человека.

4. Общий рейтинг – то чего пока нет на сайте СоциоРанка так это общего рейтинга всех участников. Хотя и, на самом деле, он уже рассчитан для 300 000 пользователей. Да, результаты там не сильно отличаются от авторитетности в Яндекс.Блоги. Тем самым я окончательно могу сказать что понимаю принципы авторитетности блогов в их сервисе. Стоит ли делать, свой, альтернативный рейтинг пока не решил. Технически это осуществимо, практическая польза неясна.

Уже после детального опробывания Рамблер.Бета, наконец-то, могу оформить свои впечатления.

Ощущения смешанные – с одной стороны есть на что обратить внимание, с другой, неуютное отношение от использования сервиса.

1. Общее впечатление – непроработанный дизайн и юзабилити вцелом. Плохо видны метки в меню навигации, показываются стрелки (на элементах меню), но они не раскрываются, цветовая подсветка элементов меню малозначащая и так далее.

2. Ещё одно замечание по юзабилити – крайне неудобная работа с картами. Картинка которая показывается по результату поиска по SERP’у «Карты» является статической и чтобы продолжить навигацию необходимо на неё кликнуть.

3. Поиск по Википедии определенно странен. Википедия организована на иных принципах, по ней редко ищут полнотекстовым поиском, чаще и удобнее переходить по связанным понятиям. В то же время у уймы поисковых запросов есть совпадение со статьями в Википедии один в один. Поэтому подмешивание результатов оттуда в общую поисковую выдачу – это нормально, а вот отдельный поиск по ней неестественнен

4. В поиске по новостям отсутствует возможность сужения их до дат чего явно нехватает так как для тех же вакансий это есть.

5. Цены и обзоры – это одна тема с подтемами, isn’t it? Зачем их делить если обзоры делаются для подталкивания к покупке?

6. Если я нахожусь в Москве то какова вероятность того что я заинтересуюсь погодой в Самаре? Только если я туда собираюсь поехать, а много ли москвичей ездят в Самару и пользуются Рамблером, а также много ли самарян едут в Москву и пользуются Рамблером? GeoIP никто не отменял.

7. Странный анализ поисковых запросов. Например, «погода Нижний Новгород» подмешивает информацию о погоде в выдачу, а вот запрос «какая погода Нижний Новгород» ничего подобного не делает. И, хотя, по экспериментам уже понятно где у них ошибка в анализаторе запросов, выглядит это некузяво.

8. Наличие тем «Курсы валют» и «Гороскопы» очередная странность. По курсам валют не ищут – это информация уровня однократного наблюдения как, например, в информерах РБК. Гороскопы - это тема у которой весьма ограниченная аудитория. Вообще в текущем формировании списка тем и ожидании что пользователи будут их пополнять есть что-то неправильное. У представителей Рамблера должна быть база поисковых запросов за долгие годы эксплуатации, не говоря уже о других информационных массивах. Банальный пример – женщин интересующихся косметикой больше чем женщин интресующихся гороскопами. А женщин интересующихся гороскопами в разы больше чем мужчин интересующихся гороскопами.

—

В общем, пока не очень. Благо бета, посмотрим что дальше

В последнее время повелось задаваться предсказаниями того что будет на Земле и в ИТ в частности эдак лет через 25-50 и сколько я их не читаю, убеждаюсь в дном существенном их недостатке.

Практически все эти исследования основаны на эволюционной модели развития общества, когда новый продукт или новый принципиальный подход вызван развитием науки и социальными потребностями, но никак не группами влияния и стремлением этих групп к его расширению и сохранению. А также многое из потенциального будущего что сознательно стараются не упоминать.

Приведу несколько примеров развития с другой точки зрения:

1. Развитие cloud computing и мобильных рабочих мест

У cloud computing и таких сервисов как OS-on-demand есть множество недостатков, но есть и несколько неоспоримых преимуществ одно из которых – это возможность контроля за работой этих сервисов, равно как и возможность влияния отдельных государств и компаний на инфраструктуру Интернета вцелом. Так если бы Windows XP был не программой, а сервисом в Интернете на Amazon EC2, то власти того же Ирана или Ливии были бы вынуждены использовать Linux или альтернативы, так как отследить доступ к сервису куда проще чем пиратскую копию ОС.

Мобильные рабочие места – из той же серии. Возможность централизованного контроля за происходящим на них.

2. Флеш-мобы и люди-камеры

Существующий сдвиг в подаче новостей в сторону их социализации, когда новостные издания включая крупные ссылаются на «социальные новости» вроде роликов на YouTube и публикаций в блоге, усугубится большей доступностью широких каналов доступа к сети и внедрением 3G.

Одним из проявлений этого окажутся «живые флешмобы» и «люди-камеры» которые будут транслировать реальном времени для чего будут использовать специальные сервисы вроде существующего сейчас для телефонов PhoneCasting. При том что подобное есть и сейчас, вскоре это может стать массовым явлением.

Итоговых результатов будет несколько:

Первое – в активизации политических групп которые будут использовать подобные трансляции вместо последующих публикаций и видео.

Второе – в активной популяризации «самодельных мобильных веб камер в реальном времени» для чего бы то ни было, от мониторинга за личной собственностью до, слежки за другими людьми.

В любом случае это крайне негативно скажется на сетевом трафике и довольно скоро многие сотовые операторы начнут блокировать и ограничивать по трафику подобную деятельность.

Continue reading «ИТ и предсказания будущего.»

Англоязычные ссылки

• YouTube – Jurassic Park – Unix System Scene – «Это Юникс! Я знаю Юникс!». Именно благодаря этому эпизоду есть отчётливое понимание почему же время реакции интерфейса так важно.
• The new Attack on RDBMS – автор «наезжает» на классические RDBMS системы и описывает CouchDB. Он не так уж и неправ, если вообще неправ.
• Microsoft to offer Web-streamed Office – вот это уже серьёзно. Если это правда, то сейчас самое время для подобного продукта. Получается SaaSS – Software as a Streaming Service.
• Expert: Legacy Java Development Is Dead – не без рекламы Spring Framework, но верно по сути. Классические платформы для разработки на Java / JSP заменяются модульными фреймворками.
• IBM Systems – IBM также выходит на тропу Cloud computing. Вообще же до чёртиков напоминает Sun BlackBox
• BlueLine Graphics – CMDB Tools – набор инструментов для Configuration Management. Выглядят интересно.
• Red Hat sees no consumer desktop Linux in its future – сошли с дистанции. Впрочем вполне возможно что они и правы, так как набирает оборот тенденции я OS-on-demand, а для этого можно использовать и серверные продукты.
• Intel Mash Maker – Интел рвётся в Веб всеми силами. Mash Maker является аддоном к Firefox или IE и позволяет делать простые машапы своими силами. Не вполне понятно на кого это рассчитано, разработчики предпочли бы более серьёзные инструменты, а рядовые пользователи плохо владеют что регулярными выражениями что XPath’ом.
  

Русскоязычные ссылки

• Носик будет дискутировать с Балмером на Remix’е – почему-то хорошей идеей мне это не кажется. А на IT Blogs активно эта тема обсуждалась,  удивляюсь не я один. Вот скажите мне, многие ли считаю что Носик действительно представляет веб разработчиков в Рунете?
• Rambler.Beta и Probki.Rambler – интересно, но глубокого впечатления не оставляют. Рамблер.Пробки больше напоминают гонку за лидером – Яндексом. А впечатления по Рамблер.Бета я ещё позже напишу развёрнуто.
• СоциоРанк обновился кластерами сообществ. Теперь для каждого сообщества формируется связанная с ним группа, например, кластер сообщества ru_sysarchitect. Параллельно с этим в СоциоРанке можно увидеть влияющие сообщества, например, сообщества влияющие на ru_pm. Разница между кластером и сообществами влияния в том что влиять может любое сообщество на любое, а вот кластер является тематическим. Обе классификации, разумеется, формируются полностью автоматически. Подробнее об этом будет отдельный пост.

Сайт Ping the SemanticWeb публикует наиболее часто используемые пространства имён в семантических данных о которых его уведомляют.

Подборка большая и, конечно, лидирует http://xmlns.com/foaf/0.1/ так как уведомляют Ping the Semantic Web чаще всего именно об этом, да и из всех форматов метаданных именно FOAF пока лидирует по популярности.

Интересно и другое. Вторым по популярности идёт проприетарное пространство Яндекса http://blogs.yandex.ru/schema/foaf/, что неудивительно так как его используют сервисы Livejournal и Liveinternet. Удивительно скорее то что оно, в отличии от всех остальных недоступно и нигде не описано. Я теряюсь в догадках почему это так, больше похоже на упущение чем сознательную позицию по сокрытию форматов данных. Да и чего скрывать, при большом желании структура восстанавливается по имеющимся данным за пару часов. Зачем вообще использовать свой домен для этой цели когда можно создать ссылку на http://purl.org, к примеру. Я в недоумении.

Может кто из представителей Яндекс’а объяснит, я знаю что как минимум 3-4 человека оттуда мой блог читают ?

Пока отечественные компании бороздят просторы развёртки наиболее популярных аббревиатур, тем временем полным ходом появляются поисковые движки проводящие смысловой (семантический) анализ поискового запроса.

Рекомендую посмотреть SearchMe Visual Search – http://beta.searchme.com в качестве одного из подобных примеров. Поисковая база у них пока небольшая и определённо не под Рунет, но подход заслуживает тщательного внимания. Например, они по ключевым словам запроса сразу определяют набор SERP’ов из которых можно выбрать нужный. Что особенно удобно для запросов имеющих множественное толкование.

Читаю обзор по КИБу относительно поиска. Читать интересно, хотя и местами странно.

Например, отношение к проблеме seo-спама которую там упоминает Илья Сегалович меня искренне удивляет. Технически, ограничить индексирование платных ссылок не такая уж сложная задача. В своё время я оценивал примерно в два месяца мой собственный алгоритм (алгоритмы) до доведения до производственно-рабочего состояния, так чтобы с маштабированием и высокой нагрузкой.  И у меня то всегда была уверенность что алгоритмы в поисковиках должны то работать лучше.

Например, моё личное мнение что возраст ссылки хотя и имеет значение, но, на самом деле, не такое уж значительное, есть масса критериев которые, опять же на мой взгляд, могут более гарантированно сказать является ли ссылка спамом или же честна и бела.

Те же Yahoo! для борьбы с поисковым спамом организуют соревнования и публикуют коллосальные объёмы данных в WebGraph формате. Это если не упоминать о исследованиях результаты многих из которых доступны в общем доступе, TrustRank, как один из примеров, но реально их куда больше.

В общем, удивительно это всё. Я начинаю соглашаться с Михаилом Елашкиным в том что Российское ИТ и Рунет в частности подвержен консумеризму. Новых идей или подходов к старым идеям не появляется. Увы. Когда в Европе и США второе рождение получает семантический поиск, в России только-только начинают активно работать вертикальным поиском и бороться с seo-спамом.

Я писал неоднократно про Социоранк ранее, например тут СоциоРанкинг, кластеры и выявление групп влияния

В итоге я всё же пришёл к выводу что любой результат необходимо зафиксировать. Итого по ссылке http://urlus.ru/sociorank/ доступны рассчитанные социоранки по 85 сообществам, а также ранки отдельных участников в этих сообществах.

Например, ранк сообщества web2_0_ru – http://urlus.ru/sociorank/c/web2_0_ru/, а также ранки вашего покорного слуги – http://urlus.ru/sociorank/u/ivbeg/

В силу того что СоциоРанк рассчитывается длительное время, иногда до часу времени для больших сообществ (можно оптимизировать, но пока незачем), то новые сообщества добавляются по мере интереса у аудитории. Оставьте мне комментарием, какие сообщества бы интересовали.

Зачем же всё таки это нужно.

Во первых то о чём я уже писал ранее – это поиск интересных авторов. В отличии от обычных рейтингов популярности тематические рейтинги удобнее тем что в них можно найти тех кто лидирует именно в определённой теме.

Во вторых поиск связанных сообществ. В сервисе реализован алгоритм показывающий сообщества наиболее близкие к просматриваемому тем самым можно не только понять уровень влияния сообществ друг на друга, но и понять на какие ещё сообщества стоит подписаться / принять в них участие.

Если кому-либо для спасения человечества, борьбы с вселенским злом или просто в исследовательских целях хотелось бы получить данные в XML или CSV – обращайтесь. Чуть позже это будет доступно и через веб интерфейс, тоже. Единственным условием будет указание источника данных – http://urlus.ru/sociorank/

UPD. Данные ЖЖ используются лишь по причине удобства работы с ними. В принципе нет ограничений кроме собственной лени для поддержки любых других блогосервисов включая standalone блоги