Иван Бегтин

Чем дольше я наблюдаю за ИТ рынком, тем больше убеждаюсь что помимо классической модели конкуренции, когда есть предметная область и набор продуктов её покрывающих в той или иной степени, приходит принципиально иная бизнес модель – обесценивания продукции конкурентов.

Что это такое? Приведу пример из головы. Предположим есть небольшой город жители которого очень любят ореховые рулеты. Они делают их с разными дополнительными начинками и чуть ли не каждый день, потребляя при этом немыслимое число орехов. При этом бизнес в этом городе строится на компаниях:

• ООО «Орех» – продаёт неочищенные орехи;
• ООО «Орехоколки» – орехоколки;
• ООО «РулетоФормы» – формы для изготовления рулетов;

И так продолжается долгое время, пока до города не добирается другая ореховая компания которая после разведки рынка понимает что конкурировать с местными не может, а дэмпинговать не имеет права поскольку местные антимопольные органы строго за этим следят. В свою очередь местные компании держат цену и монополию на весь цикл. Что делать? И компания ООО «Заказной рулет» предлагает… готовые ореховые рулеты с доставкой! Любитель рулетов звонит по телефону или заполняет заказ через интернет, выбирает форму, прожаренность, тип рулета и дополнительные ингредиенты и получает заказ в считанные часы. Конечно, остаётся ряд жителей считающих что изготовление ореховых рулетов – это не только результат, но и важный процесс, но таких жителей меньшинство поскольку удобства заказа более чем велики. Как итог вся группа компаний ранее поставлявших орехи терпит коллосальные убытки и уходит с рынка или же они вынуждены быстро реорганизовать свой бизнес и начинать конкурировать по новым правилам. И тут уже организационно-психологические факторы того насколько быстро они успеют это сделать. Законы конкуренци не нарушаются, дэмпинга нет – есть лишь «обесценивание» продукта конкурентов, эволюционно новым продуктом на рынке. Что важно – потребитель ничего не теряет.

Теперь к чему же весь этот пример. Рыночная активность многих крупных ИТ компании и, поддержка Open Source, в том числе – часто это именно конкуренция не только на продвижение продукта, но и атаки на бизнес-модель конкурентов.

Например, IBM спонсирует проект EnterpriseDB – это open source альтернатива Oracle декларирующая практически безболезненный переход с Oracle на это решение при меньшей цене эксплуатации. Получает ли IBM прибыль с EnterpriseDB ? Врядли. Вынуждают ли они Oracle снижать цены и активнее выходить за рынки только базы данных? Определённо.

Аналогично с тем как Google запустили Google Docs, а Zoho запустили Zoho Writer. Много ли они на нём зарабатывают? Врядли. Разрушает ли это бизнес модель продажи офисного ПО где основной игрок Microsoft? Безусловно. Например, ThinkFree предлагающие офисный продукт уже давно мигрируют к сервисной модели понимая что продажи ПО будут только снижаться.

Много ли зарабатывает Sun купив продукт и сейчас предлагая VirtualBox под все популярные ОС? Думаю что ничего. Sun зарабатывает на других продуктах. А вот много ли теряет Vmware от наличия подобного бесплатного конкурента? Трудно оценить насколько много, но безусловно теряет. Поскольку бизнес модель Vmware включает продажи настольного ПО – Vmware Workstation и, если и они сделают его бесплатным, то им необходимо будет компенсировать потери прибылью из других источников.

При этом ситуация обычно усугубляется для публичных компаний зависящих от колебаний на рынке и находящихся под постоянным пристальным мониторингом трейдеров. Они просто не могут быстро изменить свою бизнес модель поскольку любое изменение бизнес стратегии требует перетряски орг. структуры, отражается на квартальной отчётности, требует согласований в советах директоров, сталкивается на стойкое сопротивление внутри организации так как там всегда есть лоббирующие группы стойко убеждённые что нельзя бросать затраченные усилия по продуктам и так далее.

Можно, конечно, сказать что это законы рынка вытеснения эволюции предложения и появления лучших продуктов. Это так, вопрос лишь в том кто именно вовремя спускает триггер чтобы этот закон начал работать и извлекает из этого прибыль.
Та же Sun и сама дважды попадала в подобную ситуацию. Один раз с Solaris когда появился и стал набирать популярность Linux и другой раз с Java, когда IBM целенаправлено поддерживали проект Apache и Apache Harmony (бесплатная альтернатива JDK) в частности. И, в итоге, Sun были вынуждены реорганизовать свой бизнес и перешли к открытой модели разработки как Solaris так и Java. Для сравнения SCO, так и не нашли свою бизнес-нишу и в итоге оказались в незавидном положении.

Насколько подобное встречается в других отраслях бизнеса, судить не берусь, но для ИТ, помоему, это уже стало распространённой практикой в противостоянии всех крупных игроков. Причём делают они это в основном не своими руками, а с помощью других игроков, которым вначале помогает подорвать бизнес конкурентов, а потом покупают.

Продолжая тему метрик в социальных сетях, ещё несколько формул. На сей раз для анализа отношений сообществ между собой. Ничего революционного в описанных формулах нет, вопрос скорее в том что именно они показывают.

Далее рассмотрим следующие значения:

• x _i – число читателей сообщества i;
• A(x _i)- средняя авторитетность участников сообщества
• z – число общих читателей между двумя рассматриваемыми сообществами;
• A _c(…) - средняя авторитетность членов кластера
• A _c(z) - средняя авторитетность кластера общих читателей сообществ
  

1. Рейтинг влияния сообществ 2-х сообществ

Определяет насколько переесекаются аудитории двух сообществ в процентном соотношении. Чем выше рейтинг тем ближе два сообщества как по величине аудитории, так и по взаимопроникновению.

R₁₂ = (z / x ₂) – определяет уровень влияния первого сообщества на второе

R₂₁ = (z / x 1) – определяет уровень влияния второго сообщества на первое.
Например, если в сообществе A – 500 участников и в сообществе B – 300 участников, при этом 250 участников у них общие, то влияние их друг на друга будет:

R_AB = (250 / 300) = 0,84 – уровень влияния сообщества A на сообщество B

R_BA = (250 / 500) = 0,5 – уровень влияния сообщества B на сообщество A

Или, например, если в сообществе A – 500 участников и в сообществе B – 5 участников при этом 3 участников у них общие, то влияние их друг на друга будет:

R₁₂ = (3/ 5) = 0,6 – уровень влияния сообщества A на сообщество B
R₂₁ = (3 / 500) = 0,006 – уровень влияния сообщества B на сообщество A

2. Рейтинг влияния на основе авторитетности

Добавляет к рейтингу влияния «коэффициент активности» разделяемой сообществами аудитории.

AR₁₂ = (z / x ₂) * (A _c(z) / A(x₂)) – уровень влияния и авторитетности первого сообщества для второго

AR₂₁ = (z / x ₁) * (A _c(z) / A(x₁)) – уровень влияния и авторитетности второго сообщества для первого

То есть если в сообществе C ₁ – 500 участников и в сообществе C ₂ – 300 участников, при этом 250 участников у них общие, а средняя авторитетность сообщества C _{1 это,} A(C ₁) = 100 и средняя авторитетность сообщества C _{2 это,} A(C ₂) = 200. При этом авторитетность кластера A _c(z) = 150

AR₁₂ = (250 /300) * (150/200) =0,62

AR₂₁ = (250 /500) * (150/100) = 0,75

Итоговые цифры получаются несколько иными и видно что несмотря на меньшую аудитории сообщества C _2, его влияние выше.

—-

К вопросу зачем же всё это нужно. Есть как минимум несколько областей применения:

1. Исследование механизмов распространения информации в социальных сетях.

2. Подсказка пользователю какие темы и сообщества в социальной сети могут его заинтересовать в зависимости от выбранного им сообщества

3. Оценка «цепочек сообществ». Иначе говоря, сообщества меняются, а инфлюэнсеры в них одни и те же. Ограниченное число активных участников формирует среду для активизации остальных, как следствие при переманивании пользователей с ресурса на ресурс, необязательно переманивать глобальных инфлюэнсеров. Сконцентрировав внимание на сообществах можно добиться не худшего, а то и лучшего результата зацепив одно сообщество, вытягивать связанные с ним.

—

Вообще же если поднимать тему глубже, то всё ближе к кластеризации аудитории. Например, упоминаемый средний пользователь блогосферы как «21 летняя московская студентка» – это такой же абсурдный факт как измерение средней температуры по больнице.

P.S. На сей раз 100% уверенности в правильности формул у меня нет, так как есть ещё ряд факторов которые важно учитывать. Текущие же скорее возможность грубой оценки без лишних затрат ресурсов.

Недавно прочитал пост city_rat в ЖЖ сообщество sup_ru по поводу копипаста его записи в блоге в дайджест на livejournal.ru.

Вопрос серьёзный, а СУП, как обычно, продолжает портить себе репутацию не предоставляя никакого адекватного ответа. Важнее тут то что претензии city_rat обоснованны и, я полагаю, что куда глубже чем будут ответы от СУПа, если будут.

Промоделируем ситуацию, окружение и роли участников:

1. city_rat – блоггер

- статус: автор публикации;

- законодательное регулирование: закон об авторском праве, пользовательское соглашение на livejournal.com в момент регистрации;

- местонахождение: Россия, Москва (поправьте если не так) ;

2. livejournal.com - интернет ресурс
- статус: сервис блогохостинга;

- местонахождение: США, Штат Калифорния, Сан-Франциско;

- компания владелец: SUP Fabrik (если судить по анонсам и публикациям в прессе) ;

- законодательное регулирование: законодательство США и штата Калифорнии;

3. livejournal.ru – интернет ресурс

- статус: новостной и вспомогательный веб-ресурс;

- компания владелец: SUP Fabrik company develop public internet services;

- местонахождение: Россия, Москва. (если судить по traceroute и владельцу доменного имени);

- законодательное регулирование: Российское законодательство;

4. SUP Fabrik – компания

- статус: владелец и оператор веб-ресурсов Livejournal.com и Livejournal.ru

- местонахождение: Россия, Москва

- законодательное регулирование: Российское в части деятельности на территории Российской Федерации, законодательство США и штата Калифорния в части деятельности на территории США.

Отдельный вопрос в форме отношений между компаниями юридическими лицами в США и в России. Одна ли это компания SUP Fabrik или же их минимум две – российская и американская.

—

Я не скажу что что я глубоко разбираюсь юрисприденции, ответов, как должны работать механизмы защиты авторских прав у меня нет, а вот вопросов множество

Далее схема ситуации, курсивом замечания по ходу:

1. Блоггер (city_rat) размещает публикацию в своём блоге на livejournal.com.

Вопросы:

– Регулируется ли статус публикации законодательством США по месту физического расположения сервера(-ов) livejournal.com?

- Какие права автор передаёт оператору хостинга?

- Сохраняет ли он имущественные права на опубликованную запись?

- Признаётся ли запись в блоге объектом авторского права?

2. В рамках инфраструктуры сервиса livejournal.com, запись сохраняется на необходимом числе серверов (зеркалируется).

Вопросы:

- если с точки зрения защиты от сбоев сервиса, публикация разнесена по нескольким датацентрам – распросраняется ли на неё законодательство по месту расположения основного ресурса или же законодательство по месту регистрации юридического лица, владельца и оператора ресурса?

3. Представитель компании SUP Fabrik отслеживает публикации в блогах и размещает выдержки из них в дайджесте записей на ресурсе livejournal.ru

Вопросы:

- каков статус размещённой информации после её повторного размещения с сервера на территории США на сервер на территории России? Распространяется ли на неё всё ещё пользовательское соглашение LJ?

- можно ли рассматривать факт публикации на livejournal.ru как коммерческое использование информации?

На самом деле вопросов куда больше. Но ответов у меня пока нет. Буду следить за развитием ситуации. Интересно чем всё закончится.

Продолжая тему всё тех же социальных сетей и их рейтингов далее будут результаты адаптированного «неправильного» СоциоРанка.

Неправильность в том что вместо привычной PageRank’овской модели использовалась модель обязательности взаимофрендования, фактически чуть более развитый аналог алгоритмов расчёта сходимости групп френдов и френдующих, а также по аномальности социальной активности.

Результаты совершенно иные, я бы даже сказал кардинально. За редким исключением, сходимость результатов с Рейтингом блогов Яндекса минимально.

Уже по личным впечатлениям, скорее это ближе к антирейтингу, за редким исключением в верхушку рейтинга попали скорее неинтересные мне авторы, а в некоторых случаях так и просто «блого-помойки».

Выводы:

1. Учёт входящих (ссылок/отношений)  играет решающую роль при «правильных» расчётах. Учёт иного рода отношений можно использовать для корректировок результатов, но не более.

2. Рейтинг Яндекса, теперь можно с ещё большей вероятностью это утверждать, работает на базе классического PageRank – учёт входящих и только.

3. Пожалуй, главное что показывает рейтинг адаптированного СоциоРанка – это стремление участника социальной сети к самопродвижению.  А также подтверждает что что к авторитетности это стремление имеет весьма смутное отношение, скорее вредит.

Результаты доступны под Creative-Commons CC-BY, а то есть можно использовать для любых целей при условии упоминания авторства оригинала. Метаданные:

- всего 62323 блога

- размер файла 1 154 979 байт

- формат: <имя пользователя><пробел><рейтинг (float)>
Файл данных:  global_rank5.txt

Чуть глубже копнёшь структуру социальных сетей и начинают вылезать самые разные и интересные метрики для которых ненужны даже сложные расчёты. Далее будет минимум формул, блог не особенно удобен для их публикации в математическом виде, и некоторое словесное их описание, тоже упрощённое.

Те кто читают мой журнал в ЖЖ знают что такое «френды»и «френдование», для остальных поясню. Френдование – это внесение журнала данного пользователя в группу читаемых журналов и демонстрация отношения доверия исходящее от пользователя. Взаимофрендование – это когда данные отношения указаны обоими участниками друг к другу.

Далее рассмотрим следующие значения:

• x – число френдов пользователя;
• y – число тех кто зафрендовал его;
• z – число взаимофрендов, всегда меньшее или равное x и всегда меньшее или равное y
• C - константа порогового числа френдов в группе после которого снижается усвоение информации идущей участнику от сообщества. В данном случае число 500 выбрано по результатам анализа выборок наиболее авторитетных блоггеров.

1. Расчёт равенства взаимоотношений (сходимости групп френдов и френдующих)

Позволяет понять насколько данный участник входит в обе группы отношений – френдов и френдующих. Фактически подобные участники характеризуют плотность отношений в кластере.

(z / x + z / y) / 2 – чем больше сходятся эти группы, тем значение ближе к 1

2. Рейтинг аномальной социальной активности

Рассчитывается из рейтинга сходимости групп с поправкой на коэффициент числа взаимофрендов к «нормальному среднему» числу отношений (выбрана константа в 500)

((z / x + z / y) / 2) * (z / C) – при превышении значением единицы, взаимофрендование можно считать аномальным.

3. Рейтинг «снобизма»(*)
Соотношение числа взаимофрендов к числу френдующих. Демонстририрует уровень заинтересованности автора в читающих его.

(y – z) / y - число равное или меньшее единице, чем ближе к единице тем «снобизма» больше

* Название весьма условно отражает политику формирования взаимоотношения пользователя в сообществе.

—

Плюс N-нное число метрик которые можно рассчитывать уже по модели PageRank/TrustRank.

Модель метрик для Livejournal – это лишь живой пример того к чему можно применять подобные расчёты, для других сообществ и не только. Например, часть из рассчитываемых метрик может применятся в расчётах уровней влияния кластеров участников на сообщество, а также для как характеристики поведения пользователей, полезные разработчикам своих социальных сетей.

Ранее в нескольких записях я приводил примеры расчёта тематического PageRank’оподобного алгоритма, назовём его СоциоРанк, выявляющего основных инфлюэнсеров (участников наиболее влияющих на жизнь сообщества).

Но, если мы берём всё тот же Livejournal как тестовую выборку, то можно будет обратить внимание что общение происходит не в виде монологов, а в виде активных тематических дискуссий. Причём авторитетность автора инициатора дискуссии, зачастую не является решающей для её интенсивности / продолжительности и охвату участников, хотя и, безусловно, авторитетность автора значение имеет. Главное же что можно подметить – это наличие групп влияния, или мини-сообществ, кластеров взаимосвязь между участниками которых является одним из вероятностных факторов распространения и информации.

Например, для всех ранее рассчитанных тематических СоциоРанков сообществ, у меня сейчас есть расчёты и кластеров групп влияния, и сравнения двух этих показателей уже отличны. Участник даже с максимально высоким личным рангом, может быть частью кластера с уровнем влияния значительно ниже остальных. В то же время основные, наиболее интересные обсуждения, обычно генерируются и поддерживаются как раз группой с высоким суммарным и средним СоциоРанком.

Причём дальнейшие исследования помогают ответить на следующие вопросы:

1. Выявление и моделирование схем распространения информации.

2.  Определение групп влияния и предсказания их активностей.

3. Выявление «троллей», «спам-ботов» и участников с нулевой социальной активностью.

4. Перенос идей рейтинговой кластеризации из социальных сетей на другие области – индексирование веб страниц, индексы цитирования научных работ и так далее.

Если есть исследовательский интерес, могу закинуть несколько предрасчитанных кластеров и их рангов по любому ЖЖ сообществу.

Сегодня наконец-то получил результаты по анализу большей выборки из Livejournal, на сей раз учитывалось 33 372 блога.

Результаты прямо как я и ожидал – общий рейтинг всё более сходится с рейтингом топ блогов Яндекса. Так drugoi вышел на первое место сместив dolboeb на второе, а все из первой сотни рассчитанного мною рейтинга находятся в первых пятиста блогах в рейтинге Яндекса. В прошлой выборке они были в первых 2000 рейтинга Яндекса.

Итого можно сказать почти наверняка что авторитетность блоггера в Яндексе зависит именно от политики его френдования блоггерами имеющими больший авторитет. И это ничто иное как модель PageRank или Индекс Цитирования по другому.

Конечно, возможно, Яндекс используют и другие критерии, но это пока не подтверждается, да и измерять их сложнее чем PageRank’оподобные алгоритмы.

А вот в livejournal.ru используют «простые пузомерки» по числу читателей и числу посетителей. На первую могут повлиять френдующие роботы, а на вторую «поисковое продвижение» или трюки с вызовом ссылок с сайтов для взрослых в iframe’ах.

Зато всё стало на свои места по поводу  Популярных записей или ТОПа блогов Яндекса. Фокус в том что пользователи Я.ру отвечая комментарием на пост в другом блоге, тем самым порождают запись в своём блоге и, тем самым, повышают её рейтинг автоматически, в то время как на других блогохостингах подобное автоцитирование не используется. Шаг вполне логичный для Яндекса по продвижению Я.ру.

Продолжая тему работы поисковых систем и методик ранжирования, которыми я увлёкся не на шутку, некоторые размышления на эту тему:

1. PageRank, также как и HITS, также как и TrustRank – это алгоримы применительные не только к поисковым системам, но и ко всем моделям отношений равновесных связей. Например, PageRank’оподобные алгоритмы применимы к социальным сетям вроде ЖЖ или Я.Ру, так как отношения могут быть как двунаправлены, так и однонаправлены.

2. Ключевая особенность в PageRank в том что ссылки в нём не имеют веса и значения, имеет значение лишь их наличие и направление. Несколько иначе в TrustRank, но и там основную роль играют не ссылки, а их источники и адресаты.

3. Что PageRank что TrustRank используют модель «двойного отсечения» разделяя ресурсы/веб-сайты/веб страницы на доверенные, основную массу и «недоверенные» или черный список. В TrustRank первые и последние корректируются экспертным соотнесение сайтов к «белому» и «чёрному» спискам и наложением коэффициентов при их анализе.

4. Большая часть исследований по «гибридному ранжированию» идёт в двух направлениях. Это, либо внедрение дополнительных метрик и критериев прямо в PageRank, таким образом, например, TrustRank устроен, либо расчёт альтернативных рейтингов (рангов) и сведение их с PageRank в один критерий уже по рассчитанным данным. Оба подхода требуют непростых математических расчётов и имеют право на существование.
5. Вопрос считать ли PageRank в принципе верным подходом в ранжировании можно рассмотреть с двух точек зрения. С точки зрения научного признания алгоритма – безусловно, множество работ было посвящено его применимости к различным областям и с точки зрения бизнес модели, является ли причиной успеха Гугла алгоритм или же рекламная бизнес модель и упор на отказ от «платных ссылок». Иными словами, вопрос в том, можно ли однозначно говорить о превосходстве PageRank над, к примеру,ExpertRank (Teoma / Ask.com) или же данных для подобного суждения недостаточно?

6. Открытый вопрос как пересчитывать PageRank «по кусочкам» вместо полного апдейта всего графа. Если судить по первому приближению – это невозможно, но возможно что первого приближения недостаточно и наверняка способы есть.

7. Интересна применимость PageRank/TrustRank/Topic-based PageRank к сементическим сетям. К социальным сетям применимо в любом случае, к WordNet уже применяли для анализа весовых рейтингов синсетов. В принципе открытый вопрос по применимости к фактологическому и семантическому анализу. Исследования велись ещё в 2004 году, но немногие системы пошли дальше использования Lesk и/или WordNet для этой цели.

Выставка завершилась буквально только что, сегодня был третий день и все три дня я там присутствовал, раздавая посетителеям про наш проект «Енот Поискун«. Впечатлений множество, пожалуй, первое и основное что, во многом, эта выставка  – это тусовка для своих, где случайных посетителей немного, в основном, все шли целенаправлено.

По экспозициям – это смесь ВДНХ и достижений гос. органов регионов и федеральной власти. Половину залов занимали трактора, автомобили и тематические стенды поставщиков. Их присутствие там вполне логично, так как государство на сегодняшний день самый крупный закупщик в стране. Из ИТ компаний я насчитал только SoftLine, Синергетические системы, Naumen и ряд поставщиков решений для автоматизации процесса госзакупок.

Нашим Енотом интересовались более чем живо, у меня в первый день уже закончились все визитки и во второй листовки с описанием. Народ шёл и шёл спрашивая, уточняя, возвращаясь с новыми вопросами. Ещё одно наблюдение – это повсеместный отход разрабатываемых систем от связки – настольный клиент + веб-система. Было заметно что, что у поставщиков, что у заказчиков подобные системы энтузиазма не вызывали. Всё это логично, так как веб технологии давно уже позволяют перенести на веб страницы практически все операции, но государственный рынок консервативен и туда технологии всегда доходят с опозданием. На сей раз видно, что уже точно дошли.

МЭРиТ наконец-то анонсировали часть функций официального портала на новом сайте, который, как я понимаю, предполагается быть прообразом единого сайта по госзакупкам. Впрочем моё мнение что не надо забегать вперёд, посмотрим как будут развиваться события и насколько это решение окажется устойчивым и соответствующим потребностям заказчиков.

Что действительно вызывает сожаление так это что все разработки стандартов обмена информацией о госзаказе, применение концепций учёта и аудита уже даже не упоминают, а интеграционная модель создания государственных систем  отошла на второй план. В любом случае, события развиваются и я не берусь предсказать чем они закончаться.

• Yahoo присоединяется к Google и MySpace в работе над OpenSocial – иными словами ведёт себя так словно словно сумеет отбиться от присоединения к MS. Возможно также что OpenSocial окажется и не столь малопереспективной идеей как мне казалось раньше;
• Yahoo инвестируют в Cloud Computing на Hadoop – в индийскую компанию Tata;
• Stoneware интегрируют Google Apps в их продукт webOS – и этой правильно, в текущем виде они используют Java апплеты, а веб решение будет удобнее;
• Open source benefits from U.S. unpopularity – или как заработать open source компаниям на непопулярности США
• EnterpriseDB open-sources GridSQL – ещё один игрок на рынке BI и Data Warehouse.