DuckDuckGo: маленький, но при этом яростный конкурент Google

Когда Гэбриэл Вайнберг запустил свою поисковую систему в 2008 году, многие люди думали, что он – очередной безумец. Как мог DuckDuckGo – крошечный, находящийся в Филадельфии стартап – соперничать с Google? Единственное, на что он ставил – это поддержка пользовательской конфиденциальности. Прошло шесть лет, мы стали жить в пост-сноуденскую эпоху, и теперь идея создания такого поисковика уже не выглядит сумасшедшей.

Фактически, DuckDuckGo можно назвать определенным прорывом.

Если посмотреть на график ежедневных поисковых запросов к DuckDuckGo, то можно легко выявить основные вехи развития поисковика. В 2011 году он получил $3 млн от Union Square Ventures. Прямо перед этим прошла его рекламная кампания в Сан-Франциско. Включение в 50 лучших веб-сайтов по версии Time в 2011 году. Все это привело к притоку трафика к DuckDuckGo, однако все это даже близко не стояло от того массивного повышения запросов, которое случилось в прошлом июле. Именно тогда Эдвард Сноуден впервые рассекретил обширную программу слежения NSA. С тех пор небольшая синяя строка на графике не прекращает двигаться к северу.

«Каждый год мы растем примерно на 200-500%», отметил Вайнберг. «Числа продолжают становиться все больше и больше». С начала февраля количество запросов к DuckDuckGo превысило 4 млн запросов в день. Год назад число запросов едва перевалило за миллион.

Удивительно, но внезапный успех никоим образом не отразился на работоспособности сайта. И не изменил открытые, четкие акценты компании. В данной статье мы покажем вам, как одна компания медленно, но верно проложила свой путь в одну из самых монополизированных технологических областей.

Три идеи в одной: как развивался DuckDuckGo

Вайнберг первоначально не хотел создавать поисковую систему. После закрытия одного провального стартапа и продажи другого компании Classmates.com за 10 млн долларов в 2006 году, выпускник MIT решил изучить некоторые другие идеи. В своих многочисленных проектах он решил сфокусироваться на структурированных данных, стилизованных под Quora вопросах-ответах, а также на программной борьбе со спамом.

«Я запустил все эти проекты независимо друг от друга, и ни один из них в реальности не взлетел» — говорит Вайнберг. «Тогда я понял, что, возможно, если бы я объединил их между собой, то я мог бы получить интересный поисковой опыт».

Результатом стал DuckDuckGo, поисковая система, дающая прямые ответы на запросы людей вместо предложения горы ссылок. Сразу под так называемыми «прямыми ответами» находились традиционные результаты поиска в виде ссылок, полученные от сторонних компаний, таких как Bing и Yandex, однако кардинально отфильтрованные и реорганизованные, чтобы снизить количество спама.

Изучив современную историю поисковых механизмов, Вайнберг отметил, что некоторые компании в начале 2000-х попробовали – неудачно – противостоять Google путем имитации его метода массовой индексации сети. Вместо того чтобы следовать этим амбициозным (и очень дорогостоящим) путем, Вайнберг решил «повесить» большую часть тяжелой работы на инфраструктуру других компаний, чтобы его стартап – изначально кодированный им дома рядом со своим новорожденным сыном – смог сфокусироваться на создании превосходного опыта поиска информации онлайн. Ключ к этому, как понял Вайнберг, скрывался в мгновенных ответах.

«Когда вы что-то ищете, вы хотите тут же получить ответ. Вы не всегда хотите рыться в куче ссылок» — отметил Вайнберг. «Это наша задача – получить ответ на запрос. По нашему представлению, это верно для 80% запросов, даже для достаточно узкоспециализированных».

Чтобы предоставить эти ответы, DuckDuckGo полагается на симбиоз сторонних источников данных и глубоких – зачастую даже совершенно таинственных – сведений, полученных от растущего сообщества и разработчиков.

«У нас имелись определенные способы, детали Lego, а также другой необычный материал, о котором мы, как команда, даже не догадывались», отметил Вайнберг. «Единственный рабочий способ – создать сообщество людей, заинтересованных в данных темах. После чего придумать ответы, предложить источники и даже самим разработать их».

Внедрение мгновенных ответов оказалось верным шагом. Сегодня, если вы введете поисковой запрос в Google «Galileo» («Галилей») или «How tall is Big Ben?» («Какова высота Биг-Бена?»), то вы увидите список синих ссылок, сопровождаемый небольшим белым полем, в котором выводится мини-биография Галилея или, что верно для последнего случая, ответ: 316 футов.

Стартап, который посмел бросить вызов гиганту в своей области, сталкивается с огромным риском – ведь в любой момент времени разработчики Google, Facebook или Apple могут просто перенять то, что делало вас уникальным, швырнув ваши разрушенные мечты в корзину технической истории.

Вайнберг и его немногочисленная команда, однако, не выглядят напуганными. В конце концов, у DuckDuckGo имеется одно преимущество над Google, которое корпорация никогда не сможет копировать, даже если захочет это сделать.

Секретное оружие DuckDuckGo: жесткая конфиденциальность

Когда вы совершаете поиск через сайт DuckDuckGo или через одно из их мобильных приложений, компания не знает, кто вы такой. Аккаунты пользователей отсутствуют. Ваш IP-адрес не регистрируется по умолчанию. Сайт не использует cookie, чтобы отслеживать ваши действия и переходы. Он не сохраняет историю вашего поиска. Когда вы щелкаете по ссылке в поисковых результатах DuckDuckGo, сайты, на которые вы переходите, не будут видеть, какие поисковые фразы вы использовали. Компания также связана с Tor, что позволяет пользователям Tor совершать поиск через DuckDuckGo с минимальными задержками в производительности.

Проще говоря, компания ставит во главу стола конфиденциальность.

Однако все начиналось совершенно иначе. Вайнберг, который уверяет, что «всегда был человеком, заинтересованным в приватности», не слишком беспокоился по поводу проблем с конфиденциальностью поиска, когда он только начинал создавать свой сервис. В действительности, он вообще обладал очень малыми знаниями в данной области. Затем первые пользователи стали задавать ему вопросы.

«Некоторые первые вопросы, полученные от пользователей, были связаны с конфиденциальностью», говорит Вайнберг. «Я решил изучить данный вопрос, воспользовавшись Reddit и Hacker News. Это были технические порталы, насыщенные людьми, беспокоящимися о своей приватности».

Будет ли сайт использовать следящие cookie? Будет ли регистрироваться IP-адрес? Вайнберг мало думал об этих вещах, однако все это имело значение для его новой пользовательской базы. Таким образом, фанат технических вопросов, как он сам себя называл, решил углубиться в методы реализации конфиденциальности Google и других поисковых систем. Ему не понравилось то, что он узнал.

«Если вы посмотрите логи поисковых сессий людей, то вы поймете, что это один из самых личных аспектов в интернете», считает Вайнберг. «В отличие от Facebook, где вы выбираете, что опубликовать, в поиск вы вводите различные медицинские и финансовые вопросы, а также многое другое. Вы не задумываетесь о приватности вашей поисковой истории».

Эта общая функциональность, объединенная с возможностью случайных утечек данных и взломов, раздражала Вайнберга. В то же самое время он понял, что на базе поиска можно построить вполне реальную бизнес-модель, которая будет существовать без слежения за пользователями. Достичь уровня доходности Google без широкомасштабной целевой рекламы было бы попросту невозможно, однако базовая логика выдачи рекламных объявлений — пользователь ищет мотоциклы, вы показываете ему рекламу мотоциклов в зависимости от ключевого слова – по-прежнему работала. Естественно, прибыльность такой модели только увеличивается с ростом поисковых запросов, совершаемых людьми.

Очень скоро стало ясно, что поддержка такого ответственного подхода к конфиденциальности позволила бы стать DuckDuckGo уникальным торговым предложением, поскольку Google контролирует приватные пользовательские данные. Компания выбрала соответствующее позиционирование для себя и начала накапливать пользовательское внимание, которое увеличивалось по мере роста значимости проблемы онлайновой приватности в сознании общественности.

«В какой-то момент это стало очень важным», говорит Вайнберг. «И сейчас многие люди считают это очень важным, однако я думаю, что сегодня это уже не так значимо. В прошлом году стало ясно, почему люди не хотят, чтобы за ними следили».

Как сообщество DuckDuckGo продвигает свой продукт – и зарабатывает на нем

Единственный человек, который не считал, что курс, взятый на конфиденциальность, был самым важным – это Кейн Тай. Услышав о DuckDuckGo в 2009 году, молодой программист решил обратиться к Вайнбергу, чтобы убедиться в том, нужна ли ему какая-либо помощь.

«Я познакомился с Гейбом, как я знакомлюсь со многими людьми: в сети», говорит Тай. «Меня заинтересовало то, что он работает над новой поисковой системой. В то время он не мог мне предложить большие объемы работы, поскольку у него не было четкой и продуманной идеи. Позже я помог ему написать первое Android-приложение».

В 2011 году, получив первые финансовые инвестиции, DuckDuckGo был готов к тому, чтобы покинуть дом Вайнберга и превратиться в реальную компанию. Работая над различными проектами вместе с Вайнбергом, Тай стал очевидной кандидатурой на роль первого штатного сотрудника компании. Вскоре он стал Директором по Базовым Компонентам, в обязанности которого входило слежение за инфраструктурой DuckDuckGo, начиная с базовых веб-технологий и заканчивая функциональностью мобильных приложений.

Маршрут Тая повторили многие будущие сотрудники: один за другим члены сообщества DuckDuckGo постепенно наращивали свои сферы влияния в компании – создавали плагины, рекомендовали неизвестные источники данных, добавляли свой код.

«Обычно самые мотивированные люди – это люди из сообщества», говорит Зак Паппис, директор DuckDuckGo по маркетингу и сообществу. «Любой может попробовать что-то новое». Действительно, сам Паппис был активно вовлечен в сообщество DuckDuckGo и выполнял разную работу для Вайнберга по вечерам, перед тем как занял свою должность с полной занятостью в 2012 году.

Именно в этом качестве Паппис следит за растущим сообществом пользователей и разработчиков, которые помогают развивать DuckDuckGo. Со временем сообщество стало играть все более важную роль в развитии базового продукта компании. Оно не только помогло отделить новых сотрудников от группы преданных поклонников, но и раскололось на две части – из него образовалась подгруппа, которая решила продвигать свою собственную платформу: DuckDuckHack.

Пользователи должны быть в состоянии построить свою собственную поисковую систему

«Все произошло спонтанно», говорит Вайнберг. «Я просто решил создать API и попросил этих людей закодировать что-то под него. После чего вдруг выяснилось, что это API вполне могло бы стать платформой, с которой люди смогли бы работать».

Изданная как «open source DuckDuckGo», платформа DuckDuckHack позволила разработчикам создавать свои собственные плагины для мгновенных ответов, используя набор API (по большей части на Perl) и необходимую документацию. По существу, это набор инструментов, который позволяет любому человеку программно определять, как поисковая система будет интерпретировать запросы пользователей, а также где будет разыскиваться информация.

Некоторые примеры являются очевидными: информация о фильмах может быть взята из IMBD или Rotten Tomatoes. Поиск по «The Beatles» может выдавать биографическую справку из Википедии или Last.fm. Простые вычисления могут быть выполнены с помощью Wolfram Alpha. Тай был особенно доволен недавней интеграцией с Forecast.io, источником данных, который используется популярным приложением прогноза погоды Dark Sky.

Однако остается и не такой ясный, менее очевидный материал. Здесь уже основную роль играет сообщество.

«Опыт с Wolfram Alpha ясно показал мне, что вы можете получить ответы даже на самые странные и сложные вопросы», говорит Вайнберг. «И мы начали добавлять эти ответы. Вы можете ответить на кучу вопросов, о которых наша команда совершенно ничего не знает. Скажем, знаменитости. Мы не слишком хорошо разбираемся в поп-культуре».

Один пользователь, к примеру, является прожженным фанатом Lego. Как знают энтузиасты Lego, каждый строительный блок имеет свой уникальный идентификационный номер. Чтобы облегчить поиск таких блоков на DuckDuckGo, он создал плагин, который получает блоки из базы данных Lego, созданной фанатами Lego, такими же сумасшедшими, как и он сам»

Изучив список существующих мгновенных ответов – известный как goodies на DuckDuckHack – вы поймете, почему DuckDuckGo решил раскрыть эту часть своего процесса для других людей: некоторый материал является слишком странным для того, чтобы им занималась одна компания.

За кулисами DuckDuckGo: как работает эта небольшая компания

Заглянув в главный офис DuckDuckGo в Паоли, штат Пенсильвания, трудно предположить, что эти два полупустых, скромно обставленных этажа могут использоваться для того, чтобы противостоять одной из крупнейших технический компаний на планете.

Однако это лишь часть целого. Большая часть сотрудников DuckDuckGo – примерно 20 человек — работает удаленно. Даг Браун, специалист по разработке фронтэнда, проживающий в Торонто, периодически приезжает в этот небольшой пригород Филадельфии. Недавно пополнивший ряды компании разработчик по имени Джаг Талон начинал работать на DuckDuckGo еще тогда, когда он жил на Филиппинах, и лишь в прошлом году он вместе со своей семьей переехал в Нью-Джерси. Когда мы посетили их офис в январе, в нем находилось меньше десяти человек. Как нам сказали, это даже больше, чем обычно.

Ежедневно приоритеты команды диктуются тем, что они называют «критический путь» — короткий список основных целей, которые отвечают базовой миссии DuckDuckGo. Удивительно то, что недавно произошедший скачок трафика не изменил кардинально их критический путь – он лишь помог убедиться в том, что сайт прекрасно справляется с такой нагрузкой.

Недавно выполненный пункт из списка приоритетов – консолидация публичных сайтов сообщества в один веб-интерфейс. Следом идет редизайн сайта DuckDuckGo, который они планируют выполнить во втором квартале этого года.

Как и любая компания с основной массой удаленных сотрудников, DuckDuckGo экспериментирует с различными инструментами совместной работы онлайн.

Skype. Yammer. HipChat. Asana. «Мы попробовали все, о чем мы знали», говорит Паппис.

В последнее время они часто обращаются к Sqwiggle, инструменту совместной работы в режиме онлайн, который поддерживает постоянные видео-трансляции и периодические скриншоты, чтобы коллеги могли видеть друг друга – или знать, кто находится по ту сторону экрана.

«Skype больше походит на телефонный разговор, в то время как Sqwiggle – это скорее обмен текстовыми сообщениями», говорит Браун. «Вы можете видеть лица людей, и вы способны быстро пообщаться с ними, поскольку вы знаете, что они всегда на связи. Это ключ к успеху. Все знают, что именно вы делаете и когда вы это делаете».

С технической стороны, весь код команды – в основном Perl и Javascript – управляется через Git и GitHub Enterprise. Каждое изменение в коде отображается в комнате HipChat, так что любой разработчик из команды видит, что именно было сделано. Такой подход, как отметили все, невероятно удобен.

«Это побочное явление от того факта, что команда является удаленной», говорит Тай. «Если бы все присутствовали в офисе, то такого бы не произошло, поскольку все бы спрашивали друг друга локально. Вместо этого у нас есть данные, которые доступны всей команде сразу, причем каждый человек может асинхронно их использовать».

Что касается инструментов, которые используют разработчики для создания особенностей DuckDuckGo, то Вайнберг не выставляет никаких границ.

«Мы стараемся не следить за рабочей средой людей», отметил он. «Люди работают удаленно. Каждый работает со своими инструментами. Некоторые используют Emacs. Некоторые соединяются напрямую с машиной. Некоторые ведут разработки локально. Люди работают разными путями».

Источник: fastcolabs.com