Новую систему индексации создали по двум причинам. Во-первых, количество информации в сети растет, а форматы ее представления становятся все разнообразнее. На современном сайте представлены видеоролики, изображения, новости и обновления в реальном времени. Страницы стали насыщеннее и сложнее по структуре. Во-вторых, люди ждут намного большего от поиска. Пользователей интересует самая свежая информация по теме, а издатели хотят, чтобы их аудитория могла найти материал сразу же после публикации.
Чтобы не отставать от стремительного развития сети и удовлетворять растущим ожиданиям пользователей, мы и создали систему Caffeine.
В старом индексе было несколько слоев, некоторые из которых обновлялись регулярнее, чем другие. Большая часть индекса обновлялась каждые две недели. Чтобы обновить слой индекса, нужно было проанализировать всю сеть, что создавало задержку между моментом нахождения страницы и тем, когда она становилась доступной пользователю.
Caffeine, в свою очередь, позволяет анализировать информацию в Интернете «по частям» и непрерывно обновлять поисковый индекс. Это означает, что результаты поиска будут отображать максимально свежую информацию, вне зависимости от времени и места публикации.
Каждую секунду система обрабатывает сотни тысяч страниц. Если мы представим себе, что эти страницы бумажные, стопка из них росла бы со скоростью около 5 км в секунду. В базе данных Caffeine содержится порядка 100 млн. гигабайт данных, а новая информация добавляется со скоростью нескольких сотен тысяч гигабайт в день. Вам бы понадобилось 625 тысяч iPod-ов с самым большим объемом памяти, чтобы сохранить такой массив информации.
При создании Caffeine специалисты ориентировались на будущее Интернета. Эта система является отличной основой для построения других, более быстрых и объемных индексов, так как она способна лучше адаптироваться к развитию сети. Этим летом появятся и другие улучшения.
Справка:
Инновационные технологии поиска компании Google ежедневно служат для миллионов людей проводниками в мир информации. Основанная в 1998г. аспирантами Стэнфордского университета Ларри Пейджем и Сергеем Брином, компания Google сегодня является лидирующей веб-корпорацией на основных мировых рынках. Штаб-квартира корпорации Google находится в Силиконовой долине, представительства компании расположены в Северной Америке, Европе и Азии.
