Какой сервер часть гугл


Как выглядят дата-центры Google

Как правило, информация о центрах обработки данных всегда окутана тайной, так как именно это место является мозгами технологических компаний. Компания Google, напротив, решила поделиться фотографиями своих дата-центров, которые располагаются в штатах Аойва, Орегон, Джорджия, Южная Каролина, а также в Финляндии и Бельгии. Компания работала над их созданием более 12 лет.

Каждый центр оснащен эффективными возобновляемыми источниками энергии и является полностью экологически чистым.

По словам Google, когда вы заходите на их сайт, то становитесь участником самой мощной и огромной Сети во Вселенной. Глядя на следующие фотографии, тяжело не согласиться с этим утверждением.

Наш тур начинается за пределами одного из центров обработки данных Google, в городе Омаха, штат Айова. Вы видите, что рядом с дата-центром спокойно разгуливает семейство оленей.

Дата-центр в штате Айова имеет площадь более 10 000 квадратных метров. Внутри его расположены серверы, которые обрабатывают поисковые запросы YouTube и хранят видео сервиса.

Обратите внимание, насколько он огромный!

В сетевом корпусе установлено огромное количество маршрутизаторов и коммуникаторов, позволяющих осуществлять обработку данных и обмениваться информацией друг с другом. Отметим, что сеть, которая связывает ресурсы, работает со скоростью в 200 000 раз превышающей скорость домашнего интернета.

На следующем фото вы можете увидеть дата-центр Google в Орегоне. Он не менее впечатляющий.

А вот как выглядит изнутри дата-центр в штате Джорджия. Обратите внимание на разноцветные трубы, они предназначены для водяного охлаждения объекта. Этот центр настолько огромен, что сотрудники передвигаются по нему на велосипедах.

Google сохраняет в трубах очень высокое давление, на случай, если вдруг произойдет возгорание. Вода в них на всякий случай очищается и фильтруется, дабы не произошло загрязнение объекта.

Синие светодиоды на каждом сервере уведомляют сотрудников о том, что все идет гладко. Google приобрела 1000 мегаватт возобновляемой энергии для питания этих центров обработки данных.

На этом снимке вы можете видеть, что вышедшие из строя жесткие диски удаляются на месте. Google говорит, что это делается специально для того, что бы пользовательские данные всегда оставались в безопасности.

А так выглядит место для резервного копирования информации. Рука робота помогает найти ту или иную кассету, когда она понадобилась сотруднику. Каждая лента имеет собственный штрих-код, который облегчает поиск.

Это редкий вид задней части серверов. Вы можете увидеть множество вентиляторов, которые вытягивают горячий воздух с серверов и всасывают охлажденный.

Прекрасный вид дата-центра компании Google в Финляндии, который располагается на берегу замерзшего залива. В прошлом в этом здании располагался бумажный комбинат.

Так выглядит дата-центр в Финляндии изнутри. Для обеспечения бесперебойной работы серверов требуется массивное пространство. Центры обработки данных компании Google используют на 50% меньше энергии, чем аналогичные центры других компаний.

Серверы таких размеров вырабатывают огромное количество тепла. Для их охлаждения Google использует морскую воду из Финского залива. Ее вполне хватает для качественного охлаждения.

Внутри бывшего бумажного комбината располагается великолепный конференц-зал. За его пределами имеется сауна для сотрудников дата-центра.

Вы можете видеть групповое фото команды в городе Хамина, которые имеют возможность наслаждаться зимней рыбалкой прямо возле центра.

Google выбрала этот город, потому он « имеет правильное сочетание энергетической инфраструктуры, возможностей для масштабирования и множества потенциальных сотрудников дата-центра».

www.iLenta.com&t=ff" target="_blank">www.iLenta.com+wikipedia" target="_blank">www.iLenta.com" target="_blank">www.iLenta.com&partner=fastestfox" target="_blank">

www.playground.ru

15 интересных и полезных сервисов от Google / ua-hosting.company corporate blog / Habr

В конце марта Google собирается прекратить работу сервиса «Compare», позволяющего пользователям сравнивать предложения на автомобильную страховку, кредитные карты и ипотеку. Но помимо него у компания имеется достаточно других интересных, часто скрытых и действительно полезных продуктов, которыми можно пользоваться.

Штат Google насчитывает более 60 000 специалистов, а также компания обладает всевозможными ресурсами, чтобы создавать оригинальные сервисы в добавок к поисковой системе и другим крупным проектам. Ниже представлена подборка занимательных и полезных приложений от Google. От поиска информации в исключительно профессиональных изданиях до географических карт, составленных из фотографий обычных людей.

1. Google Keep

Google Keep — это бесплатное интернет-приложение, предназначенное для создания и хранения заметок. Работает как на настольном компьютере, так и на телефоне. Его красочный дизайн поможет Вам создать уникальный и яркий список дел. Можно установить «напоминания», которые будут объединены с GCal.

Достаточно записать идею, планы и в указанное время или в определенном месте приложение напомнит Вам, что нужно сделать. Есть возможность создавать голосовые заметки, которые Google Keep автоматически преобразовывает в текст. Фотографируйте афиши, рецепты и документы, чтобы потом легко найти их. Делитесь заметками с родными и близкими.

2. Gmailify

Функция под названием Gmailify позволяет всем желающим воспользоваться преимуществами почты Gmail (больший объем, спам-фильтры, группировка писем и т.д.), без необходимости менять свой адрес электронной почты.

Даже если Ваша электронная почта на Yahoo, Hotmail, или Outlookо — ее все равно можно «огуглить», добавляя примочки и элементы дизайна Gmail без фактической смены адреса.

3. Project Sunroof

В конце прошлого года компания Google запустила сервис Project Sunroof, дабы привлечь больше людей оборудовать свои дома солнечными панелями. Основываясь на аэрофотосъемке с высоким разрешением и местных погодных условиях (количестве солнечных дней), данный инструмент позволяет пользователям проверять, сколько они могут сэкономить благодаря солнечной энергии.

Пока что сервис работает в тестовом режиме на территории США и всего в трех городах: Сан-Франциско, Фресно и Бостоне. Но со временем Project Sunroof будет действовать по всему миру.

4. Google Sky

Google Sky — приложение Google Maps, которое позволяет исследовать дальние рубежи Вселенной, используя изображения со спутников NASA, Sloan Digital Sky Survey (SDSS, Слоуновский цифровой небесный обзор) и телескопа Hubble.

5. Google nGrams

Google Ngram Viewe представляет собой интересный он-лайн инструмент, который позволяет осуществлять поиск слов, выражений, явлений или понятий в литературе с 1500 г. по 2008 г. Анализируется более 5 миллионов книг, опубликованных за указанный период времени. У пользователей появляется возможность проследить за изменениями слов в течением времени. Доступные языки поиска: английский, немецкий, испанский, французский, русский и китайский. Результаты отображаются в виде графика, где видна частота употребления слов или фраз.

6. Google-расчеты

Для тех, кого пугают огромные числа — Google поможет выяснить как произносится даже 12-ти значные гиганты. Просто введите после числа «=english».

Через Google можно делать и множество других расчетов. Вводите математические уравнения или преобразования в Google Search box и получайте быстрые ответы.

7. Google-fonts

Среди прочих сервисов, Google предлагает бесплатные шрифты. В коллекции также есть и Кириллица.

8. Академия Google

Google Scholar делает невероятно легким поиск информации из большинства рецензируемых онлайн журналов и газет самых крупных научных изданий Европы и США. Это бесплатная поисковая система по полным текстам научных публикаций всех форматов и дисциплин.

У «Академии Google» есть свой слоган — «стоя на плечах гигантов» (часть знаменитого высказывания И. Ньютона «если я видел дальше других, то потому, что стоял на плечах гигантов»).

9. Google Art Project

Занимайтесь культурным саморазвитием с помощью интернет-платформы Google Art Project. Место, где можно найти фотографии произведений искусства мировых мастеров в супер-высоком разрешении. В проекте участвуют около 200 музеев, галерей и дворцов из разных стран мира.

На сайтах Google Art представлено более 35 000 шедевров живописи, скульптуры, архитектуры. Также на сайт выкладываются панорамные съемки из залов музеев.

10. Think Insights

«Цифровая шпаргалка» от Google для маркетологов, где они используют свои данные для сбора информации о том, что актуально для индустрии. Проект Think Insights разработан для специалистов онлайн-маркетинга, аналитиков трендов онлайн-рынка в различных сферах потребления информации или пользовательской онлайн-активности.

11. Google Trends

Для тех, кто хочет быть всегда в курсе того, что заботит людей в настоящий момент, придется кстати веб-приложение Google Trends. Этот сервис показывает наиболее часто задаваемые вопросы поиска по отношению к общему объему поисковых запросов в различных регионах мира и на разных языках.

Можно даже построить диаграмму, отображающую то, как со временем нарастала или убывала частота поиска по различным критериям.

12. Panoramio

Замечательный веб-сайт Panoramio комбинирует Google Maps с частными фотографиями, позволяя пользователям наносить свои снимки на те участки карты, где они были сделаны. Ресурс позволяет сохранять географические координаты фотографий.

Сразу после того, как Вы загрузите фотографию и привяжите ее к месту, она пойдет на рассмотрение модераторами. После проверки и при соблюдении Приемной политики Google Планета Земля, снимок маркируется логотипом Panoramio и надписью «Фотография выбрана для Google Earth» и становится видна всем пользователям.

13. Google Sound Search

Google Sound Search – это виджет, который работает как Shazam и помогает идентифицировать песни которые на «слуху». Он также помогает отыскать найденный трек в Google Play Store.

Приложение простое в работе. Вы добавляете Google Sound Search на свой Android и когда услышите понравившуюся но незнакомую мелодию, нужно будет лишь нажать на значок приложения. И через несколько секунд Sound Search for Google Play сообщит вам название песни и исполнителя, а также название альбома.

14. Google Translate

Для любителей путешествовать пригодятся дополнительные возможности всем известного приложения Google Translate. С его помощью возможно совершать перевод визуального и голосового материала в реальном времени, что делает пребывание в разных странах свободнее и проще.

15. Build

Build — симулятор популярного конструктора на WebGL. Совместный проект Google Australia и Lego, который будет интересен не только детям, но и взрослым.

habr.com

Пользуетесь Google Chrome? Значит Google собирает ваши данные через X-client-data

Многие считают сервисы Google полезными и удобными в использовании, однако у них есть как минимум одна важная особенность. Речь идет о постоянной слежке за пользователями, об интенсивном сборе и отправке данных об их активности.

Далеко не все пользователи представляют, какого рода данные собирает компания, и в каких объемах. Но многие принципиально относятся к своей конфиденциальности, а некоторые готовы усмотреть нарушение тайны частной жизни даже в отправке лога с чисто техническими сведениями. Однако иногда на путь борьбы с Google выходят по-настоящему продвинутые пользователи.

25 мая 2018 года вступил в силу GDPR General Data Protection Regulation — закон, принятый Европейским Парламентом, который ужесточил и унифицировал правила защиты данных пользователей. ЕС принял такое решение из-за растущего количества крупных утечек персональных данных, которые собирают такие ИТ-гиганты, как Google и Facebook. Однако фактически этот закон повлиял не только на граждан ЕС, но и на весь остальной мир.

Многие интернет-сервисы, работая в разных странах, тем не менее, стараются соответствовать самым жестким требованиям к конфиденциальности. Так что, GDPR де-факто стал мировым стандартом.

Так что там у Google


Во вторник, 4 февраля 2020 года, Арно Гранал, разработчик браузера Kiwi на базе Chromium, поднял вопрос о передаче так называемого «уникального идентификатора», который формирует Google Chrome при установке. Гранал предположил, что его может использовать, по крайней мере, сама компания Google.

Он и некоторые другие пользователи предполагают, что это бэкдор, который она может использовать в своих целях. И в таком случае можно говорить о нарушении закона GDPR, поскольку этот уникальный идентификатор можно рассматривать как данные, позволяющие однозначно установить личность пользователя.

Корпорация Google никак не прокомментировала проблему. А официальные документы и прочие послания компании не позволяют до конца прояснить ситуацию.

Как это работает


Когда браузер запрашивает веб-страницу с сервера, он отправляет HTTP-запрос, который содержит набор заголовков, представляющих собой пары ключ-значение, разделенные двоеточиями. Эти заголовки в том числе определяют, в каком формате нужно прислать данные. Например,
accept: text / html

Ранее (как минимум с 2012 года) Chrome отправлял заголовок под названием «X-client-data», также известный как «X-chrome-variations», чтобы тестировать функции, находящиеся в разработке. Google активирует часть этих функций при установке браузера. Информация о них отображается, когда вы вводите chrome://version в адресную строку Chrome.
Variations: 202c099d-377be55a

В строке 32 файла исходного кода Chromium, заголовок X-client-data отправляет Google информацию о наборе тестов (Field Trials) для текущего пользователя Chrome.
«Заголовок Chrome-Variations (X-client-data) не будет содержать никакой информации, позволяющей установить личность, и будет описывать только параметры установки самого Chrome, включая active variations, а также данные об экспериментах на стороне сервера, которые могут повлиять на установку», — говорится в руководстве по возможностям Google Chrome.

Однако это не совсем так.

Для каждой установки Google Chrome случайным образом генерирует число от 0 до 7999 (до 13 бит). Это число соответствует набору рандомно активированных экспериментальных функций.

Чем больше пустых битов, тем труднее сформировать отпечаток браузера с высокой степенью уникальности, и наоборот. Но если комбинировать эти данные со статистикой использования и отчеты о сбоях, которые включены по умолчанию, то для большинства пользователей Chrome все-таки можно получить отпечатки с достаточно высокой точностью.

Отпечаток «определяется вашим IP-адресом, операционной системой, версией Chrome и другими параметрами, а также параметрами вашей установки», — объясняет Гранал.

Если вы, например, посетите YouTube, в заголовок будет включена строка вида:

X-client-data: CIS2yQEIprbJAZjBtskBCKmdygEI8J/KAQjLrsoBCL2wygEI97TKAQiVtcoBCO21ygEYq6TKARjWscoB 

Это можно проверить самостоятельно, если открыть в Google Chrome консоль разработчика, а затем вкладку Network и далее перейти на сайт youtube.com, или doubleclick.net например.

По словам Гранала, доступ к таким идентификаторам имеют только сайты youtube.com, google.com, doubleclick.net, googleadservices.com и некоторые другие сервисы Google. Но только в том случае, если браузер не находится в режиме инкогнито.

Лучшая защита


Если к X-client-data имеет доступ только Google, это может говорить о том, что компания защищает данные пользователей от всех, кроме самой себя.

Лукаш Олейник, независимый исследователь и консультант по защите персональных данных, полагает, что эту функцию могут использовать в корыстных целях, хотя вполне возможно, что она создавалась для отслеживания технических проблем.

«Я полагаю, что большинство пользователей не имеют представления об этом идентификаторе, о том, что он делает и когда используется. И возможно, проблема заключается в том, что идентификатор остается постоянным и не сбрасывается, когда пользователь очищает данные браузера. В этом смысле его можно считать отпечатком. [Пока] главный риск заключается в том, что данные отправляют сайтам, которыми управляет только одна организация».
Гранал отмечает, что такой механизм передачи данных можно рассматривать как уязвимость. В исходном коде Chromium реализована лишь проверка предварительно заданного списка доменов Google, но он не проверяет другие домены. Поэтому злоумышленник может купить домен, например, youtube.vg, и развернуть на нем веб-сайт для сбора заголовков X-client-data.

Недокументированные возможности


В августе 2017 года специалисты «Лаборатории Касперского» обнаружили бэкдор в NetSarang, популярном софте для управления корпоративными серверами. Бэкдор ShadowPad был найден в ходе анализа подозрительных DNS-запросов в корпоративной сети одной из крупных фирм, установивших себе софт. Через бэкдор злоумышленники получали доступ к конфиденциальным данным организаций, использующих NetSarang.

Компания-разработчик заявила, что ничего не знала об этом, а вредоносный код в их продукт внедрили неизвестные злоумышленники. Однако, после того, как бэкдор был найден, специалисты NetSarang подозрительно быстро ликвидировали уязвимость.

Часто ли компании закрывают глаза на такие недокументированные возможности?



Подписывайтесь на нашего разработчика в Instagram


habr.com

Серверы Google / Habr

Вот список имён серверов Google, использующихся для различных сервисов компании, которые вернулись в HTTP-заголовках. Не всем серверам присвоены очевидные имена, а некоторые из них могут даже показать на интересные данные (например, ctcserver используется для ещё не запущенного сервиса Google Call, на который ссылается robots.txt). Google Web Server — это изменённая версия обычного сервера Apache, запущенного на Linux.

Название сервера
Сервисы, область применения
GWS (Google Web Server)
Поиск по Сети, Поиск изображений и другие сервисы
GFE/1.3 (Google Front-End)
Gmail, Календарь, Альбомы Picasa, Docs, Blogger, orkut, Reader и многие другие сервисы
GWS-GRFE/0.50
Группы
bsfe (Blog Search Front-End)
Поиск по блогам
OFE/0.1 (Ocean Front-End)
Поиск по книгам, Поиск по патентам
SMS search frontend 1.0
Google SMS
Search-History HTTP Server
История поиска
Auto-Completion Server
Google Suggest, авто-дополнение в Firefox/Google Toolbar
TrustRank Frontend
Безопасный веб-сёрфинг
GCS/1.0
Безопасный веб-сёрфинг
SFE/0.8
Finance
FTS ©1997-2007 Interactive Data Managed Solutions AG
Таблицы Finance
asfe
Base
mediaserver
Base (изображения)
cffe
Поиск товаров (Froogle)
btfe
Эскизы: Поиск по изображениям, Google Video, Youtube
Video Stats Server
Google Video
cachefe:image (Cache Front-End)
Фотографии Picasa
staticfe
Изображения интерфейса (Picasa Web)
ctcserver
Google Call ( www.google.com/call )
GoogleChartServer/1.0
используется для динамически изменяющихся таблиц (вроде статистики Google Video)
NFE/1.0 (News Front-End)
Новости
mfe (Maps Front-End)
Карты
Keyhole Server 2.4
Maps, Earth (изображения)
PSFE/4.0
Alerts
igfe (iGoogle Front-End)
iGoogle
COMINST/1.0
Инталляционные пакеты (Pack, Picasa)
TWS/0.9 (Translation Web Server)
Переводчик
mws (Music Web Server)
Поиск музыки
R2FE/1.0 (Reviews Front-End)
Обзоры (Музыка, Фильмы)
zfe
Обзоры
pfe
Co-op
codesite/5477219
Code
ga-reporting-fe
Отчёты Analytics
ucfe
Analytics
lpfe
Analytics (www.google-analytics.com/siteopt.js)
Toolbar Gaia User Service Server
Идентификация Google Toolbar
cafe (Ad Conversion Front-End)
Переходы
AdClickServer
Тестовый сервер рекламы Google
Google Trends
Google Trends
TFE/0.0 (Transliteration Front-End)
Перевод в хинди
Apache
большинство сервисов Lab

via Google Operating System

habr.com

Google перенесла серверы в Россию — «Хакер»

Как известно, с 1 сентября 2015 года вступает в силу Закон о хранении персональных данных в России. В соответствии с ним, компании обязаны хранить обработанные в интернете персональные данные россиян на серверах, которые расположены на территории России. Это касается облачных сервисов (почта, хостинг и др.), социальных сетей, интернет-магазинов и др.

Одна за другой, иностранные компании всё-таки подчиняются требованию закона. Недавно сообщалось, что серверы в Россию собирается перенести гигант интернет-торговли eBay. А сегодня агентство новостей РБК сообщило, что аналогичные действия предприняла компания Google.

«Перенос серверов американской компании Google в Россию обсуждался в конце марта на совещании в Минкомсвязи, посвящённом подготовке к вступлению в силу закона о хранении персональных данных», — пишет РБК со ссылкой на трёх участников совещания, сотрудников компаний, владеющих центрами обработки данных (ЦОД), и источник, близкий к правительству.

В распоряжении РБК оказалась стенограмма совещания, согласно которой один из участников сообщил о том, что Google хранит информацию на территории дата-центра его компании. «Компания Google [теперь] является нашим клиентом. У нас режимное полугосударственное предприятие», — отметил он. По его словам, Google сначала «никого к своим стойкам не подпускала» — доступ имели только её собственные сотрудники, приехавшие из-за рубежа.

Один из совещавшихся уточнил, что с таким заявлением о Google выступил сотрудник «Ростелекома». Таким образом, российские серверы Google теперь размещаются на площадке «Ростелекома».

Изначально планировалось, что Закон о хранении персональных данных начнёт действовать с 1 сентября 2016 года, но в сентябре 2014 года группа депутатов внесла в Госдуму законопроект о переносе этого срока на январь 2015 года. Однако с 1 января 2015 года новые нормы решили не вводить. Против этой даты резко выступили представители интернет-индустрии. Они объяснили депутатам, что за несколько месяцев подготовить внутренние сети технически невозможно, поэтому срок перенесли на 1 сентября 2015 года.

Эксперты высказывают мнение, что хранение данных в России обойдётся компаниями примерно на 30% дороже, чем в зарубежных дата-центрах. К тому же, российский закон предъявляет более строгие требования к хранению персональных данных, в частности требует использовать сертифицированные средства защиты.

Согласно документу, при сборе персональных данных, в том числе через интернет, «оператор обязан обеспечить запись, систематизацию, накопление, хранение, уточнение/обновление, изменение/извлечение персональных данных граждан России с использованием баз данных, находящихся на территории России». Будет создан и «Реестр нарушителей прав субъектов персональных данных». Вести его должен Роскомнадзор.

xakep.ru

Где находятся сервера youtube и google?

Результаты последних исследований показали, что в настоящее время компания Google использует 450 000 серверов, которые находятся в 25 странах

в америке сервер гугля в силиконовой долине это цент разработок новых технологий youtube в америке где точно не знаю но наверное там же где и гугля

гугл вроде в голланди (центральный офис и сервер)

приметно так ======================= Результаты последних исследований показали, что в настоящее время компания Google использует 450 000 серверов, которые находятся в 25 странах ========================= пока отвечаем уже устарело !!!

МОЖЕТ В КУЩЁВКЕ?

У меня в подвале

Местонахождение: United States United States - California - Mountain View - Google Inc

Может Google и Youtube находятся в России. Хотя может и в Америке.

Ребят как мне связаться с администрацией ютуба просто с ноутбука слили видео и выложили в ютуб я бы хотел с писаться с администратором по заливки видео что делать незнакомы человек взломал ноутбук и теперь я бы хотел переговорить с администратором ютуба ??? Срочно подскажите

touch.otvet.mail.ru

На каком оборудовании и софте работают поисковые роботы Google

Сайт дня (как попасть): Повысим ваш CTR в Яндекс.Директ до 100%.

Дорогие друзья, я продолжаю перевод видеоматериалов с канала Google для вебмастеров Google Webmaster Help.

В сегодняшнем видео Мэтт Каттс, руководитель Google Webspam team, приоткроет завесу и расскажет вам о том, какое железо и программное обеспечение используется для поисковых роботов Google (их также называют поисковыми пауками, спайдерами, гуглоботами и краулерами. В общем, как только не обзывают бедных роботов 😉 ).

Мне самому было интересно узнать эти подробности. Это как передача "В мире животных", только про дорогих нашему сердцу нашим сайтам поисковых роботов Гугла 🙂 .

После перевода видео в конце поста я привел интересные видео о дата-центрах Google, которые вам могут быть интересны.

На каком оборудовании и софте работают поисковые роботы Google

Мэтт Каттс: Сегодняшний вопрос поступил из города Кардифф, Великобритания. Тристан Перри задал интересный вопрос:  "Привет, Мэтт!  Расскажи о том, на каком оборудовании и серверном программном обеспечении работают поисковые роботы Google (web-краулеры)?"

Очень интересный вопрос. Одним из секретов Google является то, что вместо того, чтобы использовать крупноразмерное и тяжелое оборудование, мы стремимся к использованию такого оборудования, которое внешне очень похоже на обычные компьютеры. В этом можно убедиться, если посетить какой-либо из дата-центров Google. Если вы открывали корпус своего компьютера, то в нашем оборудовании вы узнаете много знакомых частей.

🔥 Кстати! Я провожу платный курс по продвижению англоязычных сайтов SEO Шаолинь. Если интересует, можете подать заявку на его сайте seoshaolin.com.

Приглашаю вас подписаться на мои каналы в Telegram:

@shakinru - продвижение в рунете.
@burzhunet - англоязычное SEO.

И что интересно, вместо того, чтобы выделять специальные сервера для поисковых роботов Google, мы задействуем множество серверов, которые одновременно могут быть использованы и для других целей. В результате мы имеем целый флот, настоящую армаду машин, которая служит для решения различных задач и процессов.

Конечно, наше оборудование не такое же точно, как обычные компьютеры, но имеет с ними много общего. И у нас нет разницы между серверами для поисковых роботов и другими серверами. Могут быть различия в размере оперативной памяти или жестких дисков, но принципиальной разницы в серверном оборудовании Google нет.

Что касается серверного программного обеспечения, то на этот счет у нас в Google есть шутка. Она звучит так: "Мы сами не строим машины. Мы сами не делаем колеса. Мы сами лишь вулканизируем резину на колесах".

Суть в том, что мы обращаем внимание на все компоненты оборудования. Если рассматривать эффективность дата-центра, то там, например, существует эффективность материнских плат в энергопотреблении. Если уделять внимание всем подобным моментам, то можно получить намного больший эффект и увеличить мощность оборудования.

В этом плане имеет смысл использовать сторонних поставщиков и их готовые решения. Google старается использовать много компьютеров и серверов под управлением операционной системы Linux. У нас работает много специалистов по ядру Linux.

Мы также стараемся создавать программное обеспечение под наши специфические задачи.

Если говорить о наших серверах, то мы не используем Apache, мы не используем  IIS. На серверах Google используется GWS, что расшифровывается как Google Web Server.

Таким образом, наши собственные бинарные файлы, которые созданы нашими разработчиками с нуля, позволяют нам увеличивать эффективность нашего программного обеспечения. Мы уверены, что всегда можно найти то, что можно улучшить и оптимизировать для повышения эффективности.

Я лишь вкратце рассказал о том оборудовании и программном обеспечении, которое используется для поисковых роботов Google.

Это был мой перевод видео Мэтта Каттса.

Я еще нашел следующие видеоматериалы по теме дата-центров Google.

Видеообзор дата-центра. Размах и мощности впечатляют!

Видео о том, как обеспечивается безопасность в дата-центрах Гугла. Все очень серьезно, как и должно быть:

Любителям компьютерного железа будет интересен это видеоролик о серверах, используемых в Google:

Вы также можете ознакомиться с другими моими переводами видео с канала Google для вебмастеров, например:

Считает ли Google переведенные тексты дублированным контентом?

Какова оптимальная плотность ключевых слов для Google?

Что лучше - нижнее подчеркивание или тире в адресах страниц?

Если вы недавно на моем блоге, то можете взглянуть на мои лучшие статьи по продвижению сайтов в содержании: http://shakin.ru/sod-seo

Желаю Вам прекрасного настроения!

Глобатор

Десерт на сегодня - человек-гора (вес 300 кг, рост 2 метра 10 см) против каратиста:

Подпишитесь на рассылку блога с полезными материалами по SEO

Оцените, пожалуйста, статью, я старался :) :

Загрузка...

shakin.ru

Прощай, Google Maps / Habr

Google решил сделать из Google Maps новый миллиардный бизнес, подняв цены в 14 раз и уменьшив лимит бесплатного использования почти в 30 раз, всё с минимальным периодом уведомления. К счастью, это немедленно стимулировало конкуренцию. Apple Maps, MapBox, TomTom — что выбрать?

Наш стартап GdziePoLek.pl позволяет пациентам находить нужные лекарства в обычных аптеках. И даже по названию («где найти лекарства») понятно, насколько важно отображение на карте. Работу сервиса легко объяснить одной картинкой, на фоне которой всегда были карты Google Maps:


Типичная страница нашего сервиса показывает наличие лекарства в аптеках

Конечно, мы всегда знали, что при увеличении бизнеса придётся платить за Google Maps.

До сих пор лимит бесплатного пользования около 750 тыс. загрузок карты хорошо согласовался с масштабом бизнеса, когда можно ожидать получения прибыли. Цена на коммерческое использование ($0,5 за 1000 загрузок карты) была недостаточно высока для рассмотрения альтернатив.

Но в июне мы получили письмо, где нас назвали клиентом, который «интенсивно использует» Google Maps:


Электронное письмо от Google

После телеконференции с представителем службы поддержки клиентов (который вопреки письму не предложил никаких скидок) мы осознали, что рост цен огромен:

  • Текущий лимит бесплатного использования 750 тыс. запросов ежемесячно снижается до 28 тыс. (почти в 30 раз меньше)
  • Текущий тариф $0,5 для коммерческого использования увеличивается до $7 (в 14 раз больше), $5,60 со скидкой за большое количество просмотров

Важно отметить, что цены одинаковые от США до Африки, хотя возможности монетизации значительно отличаются, как мы знаем по сравнению Польши с немецким рынком.


Сравнение ежемесячного счёта за Google Maps до и после повышения цен

Если сохранить нормальное использование карт и сервиса местоположения, то стоимость карт Google Maps становится во много раз выше, чем предыдущая стоимость всей инфраструктуры.


Google Maps объективно лучший продукт на рынке, во многом на голову сильнее конкурентов. Джастин О'Бейрн провёл отличный анализ, насколько продвинуты карты Google по сравнению с остальными.

Для нас хорошая новость в том, что даже глубоко интегрированные в наш сервис карты в реальности не несут никакой важной нагрузки, кроме отображения местоположения аптек. Поэтому нам не нужны расширенные функции, такие как спутниковые изображения, маршрутизация и другие маршруты, которые трудно заменить решением с другими API.

Важно визуальное качество карт и уровень детализации, который они обеспечивают на территории, где мы работаем, а это в основном Польша и, надеюсь, скоро Германия. Ниже сравнение, как выглядит одно и то же местоположение в центре Варшавы в разных картографических сервисах:


Та же аптека в Варшаве на разных картах. По возможности учитывается внешний вид маркеров GdziePoLek

На первый взгляд, почти каждый сервис обеспечивает хорошее качество, если речь идёт о центре Варшавы. Исключение — Azure Maps, который заработал пару месяцев назад. Справедливости ради следует отметить: Microsoft заявляет, что специально оставила пустоту на картах для удобства корпоративных партнёров, которые добавляют много информации на свои слои.

Может, центр Варшавы — не самый лучший тест для оценки качества карт по всей Польше? Мы проверили и небольшие города, вот аналогичное сравнение для Констанцина:


Аптека в окрестностях Констанцин-Езёрны

Вопреки опасениям, мы не заложники Google Maps, а многие альтернативы выглядят на удивление прилично.

Добавлено: часто имеется возможность создать пользовательский стиль карт. Мы его не изучали, поскольку не используем пользовательские карты на нашем сайте. Но это явно важно для Mapbox, где упоминания о различных редакторах немного смущают при изучении цен (ниже) и MapTiler (справочник по настройке здесь).


У сервисов разные модели ценообразования, что затрудняет прямое сравнение цен. Ниже приведен обзор вариантов платного использования (без учёта нормы бесплатного использования):
  • Google Maps — $7 за каждые 1000 загрузок карты независимо от размера карты или масштабирования/панорамирования пользователем ($5,60 со скидкой за большой объём)
  • Mapbox — $0,50 за каждое «отображение карты», которое, несмотря на название, не является отображением карты, а запрашивает 4 или 15 тайлов (в зависимости от типа карты), с округлением вверх
  • Azure Maps — $0,50 за 1000 «транзакций», где транзакция равна 15 тайлам карты
  • TomTom — $0,50 за 1000 «транзакций» ($0,40 с максимальными скидками), где транзакция равна 15 тайлам карты
  • HERE — расценки по пакетам, стандартный пакет стоит $0,50 за 1000 «транзакций» (15 тайлов)
  • MapTiler — $0,05 за каждый тайл
  • Apple Maps — до сих пор находится в бета-версии и предлагает щедрую бесплатную скидку на использование, без коммерческих цен

Модель Google кажется наиболее прозрачной (оставляя в стороне цену), потому что каждая страница с картой будет стоить одинаково.

В случае оплаты за тайлы, как в MapTiler, всё усложняется. Количество тайлов на карте зависит от её размера, а в случае адаптивных сайтов зависит от разрешения дисплея. Кроме того, пользователь может перемещать карту или увеличивать масштаб, загружая дополнительные тайлы.

Наименее прозрачными кажутся цены Mapbox. Там не только трудно понять, сколько тайлов включено в стоимость одного «отображения карты», но и сам термин «отображение карты» вводит в заблуждение (другие компании используют, например, слово «транзакция» для понимания, что плата необязательно покрывает полную стоимость одного отображения карты).

Из анализа ценовой политики трудно понять, какой будет ежедневная стоимость карт в реальном выражении. Например, на сайте GdziePoLek есть и небольшие карты с одной аптекой, и огромные полноэкранные карты с результатами поиска — только для десктопов.


Какие карты изучить подробнее?

Некоторые варианты можно сразу отклонить по разным причинам. OpenStreetMap нельзя использовать непосредственно на коммерческих сайтах. Хотя мы не возражаем против логотипа Apple на своём сайте, но Apple Maps ещё находится в стадии бета-тестирования и требует учётной записи разработчика Apple для полноценного тестирования.

Было бы здорово использовать Azure Maps вместе с нашими облачными сервисами Azure, но проприетарный Javascript API оставляет желать лучшего, даже в самых простых случаях (например, при добавлении пользовательских маркеров).

Карты HERE визуально плохо соответствуют нашему сайту, у них нестандартный API. Мы также предпочитаем платить за реально использованные услуги, а не покупать пакеты. Но один из дружественных крупных сайтов мигрировал на HERE, так что посмотрим, как эти карты будут у них работать.

Мы решили, что наиболее привлекательный вариант — использовать открытую JS-библиотеку вроде Leaflet с возможностью незаметной смены провайдеров, поставляющих картографические тайлы.

Это можно сделать при использовании Mapbox или MapTiler, и, возможно, TomTom, хотя у последнего немного изменённый клиент Leaflet и он требует предоплаты вместо оплаты по мере использования, которую мы предпочитаем.


Мы расширили наше приложение, чтобы иметь возможность менять провайдера карт одним кликом мышки в админской консоли. Затем оценили объём ежедневно потребляемых ресурсов для каждого провайдера, то есть Google Maps, Mapbox и Maptiler.

Вот как это выглядит на практике.


Сравнение фактической стоимости карт за один день (15 000 посещений сайта, из которых не все могут включать карты). Сравнение специфично для GdziePoLek.pl и нашего использования карт по всему сайту, а также размеров экрана пользователей с генерацией карт разных размеров

У Google Maps наиболее благоприятная модель для клиентов, у которых интенсивное взаимодействие с картами, как мы, но радикальное повышение цен в любом случае делает этот сервис самым дорогим решением для нас.

Как оказалось, стоимость использования Mapbox и MapTiler в нашем случае сопоставима, несмотря на немного разную модель биллинга.

С точки зрения бизнеса у Mapbox гораздо больше ресурсов — 400 сотрудников по LinkedIn по сравнению с семью у MapTiler — благодаря инвестициям Softbank в размере $164 млн. С таким капиталом компания намерена развиваться по многим направлениям (беспилотные автомобили, VR...). С точки зрения пользователя картографического сервиса это немного беспокоит. Поэтому мы продолжим использовать оба сервиса одновременно.


Если бы не радикальное повышение цен, мы бы даже не рассматривали альтернативу Google Maps по собственной инициативе как очевидный пример ситуации «работает — не трогай».

Внезапное изменение политики Google, нацеленное на стартапы (поскольку небольшие сайты не ощутят изменений из-за минимального трафика) стало для нас неприятным сюрпризом и, безусловно, повлияло на восприятие компании как поставщика услуг. Поэтому в будущем мы будем держаться подальше от Google Cloud и избегать глубокой интеграции с любыми сервисами Google, на которых компания может выкинуть подобный фокус. Очевидно, что Google может увидеть новый «бизнес на миллиард долларов», например, в Google Analytics.

С другой стороны, нас впечатлило качество открытого исходного кода и управление Leaflet. Некоторые продвинутые функции, которые нужно добавлять вручную на Google Maps, были сразу доступны в Leaflet.

Для тех, кто начинает стартап с обильным использованием карт, рекомендуем использовать Leaflet и одного из независимых провайдеров карт, а не попадать в зависимость от Google.

habr.com


Смотрите также



© 2010- GutenBlog.ru Карта сайта, XML.