Жизнь после запрета Google Global Cache: Последствия для провайдеров и клиентов
В сентябре этого года Роскомнадзор разослал провайдерам письма. В них было сказано, что серверы Google Global Cache, увеличивающие скорость доступа к ресурсам Google, не сертифицированы. Регулятор отметил, что наличие этого оборудования в сети провайдера повлечет наложение штрафа до 300 тыс. рублей.
В нашем сегодняшнем материале мы посмотрим, чем грозит отказ от GGC интернет-провайдерам и клиентам.
/ Flickr / freestocks.org / PD
Что такое Google Global Cache
Google стремится обеспечить высокую надежность и производительность своих сервисов, сохранив низкой латентность. С этой целью компания инвестировала в разработку сетевой инфраструктуры. Она состоит из трёх «слоев»: дата-центров, точек присутствия (Points of Presence, или PoP) и кеширующих узлов (Google Global Cache, или GGC).
Дата-центры являются сердцем контента и сервисов ИТ-гиганта. PoP — это узлы, которые соединяют сеть Google с остальным интернетом. Серверы GGC представляют собой часть инфраструктуры, которая находится к пользователям ближе всего и располагается в сети локальных операторов.
На этих серверах временно хранится популярный контент, который часто запрашивают пользователи. Это ускоряет доступ к Google-сервисам: YouTube, Google Maps, Google Play и др. Такое решение экономит полосу пропускания и компании Google, и операторам связи.
Подобные сети доставки контента (CDN) используют и другие компании. Например, «Яндекс». CDN российской компании служит для улучшения качества работы Яндекс.Почты.
Как работает GGC
Без GGC контент, запрашиваемый пользователями (например, видео), поступает напрямую с серверов Google. С кеширующими серверами всю цепочку проходит только первая копия видео. Запросы последующих пользователей обслуживает кеш-узел. Алгоритм работы, согласно презентации сотрудника Google Майка Аксельрода (Mike Axelrod), выглядит так:
- Пользователь кликает на ссылку с видео.
- DNS провайдера запрашивает у DNS Google IP-адрес контента, если тот ему неизвестен.
- DNS-сервер Google знает, что у провайдера есть GGC-узел, способный предоставить запрашиваемый контент.
- В ответе он передает IP-адрес этого узла, который пересылается пользователю.
- Далее, пользователь получает нужную ему информацию с узла GGC, а не из сети Google.
- Если запрашиваемого контента нет на GGC-узле, он запрашивает его у Google от имени пользователя и кеширует для будущих обращений.
Последствия запрета GGC
Количество кеширующих серверов Google у крупного федерального оператора довольно велико. Если от них отказаться, то нагрузка на сервера Google и магистрали провайдера увеличится. Выключение серверов GGC скажется на качестве предоставляемых сервисов Google.
Однако основной «удар» примет на себя видеохостинг. По данным аналитического сайта Statista, Россия занимает третье место в мире по количеству активных пользователей YouTube в месяц. Без Google Global Cache видеозаписи на YouTube будут грузиться медленнее, время загрузки самого сайта увеличится.
Также пользователи могут лишиться возможности просматривать видео в высоком разрешении из-за ограничений пропускной способности (у многих провайдеров трафик YouTube считается локальным).
Директор некоммерческой организации «Общество защиты интернета» Михаил Климарев говорит, что отказ от GGC ощутят на себе и интернет-провайдеры. По данным МГТС, стриминговые сервисы (YouTube, Google Видео и др.) потребляют 30% полосы пропускания. В случае отказа от серверов, операторы будут вынуждены расширить каналы передачи данных как минимум на эти 30%.
Если по сети передается видеопоток, 90% которого — YouTube, то с GGC оператор оплачивает лишь часть трафика до сервисов Google. Остальной трафик обрабатывается в дата-центре провайдера и не покидает внутреннюю сеть. Если у провайдера есть филиалы по стране, GGC позволяет экономить на магистралях, потому что трафик не будет покидать пределы одного города.
С уходом GGC этот трафик станет платным. Все это приведет к повышению цен на тарифы интернета. Или даже отказу от безлимитных тарифов. О других прогнозах можно почитать здесь.
Как быть провайдерам
По мнению представителей телекоммуникационных компаний, сервер GGS — это не средство связи, потому не должен сертифицироваться. И запрещать пользоваться системой нельзя. Роскомнадзор, правда, такое определение отвергает.
Также в Рунете можно встретить мнение, что Роскомнадзор требует сертификацию оборудования, чтобы исключить повторение ситуации с Японией. 25 августа сотрудники Google допустили ошибку в протоколе динамической маршрутизации, в результате которой клиенты крупных японских провайдеров не могли выйти в интернет на протяжении нескольких часов. У другой части населения скорость соединения значительно упала.
Еще один вариант — действия регулятора, направленные на запрет GGC, являются формой давления на ИТ-гиганта. Роскомнадзор ждет ответных действий со стороны компании и есть вероятность, что «оппонентам» удастся договориться.
Если этого не произойдет, интернет-провайдерам придется искать выход из ситуации. Одним из вариантов, как было отмечено выше, является увеличение стоимости тарифов или отказ от безлимитного интернета, но в этом случае операторы рискуют потерять клиентов. Увеличивать ширину канала также может быть невыгодно.
Другой вариант — искать способы снижения издержек. Решить проблему запрета Google Global Cache без финансовых потерь нельзя, но можно эти потери минимизировать. Классификация и приоритезация трафика для экономии полосы пропускания способна снизить издержки, сохранив качество обслуживания (QoS) высоким.
Реализуют этот функционал системы глубокого анализа трафика — DPI. Сегодня на рынке такие решения предлагают как иностранные поставщики, так и отечественные — в том числе компания VAS Experts. Количество установок нашей системы СКАТ по России перевалило за 500, при этом 166 лицензий выданы в 2017 году. К слову, в 2015 их было всего 60.
Система DPI дает возможность менять приоритет проходящих пакетов в зависимости от протокола (DSCP/TOS в заголовке IP-пакетов, приоритет в заголовке VLAN- и QinQ-пакетов, класс трафика в заголовке MPLS-пакетов). Маршрутизаторы и шейперы используют эту информацию для обеспечения нужного качества обслуживания. Также системы DPI следят за сетью на уровнях 2–7 модели OSI и защищают её от перегрузок.
При увеличении качества видео (720p, 1080p, 4K) растет нагрузка на канал оператора. Например, в марте 2015 в Австралии трафик сервиса Netflix составил 25% от общего трафика провайдера iiNet. Активное управление трафиком и гибкая настройка приоритетов обеспечивают достойную работу видеосервисов, слегка «подрезая» трафик других приложений в критические моменты.
Еще одним вариантом может стать установка собственного кеш-сервера. Такая возможность есть у нашего решения СКАТ DPI. По статистике 3-терабайтное кеш-хранилище под Youtube-контент для 100 тыс. абонентов снижает внешнюю Youtube-полосу на 30%.
/ Схема подключения кеш-сервера
Причем такая система позволит кешировать не только видеоконтент стриминговых сервисов, но и обновления для браузеров, Windows, антивирусов и другого ПО, а также часто повторяющие файлы, например картинки.
P.S. Другие материалы из корпоративного блога VAS Experts:
- Интеграция СКАТ DPI: опыт интернет-провайдера X-Communication
- Конвергентая инфраструктура: что это такое, преимущество, примеры
- Интернет-провайдеров обяжут оповещать население о ЧС
Google отключает сервера Global Cache в России. Что теперь будет?
Судя по всему, Google твёрдо решила уйти из России, а потому начала активно сжигать все мосты, которые позволяли ей тут оставаться. Сначала компания ограничила работу всех платных сервисов, потом объявила о банкротстве, а теперь ещё и начала отключать сервера Google Global Cache, которые ранее обслуживали Россию. В целом звучит безобидно. Но на самом деле это куда опаснее, чем может показаться на первый взгляд. Чем отключение серверов обернётся для нас с вами, читайте в этой статье.
Google начала отключать сервера Global Cache в России, которые разгоняли Ютуб и другие сервисы
Сервера Google Global Cache, как можно понять из названия, отвечают за кэширование данных. Для рядового пользователя этот термин почти ничего не значит. А, между тем, именно благодаря кэшированию удаётся обеспечить более быструю передачу данных пользователям фирменных сервисов Google.
❗️ПОДПИШИСЬ НА НАШ ЯНДЕКС.ДЗЕН. ТАМ ОЧЕНЬ КРУТО И ПОКА ЧТО БЕСПЛАТНО
Согласен, пока звучит не очень понятно. Но вот вам простой пример. Если вы вспомните, как YouTube работал ещё 7-10 лет назад, то поймёте, что тогда видео грузились очень долго. Чтобы посмотреть 5-минутный ролик, было необходимо прождать минут 10, пока он загрузится полностью. Сейчас таких проблем нет именно благодаря Google Global Cache.
Google уходит из России
Основные сервера Google находятся в США, а сервера Global Cache просто хранили просмотренную другими пользователями информацию в России, чтобы вы могли быстрее загрузить её
Если говорить совсем простым языком, то сервера Google Global Cache как бы запоминают контент, который до вас смотрели другие пользователи. А потом, когда к нему обращаетесь вы, выдают вам. Таким образом вашему оператору не приходится загружать видео с нуля, и оно транслируется без задержек.
Сервера Google Global Cache встроены в магистральную систему российских интернет-провайдеров и получают данные с серверов Google из США. По сути, они хранят просмотренный кем-то контент, позволяя вам воспользоваться тем, что он хранится рядом с вами, а не транслируется через океан, и смотреть его в режиме реального времени, поскольку загрузка происходит практически мгновенно.
❗️ПОДПИСЫВАЙСЯ НА НАШ ТЕЛЕГРАМ-ЧАТИК И ЗАДАВАЙ ВОПРОСЫ НАШИМ АВТОРАМ И ДРУГИМ ЧИТАТЕЛЯМ
Важно понимать, что на мощностях серверов Global Cache работают не только фирменные сервисы Google. Поисковый гигант сдаёт их в аренду и другим компаниям, которые благодаря технологии глобального кэширования сокращают время отклика своих сервисов и повышают скорость загрузки контента, который они предлагают.
Смогут ли российские провайдеры компенсировать отсутствие Google Global Cache? Скорее всего, смогут. По мнению экспертов, современное оборудование, которые есть в распоряжении Ростелекома, Мегафона, МТС и других операторов в целом довольно эффективны, и их пропускной способности хватит, чтобы пользователи не потеряли в скорости.
Что будет с интернетом в России
Скорее всего, Ютуб в России не станет работать медленнее. Но нагрузка на провайдеров вырастет, а значит, могут вырасти и цены на интернет
Но из-за того, что теперь вся нагрузка будет ложиться на самих провайдеров, соответственно, вырастут объёмы трафика, которые им придётся обрабатывать с нуля. В результате возрастёт нагрузка на инфраструктуру, а, чтобы компенсировать это, провайдеры могут увеличить цены на доступ в интернет для конечных пользователей.
На данном этапе Google разрывает договоры только с мелкими — как правило, региональными — провайдерами. А Ростелеком, МТС, Мегафон, Билайн и другие, с их слов, пока не наблюдают отключений. Возможно, Google просто минимизирует издержки, потому что сотрудничество с небольшими операторами для неё не так выгодно, как с крупными.
❗️ПОДПИСЫВАЙСЯ НА ТЕЛЕГРАМ-КАНАЛ СУНДУК АЛИБАБЫ. ТАМ ВЫКЛАДЫВАЮТ ТОЛЬКО ЛУЧШИЕ ТОВАРЫ С АЛИЭКСПРЕСС С ВЫСОКИМ РЕЙТИНГОМ И ОТЗЫВАМИ
Впрочем, Эльдар Муртазин, главный редактор Mobile-Review.com, уверен, что Google всё-таки уберёт свои сервера из России. Но, по его мнению, от этого ничего не изменится:
Пользователи просто не увидят разницы в качестве сервисов, YouTube также точно будет работать, у нас хороший и быстрый телеком, связность на отличном уровне. Для операторов вырастет трафик на точках обмена с Европой, что не принципиально. В целом никакого ужасного ужаса не случилось, все идет в ожидаемом русле.
Выходит, что глобального ухудшения работы онлайн-сервисов не произойдёт? Ну, видимо, нет. Интернет в России правда довольно быстрый, и он должен справиться с возросшей нагрузкой. То есть грузиться видео на Ютубе и правда медленнее не будут. Другое дело, что вся инфраструктура у нас построена на заграничном оборудовании, и, если поставщики откажутся возить его сюда, нам будет уже не до смеха.
Теги
- Компания Google
- Приложения для Андроид
Google Global Cache — для избранных
Одна из характеристик Google — предоставление качественный сервисов, бесплатно и с выгодой для себя.
Google Global Cache (GGC) — одно из решений по оптимизации огромных объемов своего трафика на базе платформы CDN, да еще и с пользой для пользователей (читай провайдеров).
Но что же все-таки это такое?
Взрыв широкополосного доступа и богатый мультимедийный контент постоянно увеличивает спрос от провайдеров Интернета (ISP). GGC позволяет предоставлять Google контент, в первую очередь видео, из собственной сети (провайдера). Это облегчает нагрузки на сеть и снижает затраты на транзитные линки, тем самым экономя деньги провайдеров, в то же время повышая уровень обслуживания пользователей.
Проект GGC находятся на стадии бета, поэтому соглашение с провайдером является коммерческой тайной, и запрещено использовать упоминания об этой услуги в своих целях.
Обзор системы
Без GGC, каждый запрос пользователя из сети провайдера на видео YouTube, Google Apps, etc. создает транзит этого экземпляра видео по сети, от Google к пользователю.
С GGC, только первая копия видео проходит транзит по всей сети. Если другой пользователь запрашивает то же видео, Google обслуживает его из узла GGC.
Особенности GGC
— сокращение трафика через сети: процент запросов через cache варьирует в зависимости от схемы использования пользователей, но типичная производительность близка к 75%,
— быстрый ответ, прозрачный для пользователей: Google прозрачно обслуживает пользователей запросы из кэша внутри сети,
— простота установки: для установки требуется rack (шкаф), ноутбук, копия CD от Google, а также подключение к Интернету. После того как сервера были настроены и доступны из сети, Google будет делать всю остальную работу и мониторить удаленно,
— надежность: узел имеет несколько уровней избыточности. Если узел GGC недоступен по любой причине, запросы пользователей будут отправлены прозрачно для Google.
Как GGC работает
Когда пользователь запрашивает части содержания — например, видео, веб-страницы или изображения — системы Google определяют, если этот ресурс может быть предоставлен из узла GGC внутри сети, и если пользователь имеет право доступа к узлу GGC.
Если узел GGC уже имеет закэшированую версию запрашиваемого контента в своем локальном кэше, он будет предоставлять контент непосредственно конечному потребителю, улучшая работу пользователей и экономя деньги за Интернет транзит.
Если содержимое не хранится на узле GGC, узел скачивает их из Google, предоставляет его пользователю, и хранит его для будущих запросов.
Диаграмма запросов
1. Пользователь запрашивает по ссылке видео или другой контент размещенный на Google. Компьютер генерирует запрос DNS для адреса хоста.
2. DNS провайдера запрашивает DNS Google на адрес IP хоста с содержанием.
3. DNS Google знает, что у вас есть GGC, так что ответы содержат IP адреса GGC узла провайдера.
Это известно, потому что провайдер анонсировал IP адреса DNS резолвера узлу GGC (через BGP) и Google обновил информацию в свой DNS.
4. DNS провайдера отвечает IP-адрес GGC узла пользователю.
5. Компьютер пользователя отправляет запрос на IP адрес который маршрутизируется на GGC узел.
6. Узел подтверждает, что пользователь имеет доступ к этому узлу (делается путем сопоставления IP-адресa пользователя в список блоков IP анонсированных через узел BGP.) Если адрес не является в списке, пользователь перенаправляется на кэш в сети Google.
7. Если контент не содержится на узле GGC, узел запрашивает контент из Google и кэширует его.
8. После того как узел GGC содержит контент, отдает его пользователю. Контент содержится на узле, так что следующий запрос может быть отдан без запроса к Google.
Предоставляемое оборудование от Google
Google предоставляет необходимое оборудование, провайдер должен обеспечить размещение с своем помещении, питание от электросети и подключение к Интернету.
GGC работает на стоечных серверах (rack mountable), по 3-8 в каждом кластере.
Характеристики серверов
• 2 RU Rack-mountable chassis
• 74см Д x 44см Щ x 8.64см В
• Вес: 28 КГ
• Блок питания: 2x 110/220 VAC.
• 4 x 1000Base-T copper Gigabit Ethernet
• IP адресация: выделенная подсеть (один широковещательный домен).
Возможные конфигурации:
3 сервера — 6RU 1200W
4 сервера — 8RU 1600W
6 сервера — 12RU 2400W
8 сервера — 16RU 3200W
Администрирование
Используется сайт ggcadmin.google.com, для конфигурации узла и информации о доставке. Первоначальный пользователь получает доступ к порталу от группы GGC.
После принятия бета-соглашения, пользователь может пригласить дополнительных пользователей.
Остальные детали
— Google сохраняет право собственности на оборудование и программное обеспечение, из которого составлен узел. Google будет отвечать за техническое обслуживание, поддержку и транспортные расходы, связанные с серверным оборудованием,
— По уверениям Google, конфиденциальность пользователей имеет первостепенное значение.
Личная информация (Personally Identifiable Information) или частный контет пользователей не сохраняется на узле GGC,
— Google сохраняет право требовать от провайдеров заверений о неразглашении использования услуги, так как проект находится в стадии бета.
Почему для избранных спросите вы?
Дело в том что Google обычно предлагает сам такие услуги только тем провайдерам, которые присутствуют в крупнейших точках обмена трафиком и если трафик на ресурсоемкие услуги Google (youtube, maps) составляют значительный процент от трафика (>70%).
Что будет, если запретят Google Global Cache — простым языком
Сегодня появилась новость, о том, что youtube это плохо Роскомнадзор хочет запретить Google Global Cache. Для обычного пользователя это просто набор слов, который не как не трансформируется в проблемы с каким-то сервисом, которым он пользуется. В этом посте я постараюсь простым языком объяснить что будет, если это произойдет.
Последствия будут катастрофическими. Для всех.
Что такое Google Global Cache — далее GGC?
Каждый раз, когда вы смотрите ролик на Youtube, вы получаете данные с серверов, где он хранится, а хранится он может:
- На оригинальных серверах — за океаном
- На локальных серверах вашего провайдера — через улицу от вас
Не стоит забывать, что каналы внутри сети провайдера (между городами, улицами, домами) будут шире, чем каналы во вне.
Как работает GGC
Кэширование может работать в двух вариантах:
- При частом обращении к контенту (предположим, ролику на YouTube), после 10-го, например, обращения он попадет в кэши, таким образом 11-е и последующие обращения будут обрабатываться кэшем.
- Превентивное, весь TOP будет загружатся на сервера вне зависимости от количества обращений.
Что (какие сервисы) обслуживает GGC?
Он обслуживает любые статические файлы, а если быть точнее:
- Карты
- Обновление приложений на Android
- Обновление Chrome
- Поиск картинок
- Youtube
Контент Youtube разделен на несколько типов:
- Видео
- Картинки (превью)
- Стриминг
Даже на основе этих данных можно примерно представить объемы трафика, которые переваривает Youtube. Для примера — серия «Игры престолов» в 1080p «весит» около 1.2 ГБ, и это еще не 60 кадров; при 60 умножаем на 2.
Что будет при отключении GGC
Для пользователя
- Замедление загрузки видео на Youtube;
- Невозможность просмотра видео в высоком качестве из-за ограничения канала (многие провайдеры делают трафик Youtube локальным, и он доступен на локальной скорости);
- Замедление всех сервисов, которые работают через GGC;
- Медленный отклик приложения: сейчас вы нажали на видео, и вот вы уже его смотрите; но потом забудьте — пока ваш запрос долетит до США, пройдет некоторое время, которое вы будете ждать каждый раз, нажимая на ролик;
- Повышение цен на домашний и мобильный интернет.
Для оператора
Итак, вы оператор, у вас есть много пользователей, которые любят видео контент. Сейчас около 40% трафика — это видео, и как можно догадаться, 90% — это Youtube. Когда у вас есть GGC — вы платите за около 10% от трафика до сервисов Google, остальной трафик обрабатывается в вашем ЦОД, не выходя за пределы вашей сети.
Если вы оператор, который работает в нескольких городах, у вас, скорее всего, стоят сервера GGC в каждом городе, что позволяет даже не выпускать трафик за пределы города, экономя деньги на магистрали.
Теперь же вы будете платить за весь этот трафик.
Прогноз
Предположим, у нас есть пользователь домашнего интернета. В месяц он потребил около 200ГБ данных, из них 90 ГБ — трафик, за который ваш оператор пока не платит. А что будет, когда он начнет за него платить?
Верно, первым гвоздём в гроб безлимитных тарифов был закон о хранении всего трафика абонента, а последним — отключение кэширующих серверов Google. Да-да, скоро все безлимитные тарифы закончатся и цена будет установлена на уровне с мобильным интернетом.
Но последствия будут куда катастрофичнее для оператора, люди будут отказываться от домашнего интернета. Зачем он им, если он такой же, как на мобильном? Самое время вспомнить, сколько людей работают в операторах связи, сколько людей получают зарплату за то, что они:
- Подключают абонентов
- Проводят каналы по домам
- Отвечают на звонки в цолл-центрах
Возможно, вы скажите, что операторы связи будут рады, нет.
Они так же экономят деньги, да, у них будет рост выручки, но она лишь компенсирует потерю из-за запрета.
В конечном итоге что мы имеем при запрете:
- Ухудшение скорости доступа до сервисов
- Рост цент на услуги связи
- Конец безлимитных тарифов
- Рост безработицы