Как посмотреть старые обновления на сайтах

We will keep fighting for all libraries — stand with us!

Hamburger icon An icon used to represent a menu that can be toggled by interacting with this icon.

Internet Archive Audio

Featured

All Audio
This Just In
Grateful Dead
Netlabels
Old Time Radio
78 RPMs and Cylinder Recordings

Top

Audio Books & Poetry
Computers, Technology and Science
Music, Arts & Culture
News & Public Affairs
Spirituality & Religion
Podcasts
Radio News Archive

Images

Featured

All Images
This Just In
Flickr Commons
Occupy Wall Street Flickr
Cover Art
USGS Maps

Top

NASA Images
Solar System Collection
Ames Research Center

Software

Featured

All Software
This Just In
Old School Emulation
MS-DOS Games
Historical Software
Classic PC Games
Software Library

Top

Kodi Archive and Support File
Vintage Software
APK
MS-DOS
CD-ROM Software
CD-ROM Software Library
Software Sites
Tucows Software Library
Shareware CD-ROMs
Software Capsules Compilation
CD-ROM Images
ZX Spectrum
DOOM Level CD

Books

Featured

All Books
All Texts
This Just In
Smithsonian Libraries
FEDLINK (US)
Genealogy
Lincoln Collection

Top

American Libraries
Canadian Libraries
Universal Library
Project Gutenberg
Children’s Library
Biodiversity Heritage Library
Books by Language
Additional Collections

Video

Featured

All Video
This Just In
Prelinger Archives
Democracy Now!
Occupy Wall Street
TV NSA Clip Library

Top

Animation & Cartoons
Arts & Music
Computers & Technology
Cultural & Academic Films
Ephemeral Films
Movies
News & Public Affairs
Spirituality & Religion
Sports Videos
Television
Videogame Videos
Vlogs
Youth Media

Mobile Apps

Wayback Machine (iOS)
Wayback Machine (Android)

Browser Extensions

Archive-It Subscription

Explore the Collections
Learn More
Build Collections

Search metadata Search text contents Search TV news captions Search radio transcripts Search archived web sites Advanced Search

About
Blog
Projects
Help
Donate Donate icon An illustration of a heart shape

The Wayback Machine is an initiative of the Internet Archive, a 501(c)(3) non-profit, building a digital library of Internet sites and other cultural artifacts in digital form.
Other projects include Open Library & archive-it.org.

Your use of the Wayback Machine is subject to the Internet Archive’s Terms of Use.

HackWare.ru

Этичный хакинг и тестирование на проникновение, информационная безопасность

Веб-архивы Интернета: как искать удалённую информацию и восстанавливать сайты

Что такое Wayback Machine и Архивы Интернета

В этой статье мы рассмотрим Веб Архивы сайтов или Интернет архивы: как искать удалённую с сайтов информацию, как скачать больше несуществующие сайты и другие примеры и случаи использования.

Принцип работы всех Интернет Архивов схожий: кто-то (любой пользователь) указывает страницу для сохранения. Интернет Архив скачивает её, в том числе текст, изображения и стили оформления, а затем сохраняет. По запросу сохранённые страницу могут быть просмотрены из Интернет Архива, при этом не имеет значения, если исходная страница изменилась или сайт в данный момент недоступен или вовсе перестал существовать.

Многие Интернет Архивы хранят несколько версий одной и той же страницы, делая её снимок в разное время. Благодаря этому можно проследить историю изменения сайта или веб-страницы в течение всех лет существования.

В этой статье будет показано, как находить удалённую или изменённую информацию, как использовать Интернет Архивы для восстановления сайтов, отдельных страниц или файлов, а также некоторые другие случае использования.

Wayback Machine — это название одного из популярного веб архива сайтов. Иногда Wayback Machine используется как синоним «Интернет Архив».

Какие существуют веб-архивы Интернета

Я знаю о трёх архивах веб-сайтов (если вы знаете больше, то пишите их в комментариях):

https://web.archive.org/
http://archive.md/ (также использует домены http://archive.ph/ и http://archive.today/)
http://web-arhive.ru/

web.archive.org

Этот сервис веб архива ещё известен как Wayback Machine. Имеет разные дополнительные функции, чаще всего используется инструментами по восстановлению сайтов и информации.

Для сохранения страницы в архив перейдите по адресу https://archive.org/web/ введите адрес интересующей вас страницы и нажмите кнопку «SAVE PAGE».

Для просмотра доступных сохранённых версий веб-страницы, перейдите по адресу https://archive.org/web/, введите адрес интересующей вас страницы или домен веб-сайта и нажмите «BROWSE HISTORY»:

В самом верху написано, сколько всего снимком страницы сделано, дата первого и последнего снимка.

Затем идёт шкала времени на которой можно выбрать интересующий год, при выборе года, будет обновляться календарь.

Обратите внимание, что календарь показывает не количество изменений на сайте, а количество раз, когда был сделан архив страницы.

Точки на календаре означают разные события, разные цвета несут разный смысл о веб захвате. Голубой означает, что при архивации страницы от веб-сервера был получен код ответа 2nn (всё хорошо); зелёный означает, что архиватор получил статус 3nn (перенаправление); оранжевый означает, что получен статус 4nn (ошибка на стороне клиента, например, страница не найдена), а красный означает, что при архивации получена ошибка 5nn (проблемы на сервере). Вероятно, чаще всего вас должны интересовать голубые и зелёные точки и ссылки.

При клике на выбранное время, будет открыта ссылка, например, http://web.archive.org/web/20160803222240/https://hackware.ru/ и вам будет показано, как выглядела страница в то время:

Используя эту миниатюру вы сможете переходить к следующему снимку страницы, либо перепрыгнуть к нужной дате:

Лучший способ увидеть все файлы, которые были архивированы для определённого сайта, это открыть ссылку вида http://web.archive.org/*/www.yoursite.com/*, например, http://web.archive.org/*/hackware.ru/

Кроме календаря доступна следующие страницы:

Collections — коллекции. Доступны как дополнительные функции для зарегистрированных пользователей и по подписке
Changes
Summary
Site Map

Changes

«Changes» — это инструмент, который вы можете использовать для идентификации и отображения изменений в содержимом заархивированных URL.

Начать вы можете с того, что выберите два различных дня какого-то URL. Для этого кликните на соответствующие точки:

И нажмите кнопку Compare. В результате будут показаны два варианта страницы. Жёлтый цвет показывает удалённый контент, а голубой цвет показывает добавленный контент.

Summary

В этой вкладке статистика о количестве изменений MIME-типов.

Site Map

Как следует из название, здесь показывается диаграмма карты сайта, используя которую вы можете перейти к архиву интересующей вас страницы.

Поиск по Интернет архиву

Если вместо адреса страницы вы введёте что-то другое, то будет выполнен поиск по архивированным сайтам:

Показ страницы на определённую дату

Кроме использования календаря для перехода к нужной дате, вы можете просмотреть страницу на нужную дату используя ссылку следующего вида: http://web.archive.org/web/ГГГГММДДЧЧММСС/АДРЕС_СТРАНИЦЫ/

Обратите внимание, что в строке ГГГГММДДЧЧММСС можно пропустить любое количество конечных цифр.

Если на нужную дату не найдена архивная копия, то будет показана версия на ближайшую имеющуюся дату.

archive.md

Адреса данного Архива Интернета:

http://archive.md
http://archive.ph/
http://archive.today/

На главной странице говорящие за себя поля:

Архивировать страницу, которая сейчас онлайн
Искать сохранённые страницы

Для поиска по сохранённым страницам можно как указывать конкретный URL, так и домены, например:

microsoft.com покажет снимки с хоста microsoft.com
*.microsoft.com покажет снимки с хоста microsoft.com и всех его субдоменов (например, www.microsoft.com)
http://twitter.com/burgerkingfor покажет архив данного url (поиск чувствителен к регистру)
http://twitter.com/burg* поиск архивных url начинающихся с http://twitter.com/burg

Данный сервис сохраняет следующие части страницы:

Текстовое содержимое веб страницы
Изображения
Содержимое фреймов
Контент и изображения загруженные или сгенерированные с помощью Javascript на сайтах Web 2.0
Скриншоты размером 1024×768 пикселей.

Не сохраняются следующие части веб-страниц:

Flash и загружаемый им контент
Видео и звуки
PDF
RSS и другие XML-страницы сохраняются ненадёжно. Большинство из них не сохраняются, или сохраняются как пустые страницы.

Архивируемая страница и все изображения должны быть менее 50 Мегабайт.

Для каждой архивированной страницы создаётся ссылка вида http://archive.is/XXXXX, где XXXXX это уникальный идентификатор страницы. Также к любой сохранённой странице можно получить доступ следующим образом:

http://archive.is/2013/http://www.google.de/ — самый новый снимок в 2013 году.
http://archive.is/201301/http://www.google.de/ — самый новый снимок в январе 2013.
http://archive.is/20130101/http://www.google.de/ — самый новый снимок в течение дня 1 января 2013.

Дату можно продолжить далее, указав часы, минуты и секунды:

http://archive.is/2013010103/http://www.google.de/
http://archive.is/201301010313/http://www.google.de/
http://archive.is/20130101031355/http://www.google.de/

Для улучшения читаемости, год, месяц, день, часы, минуты и секунды могут быть разделены точками, тире или двоеточиями:

http://archive.is/2013-04-17/http://blog.bo.lt/
http://archive.is/2013.04.17-12:08:20/http://blog.bo.lt/

Также возможно обратиться ко всем снимкам указанного URL:

http://archive.is/http://www.google.de/

Все сохранённые страницы домена:

http://archive.is/www.google.de

Все сохранённые страницы всех субдоменов

http://archive.is/*.google.de

Чтобы обратиться к самой последней версии страницы в архиве или к самой старой, поддерживаются адреса вида:

http://archive.is/newest/http://reddit.com/
http://archive.is/oldest/http://reddit.com/

Чтобы обратиться к определённой части длинной страницы имеется две опции:

добавить хэштег (#) с позицией прокрутки в качество которого число между 0 (вершина страницы) и 100 (низ страницы). Например, http://archive.md/dva4n#95%
выбрать текст на страницы и получить URL с хэштегом, указывающим на этот раздел. Например, http://archive.is/FWVL#selection-1493.0-1493.53

В доменах поддерживаются национальные символы:

http://archive.is/www.maroñas.com.uy
http://archive.is/*.测试

Обратите внимание, что при создании архивной копии страницы архивируемому сайту отправляется IP адрес человека, создающего снимок страницы. Это делается через заголовок X-Forwarded-For для правильного определения вашего региона и показа соответствующего содержимого.

web-arhive.ru

Архив интернет (Web archive) — это бесплатный сервис по поиску архивных копий сайтов. С помощью данного сервиса вы можете проверить внешний вид и содержимое страницы в сети интернет на определённую дату.

На момент написания, этот сервис, вроде бы, нормально не работает («Database Exception (#2002)»). Если у вас есть по нему какие-то новости, то пишите их в комментариях.

Поиск сразу по всем Веб-архивам

Может так случиться, что интересующая страница или файл отсутствует в веб архиве. В этом случае можно попытаться найти интересующую сохранённую страницу в другом Архиве Интернета. Специально для этого я сделал довольно простой сервис, который для введённого адреса даёт ссылки на снимки страницы в рассмотренных трёх архивах.

Что делать, если удалённая страница не сохранена ни в одном из архивов?

Архивы Интернета сохраняют страницы только если какой-то пользователь сделал на это запрос — они не имеют функции обходчиков и ищут новые страницы и ссылки. По этой причине возможно, что интересующая вас страница оказалась удалено до того, как была сохранена в каком-либо веб-архиве.

Тем не менее можно воспользоваться услугами поисковых движков, которые активно ищут новые ссылки и оперативно сохраняют новые страницы. Для показа страницы из кэша Google нужно в поиске Гугла ввести

cache:URL

cache:https://hackware.ru/?p=6045

Если ввести подобный запрос в поиск Google, то сразу будет открыта страница из кэша.

Для просмотра текстовой версии можно использовать ссылку вида:

http://webcache.googleusercontent.com/search?q=cache:URL&strip=1&vwsrc=0

Для просмотра исходного кода веб страницы из кэша Google используйте ссылку вида:

http://webcache.googleusercontent.com/search?q=cache:URL&strip=0&vwsrc=1

Например, текстовый вид:

Как полностью скачать сайт из веб-архива

Если вы хотите восстановить удалённый сайт, то вам поможет программа Wayback Machine Downloader.

Программа загрузит последнюю версию каждого файла, присутствующего в Архиве Интернета Wayback Machine, и сохранить его в папку вида ./websites/example.com/. Она также пересоздаст структуру директорий и автоматически создаст страницы index.html чтобы скаченный сайт без каких либо изменений можно было бы поместить на веб-сервер Apache или Nginx.

Об установке программы и дополнительных опциях смотрите на странице https://kali.tools/?p=5211

Пример скачивания полной копии сайта suip.biz из веб-архива:

wayback_machine_downloader https://suip.biz

Структура скаченных файлов:

Локальная копия сайта, обратите внимание на провайдера Интернет услуг:

Как скачать все изменения страницы из веб-архива

Если вас интересует не весь сайт, а определённая страница, но при этом вам нужно проследить все изменения на ней, то в этом случае используйте программу Waybackpack.

К примеру для скачивания всех копий главной страницы сайта suip.biz, начиная с даты (—to-date 2017), эти страницы должны быть помещены в папку (-d /home/mial/test), при этом программа должна следовать HTTP редиректам (—follow-redirects):

waybackpack suip.biz -d ./suip.biz-copy --to-date 2017 --follow-redirects

Чтобы для указанного сайта (hackware.ru) вывести список всех доступных копий в веб-архиве (—list):

waybackpack hackware.ru --list

Как узнать все страницы сайта, которые сохранены в веб-архиве

Для получения ссылок, которые хранятся в Архиве Интернета, используйте программу waybackurls.

Эта программа извлекает все URL указанного домена, о которых знает Wayback Machine. Это можно использовать для быстрого составления карты сайта.

Чтобы получить список всех страниц о которых знает Wayback Machine для домена suip.biz:

echo suip.biz | waybackurls

Заключение

Предыдущие три программы рассмотрены совсем кратко. Дополнительную информацию об их установке и об имеющихся опциях вы сможете найти по ссылкам на карточки этих программ.

Ещё парочка программ, которые работают с архивом интернета:

https://github.com/relrelb/wayback-downloader
https://github.com/erlange/wbm-dl

Связанные статьи:

Инструкция по использованию HTTrack: создание зеркал сайтов, клонирование страницы входа (79.2%)
badKarma: Продвинутый набор инструментов для сетевой разведки (79.2%)
Обход файерволов веб приложений Cloudflare, Incapsula, SUCURI (74.3%)
FinalRecon: простой и быстрый инструмент для сбора информации о сайте, работает и на Windows (74.3%)
Сбор информации о владельце сайта. Поиск сайтов одного лица (53.5%)
Поиск субдоменов (поддоменов) без брут-форса (RANDOM — 53.5%)

факультете информационной безопасности от GeekBrains? Комплексная годовая программа практического обучения с охватом всех основных тем, а также с дополнительными курсами в подарок. По итогам обучения выдаётся свидетельство установленного образца и сертификат. По этой ссылке специальная скидка на любые факультеты и курсы!

Как просматривать старые версии сайтов

W ayback Machine — это онлайн-сервис, который сканирует веб-сайты, делая снимки сайтов в определенный момент времени. Используя Wayback Machine, Вы можете увидеть, как выглядел почти любой сайт на протяжении всей его жизни.

Веб-сайты часто меняются, как и законы, регулирующие эти веб-сайты. Будь то потеря данных, новая цензура контента или просто любопытство, Wayback Machine позволяет Вам видеть контент, которого больше нет в сети. Wayback Machine также может использоваться для устранения неполадок.

Примечание: Некоторые сайты могут не отображаться из-за того, что они защищены паролем, заблокированы файлом robots.txt или были недоступны по какой-либо другой причине.

Перейдите на официальный сайт Internet Archive и введите URL-адрес сайта, который Вы хотите просмотреть, в адресной строке Wayback Machine. После ввода нажмите «Browse History».

Как просматривать старые версии сайтов

На следующей странице Вы увидите временную шкалу, содержащую снимки указанного веб-сайта. Также есть примечание о количестве снимков веб-сайта между двумя датами.

Выберите год, который хотите просмотреть.

Как просматривать старые версии сайтов

Вы увидите календарь на выбранный год. В определенные даты в течение года Вы заметите, что они выделены определенным цветом. Вот что они означают:

Без цвета: сайт не был сохранен в этот день.
Синий: веб-сайт был успешно сохранен в этот день.
Зеленый: указывает на перенаправление (3xx).

Вы также заметите, что одни круги больше других. Это означает, что на веб-сайте есть несколько снимков для этой конкретной даты. Обратите внимание, что это не отражает количество обновлений сайта.

Выберите дату и время, которые Вы хотите просмотреть, наведя курсор на дату и выбрав снимок во всплывающем меню.

Как просматривать старые версии сайтов

Теперь Вы можете просматривать заархивированную версию веб-сайта.

Как просматривать старые версии сайтов

Как и во всем остальном, существуют и другие варианты просмотра старых версий веб-сайтов, такие как oldweb.today, хотя Wayback Machine содержит самый большой архив из всех других цифровых библиотек в Интернете.