Сканер директорий веб-сайтов: просмотр структуры каталогов и скрытых файлов ᐈ

Что такое сканер каталогов веб-сайтов?

Как найти скрытые страницы и файлы на сайте?

Хорошая идея — сканировать веб-сайт на предмет скрытых каталогов и файлов (скрытые — это каталоги и файлы, которые не связаны между собой и о которых знает только владелец сайта!) С помощью онлайн-поискового робота по каталогам веб-сайтов. Как минимум, вы можете узнать что-то новое о сайте, просмотреть структуру каталогов сайта, а иногда просто получить супер-вознаграждение — архив сайта или базу данных, резервную копию конфиденциальных документов и так далее

Что такое каталог веб-сайта? Это корневая папка, в которой находятся все каталоги и файлы сайта. Именно в эту папку загружается архив с файлами сайта и базой данных. Если вы поместите файлы сайта не в ту папку, вместо сайта будет отображаться ошибка 403.

Средство поиска каталогов помогает найти указанный каталог в системе для файлов, содержащих сообщения (например, XML или JSON). Когда сообщения прочитаны, они могут быть переданы в основной конвейер сообщений, где на них может влиять весь спектр фильтров обработки сообщений.

Средство просмотра файлов веб-сайта обычно используется, когда внешнее приложение помещает файлы (возможно, через FTP) в файловую систему, чтобы их можно было проверять, изменять и потенциально отправлять через HTTP или JMS.

Это помогает профессионально сканировать каталог веб-сайтов. Некоторые дыры, которые не могут заполнить классические сканеры уязвимостей, закрываются, особенно при выполнении тестов, ориентированных на безопасность, и просмотре каталога веб-сайта. Он ищет определенные веб-объекты, но не ищет уязвимости и не ищет веб-контент, который может быть уязвим.

Что могут быть «скрытые файлы»?

В общем, это могут быть следующие каталоги:

• Файлы конфигурации проекта, созданные интегрированной средой разработки (IDE).
• Конкретная конфигурация и файл конфигурации для данного проекта или технологии.

Вам следует регулярно сканировать сайты, чтобы убедиться, что передаются конфиденциальные или проприетарные файлы. Просмотр каталога веб-сайта — это действительно простое правило, позволяющее защитить себя от хакерских атак и сохранить свои файлы в полной безопасности.

WordPress

Поскольку WordPress сейчас самая популярная CMS, давайте сразу перейдем к ней. Выпущен очень мощный сканер, способный творить чудеса: WPScan. На момент написания этой статьи текущая версия была 3.7.8. Этот сканер может определять версию проверяемого объекта, запускать административную панель (у нее также есть собственный встроенный словарь), просматривать уязвимые открытые каталоги, определять установленные плагины и многое другое. Кроме того, он предустановлен в Kali Linux и других дистрибутивах пентестера. Также существует версия докер-контейнера.

На мой взгляд, управление и кнопки WPScan можно было бы упростить. В программе также есть два файла справки: краткий (-h) и подробный (—hh).

Перед первым использованием WPScan необходимо обновить его базу данных.

Далее приступим к сканированию. Само по себе WPScan без ключей предоставит общую информацию о сайте, лишь поверхностно сканируя цель.

WPScan

После интересных строк: те же моменты, на которые следует обратить внимание в начале:

• версия WP;
• открытые каталоги;
• предполагаемые уязвимости;
• ссылки на ресурсы, где можно прочитать об этих уязвимостях.

В конце вывода красным восклицательным знаком отмечены строки, нарушающие правила безопасности. В нашем случае это конфигурационный файл wp-config.php, который содержит логин и пароль к базе данных.

Конфигурация WordPress

Брутфорс выполняется очень быстро благодаря многопоточности. Если администратор использовал стандартные учетные записи и задавал простые пароли, результат не заставит себя ждать.

Учетные данные найдены

Как видите, мы без особого труда получили учетные данные для админ-панели и базы данных. Для среднего взломщика этого было бы более чем достаточно, но мы еще не все проверили. На очереди плагины WP и другие популярные точки входа.

Сканер показал нам, что на выбранном сайте не установлены плагины, однако это могло быть неправильным выводом из-за ограничений пассивного метода сканирования. Для более надежного обнаружения плагинов вам необходимо настроить агрессивный метод поиска:

Обратите внимание, что ключ ap покажет все найденные плагины, а vp — только уязвимые. Эта процедура занимает много времени. Скорость будет зависеть от расстояния до площадки, но даже в лучшем случае это займет не менее 30 минут.

Как видите, агрессивный метод дал свои результаты — обнаружен плагин антиспама Akismet версии 3.1.1.

Плагин Akismet v3.1.1

Точно такие же действия следует предпринять для поиска других уязвимых надстроек к WP. Подробности смотрите в руководстве в разделе —enumerate.

См. Также известные идентификаторы уязвимости — CVE. Например, для версии PHP работает CMS. Затем найдите модули Metasploit по умолчанию для WP и попробуйте их.

Что дальше

Если вас интересует тема поиска уязвимостей веб-сервисов, я предлагаю вам попрактиковаться в руководстве по OWASP 10. И прежде чем вы перейдете к некоторым реальным объектам, вы можете отточить свои навыки на специальных полигонах и уязвимых виртуальных машинах.

Joomla

Joomla — тоже довольно популярная CMS, для которой есть сканер — JoomScan. Его написали ребята из Open Web Application Security Project (OWASP). Он по-прежнему актуален, хотя давно не обновлялся. Последняя версия 0.0.7 была выпущена в сентябре 2018 года.

По сути, это точно такой же сканер безопасности, что и WPScan, только немного проще. JoomScan также предустановлен в большинстве дистрибутивов для профессионалов в области безопасности, и все его руководство умещается в несколько строк.

Справка JoomScan

Он также поддерживает агрессивный метод сканирования установленных компонентов. Команда на запуск сканирования в агрессивном режиме выглядит так:

Вот пример анализа старой версии сайта Joomla, найденной в Интернете.

JoomScan

Как видно из скриншота, программа показывает версию CMS, CVE найденных уязвимостей и ссылки на эксплойты, которые можно использовать для взлома сайта. Вывод также содержит все каталоги, найденные на сайте, и ссылку на файл конфигурации, если вы забыли его скрыть.

JoomScan не умеет перебором в админке. Сегодня для выполнения такого перебора необходим серьезный инструмент, работающий с цепочкой прокси-серверов. Хотя бы потому, что на сайтах Joomla часто используется плагин остановки грубой силы. Когда количество неудачных попыток авторизации достигает указанного числа, он блокирует IP-адрес злоумышленника.

Если ваш сайт на Joomla работает через HTTP (что уже встречается редко), попробуйте использовать скрипт Nmap.

Различные типы сканеров каталогов веб-сайтов

Как просмотреть каталог сайта? Сканеры работают по разным принципам. Есть инструменты для сканирования вашего сайта (и это лицензированные инструменты), но есть и инструменты для взлома. С этической точки зрения сканирование каталогов других сайтов невозможно. По закону это считается взломом и мошенничеством.

Давайте посмотрим, как работают различные типы сканеров каталогов.

• Поиск файлов по словарю на сайте.
• Сканируйте чистым сканером.
• Сканируйте с помощью веб-сканера.
• Сканирование с использованием библиотеки запросов Python.

Как видите, существует несколько способов сканирования и поиска скрытых файлов на вашем сайте. Вы можете выбрать наиболее удобный для вас вариант или воспользоваться нашим простым инструментом «Сканер каталогов веб-сайтов». С помощью нашего бесплатного сканера вы можете легко просматривать каталог веб-сайта и находить любые скрытые файлы, которые могут стать вашей уязвимостью.

Darknet или deepweb

Даркнет часто путают с «глубоким Интернетом». Фактически, даркнет — это часть Интернета, сеть внутри сети, которая работает в соответствии со своими собственными протоколами и алгоритмами. Deepweb — это страницы, которые не индексируются поисковыми системами. Они могут вообще не существовать, пока они кому-то не понадобятся. Например, они будут созданы в ответ на запрос к базе данных.

Страницы Deepweb не имеют гиперссылок на другие страницы. Кроме того, Deep Internet включает ряд ресурсов, доступных только с паролем или другими средствами аутентификации.

Поисковая система не сможет найти страницы в глубокой сети. А в даркнете это просто. Это явно не касается Google или Яндекс».

Руководство по эффективному использованию нашего сканера каталогов

Если вы хотите найти URL-адреса скрытых страниц на веб-сайте и знаете, как просмотреть список каталогов веб-сайтов, используйте наш инструмент для сканирования каталогов веб-сайтов.

Достаточно просто:

1. Введите URL-адрес веб-сайта, который вы хотите сканировать, в заполнитель ниже;
2. Нажмите кнопку «Пуск», чтобы начать сканирование каталога веб-сайта;
3. Получите полный отчет аудита и просмотрите все файлы в каталоге вашего веб-сайта в Интернете.

Drupal и другие CMS

С Drupal все немного сложнее, как и с другими непопулярными CMS. Подходящего сканера, способного найти уязвимости на таких сайтах, просто нет. Из готовых инструментов мне удалось найти только DroopeScan, но он помогает только быстро собрать основную информацию о жертве.

DroopeScan устанавливается через pip (конечно, у вас должен быть установлен Python).

Начнем сканирование. Поскольку он поддерживает не только Drupal, рекомендуется явно указать, какую CMS мы ожидаем найти на сайте:

DroopeScan

Остальные нужно искать вручную и искать в Интернете. В этом очень полезны сайты с базами данных поиска уязвимостей, такими как CVEdetails, и готовые эксплойты с PoC (можно найти на GitHub и в даркнете).

Например, возьмем уязвимость CVE-2018-7600, которая затрагивает Drupal версий 7.x и 8.x. Он позволяет загружать и запускать оболочку удаленно. Эксплойт PoC можно найти здесь.

Уязвимый Drupal

Сканер предоставил мне только версию CMS, и этого было достаточно, чтобы воспользоваться уязвимостью. В общем, взлом Drupal и других CMS по своей сути не отличается от поиска дыр в любом другом онлайн-сервисе. Бреши в безопасности либо существуют, либо еще не обнаружены.

CVE-2018-7600 PoC-уязвимость

Вам не нужно далеко искать боевой эксплойт, чтобы открыть сеанс в Meterpreter и в полной мере воспользоваться уязвимостью.

Какие инструменты подходят для проверки неработающих ссылок

Если на сайте много страниц, невозможно вручную проверить их и перейти по всем доступным ссылкам. Для исследования лучше использовать специальные инструменты. Это можно сделать с помощью официальных веб-мастеров:

• Консоль поиска Google. В старом интерфейсе неверные ссылки отображались в отчете «Ошибки сканирования». В новом — в разделе «Покрытие».

• Яндекс.Вебмастер. Данные можно найти в разделе «Индексирование» → «Статистика сканирования». Вы также можете посмотреть раздел «Ссылки».

Неработающие ссылки также видны в отчетах по заголовкам страниц в Яндекс.Метрике и Google Analytics. Если, конечно, заголовок 404-й страницы не отличается от остальных. На скриншоте ниже показана статистика сайта для одного из конструкторов. При нажатии на неработающие ссылки по умолчанию отображается заголовок страницы.

Если вы хотите узнать об инструментах для веб-мастеров и системах веб-аналитики, приглашаем вас на онлайн-курс «SEO-специалист с нуля до PRO». Подходит для новичков в поисковой оптимизации, интернет-маркетологов, предпринимателей.

SEO специалист с нуля до PRO

Один из самых всесторонних и профессиональных курсов по SEO в Интернете в России, основанный на стандартах и ​​навыках экспертов Ingate. Вы освоите профессию
SEO специалист с нуля. Вы узнаете, как работают поисковые системы, научитесь собирать семантику, познакомитесь с сервисами Яндекс.Вебмастер и Google Search Console.

Вы также можете воспользоваться одним из сторонних инструментов SEO-аудита. Например:

• Зену Линк Исследователь. Это бесплатная настольная программа, довольно функциональная, хотя и немного устаревшая.

• SEO паук крик лягушка. Настольная платная программа. Проверьте 500 URL-адресов бесплатно.

• SEO и анализ сайта. Бесплатный и интуитивно понятный плагин для Chrome.

• Посмотрите мои ссылки. Еще один бесплатный плагин для Google Chrome. Вы можете скопировать список неработающих ссылок в формате CSV.

• Badlinks.ru. Платный онлайн-сервис. Стоит от 50 рублей, сумма зависит от количества страниц и регулярности проверки.

Как избавиться от битых ссылок

Ссылки, ведущие на несуществующие страницы, можно просто удалить. Если в тексте есть опечатка, необходимо внести исправления. Это легко сделать самостоятельно через панель управления сайтом или поручить ответственному за компиляцию и редактирование контента — веб-мастеру, менеджеру контента или дизайнеру макета.

Когда неработающие ссылки появляются из-за масштабной смены URL (например, блог был перемещен с site.ru/blog на blog.site.ru), исправлять вручную нет смысла — нужно установить перенаправить. Это сложная техническая задача, с которой лучше всего справится опытный разработчик или веб-программист. Если вы по-прежнему хотите иметь возможность выполнять переадресацию своими руками, следуйте руководству TexTerra или Promopult.

Но даже если на сайте нет битых ссылок, пользователи все равно будут видеть код ответа 404. URL с ошибкой можно писать как в социальных сетях, так и на сторонних ресурсах. И всегда есть шанс, что пользователь получит печать, когда захочет перейти прямо на ваш сайт. Чтобы уменьшить показатель отказов и негатива в этих случаях, лучше всего создать страницу 404 «из коробки». Поручите задачу копирайтеру и дизайнеру и попросите разработчика настроить редирект.

Удар по самописным сайтам

Тестировать самописные сайты намного сложнее. Нет специального сканера, который бы сказал: вот старая версия веб-приложения, в ней есть известная дыра, вот ссылка на эксплойт и подробное описание его использования. Остается проверить только очень большой список потенциальных уязвимостей. Такие пентесты выполняются с использованием метода OWASP или собственных алгоритмов.

Тестирование на проникновение — это творческое занятие. В нем нет жесткой структуры и списка необходимых инструментов, особенно если они с открытым исходным кодом. Однако проверка безопасности — это серьезная услуга, и некоторые организации пытаются структурировать ее реализацию так, чтобы пентестер ничего не упустил в бегах фантазии.

Одним из способов сделать это было руководство по тестированию OWASP v4. Это исчерпывающий набор правил для обнаружения уязвимостей в веб-приложениях. Ученики собрали и описали доступные языковые методы для тестирования уязвимостей десяти самых распространенных классов — OWASP 10.

Если вам нужно проверить возможность взлома самописного сайта, то лучше всего начать с самого WhatWeb. Только сейчас мы смотрим не на CMS, а на все найденные сервисы и их версии.

Есть много уязвимых версий самих фреймворков. Например, они часто используют устаревшие версии Ruby on Rails или Apache Tomcat. Эксплойты к ним общедоступны.

Также стоит обратить внимание на версии самих языков программирования. Например, в PHP постоянно обнаруживаются уязвимости, и с момента их обнаружения до обновления на сайте может пройти более недели.

Следующим шагом предпочтительно использовать сканеры безопасности. Даже если они не вынесут готового вердикта, они подбросят пищу для размышлений. Например, программа dirb поможет вам просматривать открытые каталоги и возвращать коды ответов.

Для проверки типичных уязвимостей используйте универсальные сканеры: nikto, OWASP ZAP, w3af, skipfish. Я также рекомендую иметь в наличии набор инструментов безопасности mantra.

Никто

Для всего остального есть Burp Suite. Обычно он используется для более сложного поиска уязвимостей в веб-приложениях. Давайте в качестве примера рассмотрим исследование и использование SQL-инъекций.

Устанавливаем Burp Suite (он уже предустановлен в Kali Linux), находим в нем Repeater (запрос ретранслятора) и запускаем. В запросе GET или POST мы ищем значение, переданное на сервер (типа id = 12), и бросаем его в Repeater.

SQL-инъекция в репитер

Мы добавляем одинарную кавычку, чтобы убедиться, что в переданном значении нет специальных символьных фильтров, и мы видим сообщение с синтаксической ошибкой sql error. При возникновении ошибки сайт уязвим для SQL-инъекции. Для автоматизации развития атаки мы используем sqlmap.

Параметр -u указывает на целевой URL, а параметр —dbs указывает вам проверить все СУБД.

Sqlmap

Этот сборщик SQL-инъекций сам определит, какая полезная нагрузка подходит, и по вашим командам извлечет все необходимые данные из баз данных на сайте. Он даже предложит немедленно хэшировать пароли, если найдет их. Это программное обеспечение особенно полезно при использовании так называемой слепой SQL-инъекции.

Посадят ли за вход в даркнет

В этом случае законы действуют не против обычного пользователя, а против создателей инструментов и поставщиков обходов блокировки. Например, в России запрещен браузер Tor, так как он позволяет обходить блокировки. Но за его использование ответственность пока не предусмотрена.

Так что, если вы зайдете в даркнет, чтобы «ясно увидеть» и «просто спросить», вы не будете ни наказаны, ни оштрафованы. Но нужно понимать, что все остальные действия также квалифицируются с точки зрения действующего законодательства. Например, продажа наркотиков, распространение порнографии или кража денег с банковских карт.

Фактически, именно поэтому мы не предоставляем ссылку для загрузки браузера Tor для macOS, Windows или Linux. Но Google, который должен официально удалить ссылки на веб-сайт Tor Project из результатов поиска для пользователей в Российской Федерации, еще не сделал этого.

Как защититься

Если вы являетесь владельцем веб-сайта на CMS, оптимальной стратегией безопасности будет отказ от сомнительных надстроек, минимизация количества подключаемых модулей и регулярное обновление всего программного обеспечения. Веб-дизайнеры и программисты хотели бы запомнить основные правила написания безопасного кода — по крайней мере, отфильтровывать специальные символы в запросах к базе данных и проверять сценарии, заимствованные из Интернета.

Если ваш сайт был написан под заказ, вы должны проверить все используемые веб-компоненты, удалить необязательные и оперативно обновить остальные до актуальных версий. Поэтому позаботьтесь о поддержке сайта заранее.

Универсальный вариант — периодически заказывать сканирование уязвимостей у стороннего специалиста. Кстати, крупные компании часто платят надбавки за дыры в безопасности, обнаруженные в их онлайн-сервисах. Почему бы тебе не начать свою карьеру пентестера с bug bounty?

Особенности нашего сканера каталогов веб-сайтов

Что ж, давайте кратко рассмотрим основные функции поискового робота по каталогам нашего веб-сайта.

После остановки сканирования вы увидите рейтинг своего сайта, количество просканированных страниц и количество страниц в индексе Google. Например, мы просканировали наш сайт sitechecker.pro. Вы можете увидеть результаты сканирования на скриншоте ниже.

Прокручивая страницу вниз, вы увидите проблемы на уровне сайта. Если на вашем веб-сайте есть скрытые файлы, которые наш инструмент может сканировать, вы также увидите их в этом списке.

Еще одна особенность нашего инструмента — вы можете просматривать ошибки, разделенные на три категории. Это критические ошибки, говорящие о важности их скорейшего исправления.

Это уведомления, информирующие владельца сайта о том, что можно улучшить. А второстепенные — это уведомления, которые не являются важными предупреждениями.

Это уведомления, информирующие владельца сайта о том, что можно улучшить. А второстепенные — это уведомления, которые не являются важными предупреждениями.

Что такое каталог веб-сайта?

Интернет-каталог — это онлайн-каталог или каталог веб-сайтов. Эти каталоги, также известные как тематические каталоги, создают упорядоченный способ поиска веб-сайтов.

Как получить все файлы с веб-сайта?

Самый простой способ поиска веб-каталога — подключиться к веб-серверу через SSH или RDP и запустить команду для вывода списка локальных каталогов.

Чем опасны ссылки, ведущие не туда

Неработающие ссылки могут повредить вашему рейтингу в поисковых системах. Для поисковых роботов они могут быть признаком некачественного, устаревшего, неудобного для пользователей ресурса. Однако пока нет подтвержденных данных о том, что битые ссылки напрямую влияют на рейтинг.

Некоторые другие эксперты считают, что такие ссылки потребляют краулинговый бюджет. Проще говоря, это ограничения на количество URL-адресов на вашем сайте, которые сканирует поисковый робот Google. Однако представитель компании Джон Мюллер сказал, что ошибки 404 не уменьшают бюджет и не ухудшают рейтинг всего сайта.

Однако неработающие ссылки, безусловно, влияют на поведение веб-сайта. Допустим, пользователь хочет прочитать статью, нажимает и видит ошибку. Он может вернуться, использовать меню или выполнить поиск по сайту, а может просто уйти.

С другой стороны, поведенческие показатели (показатель отказов, просмотры страниц, продолжительность посещения) уже играют значительную роль в SEO. Исследование «Ашманов и партнеры» показывает корреляцию с топом или позициями как в Google, так и в Яндексе.

Оказывается, самая большая опасность битых ссылок заключается в том, что они ухудшают работу пользователей. Они усложняют использование контента, изучение товаров / услуг и выполнение целевых действий. И это важно для любого поискового трафика, а не только для него.

WWW

• itsecgames.com — уязвимая платформа bwapp
• hacksplaining.com — онлайн-тестовый сайт для практики
• vulnhub.com — большая коллекция уязвимых виртуальных машин
• pentesterlab.com — Курсы, объясняющие веб-уязвимости
• Примеры веб-уязвимостей

Разведка

Прежде чем пытаться атаковать цель, вам необходимо собрать информацию о ней. Для этого хорошо подходит инструмент WhatWeb. Эта утилита предоставляет подробную информацию о CMS жертвы и используемых ею веб-инструментах.

Я рекомендую вам запускать WhatWeb с параметром -а, за которым следует значение 3 или 4. Единственное различие между ними состоит в том, что во втором случае WhatWeb также сканирует подкаталоги. Обратите внимание, что оба параметра устанавливают агрессивный метод опроса, при котором все последующие журналы или, скорее, «перетекают» на сервер.

Здесь мы видим, что это веб-сайт британской компании, созданный на WordPress с использованием PHP v. 7.1.33 и jQuery 1.9.0, 2.2.3. Неплохое начало!

Если у вас нет VPN или вы просто не хотите беспокоиться об установке, ознакомьтесь с онлайн-версией WhatWeb.

WhatWeb в Интернете

Кстати, при работе с зарубежными сайтами предлагает отличную скорость.

Если вам нужно просто определить название CMS, то для этого есть отдельные сервисы, даже русскоязычные.

Читайте также: Почему нельзя скопировать текст с сайта: как обойти запрет