18. Hive. Установка и настройка
- В консоли Cloudera Manager в меню выбираем ‘Add Service’:

- Выбираем Hive.
- Выбираем зависимости:

- Распределяем роли. Рекомендуется устанавливать роли Hive Gateway на узлы кластера с ролью Spark Gateway, иначе Hive-таблицы не будут доступны для Spark’а.

- Настройка базы данных. Так как сейчас используется встроенная база данных, то никаких дополнительных действий не производим, а нажимаем кнопку ‘Test Connection’.
- На шаге Review Changes ничего не меняем:

- Наблюдаем запуск ролей. Здесь может произойти ошибка из-за отсутствия роли Spark Gateway на машине с устанавливаемой ролью HiveServer2. Решается в параллельном окне Cloudera Manager’а, где добавляем роль Spark Gateway на требуемый узел.
- Визард успешно закончен.
Перенастройка размещения log’ов
- В настройках Hive, используя категорию ‘Logs’ и фильтр ‘/var/log’, изменяем следующие параметры, добавляя ‘/data’ вместо ‘/var’:
| Property | Value | Description |
|---|---|---|
| Hive Metastore Server Log Directory | /data/log/hive | Directory where Hive Metastore Server will place its log files. |
| HiveServer2 Log Directory | /data/log/hive | Directory where HiveServer2 will place its log files. |
| HiveServer2 Operations Log Directory hive.server2.logging.operation.log.location |
/data/log/hive/operation_logs | Top level directory where operation logs are temporarily stored if Enable HiveServer2 Operations Logging is true. Logs are stored in session and operation level subdirectories under this location and are removed on completion of operation. |
| WebHCat Server Log Directory | /data/log/hcatalog | WebHCat Server Log Directory |
Настройка зашифрованного обмена данными между HiveServer2 и клиентскими драйверами
В CDH 5.5 и более поздних версиях шифрование между HiveServer2 и его клиентами было отделено от аутентификации Kerberos. (До CDH 5.5 шифрование SASL QOP для клиентских драйверов JDBC требовало соединений, аутентифицированных Kerberos.) Отсоединение процесса аутентификации от процесса шифрования транспортного уровня означает, что HiveServer2 может поддерживать два разных подхода к шифрованию между службой и ее клиентами ( Beeline, JDBC / ODBC) независимо от того, используется ли Kerberos для аутентификации, а именно:
В отличие от TLS, шифрование SASL QOP не требует сертификатов и направлено на защиту основных соединений Hadoop RPC. Однако SASL QOP может иметь проблемы с производительностью при обработке больших объемов данных, поэтому в зависимости от ваших шаблонов использования TLS может быть лучшим выбором. См. Следующие темы для получения подробной информации о настройке служб и клиентов HiveServer2 для TLS и SASL QOP шифрования.
Здесь мы рассмотрим настройку только TLS шифрования.
3.1. Настройка TLS шифрования для HiveServer2
To configure TLS for Hive in clusters managed by Cloudera Manager:
- В настройках службы Hive, используя регион ‘Security’, изменяем следующие параметры:
| Property | Value | Description |
|---|---|---|
| Enable TLS/SSL for HiveServer2 | ☑ | Click the checkbox to enable encrypted client-server communications between HiveServer2 and its clients using TLS/SSL. |
| HiveServer2 TLS/SSL Server JKS Keystore File Location | /opt/cloudera/security/pki/server.jks | Enter the path to the Java keystore on the host system. For example:/opt/cloudera/security/pki/server-name-server.jks |
| HiveServer2 TLS/SSL Server JKS Keystore File Password | По умолчанию: changeit . | Enter the password for the keystore that was passed at the Java keytool command-line when the key and keystore were created. As detailed in How To Obtain and Deploy Keys and Certificates for TLS/SSL, the password for the keystore must be the same as the password for the key. |
| HiveServer2 TLS/SSL Client Trust Store File |

Поле ввода для пароля хранилища доверенных сертификатов оставлено пустым, поскольку хранилище доверенных сертификатов обычно не защищено паролем — оно не содержит ключей, только общедоступные сертификаты, которые помогают установить цепочку доверия во время установления связи TLS. Кроме того, для чтения доверенного хранилища пароль не требуется.

- Нажимаем Save Changes.
- Перезапускаем все зависимые сервисы по приглашению Cloudera Manager Console.
Настройка аутентификации
На данный момент, включена kerberos-аутентификация для Hive. Следующие изменения в параметрах Hive добавят к kerberos-аутентификации LDAP-аутентификацию.
Starting with CDH 5.7 and later, clusters running LDAP-enabled HiveServer2 deployments also accept Kerberos authentication.
- В настройках службы Hive, используя регион ‘Security’, изменяем следующие параметры:
| Property | Value | Description |
|---|---|---|
| Enable LDAP Authentication | ☑ | When checked, LDAP-based authentication for users is enabled. |
| LDAP URL hive.server2.authentication.ldap.url |
ldaps://dev-ipa03p.test.lan ldaps://dev-ipa02p.test.lan ldaps://dev-ipa01p.test.lan Три адреса разделённые пробелами в одну строку. |
The URL of the LDAP server. The URL must be prefixed with ldap:// or ldaps://. The URL can optionally specify a custom port, for example: ldaps://ldap_server.example.com:1636. Note that usernames and passwords will be transmitted in the clear unless either an ldaps:// URL is used, or «Enable LDAP TLS» is turned on (where available). Also note that encryption must be in use between the client and this service for the same reason. |
- Чуть ниже наблюдаем параметры, которые отвечают за TLS для WEB-интерфейса Hive.
Включение TLS для WEB-интерфейса Hive
После включения TLS, пропадёт неавторизованный доступ к WEB-интерфейсу Hive. Для доступа потребуется kerberos-тикет и настроенный Web-браузер для использования Kerberos в определённом домене.
- В настройках службы Hive, используя регион ‘Security’, изменяем следующие параметры:
| Property | Value | Description |
|---|---|---|
| Enable TLS/SSL for HiveServer2 WebUI hive.server2.webui.use.ssl |
☑ | Encrypt communication between clients and HiveServer2 WebUI using Transport Layer Security (TLS) (formerly known as Secure Socket Layer (SSL)). |
| HiveServer2 WebUI TLS/SSL Server JKS Keystore File Password hive.server2.webui.keystore.password |
По умолчанию: changeit . | The password for the HiveServer2 WebUI JKS keystore file. |
| HiveServer2 WebUI TLS/SSL Server JKS Keystore File Location hive.server2.webui.keystore.path |
/opt/cloudera/security/pki/server.jks | The path to the TLS/SSL keystore file containing the server certificate and private key used for TLS/SSL. Used when HiveServer2 WebUI is acting as a TLS/SSL server. The keystore must be in JKS format. |
Отключение доступа внешних приложений к Hive Metastore (Disabling Hive CLI etc.)
Setting this parameter blocks access to the Hive metastore for non-service users. This effectively disables Hive CLI, Spark, and Sqoop applications from interacting with the Hive service. These application will still run, but after setting this parameter as described here, they will no longer be able to access the Hive metastore and all Hive queries will fail. Users running these tools must be part of the hive, hue, or sentry groups to access the Hive service. To allow greater access, additional user groups must be added to the proxy list.
- В настройках службы Hive, используя фильтр ‘Hive Metastore Access Control and Proxy User Groups Override’, изменяем следующие параметры:
- hive
- hue
- sentry
Могут быть указаны дополнительные пользовательские группы.

- Нажимаем Save Changes.
- Перезапускаем все зависимые сервисы по приглашению Cloudera Manager Console.
Как настроить VPN в Hive OS: пошаговая инструкция для установки и настройки
После выполнения этих шагов, VPN будет настроен и готов к использованию в Hive OS.
Пример конфигурации клиента OpenVPN (файл client.ovpn):
client dev tun proto udp remote vpn-server-ip vpn-server-port resolv-retry infinite nobind persist-key persist-tun comp-lzo verb 3 -----BEGIN CERTIFICATE----- Certificate data -----END CERTIFICATE----- -----BEGIN CERTIFICATE----- Certificate data -----END CERTIFICATE----- -----BEGIN PRIVATE KEY----- Private key data -----END PRIVATE KEY----- -----BEGIN OpenVPN Static key V1----- Static key data -----END OpenVPN Static key V1-----
Детальный ответ
Как настроить VPN в Hive OS
Добро пожаловать в увлекательный мир настройки VPN в Hive OS! В этой статье мы покажем вам, как настроить VPN-соединение в Hive OS и обеспечить безопасность вашей добычи криптовалюты.
Перед тем, как мы начнем, давайте вспомним, что такое VPN. VPN (Virtual Private Network) — это технология, которая создает безопасное соединение через общедоступную сеть, такую как Интернет. Она позволяет скрыть ваш реальный IP-адрес и шифровать всю передаваемую через сеть информацию. В связи с этим, VPN является отличным инструментом для обеспечения безопасности и конфиденциальности ваших данных.
Шаг 1: Подготовка
Прежде чем мы начнем настройку VPN в Hive OS, вам потребуется:
- Учетная запись в Hive OS
- Сервер VPN, к которому вы хотите подключиться
- Учетные данные для доступа к серверу VPN (обычно это имя пользователя и пароль)
Шаг 2: Настройка VPN в Hive OS
Теперь, когда все готово, давайте перейдем к настройке VPN в Hive OS:
- Войдите в свою учетную запись Hive OS и откройте вкладку «Конфигурация» (Configuration). Подсказка: Вы можете найти вкладку «Конфигурация» в верхней панели навигации.
- На странице «Конфигурация» найдите раздел «VPN». Подсказка: Если у вас еще нет настроенных VPN-соединений, вы увидите кнопку «Добавить VPN-соединение».
- Нажмите на кнопку «Добавить VPN-соединение» и введите следующую информацию:
Название соединения: [Введите название для вашего VPN-соединения] Тип VPN: [Выберите тип VPN-протокола, предоставляемый вашим VPN-сервером] IP-адрес сервера: [Введите IP-адрес вашего VPN-сервера] Порт сервера: [Введите порт вашего VPN-сервера] Имя пользователя: [Введите имя пользователя для доступа к серверу VPN] Пароль: [Введите пароль для доступа к серверу VPN]
Шаг 3: Проверка соединения
Теперь у вас должно быть активное VPN-соединение в Hive OS. Чтобы проверить, что все работает правильно, выполните следующие действия:
- Откройте терминал Hive OS, используя соответствующую кнопку на панели навигации. Подсказка: Вы можете найти кнопку «Терминал» рядом с кнопкой «Конфигурация».
- В терминале введите команду ping [IP-адрес или доменное имя удаленного хоста] для проверки доступности удаленного хоста через VPN.
ping 8.8.8.8
Заключение
Поздравляем! Вы успешно настроили VPN в Hive OS. Теперь ваша добыча криптовалюты будет проходить через безопасное и зашифрованное соединение. VPN поможет вам обеспечить конфиденциальность и защиту ваших данных.
Надеемся, что эта статья была полезной для вас. Если у вас возникли вопросы или проблемы, не стесняйтесь обращаться за помощью.
Что такое TLS в Hive OS?
TLS (Transport Layer Security) — это криптографический протокол, который обеспечивает безопасную передачу данных через сеть. В контексте Hive OS, TLS используется для защиты соединения между Hive OS и другими серверами или клиентами. С помощью TLS можно обеспечить шифрование и аутентификацию данных, а также защиту от подделки и перехвата информации. В Hive OS, для настройки TLS, требуется использовать сертификаты SSL. Вот пример настройки TLS в конфигурации Hive OS:
hive.server2.transport.mode = http hive.server2.thrift.http.path = cliservice hive.server2.use.SSL = true hive.server2.keystore.path = /path/to/keystore.jks hive.server2.keystore.password =
В этом примере, мы устанавливаем режим транспортировки как HTTP, включаем использование SSL и указываем путь к файлу с хранилищем ключей и пароль. Использование TLS в Hive OS обеспечивает защиту данных и обеспечивает безопасность соединения между клиентом и сервером Hive.
Детальный ответ
Что такое TLS в Hive OS?
В мире криптовалюты безопасность играет важную роль. Необходимо обеспечить защищенное соединение между майнерами и пулами майнинга для безопасной передачи данных. Одной из технологий, которая обеспечивает защищенное соединение, является TLS (Transport Layer Security), который представляет собой протокол шифрования, обеспечивающий безопасность и конфиденциальность данных в сети. Hive OS — это операционная система для майнинга криптовалюты, которая также предлагает возможность использования TLS для защиты соединений между майнерами и пулами майнинга.
Как использовать TLS в Hive OS?
- Сгенерировать сертификат TLS.
- Настроить Hive OS для использования сертификата TLS.
- Настроить майнеры и пулы майнинга для использования TLS.
1. Генерация сертификата TLS
Существует множество инструментов для генерации сертификатов TLS. Одним из таких инструментов является OpenSSL. Для генерации сертификата TLS с помощью OpenSSL, выполните следующую команду:
openssl req -x509 -newkey rsa:4096 -nodes -out cert.pem -keyout key.pem -days 365
Эта команда создаст самоподписанный сертификат TLS сроком на 365 дней. Он будет сохранен в файлах cert.pem (сертификат) и key.pem (ключ).
2. Настройка Hive OS для использования сертификата TLS
Чтобы настроить Hive OS для использования сертификата TLS, выполните следующие шаги:
- Войдите в веб-интерфейс Hive OS с помощью своих учетных данных.
- Перейдите в раздел «Настройки».
- Нажмите на «Профиль» и выберите закладку «SSL».
- Загрузите файлы cert.pem и key.pem , созданные ранее.
- Нажмите кнопку «Сохранить», чтобы применить настройки.
3. Настройка майнеров и пулов майнинга для использования TLS
Когда Hive OS настроен для использования TLS, необходимо также настроить майнеры и пулы майнинга для подключения через защищенное соединение.
Для настройки майнеров, необходимо указать адрес TLS-пула и соответствующие сертификаты в конфигурационном файле майнера. Пример настройки майнера для использования TLS:
pool tls://pool.example.com:port wallet your_wallet_address tls_cert /path/to/cert.pem tls_key /path/to/key.pem
Замените pool.example.com и port адресом и портом соответствующего пула майнинга, your_wallet_address вашим номером кошелька, а /path/to/cert.pem и /path/to/key.pem путями к сертификату и ключу TLS.
Для настройки пулов майнинга, обычно есть опции для указания использования TLS и путей к сертификату и ключу. Проверьте документацию вашего пула майнинга для получения точных инструкций.
Заключение
TLS в Hive OS обеспечивает безопасное соединение между майнерами и пулами майнинга, защищая данные от несанкционированного доступа и подделки. Применение TLS в Hive OS требует генерации сертификата, настройки Hive OS и майнеров для его использования. Использование TLS помогает повысить безопасность и надежность процесса майнинга криптовалюты на платформе Hive OS.
Tls в hive os что это
Что такое TLS Данный текст является вольным переводом вот этой главы замечательной книги «High Performance Browser Networking» авторства Ильи Григорика. Перевод выполнялся в рамках написания… Подробнее » Tls в hive os что это
Tradingview как оплатить из россии
- автор: admin
- 22.10.2023
Tradingview как оплатить из россии Как оплатить подписку TradingView из России в 2023 году? TradingView — это онлайн-платформа для анализа финансовых рынков и торговли. Она… Подробнее » Tradingview как оплатить из россии
Trust agents что это
- автор: admin
- 22.10.2023
Trust agents что это Trust Agent means any of the one or more Persons, including any Affiliate of the Titling Trustee or any Securitization Trustee,… Подробнее » Trust agents что это
Turing complete что это
- автор: admin
- 22.10.2023
Turing complete что это Posted on 23 November 2021, by Kevin Mora A Turing Complete system is one where a computer program can discover the… Подробнее » Turing complete что это
Unnamed что это за сеть
- автор: admin
- 22.10.2023
Как подключить unnamed на компьютере Unnamed — мощная программная система, которая предоставляет удобный доступ к данным и функциям, существующим на компьютере. Это позволяет пользователям получить… Подробнее » Unnamed что это за сеть