SSL сертификат Let’s Encrypt wildcard для https на базе Nginx

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.

1. 

   Alexey 01.02.2021 в 08:53

   День добрый, Григорий
   В описанном Вами сценарии автопродление сертификата работать не будет, потому что вы генерировалиего в интерактивном режиме (ключ —manual), что является обязательным требованием при выпуске wildcard сертификатов. При запуске команды certbot -q renew вы получите ошибку:

   certbot.errors.PluginSelectionError: The manual plugin is not working; there may be problems with your existing configuration.
   The error was: PluginError(‘An authentication script must be provided with —manual-auth-hook when using the manual plugin non-interactively.’)

   Т.к. необходимо опять вручную изменить TXT записи в DNS.

   Тут есть два выхода:
   1. Заново запустить первоначальный скрипт генерации сертификатов и внести изменения в DNS вручную.
   2. Если ваш хостинг DNS поддерживает API, написать скрипт автоматического внесения изменений в DNS authenticator.sh
   https://certbot.eff.org/docs/using.html#pre-and-post-validation-hooks

   Ответить
   1. 

      Pavel 01.04.2021 в 22:40

      да, автопродление не работает, каждый раз вручную приходится вносить изменения в DNS
2. 

   Pavel 22.06.2020 в 20:02

   Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
   tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN —
   tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN —
   tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN —
   tcp 0 0 0.0.0.0:443 0.0.0.0:* LISTEN —
   tcp6 0 0 :::22 :::* LISTEN —
   tcp6 0 0 ::1:25 :::* LISTEN —

   Ответить
   1. 

      Pavel 05.07.2020 в 05:43

      Так и не получилось решить проблему с https при внешнем IP из access list. Чёт какая-то мистика( В итоге пришлось делать костыль, надеюсь временный (приму любые идеи и помощь :D). Пример plex.conf:

      upstream plex.home.example.com {
              server          192.168.88.9:32400;
              keepalive       32;
      }
      
      geo $local_users {
          default 0;
          192.168.88.0/24 1;
      }
      
      server {
          listen 80;
          server_name plex.home.example.com;
          include snippets/letsencrypt.conf;
          if ($local_users) {
          	return 301 https://$host$request_uri;
          }
          location / {
      	if ($http_x_plex_device_name = '') {
      		rewrite ^/$ http://$http_host/web/index.html;
      	}
      	proxy_pass http://plex.home.example.com;
          }   
      }
      
      server {
      	listen          443 ssl;
      	server_name     plex.home.example.com;
      
      	access_log  /var/log/nginx/plex.home.example.com.access.log;
      	error_log  /var/log/nginx/plex.home.example.com.error.log;
      
      
      	send_timeout    100m;
      
      	gzip            on;
      	gzip_vary       on;
      	gzip_min_length 1000;
      	gzip_proxied    any;
      	gzip_types      text/plain text/css text/xml application/xml text/javascript application/x-javascript image/svg+xml;
      	gzip_disable "MSIE [1-6]\.";
      
      	client_max_body_size 100M;
      
      	proxy_http_version 1.1;
      	proxy_set_header Host $host;
      	proxy_set_header X-Real-IP $remote_addr;
      	proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
      	proxy_set_header X-Forwarded-Proto $scheme;
      	proxy_set_header Upgrade $http_upgrade;
      	proxy_set_header Connection "Upgrade";
      
      	proxy_redirect off;
      	proxy_buffering off;
      
      	include snippets/letsencrypt.conf;
      
      	ssl_certificate /etc/letsencrypt/live/home.example.com/fullchain.pem;
      	ssl_certificate_key /etc/letsencrypt/live/home.example.com/privkey.pem;
      
      	location / {
      		if ($http_x_plex_device_name = '') {
      			rewrite ^/$ https://$http_host/web/index.html;
      		}
      		proxy_pass https://plex.home.example.com;
      	}
      }
3. 

   Pavel 20.06.2020 в 16:47

   После дальнейшего исследования обнаружил, что если убрать ssl с plex.home…..com, то из вне получается зайти по http. Https запросы как-будто дропаются роутером…

   Ответить
   1. 

      GregoryGost автор 21.06.2020 в 21:33

      Интересная ситуация.
      L2TP может влиять только если MTU не соответствующий, но это маловероятно, при условии, что все остальное работает корректно.
      Если кол-во байт в Firewall NAT увеличивается, значит запрос попадает на nginx (кстати какой порт увеличивает счетчик ? 80 или 443?). Лучше конечно убедиться в этом… Включите на nginx access log и посмотрите, что попадает в него в момент запроса ресурса.

      Еще я бы проверял через мобильный браузер (отключившись от своего WiFi конечно), как отрабатывает wildcard сертификат при переходе по доменному имени, а не через curl.
      По сути, у вас, на внешнем хостинге должны быть прописаны все ваши поддомены (plex, torrent и т.д.) и для них указан только ваш статический IP роутера отдаваемый провайдером.

      Вроде ничего не упустил.
   2. 

      Pavel 22.06.2020 в 18:03

      кол-во пакетов увеличивается на форварде 80ого порта, на 443 всегда 0. Т е пакеты попадают на 80 порт nginx (192.168.88.14), он делает редирект на https — и всё вот тут происходит таймаут, при том пакеты на форварде 443 порта 0. Еще интересный факт — если попытаться telnet 192.168.88.1 443 — будет opertation timeout, а если это сделать изнутри сети — то либо refused либо timeout
   3. 

      GregoryGost автор 22.06.2020 в 18:47

      А контейнер с nginx корректно слушает порт 443?

      netstat -nltp
4. 

   Pavel 20.06.2020 в 10:41

   Григорий, в рамках дальнейшего изучения Вашего ресурса, решил переделать сетап
   на ssl с отдельным nginx контейнером, как вот в этой статье. Всё работает без
   проблем по https. Также у меня сделан icmp knocking, согласно Вашей статье
   MikroTik : RouterOS : Стучимся к себе домой. Firewall Filter PortKnocking. Он
   тоже работает и я могу получить доступ к своему роутеру после того, как мой айпи
   попадет в Access IP лист. Проблема заключается в том, что у меня не открываются
   внутренние ресурсы (такие как plex, torrent и тд) из вне даже после того, как
   айпи попал в Access IP лист. Форвардинг портов 80 и 443 у меня сделан также как
   у вас и на роутере я вижу, что кол-во байт увеличивается когда я делаю запрос,
   если пробую запросить через curl http://plex.home.example.com то выдает 301
   permanently moved, но браузер не открывает ни одну внутреннюю страницу и
   кидает ошибку request timeout. У меня интернет дома по L2TP, т е ethernet провод
   провайдера и по нему устанавливается тунель L2TP, в остальном сетап полностью
   как у Вас, включая даже локальные IP. Фаервол настроен также как в статье про
   порт кнокинг у Вас. Помогите пожалуйста разобраться!

   Ответить
5. 

   Павел 06.01.2020 в 17:56

   Григорий, напишу здесь свой вопрос и пожелание: возможно ли настроить мониторинг сервера Proxmox и особенно состояние дисков используя The Dude от Mikrotik? Какова будет функциональность этого решения по сравнению с Zabbix’ом или Prometeus’ом?
   Можно ли продолжить статьи про функционал The Dude и его практическое применение в собственной сети?

   Ответить
   1. 

      GregoryGost автор 09.01.2020 в 18:02

      Возможно ли настроить мониторинг сервера Proxmox и особенно состояние дисков используя The Dude от Mikrotik?

      Конечно возможно, правда это делается с помощью скриптов и расширенных OID в SNMP (Extend), для The Dude необходимо создавать Function и Probe на основе этих функций.
      Я у себя реализовал мониторинг состояния ZFS пулов zpool(rpool,rpoolz) и используемого в них места. Планирую прикрутить еще температуру CPU и температуру каждого диска.

      Какова будет функциональность этого решения по сравнению с Zabbix’ом или Prometeus’ом?

      Насколько мне известно, для Zabbix можно найти готовые темплейты под Proxmox. Но по моему их нужно допиливать. В целом кому-то Zabbix может больше понравится т.к. можно поставить отдельного агента на хост и виртуалки или испльзовать тот же самый SNMP. Меня пока полностью устраивает The Dude. К Zabbix можно еще прикрутить Graphana для красивой визуализации графиков.
      С Prometeus’ом не работал, не подскажу.

      Можно ли продолжить статьи про функционал The Dude и его практическое применение в собственной сети?

      Продолжить конечно можно. Все зависит от объема и уникальности материала т.к. я стараюсь давать что-то интересное и полезное не лежащее на поверхности.
      Как наберу достаточно материала, буду оформлять и публиковать, а пока я собираю информацию в черновики.
6. 

   Павел 06.01.2020 в 07:47

   Григорий, очень ценное и как всегда подробное дополнение, написанное ясно и понятно, к тому же ещё и с такими картинками! Теперь у меня всё начинает складываться в одну общую картинку, спасибо ещё раз за твои труды и прояснение всех непонятных моментов. Не скрою у меня давно уже назрела насущная необходимость иметь работающий в локальной сети WEB-сервер и вовсе не для сайтов (хотя в дальнейшем и для них тоже) а для того чтобы сделать с него загрузку на компьютеры по сети загрузочных образов — это было бы намного быстрее чем используя устаревший протокол TFTP. Но это будет целая большая тема, которой я скоро займусь т.к. теперь мне уже в теории ясно как это может быть организовано практически, а пока я опять как внимательный читатель увидел, что на картинке «Список всех поддоменов основного домена» показан имеющийся сертификат SSL на основной домен gregory-gost.ru а на все поддомены таких сертификатов нет, но как они получены как раз и рассказывается в этой статье! Пусть конечно же не на каждый из этих сервисов а на все сразу но почему его не видно в этих списках?

   Ответить
   1. 

      GregoryGost автор 06.01.2020 в 14:18

      Все потому, что у хостеров, сертификаты Let’s Encrypt идут на конкретный домен.
      И для всех поддоменов необходимо также регистрировать отдельные сертификаты, что не удобно т.к. я не знаю сколько поддоменов у меня может быть в будущем.

      Также эти поддомены, в основном, используются в локальной сети и обслуживаются в ней же, к тому же она закрыта Firewall-ом роутера.
      Соответственно и сертификаты необходимо получать не на хостинге, а в локальной сети. И Nginx для этого подходит очень хорошо, как и wildcard сертификат от Let’s Encrypt.
7. 

   Павел 02.01.2020 в 21:49

   Григорий, на связи вновь тот самый внимательный читатель чьё любопытство послужило причиной написания этой статьи. Не скрою, было очень приятно получить так быстро и так развёрнуто ответ на свой вопрос, спасибо за это! Конечно же я повторю у себя всё что узнал из этой статьи но пока мне, к сожалению, мешает отсутствие некоторых базовых знаний, к примеру я так и не понял как так получается что в файлах конфигурации db.gregory-gost.ru и db.gregory-gost.ru.inverse указывается адрес 192.168.88.14 но происходит переход по адресам сервисов, а именно openhab.home.gregory-gost.ru, plex.home.gregory-gost.ru, openhab.home.gregory-gost.ru, torrent.home.gregory-gost.ru. Думаю я не один такой, в связи с этим предлагаю написать также обстоятельно и подробно статью (или цикл статей) про устройство и работу с внешними DNS, работу со своими доменами, — словом всё то что осталось в этой статье за кадром, это будет интересно всем читателям, заранее спасибо и благодарю за труд!

   Ответить
   1. 

      GregoryGost автор 05.01.2020 в 23:14

      Павел, приветствую.
      Добавил в статью блок «Как это работает?»
      Надеюсь не сильно замудрено. 🙂