Сайт на Тильде или на коде: когда переезжать

# На стенде nginx 1.27.5 arm64 при ячейке 64 байта ключ из 46 ASCII-символов
# проходил, из 47 уже нет; адреса товаров на стенде до 80, поэтому 128
map_hash_bucket_size 128;

map $uri $redirect_to {
    default "";
    include /etc/nginx/redirects.map;
}

server {
    listen 80;
    server_name _;
    absolute_redirect off;  # Location: /katalog, без схемы, хоста и порта
    root /usr/share/nginx/new-site;

    if ($redirect_to) {
        return 301 $redirect_to;
    }

    location = / { try_files /index.html =404; }
    location / { try_files $uri $uri.html =404; }
}

# Старый адрес на Тильде                     Новый адрес
/catalog                                   /katalog;
/about                                     /o-nas;
/dostavka                                  /dostavka-i-oplata;
/oplata                                    /dostavka-i-oplata;
/page37218846.html                         /akcii/osen;
/tproduct/918293746512-chaynik-steklyannyy-s-dvoynymi-stenkami-600-ml   /katalog/chaynik-steklyannyy-600;
/tproduct/402918375561-nabor-kruzhek-iz-borosilikatnogo-stekla-4-sht   /katalog/nabor-kruzhek-4;
/catalog/tproduct/771203948120-termokruzhka-s-kryshkoy-i-silikonovym-dnom-350-ml   /katalog/termokruzhka-350;
/tproduct/118372650493-podstavka-pod-goryachee-iz-probki   /katalog/podstavka-probka;
/blog/tpost/r7xk2m9vb1-kak-vybrat-chaynik-dlya-ofisa   /blog/kak-vybrat-chaynik;
/blog/tpost/b3hn8c1za1-chem-otmyt-nakip-bez-himii      /blog/kak-otmyt-nakip;

#!/usr/bin/env python3
"""Сверка адресов старого сайта с новым после переезда.

Запуск:  python3 check-urls.py https://новый-адрес.by sitemap.xml [sitemap-store.xml ...]
Карты сайта сохраните со старого сайта ДО переключения домена.
Для каждого старого адреса скрипт спрашивает новый сервер и печатает,
что получит поисковик: страницу (200), постоянную переадресацию (301) и куда,
или потерю (404). Проверяет ответы сервера и запрет индексации,
но не содержимое страниц: его сверяют глазами. Ничего не меняет, только читает.
"""
import re, sys, time, urllib.request, urllib.error, urllib.parse
import xml.etree.ElementTree as ET
from html.parser import HTMLParser

NS = '{http://www.sitemaps.org/schemas/sitemap/0.9}'


def blocks_indexing(value):
    return bool({'noindex', 'none'} & set(re.split(r'[\s,:]+', value.lower())))


class RobotsParser(HTMLParser):
    noindex = False

    def handle_starttag(self, tag, attrs):
        attrs = dict(attrs)
        if tag == 'meta' and (attrs.get('name') or '').strip().lower() == 'robots':
            self.noindex |= blocks_indexing(attrs.get('content') or '')


def response_noindex(body, headers):
    """Запрет индексации в заголовке X-Robots-Tag или в meta robots страницы."""
    parser = RobotsParser()
    parser.feed(body.decode('utf-8', errors='replace'))
    return parser.noindex or any(blocks_indexing(v) for v in headers.get_all('X-Robots-Tag', []))


class NoRedirect(urllib.request.HTTPRedirectHandler):
    def redirect_request(self, *args, **kwargs):
        return None  # переадресацию не выполняем, а показываем


opener = urllib.request.build_opener(NoRedirect)


def fetch(url):
    """Код ответа, адрес переадресации, признак запрета индексации."""
    req = urllib.request.Request(url, headers={'User-Agent': 'url-check/1.2'})
    try:
        with opener.open(req, timeout=15) as r:
            body = r.read()
            return r.status, None, response_noindex(body, r.headers)
    except urllib.error.HTTPError as e:
        return e.code, e.headers.get('Location'), False
    except Exception as e:
        return 0, str(e), False


def paths_from(files):
    paths = []
    for f in files:
        root = ET.parse(f).getroot()
        if root.tag != NS + 'urlset':
            sys.exit(f'{f}: нужен файл карты со списком страниц (urlset), а не индекс карт')
        for loc in root.iter(NS + 'loc'):
            u = urllib.parse.urlsplit(loc.text.strip())
            paths.append(u.path + ('?' + u.query if u.query else ''))
    return list(dict.fromkeys(paths))


def main():
    if len(sys.argv) < 3:
        sys.exit(__doc__)
    base = sys.argv[1].rstrip('/')
    paths = paths_from(sys.argv[2:])
    if not paths:
        sys.exit('Проверка не выполнена: в картах нет адресов')
    problems = 0
    for path in paths:
        code, location, noindex = fetch(base + path)
        if code == 200:
            verdict = 'HTTP 200, содержимое не проверено'
            if noindex:
                verdict = 'ЗАКРЫТ ОТ ПОИСКА: страница запрещает индексацию'
                problems += 1
        elif code in (301, 308) and location:
            target = urllib.parse.urljoin(base + path, location)
            target_path = urllib.parse.urlsplit(target).path
            code2, location2, noindex2 = fetch(target)
            if code2 in (301, 302, 307, 308):
                verdict = f'ЦЕПОЧКА: {location} снова уводит на {location2}'
                problems += 1
            elif code2 != 200:
                verdict = f'ТУПИК: переадресация на {location}, а там {code2 or location2}'
                problems += 1
            elif target_path == '/' and path != '/':
                verdict = 'НА ГЛАВНУЮ: поисковик может счесть страницу удалённой'
                problems += 1
            elif noindex2:
                verdict = f'ЗАКРЫТ ОТ ПОИСКА: {target_path} запрещает индексацию'
                problems += 1
            else:
                verdict = f'{code} -> {target_path}, HTTP 200'
        elif code in (302, 307):
            verdict = f'ВРЕМЕННАЯ переадресация {code} на {location}, нужна 301'
            problems += 1
        else:
            verdict = f'ПОТЕРЯН: ответ {code}'
            problems += 1
        print(f'{code:>3}  {path}\n     {verdict}')
        time.sleep(0.3)  # не торопимся: серия частых запросов похожа на атаку
    print(f'\nПроверено адресов: {len(paths)}. Проблемных: {problems}')
    sys.exit(1 if problems else 0)


if __name__ == '__main__':
    main()