Копытов Иван: заметки с тегом сервер

Замена больших вложений в email на ссылку

Mon, 31 Mar 2025 13:45:17 +0700

Устанавливаем MIMEDefang:

apt update
apt install mimedefang -y

Правим файл /etc/default/mimedefang:

SOCKET=/var/spool/postfix/mimedefang/mimedefang.sock
MD_ALLOW_GROUP_ACCESS=yes

Добавляем пользователя postfix в группу defang:

usermod -aG defang postfix

Так как postfix работает в chroot-окружении, создаем папку для сокета mimedefang:

mkdir /var/spool/postfix/mimedefang

Правим /etc/postfix/main.cf:

milter_default_action = accept
milter_protocol = 6
smtpd_milters = unix:mimedefang/mimedefang.sock
non_smtpd_milters = unix:mimedefang/mimedefang.sock

Теперь нужно добавить следующее в конец функции filter в файле /etc/mail/mimedefang-filter:

# Если файл больше указанного размера, он удаляется из письма,
    # его копия остается на диске, а вместо него предоставляется ссылка, по которой его можно скачать.

    # Максимальный размер вложения (например, 10MB)
    my $MAX_ATTACHMENT_SIZE = 10 * 1024 * 1024;
    # Директория для сохранения вложений
    my $ATTACHMENTS_DIR = "/var/mail/attachments";
    # URL, по которому будут доступны вложения
    my $ATTACHMENTS_URL = "https://mail.kini24.ru/attachments";

    # Создаем директорию, если её нет
    mkdir $ATTACHMENTS_DIR unless -d $ATTACHMENTS_DIR;

    $size = (stat($entity->bodyhandle->path))[7];
    if ($size > $MAX_ATTACHMENT_SIZE) {
        md_graphdefang_log("The attached file $fname is too big, replaced with a link");
        return action_replace_with_url($entity,
            "$ATTACHMENTS_DIR",
            "$ATTACHMENTS_URL",
            "Размер вложения превысил ограничения сервера, поэтому оно было удалено.\n" .
            "Вы можете скачать его по следующей ссылке:\n\n" .
            "_URL_");
    }

В результате аыполнения функции action_replace_with_url в конец письма будет вставлен текст и ссылка для скачивания вложения, а сам файл бует сохранен в папку /var/mail/attachments. Надо, кстати, покопаться и найти как вставлять ссылку в текст самого письма. Но пока что оставим как есть.

У меня почтовый и веб-сервер находятся на разных виртуальных машинах, поэтому папку /var/mail/attachments надо сделать общей. На почтовом сервере устанавливаем пакет сервера NFS:

apt install nfs-kernel-server -y

Открываем файл /etc/exports и вписываем в конец файла что-то вроде такого:

/var/mail/attachments 192.168.1.0/24(rw,sync,no_subtree_check)

И выполняем в консоли команду:

exportfs -a

Теперь переходим на веб-сервер и выполняем следующие команды:

apt update
apt install nfs-common -y

Открываем файл /etc/fstab и дописываем в конец:

192.168.1.12:/var/mail/attachments /var/www/mail/attachments nfs4 defaults 0 0

где 192.168.1.12 — IP-адрес почтового сервера.
Дальше выполняем команды:

mkdir -p /var/www/mail/attachments
chown -R www-data:www-data /var/www/mail/attachments
mount -a

И проверяем что папка смонтировалась:

ls -l /var/www/mail/attachments

После этого все вложения, которые были удалены из писем, должны стать доступны для скачивания.

Свой сервер OTP

Sun, 11 Feb 2024 00:58:59 +0700

Достаточно давно появилось желание завести свой сервер одноразовых паролей. Искал, не особо торопливо, как обычно. Отчасти потому, что еще немногие серверы поддерживали такой механизм аутентификации. Да и данных, которые нужно защищать было немного. Позже появились сервисы типа госуслуг, в почте стало храниться больше «чувствительных» данных, стало необходимо ограничить доступ к некоторым функциям своего сервера... В общем, причин накопилось достаточно. Про сервер OTP (One Time Password) стал вспоминать всё чаще и вот на днях мне попалась один простой, но в тоже время достаточно функциональный сервер 2FAuth.
Как пишет автор, он создал его потому, что:

Я хотел, чтобы мои учетные записи 2FA хранились в отдельной базе данных и я мог легко создавать и восстанавливать ее резервные копии.
Я ненавижу доставать свой смартфон, чтобы получить OTP, когда пользуюсь настольным компьютером.
Я люблю программировать и люблю самостоятельные решения.

Какие есть «плюсы» данного решения:

возможность регистрации новых пользователей. Кто-то отнесет ее к «минусам», я не вижу ничего плохого. Можно отключить в настройках.
Восстановление пароля от своей учетной записи, используемой для входа. Не проверял.
Возможность импорта и экспорта данных.
Возможность загрузки QR-кода из файла.
Возможность ручного ввода данных (сервис, учетная запись, секретный шифр).
Поддержка TOTP, HOTP, Steam, WebAuthn.
Загрузка логотипов. Мелочь, а приятно.
Поддержка SQLite, MariaDB, MySQL, PostgreSQL и SQL Server (внезапно).
Присутствует REST API (снова сюрприз).
Есть темная тема.

Пройдемся по «минусам»:

Отсутствует приложение для мобильных телефонов, только веб-страница.
Нет поддержки кодов, генерируемых Яндексом. То есть у вас не получится запихать в сервис OTP от Яндекса. Ну тут «на любителя».
На мой непрофессиональный взгляд слишком много файлов находится в папке.

Теперь немного скриншотов:

Уход с Domoticz на Home Assistant

Sat, 13 Jan 2024 16:36:35 +0700

Попробую сравнить эти две системы «умного дома».
На Domoticz я «просидел» несколько лет. Эта система была хороша тем, что имела низкий порог вхождения, не требовала особых ресурсов и имела достаточно много возможностей. Что я понял спустя некоторое время:

Интерфейс достаточно жестко закреплен. Вы не можете создавать свои вкладки (разделы), только заданные разработчиками.
Нельзя сгруппировать датчики одного устройства в группу. Один датчик — одна карточка. Которые могут быть разнесены по разным разделам. Например, данные из домашней метеостанции будут присутствовать в трех разделах, между которыми нужно переключаться, чтобы получить всю информацию от нее.
Есть темы оформления, но их мало и не все работают корректно. Некоторые предъявляют требования к именам устройств, чтобы была возможность объединить их в одну карточку.
Чтобы получить данные с сайта, из операционной системы или что-то еще, выходящее за рамки протокола MQTT — придется использовать python или lua. Тут, кстати, небольшой «плюс» — скрипты хранятся в базе данных. После запуска Domoticz они выгружаются во внешние файлы. Зачем? Ладно, пусть.
База данных имеет формат SQLite. Тут свои «плюсы» и «минусы».
Группа Domoticz в Telegram, в которой я состоял, «топит» за использование «домика» в связке c Node-Red. Я не любитель установки множества программ на сервер, поэтому от последнего отказался. Что, с одной стороны, сильно меня ограничило в изменении интерфейса системы, с другой... Да ну его нафиг! Там свои ограничения.
Несмотря за заявленную несколько лет назад возможность синхронизации данных между несколькими серверами Domoticz, она так и не была реализована. Судя по некоторым данным, разработчики просто «забили» на неё.
Мне так и не удалось подключить часть устройств, типа пылесоса Xiaomi, телевизора Samsung, чайника Redmond. И, уверен, в ближайшее время, этого не будет в «домике».
Система может просто не запуститься после обновления ОС или если вы допустили ошибку с своем скрипте. Может не понравиться версия glibc, python или его библиотеки. Проверка целостности отсутствует напрочь.
«Умные» колонки вы не подключите.

Скорее всего, было что-то еще, что меня не устраивало в этой системе, но я перечислил основное. К тому же на меня порой «находит» и я начинаю экспериментировать. Поэтому качаем образ Home Assistant для KVM и начинаем пробовать что он может.

У меня много «простых» устройств, работающих по протоколу MQTT. Их пришлось прописать ручками. Копипаста с небольшими правками сильно помогла. Это был начальный этап, я еще ничего не знал. НА может обнаруживать такие устройства сама.
Пылесос, телевизор, чайник «влетели» как родные, после установки нужных дополнений.
Базу данных в формате MySQL пришлось подключать ручками. Основной формат опять же был SQLite, но для большой истории показаний он не годится. Перенес данные из Domoticz в Home Assistant (есть скрипт в интернете).
Сделал нужные мне разделы (вкладки) в интерфейсе, занес в них нужные устройства с нужными параметрами. Разница с Domoticz просто огромная.
Оповещения в Jabber, Telegram, на почту подключаются достаточно просто.
Нашел несколько групп в Telegram по этой системе. Общение между участниками идет постоянно, поэтому пришлось отключить уведомления.
Парсинг данных с сайтов вообще порадовал — достаточно указать URL, с которого будешь забирать данные и тэг, который нужно искать. Ну и номер тэга иногда.
Есть проверка ошибок конфигурации перед перезапуском. Если найдет — выдаст предупреждение. Это вообще кайф :-)
По ресурсам, конечно, более требовательна, но оно того стоит.
Хотите подключить колонку яндекса или марусю — не вопрос!

Наверное, на этом закончу. Продолжу тему в другой заметке — там уже много чего описать.

Сервисы для тестирования веб, почты и других серверов (обновляемая запись)

Fri, 20 Jan 2023 13:35:10 +0700

Соберу, пожалуй, в одном месте список серверов для тестирования различных сервисов. Одни сервисы уходят, другие приходят, поэтому постараюсь сделать этот список обновляемым. Да и просто порой открываешь для себя новые сервисы и хочется их сохранить для использования в дальнейшем.

Почта
CheckTLS. Очень любопытный сервис проверки почты. Наблюдаем за прогрессом в реальном времени.

DKIM Core Tools. Генерация и проверка настроек DKIM.

DMARC Inspector. Проверка корректности записи DMARC.

ESMTP email. Проверка настройки MTA-STS. Это функция, призывающая удаленные серверы обмениваться почтовыми сообщениями, используя защищенное соединение.

Mail tester. Всё время «теряю» этот сервис. Отправляете письмо на указанный адрес и через некоторое время можете посмотреть отчет о прохождении письма.

MX Toolbox. Сервис проверки почтового сервера и, немножко, веб-сервера. Множество самых различных тестов. Имхо, один из самых лучших сервисов.

SSL Tools. Старый и уже позабытый мной сервис проверки SSL почтового сервера. Также есть проверка web-сервера и некоторых уязвимостей.

UptimeBot. Можно по быстрому посмотреть на каких портах поддерживается TLS/STARTTLS. А также проверить DKIM, DMARC, SPF, Whois.

Сканеры открытых портов
Сканер IPv6. Сканирует на выбор либо только указанный порт, либо все часто используемые. В первом случае можно указать использовать TCP или UDP протокол.

Jabber
Тест jabber-сервера. Проверка jabber-сервера на наличие часто используемых функций.

IPv6
Тест IPv6. Тест доступности сервера по IPv6. Краткий, но доступный для понимания проблем отчет.

IPv6 тест. Назвал так, потому что название схоже с предыдущим сервером, только поменяны местами два слова. Функционал такой же, как и у сервера выше. Также позволяет проверить скорость соединения, пропинговать сервер и показывает статистику распространения протокола по странам. Позабавило, что Россию исключили из списка, раньше она там точно была.

Черепашка. Если вы видите танцующую черепашку, то доступ к страницам, работающим по IPv6, у вас есть.

Скорость соединения
Speedtest. Всем известный ресурс проверки скорости соединения. Настолько известный, что почти все провайдеры так или иначе мухлюют при обращении клиента к этому сайту, чтобы он показал скорость выше той, что есть на самом деле.

Тест от Cloudflare. Не менее известный сервис проверки скорости соединения.

Общее
DNS Checker. Несмотря на название, это комплекс утилит для проверки почты, домена и т. д. В чем-то схож с MX Toolbox.

HSTS Preload. Сервис проверки на включение вашего сервера в список HSTS Preload. Это список серверов, при обращении к которым будет сразу использоваться HTTPS-соединение, минуя HTTP. На мой взгляд, сейчас не сильно актуально, потому все поголовно переходят на HTTPS. Там же находятся рекомендации по настройке сервера для последующего включения его в список. Если проверка прошла успешно, фон страницы станет зеленым. Эта настройка отображается в отчете SSL Labs.

Hardenize. Проверяет веб- и почтовый серверы. Выдает информацию по зоне, DNS-записям и настройкам. Среди проверяемых функций такие как: DNSSEC, CAA, MTA-STS, TLSRPT, SPF, DMARC, DANE, заголовки ответов и прочее. Выдает достаточно информативный отчет.

Immuniweb. Есть два неплохих теста: SSL и безопасности сайта. В первом проверяет настройки сервера на соответствие стандартам PCI DSS, HIPAA and NIST и Industry Best Practices. Второй проверяет GDPR Compliance, PCI DSS и заголовки ответов (куда же без них?).

internet.nl. Позволяет проверить настройки веб- и почтового серверов. Тестирует DNSSEC, IPv6, DANE, заголовки ответов и RPKI. Для меня лично новинкой стала проверка файла security.txt.

NetTools. Сборник самых различных тестов: почта, веб-сервер, сканер открытых портов, скорости соединения, NTP-сервера, DNS, FTP..

Security Headers. Проверяет заголовки ответов веб-сервера. Пройдя по ссылкам, можно попасть на блог Scott Helme и узнать как настроить тот или иной заголовок. Вообще в блоге много полезной информации. Единственный «минус» — всё на английском.

SSL Labs. Один из самых популярных сервисов тестирования веб-серверов. Проверяет сертификаты, используемые шифры, протоколы (HTTP, HTTP/2), совместимость с популярными браузерами, наличие уязвимостей и некоторых настроек (HSTS, OCSP, HPKP и другие). К сожалению, почту проверять не умеет.

Verisign анализатор. Быстрая проверка DNSSEC. Не могли что ли сделать шрифт покрупнее в отчете?

ZoneMaster. Проводит полную проверку вашего доменного имени.

Проверка STUN и TURN. Собственно весь функционал описан в названии. В случае корректной настройки STUN должен вернуть «srflx» в списке. В случае с TURN — «relay».

Тест DoH. Проверка работоспособности DNS-over-HTTPS от Cloudflare. Показывает «Yes» только в случае, если вы настроили DoH на их серверы. В противном случае стоит ориентироваться на ASN.

Тест утечки DNS. Отображает серверы, которым вы «доверяете» хранить и, возможно, использовать информацию о том, к каким серверам или сайтам вы подключаетесь.

Генераторы настроек
Генератор настроек SSL. Генератор настроек SSL от Mozilla для различных программ.

Генератор файла security.txt Удобная форма генератора security.txt.

Реклама
CheckAdBlock. Один из первых сайтов, который мне попался много лет назад, когда возникла мысль протестировать работу блокировщиков рекламы в браузере.

Удаленный доступ через Rustdesk

Sat, 24 Dec 2022 14:35:09 +0700

Так уж получилось, что эту программу я открыл для себя недавно и то случайно. Rustdesk предоставляет возможность удаленного доступа к любому компьютеру на базе Linux, Windows, MacOS, а также смартфонах под управлением Android или iOS. В общем, программа всеядная, так сказать. Управлять компьютером или смартфоном можно в обоих направлениях — со смартфона компьютером или с компьютера смартфоном. Программа имеет децентрализованный сервер, т. е. вы можете установить его на свой сервер или даже NAS и подключаться через него. Это, на мой взгляд, большой плюс. Да и я, грешен, предпочитаю self-hosted решения.
Какие «плюсы» есть еще? Программа имеет открытый код и абсолютно бесплатна. Подключение осуществляется по так называемым ID (аналогично таким программам как TeamViewer, Anydesk и т. п.), то есть может работать за NAT. Меня лично особо порадовала возможность обмениваться файлами между Linux и Windows системами — этого мне сильно не хватало. Следующим «плюсом», на мой взгляд, является достаточно быстрая работа на медленных линиях. Перепробовав несколько программ удаленного доступа, выделил для себя лидеров по скорости: TightVNC и Anydesk.
До этого момента я предпочитал использовать VNC. Но тут была пара «минусов»: приходилось пробрасывать порты на шлюзах, что, при большом количестве компьютеров, превращало таблицы iptables в большую портянку. Вторым «минусом» была невозможность использования цифровой клавиатуры в ряде случаев. Точно так же себя вел и буфер обмена. Ну и третьим, как можно догадаться, была невозможность копирования файлов между Linux и Windows.
Интерфейс программы, можно сказать, аскетичен, настроек ОЧЕНЬ немного. Для кого-то это «минус», лично я считаю, что больше и не нужно.

Из интересного присутствуют возможность TCP-туннелирования, избранное, адресная книга (возможность пока не реализована) и, видимо, что-то вроде личного кабинета на сервере (тоже пока не реализовано). Также можно использовать сгенерированный программой пароль или указать свой. Присутствует возможность в качестве идентификатора указать свое имя — так подключившийся человек будет отображаться у клиента. Еще одним любопытным свойством является возможность предоставить клиенту исполняемый файл с предустановленными настройками на свой сервер. Для этого нужно всего лишь изменить имя файла, например на такое:

rustdesk-host=<host-ip-or-name>,key=<строка-открытого-ключа>

где host-ip-or-name — DNS или IP-адрес вашего сервера, а строка-открытого-ключа — публичный ключ, который выдает вам сервер после своего запуска и который хранится в файле id_******.pub.
Подводя итог краткого обзора, могу сказать, что программа имеет все шансы заместить TeamViewer, Anydesk и другие подобные программы. Я бы порекомендовал ее к использованию.

Немного статистики

Fri, 24 May 2019 14:23:05 +0700

Я был «спамером» целых три дня 😱

Открытый почтовый релей

Sun, 12 May 2019 23:31:24 +0700

Внезапно обнаружил, что мой почтовый сервер стал полностью открытым. Если честно, то даже не помню когда вносил какие-то сколь значимые изменения в конфигурацию postfix. С какого перепуга произошло это событие — для меня пока что загадка. Единственное, что косвенно указывало на это — возросшая нагрузка на сервер. Но я «грешил» на другое. Команда mailq сегодня выдала очередь из более чем 100 тысяч сообщений на отправку. Пришлось убивать всю очередь, не искать же нормальные письма в такой куче. Изменил несколько параметров почтовика, вроде бы все более-менее пришло в норму, даже сервер стал отвечать побыстрей. Но тесты все равно выдают, что у меня открытый релей, поэтому завтра, если будет свободное время, придется сбрасывать конфигурацию postfix и dovecot на «заводскую» и настраивать всё заново. Благо, что есть рабочий корпоративный сервер и часть настроек можно перенести оттуда. Впрочем, настройка с нуля поможет освежить мою память в этом плане и, возможно, пересмотреть некоторые настройки безопасности.

Дело движется

Thu, 16 Aug 2018 14:45:57 +0700

В продолжение предыдущей заметки

«Облако» было починено очень просто — изменением прав доступа к каталогу с файлами. Следом возникла другая ошибка — невозможность загрузить любой файл в него. Логи показали, что в этом повинен модуль защиты, который не пропускал файлы размером более 128 Кб. Исправил.
Зеркало баз NOD32, к сожалению, пока что починить не получилось. Но, похоже, что я наткнулся на возможную причину некорректной проверки ключей. Надо списаться с автором скрипта.
Еще один момент, который я поначалу упустил из вида: сервер с контактами и задачами. С ним пришлось повозиться. В итоге все дело оказалось в том, что php-fpm не передает заголовки авторизации и, соответственно, не отправляет данные (логин пользователя и пароль). Этот момент оказался описан в документации к baikal, поэтому на исправление ошибки ушло немного времени. Возможно, что примерно такая же ситуация обстоит и с проверкой ключей NOD32 на их серверах.
Должен отметить, что связка apache-mpm-worker + FastCGI меня очень радует скоростью работы. Если раньше при работе с клиентом Nextcloud на телефоне приходилось ждать пока обновится/загрузится содержимое каталога, то теперь это происходит едва не мгновенно. Видимо, сказывается «тлетворное» влияние HTTP/2 :-)

Обновление сервера

Sat, 11 Aug 2018 14:38:11 +0700

Итак, попало ко мне в руки хорошее «железо», что стало неплохим поводом обновить свой сервер. Так как конфигурация слишком сильно отличалась от прежней, то систему тоже пришлось ставить заново. Поначалу не могу понять почему установка проходит нормально, а сама система после этого не грузится. Потом припомнил, что Linux с картами Intel HD Graphics так и не научился нормально работать. Что поделать, пришлось отключать в BIOS встроенную видеокарту и ставить внешнюю. Плохо то, что эта внешняя видеокарта предназначалась для установки в компьютер жены. Старое «железо» из сервера тоже должно было пойти на апгрейд ее компьютера.
Увы, но на работе тоже было много работы, поэтому апгрейд двух систем несколько затянулся. Затем пришлось устранять ошибки в работе веб-сервера, ибо я заодно захотел поменять некоторые настройки. Сейчас его работоспособность почти полностью восстановлена за исключением двух субдоменов: «зеркала» обновлений NOD32 и облака. Последнее из них меня волнует меньше всего, доступ к нужным файлам я могу получить и другими способами. А вот «зеркало»... На него слишком много завязано. Работа над ним пока что ведется. Написал разработчику, описал проблему, пока что жду от него ответа.
Также выяснилось, что dovecot не совсем корректно работает с wildcard-сертификатами. Если быть точней, то мне удалось настроить почти все нужные почтовые клиенты (веб-интерфейс, Outlook на телефоне), кроме Thunderbird, установленного на домашнем компьютере. При попытке просмотреть почту с его помощью dovecot ругается на сертификат. Проблема, как оказалось, не новая, но рабочего решения её пока не нашел.
Установил пока что другую видеокарту в компьютер жены, но она оказалась с «битой» памятью, что приводило к периодическим перезагрузкам. Интересно, сможет сервер работать без видеокарты вообще? Пока что пара моих попыток заставить его работать в таком режиме не увенчались успехом — все время «ругался» спикером. Подозреваю, что придется покупать новую, хоть какую-нибудь. Главное, чтобы присутствовала в системе.

Выполнение внешних скриптов в Sieve

Tue, 05 Jun 2018 14:59:52 +0700

Понадобилось недавно каким-то образом запускать внешний скрипт по приходу определенного письма. Начал поиски как это сделать. В Postfix это можно сделать, используя файл aliases, но мне этот способ не подходил, потому что он подразумевает приход письма на определенный почтовый адрес. С Dovecot сильно не разбирался, но вот информацию по Sieve нашел. Немного времени спустя у меня был наполовину рабочий вариант. Наполовину потому, что выполняемая во внешнем скрипте команда напрочь отказалась принимать отправляемые ей данные. Пришлось немного подправить скрипт в самом Sieve, чтобы получить желаемый результат.
Все оказалось очень просто. Для начала нужно включить доступ к плагину vnd.dovecot.execute. Для этого открываем файл с настройками Sieve /etc/dovecot/conf.d/90-sieve.conf и вносим следующие изменения:

plugin {
  sieve_extensions = +vnd.dovecot.execute
  sieve_plugins = sieve_extprograms
  sieve_execute_bin_dir = /etc/dovecot/sieve/execute
}

Все остальные параметры нам не нужны.
В первой строчке включаем доступ к плагину для пользователей. Можно использовать параметр sieve_global_extensions, в таком случае плагин будет работать глобально. Но глобальный скрипт работает ТОЛЬКО если у пользователя нет своего файла скрипта Sieve. Пользователей на моем сервере очень мало, поэтому такой вариант мне не подходит.
Во второй строке мы разрешаем использование плагинов как таковых.
И, наконец, в третьей строке указывает папку, в которой будут находиться эти самые внешние скрипты. Доступ к этой папке для Dovecot, конечно, нужно обеспечить. Подозреваю, что папку можно и не указывать, а в скрипте Sieve просто указать полный путь к запускаемой программе, но проверять лень.
Теперь остается только написать правило обработки входящих писем. Что-то вроде такого:

# rule:[Test rule]
if allof (header :contains "from" "test@example.com", header :contains "subject" "Prikaz 66")
{
        execute "test.sh";
fileinto "Trash";
stop;
}

Получив письмо от отправителя test@example.com с темой «Prikaz 66» Sieve запустит на выполнение скрипт /etc/dovecot/sieve/execute/test.sh, затем удалит письмо в корзину и завершит обработку писем.
Знаю, что информации по этой теме в интернете достаточно. Но большая часть из нее, как водится, на английском и содержит много воды. Хотелось сделать небольшую выдержку на более привычном русском языке.

Wildcard сертификаты от Let’s Encrypt

Wed, 16 May 2018 09:58:04 +0700

За всеми событиями в жизни как-то пропустил момент, когда Let’s Encrypt стали выдавать бесплатные «wildcard» сертификаты. Иными словами, вы можете получить один сертификат на свой основной домен и все его субдомены разом. Больше не нужно беспокоиться о том, что каждый раз при создании субдомена придется создавать и новый сертификат. Нужно будет просто в конфигурационном файле указать текущий.
В отличие от «стандартного» для генерирования сертификата «wildcard» нужно вручную прописать сервер для запросов. Команда будет выглядеть примерно так:

# certbot certonly --server https://acme-v02.api.letsencrypt.org/directory -d kini24.ru -d *.kini24.ru --agree-tos -m admin@kini24.ru --manual --preferred-challenges dns --must-staple --hsts --uir --staple-ocsp

Пройдемся по параметрам, чтобы было понятней:
—server — указывает на сервер, который мы хотим использовать для создания сертификата;
-d — указываем для каких доменов мы будем создавать сертификат. Советую вам первым указывать основной домен, а не его субдомены. Сэкономите немного времени;
—agree-tos — принимаем условия лицензионного соглашения;
-m — указываем свой адрес электронной почты. Он будет использоваться как логин;
—manual — используем «ручной» режим работы. Думаю, что можно было и не указывать, но я хотел проконтролировать процесс;
—preferred-challenges — указываем предпочтительный способ проверки, что именно вы имеете доступ к администрированию домена (являетесь его владельцем);
Остальные параметры не обязательны, можно их не указывать.
После ввода команды вас спросят не хотите ли вы получать новости от Electronic Frontier Foundation (EFF), основателя сервиса Let’s Encrypt. Ради интереса согласился, отписаться можно в любой момент. Затем был вопрос о том хочу ли я использовать указанный email в качестве логина. Соглашаемся. А вот дальше был один нюанс, который я поначалу не понял, но, в итоге, разобрался. Следующим шагом вас просят внести TXT-запись в ресурсные записи домена. Вносим и ждем, процесс занимает некоторое время. Обычно хватает 15 минут. Нажимаем Enter, чтобы скрипт проверил наличие записи. И вот тут он выдает точно такой же запрос на внесение записи TXT, но с другим значением. Это значение нужно также внести в ресурсные записи. Если быть точней, то первую запись нужно заменить на вторую. Этакая двойная проверка. Снова минуты ожидания и жмем Enter. Если проверка прошла, то сертификат будет создан.
Так как у меня также используется технология HPKP, то нужно еще и генерировать новые ключи для сертификата:

# openssl rsa -in /etc/letsencrypt/live/kini24.ru/privkey.pem -outform der -pubout | openssl dgst -sha256 -binary | openssl enc -base64

Вносим изменения в конфигурационный файл веб-сервера и перезапускаем его:

# systemctl restart httpd2

Привет из прошлого

Sun, 08 Apr 2018 10:46:37 +0700

Работал я несколько лет назад в одной компании, которая занималась сборкой и продажей компьютеров и разной околокомпьютерной техникой. В одни прекрасный момент решили собрать сервер для 1С. Люди собрались знающие, скидали комп в один момент. Поставили все, что нужно, протестировали и запустили в работу. А какое первое правило хорошего системного администратора? Бэкап, бэкап и еще 100 раз бэкап. Вот и занялся я написанием скрипта, который все это проделывал.
Скрипт был простой, в формате bat-файла:

Рассылал всем предупреждение, что базы 1С скоро будут недоступны и ждал две минуты, пока все не закроют подключение. Кто не успел, я не виноват.
Отключал все сетевые карты, чтобы не было соблазна.
Создавал архивы баз 1С.
Заново включал сетевые подключения.
Перезагружал компьютер.

На все-провсе уходило от 15 до 30 минут, точней было лень считать. Через некоторое время я получил более выгодное предложение о работе и ушел из фирмы.
Около недели назад я получил оттуда звонок с просьбой немного переделать скрипт так, чтобы он копировал все архивы на новенький NAS. Времени свободного почти не было, поэтому отложили на несколько дней. Во второй половине недели подключаюсь к серверу и смотрю что там и как.
Архивация перестала работать из-за того, что скрипт не видел исполняемого файла архиватора. Но резервная копия продолжала создаваться копированием папок с базами до последнего дня. Посмотрел на все это и порадовался — скрипт получился действительно хороший, отработал без сбоев много лет. А я тогда был все-таки догадливым мальчиком и все выполняемые команды очень хорошо прокомментировал.
Немного покопался в системе с командами — в разных версиях серверных систем от мелкомягких некоторые команды могут не выполняться. А потом мне стало лень все это тестировать и я установил xStarter. Программа достаточно известная, алгоритмы работы гибкие, позволяют выполнять множество нужных команд. Давно уже не обновляется, автор, видимо, забросил проект. Есть косяки с некоторыми операциями, но их знание, позволяет их обойти.
В общем, воспользовался этой программой, написал последовательность действий и оставил тестироваться. В первый день или два она по неизвестной причине не запустила создание резервной копии. Затем не смогла подключиться к NAS. Вчера, зайдя на сервер, я обнаружил, что задания нет как такового. Вот это уже удивило, ибо на нескольких других серверах никогда ничего такого не случалось. Написал все заново, установил пароль на редактирование и оставил на ночь.
Утром первым делом пошел смотреть на результат. Бэкап был создан и успешно перенесен на NAS. Добавил в программу отправку мне извещения на электронную почту и отправил номер своей карты для зачисления оплаты за работу.

Отказ от Serviio

Mon, 05 Mar 2018 17:00:40 +0700

Что-то в последнее время стал больше вызывать негативных чувств, чем положительных. Больше всего негатива вызывает тот факт, что если наименование файлов серий в скачанном сериал не соответствует шаблону, то он воспримет все эти файлы как отдельные фильмы и поместит их в соответствующую категорию. То есть после скачивания торрента нужно еще привести имена файлов в соответствие шаблону. Я не пробовал, но у меня очень большое подозрение, что торрент будет закачан еще раз.
Теперь представьте себе, что вы скачали торрент с сериалом, где 10 сезонов и в каждом из них по 20 серий. Имена серий не подпадают под шаблон Serviio, поэтому он их все помещает в папку «Фильмы». Теперь чтобы найти нужный вам фильм, придется основательно поискать. Более того, «фишка» Serviio в том, что он ищет данные о файле в сети, опираясь на название. Если он некорректно определил, что это сериал, он отыщет соответствующие обложку и название для серий. И тот же «Доктор Хаус» будет отображаться как фильм-ужасы с названием «Дом».
Еще одной «фишкой» является возможность добавить онлайн-источники в список. Тут тоже не все хорошо. Без ручного обновления базы медиафайлов, новый источник в списке вы не увидите. Вроде бы не так уж и сложно это сделать, но мы помним, что каждое сканирование вызывает существенную нагрузку на процессор. И внесенные в базу онлайн-источники никоим образом не попадают в список trakt.tv. Иными словами, вы не сможете никак отследить на какой серии вы остановились.
Про проблемы с русской кодировкой я уже писал. Это можно было бы исправить, создав в планировщике задачу, которая будет сканировать, например, mp3-файлы, определять кодировку данных и, если она не совпадает с UTF-8, менять ее на нужную. Но вы себе представляете как это будет выглядеть?
В общем, сдается мне, что я все-таки откажусь от Serviio в пользу minidlna. У него, по крайней мере, я нашел пока что только один недостаток — слишком много папок. И тот частично можно исправить, указав в файле конфигурации нужные параметры.

Установка Serviio

Fri, 02 Feb 2018 22:14:48 +0700

На домашнем сервере установлен Alt Linux, у которого свое видение в отношении сторонних программ. Того serviio в репозитории нет, а попытка установить его с сайта провалилась. Скорее всего, тут сыграло роль недостаточное знание мной линукса. Поэтому, в итоге, был выбран путь попроще, который я с начала не заметил. Речь идет об установке serviio в виде docker.
Для начала скачиваем образ на компьютер:

# docker pull lsiocommunity/serviio

Затем, в соответствии с документацией, запускаем, немного изменив параметры запуска под себя:

docker run -d --restart=always --name=serviio -v /mnt/sda/serviio/config:/config -v /mnt/sda/serviio/media:/media -v /mnt/sda/serviio/transcode:/transcode --net=host lsiocommunity/serviio

По пути /mnt/sda у меня находится второй жесткий диск, на котором располагается всякое «барахло».
Поначалу ни одно из устройств в сети не смогло увидеть serviio. Немного поэкспериментировав, понял, что все дело в том, не был открыт один из портов на сервере. В итоге, пришлось открыть порты 8895, 23423, 23424, 23523, 23524 и 1900. Serviio не видели именно из-за порта 8895.
Ну а дальше все было просто: заходим по адресу http://192.168.1.254:23423/console (где 192.168.1.254 — адрес моего сервера) и настраиваем сервер под свои нужды уже в графическом интерфейсе. Тестировал его работу на трех устройствах: ТВ Samsung UE43M5500AU, телефоне на базе Android и компьютере с установленными Alt Linux и VLC. Все три успешно подключились и смогли проиграть фильм с разрешением FullHD. Тормоза оказались только на телефоне, но с него, как говорится, «взятки гладки».

Небольшой апгрейд

Wed, 31 Jan 2018 18:07:05 +0700

Очередная зарплата ведет к очередным обновлениям

На днях попробовал перенести Transmission и сервер DLNA с роутера на домашний сервер, чтобы немного разгрузить первый. Итогом неожиданно стала сильно возросшая нагрузка на сервер, причем в первых строчках «потребителей» стабильно висели motion и Transmission. Нагрузка была такой, что другие программы периодически не отвечали на запросы, что, в свою очередь, вызвало шквал предупреждений в мой почтовый ящик. Конечно, это меня не устроило, поэтому торрент-клиент был на время отключен. Вызвал небольшое недоумение тот момент, что на роутере Transmission работал, не вызывая такой большой нагрузки на и без того слабый процессор. Лучше был оптимизирован что ли под OpenWrt? Аналогично, судя по отзывам, motion при статичном кадре (то есть когда нет движения) «сжирает» 5-10% процессорного времени. У меня же он поглощал в среднем около 40% на сервере.
Тут должен сделать небольшое отступление. Парой месяцев ранее собирал компьютер для профилактория «Сибиряк», чтобы они могли просматривать камеры видеонаблюдения на ресепшене. Компьютер получился достаточно слабенький, но, если воткнуть в него видеокарту, вполне тянул 8 внутренних камер. Так как видеокарт на складе у меня тогда не было, пришлось воткнуть свою личную. Она у меня все равно просто так лежала. Поставил, настроил, все хорошо. Неделю назад попросили подключить второй монитор на этот компьютер и вывести на него камеры, снимающие вокруг здания. Не вопрос! Заказал второй монитор и видеокарту — свою же нужно «отбить» :-)
Возвращаемся на текущий день. После недолгих раздумий, был куплен новый процессор и кабель HDMI. Процессор был установлен в сервер, что дало достаточно большой прирост мощности, судя по выводу команды top. Также установил туда новую видеокарту, которую приобрел для «Сибиряка». Был вариант установить в профилакторий новую карту, а оттуда забрать свою, но, после сравнительных тестов, оказалось, что установленная мной ранее видюха немного мощней, чем та, которую я приобрел на днях. HDMI кабелем соединил видеорегистратор и телевизор. Были некоторые опасения, что телевизор не увидит картинку с таким нестандартным разрешением, но все обошлось — он просто изменил разрешение на что-то среднее по качеству. В итоге, я теперь могу просматривать камеры на телевизоре в хорошем качестве. Плюс несколько «разгрузил» сервер — теперь нагрузка на процессор стала менее 50%. Правда появился какой-то дребезг от вентилятора, но непонятно от какого — пока снимаешь боковую стенку, он прекращается.

DLNA в локальной сети

Thu, 11 Jan 2018 20:50:03 +0700

Меня не покидала мысль, что телевизор поддерживает DLNA, несмотря на то, что на официальном сайте это не указано. Зато было указано на нескольких других. Попытка не пытка...
Есть у меня переделанный роутер D-Link DIR-825 с установленной OpenWrt. Внутрь встроен жесткий диск, на котором располагается собственно система и множество других программ. В частности, клиент Transmission. Это очень удобно — с любого устройства можно поставить торрент на закачку. Плюс к этому он все равно работает круглые сутки, пусть скачивает :-)
Прочитав днем про настройку DLNA на OpenWrt, подключился к роутеру и установил пакет luci-i18n-minidlna-en, который потянул за собой собственно сервер DLNA и другие необходимые пакеты. Настройка была минимальной: задал каталоги где искать видео- и аудиофайлы, куда писать логи и каталог с кэшем. Ну и, конечно, запустил его. Поначалу нагрузка на роутер сильно возросла: сервер «сожрал» почти 60% процессорного времени и почти половину оперативной памяти. Из всех других пакетов, которые я ставил, ни один столько не забирал себе. Понадеявшись на то, что это только на время поиска файлов, отключился, чтобы вечером заняться этим вопросом уже дома.
Мои надежды оправдались — после завершения поиска нагрузка стала почти нулевой. Но меня уже больше интересовало как телевизор отреагирует (и отреагирует ли вообще?) на наличие DLNA сервера в локальной сети. Но сомнения оказались напрасны — все оказалось намного проще. Телевизор не только обнаружил сервер в сети, но и сразу отобразил его в списках доступных источников. Немного напрягло только то, что приходится «продираться» через кучу каталогов, чтобы найти нужное видео, но тут уже ничего не поделаешь, видимо.
В конечном результате я достиг того, чего хотел — теперь нет необходимости копировать скачанный торрент на флэшку, подключать её к телевизору и только тогда начинать смотреть фильм. Сейчас можно просто открыть роутер на телевизоре, выбрать нужный фильм и начать просмотр. С учетом того, что я не поленился подключить ТВ кабелем к роутеру, «лагов» пока что не наблюдается, скорость приличная. Но тут еще буду экспериментировать.
Днем ранее, кстати, также удалось вывести содержимое экрана смартфона на телевизор, включив на первом режим беспроводного дисплея. Смартфон тут же просканировал и нашел телевизор. Оставалось только подтвердить сопряжение устройств на самом ТВ.

Эксперименты с охраной

Wed, 10 Jan 2018 17:31:07 +0700

Опишу предыдущее состояние системы.

Есть не один десяток охранно-пожарных систем (ОПС) типа «Гранит», которые при открытии дверей на объекте шлют смс оператору на центральном пульте. Тот, в свою очередь, либо вызывает ГБР (группа быстрого реагирования), либо «пропускает» событие. В целях резервирования сообщения с «Гранитов» рассылаются не на один номер телефона, а на несколько: охрана и руководство. По моим прикидкам это, минимум, три номера. Скорее всего, их больше. По расходам это выходит более 8 тысяч в месяц. Сумма небольшая, но, если есть возможность, то почему бы ее не уменьшить? «Плюсом» будет то, что получатели смогут отключить оповещения, что в случае с смс почти невозможно. Из текущих «минусов» — постоянные глюки то с телефоном, то с программой синхронизации смс на компьютере. Раз в несколько дней приходится или перезапускать программу, или перезагружать телефон.
Также существует сервер видеонаблюдения, который в постоянном режиме пишет порядка полусотни камер, расположенных на территории завода и не только. Старый сервер, несмотря на свою мощность, потихоньку выходит из строя. БОльшая часть дисков уже была заменена на более специализированные под данную функцию, но периодические выходы из строя начинают утомлять. Особенно это стало заметно, когда человек, занимающийся видеонаблюдением на заводе, уехал на несколько месяцев в отпуск — накопил за несколько лет работы. Он, конечно, оставил вместо себя человека, но он, во-первых, не всегда находится на территории, а во-вторых, делает всё «на отьебись». Что лично меня, например, не устраивает.

Пару месяцев назад был куплен новый сервер под видеонаблюдение. По тестам он несколько превосходит текущий, но последний построен на базе i7-3770, новый же — на базе Xeon (не помню сейчас какой именно). Новый установил параллельно существующему, был установлен Linux с графической оболочкой и тестовая версия сервера видеонаблюдения. Не обошлось, конечно, без бубна и небольших танцев, но, в итоге, все заработало как нужно. В таком состоянии он и был оставлен до конца недели на тестирование. Лично мне Linux больше импонирует, как более устойчивая и быстрая система, по сравнению с Windows. Конечно, у меня свои требования — по ним он полностью выигрывает.
Я не зря упомянул в начале «Граниты». Перед новым годом у меня, в порядке не совсем трезвых размышлений возникла мысль несколько сократить расходы на смс, путем установки какого-то компьютера, на который они и будут приходить. То есть, на данном шаге мы сокращаем количество сообщений, которые рассылают «Граниты» до одного за раз. Затем компьютер уже посредством интернета дублирует эти сообщения на другие телефоны в любой мессенджер: Telegram, Whatsapp и т. п. Благо, что практически каждый человек нынче пользуется хотя бы одним из них.
Но, увы, так как я был не совсем трезв, то поутру вся выстроенная мной схема «убежала» из головы, остался только принцип построения. Благо, что я в порыве воодушевления позвонил товарищу, который занимается установкой и обслуживанием этих «Гранитов» и примерно рассказал, что я хочу получить. Через день он мне напомнил об этом, заодно и прояснили некоторые моменты.
Суть заключается в том, что на какой-то компьютер устанавливается Asterisk, который и занимается приемом и пересылкой сообщений в мессенджеры. Тем более, что знакомый попросил меня разобраться с этой системой, чтобы в дальнейшем внедрить ее на своем предприятии.
Если сервер видеонаблюдения на Linux покажет свою «состоятельность», то почему бы на него не возложить и функции обработки сообщений от ОПС?
В то же время у себя дома вернулся к старой схеме, только немного ее изменив. Как писал ранее, перед новым годом был куплен регистратор, к которому была подключена камера более высокого качества. Регистратор может рассылать оповещения только на почту и, к тому же, только в текстовом виде, что меня не устраивало. Сообщений на одно событие могло быть несколько, по какой причине он разделял одно событие на несколько — неизвестно. Пришлось снова запустить motion, установленный на сервере, брать поток с регистратора и тогда я смог получить и картинку события и текст. Считаю огромным «плюсом» motion то, что он позволяет при возникновении какого-либо события (обнаружено движение, завершена запись видеофайла, завершено сохранение скриншота и т. п.) запустить на выполнение любой внешний скрипт, в котором уже можно делать все, что угодно. Как бонус, можно будет провести кабель от регистратора на телевизор и в прямом эфире просматривать что творится в коридоре.

Небольшой потоп в серверной

Wed, 20 Dec 2017 14:06:05 +0700

Так уж получилось, что шкаф с сервером стоит на лестничной площадке, которой никто не пользуется. Шкаф обычный, деревянный. Внутри всего две полки: на одной, нижней, стоит сам сервер, на второй, повыше, стоит ИБП.
Вчера немного задержался на работе — экспериментировал с астериском. Заходит женщина и сообщает, что с этой лестницы бежит вода. Почти бегом направляюсь туда, открываю дверь — бежит водичка. Потихоньку, но бежит. Поднимаюсь на площадку между пролетами, где собственно шкаф и стоит, и вижу, что выдавило трубу и оттуда неспешно вытекает вода. Площадку уже всю затопило, а потом все пошло вниз. Открыл шкаф, проверил, что там все нормально. Прикинул, что вода сюда не должна добраться, немного успокоился. Пока ждал хоть кого-то из техников, вставил трубу обратно, чтобы хотя бы поменьше бежало. Вода почти перестала бежать. Приехал техник, посмотрел, чуть приподнял трубу, оставил на завтра местным сантехникам. Сказал, что ребята починят утром.
Утром приходят «ребята», спрашивают ключ от лестничного пролета. Знают, что он только у меня есть. Сказал им, что там открыто и они могут работать. Только перед уходом пусть разблокируют автоматическую защелку.
Через час или два решают посмотреть как и что они там починили. Дверь закрыта, пришлось возвращаться за ключами. Открыл дверь, поднялся на площадку, осматриваюсь. Нихера они, короче, не сделали! Даже гребаный чопик между трубой и стеной не вставили, чтобы ее еще раз не выдавило. В общем, как обычно, хочешь сделать хорошо — сделай сам. Пока что подыскиваю какой-нибудь подходящий чопик и подумываю собрать туда какой-нибудь датчик: влажности, температуры, протечки воды. Чтобы в случае, если такое повторится, заранее знать об этом. Впереди все-таки достаточно длинные выходные.

Изучаем Asterisk

Fri, 15 Dec 2017 11:05:00 +0700

Товарищ попросил разобраться с Asterisk, чтобы в будущем использовать в своей сети. Ну а мне что, все равно скучно, а тут вроде есть чем заняться...
Поставил на свой сервер 11-ю версию и начал экспериментировать с параметрами. Многое было непонятно. Первое, с чего решил начать — позвонить на номер, услышать какой-то ответ и положить трубку. Так сказать, аналог «hello, world!» Но сходу разобраться не получалось — какие-то не совсем непонятные конструкции. Что, куда, зачем? Решил все-таки поискать хоть какую-то документацию. Нашел книжку от издательства, которое, на мой взгляд, всегда выпускало очень качественные пособия и начал читать. Нетерпение заставило пропустить первые несколько частей книги — все равно там были какие-то благодарности, объяснения зачем ставить Asterisk и для чего он нужен, выбор подходящего оборудования и прочее. При все этом утверждалось, что работать он может даже на «железе» роутера. В ссылках, кстати, попадалась инструкция как установить его на роутеры Keenetic.
Читаю дальше. Все очень хорошо разжевано, все становится понятно. Через несколько минут сделал свой первый «hello world», практически буквально: звоню, слышу ответ по русски «Привет, мир!» и в логах вижу, что звонок завершается. Но телефон, с которого я звонил, никаких сигналов завершения разговора не подает и трубку не ложит. Плюс сыпятся непонятные ошибки. Погуглив, понял, что такие ошибки относятся только к тем системам, которые находятся за NAT и источник ошибок надо искать в этом направлении. Перепроверил настройки своего роутера — все нужные порты проброшены, все должно работать. Ладно, отложил это пока в сторону.
Следующим шагом стала настройка разговора между двумя внутренними абонентами. Завел две учетных записи в системе с разными номерами, переделал диалплан, поставил программу на компьютер и настроил свой телефон на работу с SIP-звонками. Звонки проходят нормально, а вот разговор не завершается у вызывающего абонента. Пришлось все-таки разбираться, не нравится мне такой расклад. В общем и целом, пришлось указать Asterisk адреса внутренней и внешней сетей, а также сказать, что он работает за NAT, и все заработало. Звонки идут, разговор завершается нормально.
Сегодня продолжу чтение по мере возможности. Система оказалась достаточно легкой в освоении, чем-то похожей на Postfix по конфигурации.

Синхронизация данных

Thu, 23 Nov 2017 14:16:24 +0700

Синхронизация. Такое простое понятие, но иногда ее очень сложно настроить...
Уже много лет я использую такую программу — EssentialPIM. Это облегченный вариант MS Outlook, но со своими «плюшками». Такими, например, как встроенная база паролей. Она может быть установлена на компьютер, может храниться на переносном USB-накопителе и работает под управлением Windows. Под Linux в Wine она тоже работает (по крайней мере, у меня), но при этом приходится мириться с некоторыми недостатками в интерфейсе и работе с почтой. Есть клиент для Android. Имеет возможность синхронизации с другими серверами или устройствами, но, увы, их «ассортимент» крайне мал. С некоторыми «плясками с бубном» можно сделать импорт/экспорт данных из другой программы. В общем, как и у любой программы, есть свои недостатки. Порой выводящие из себя.
На текущий момент я прихожу к мысли, что пора бы уже отказаться от использования этой программы в пользу других. Но, скорее, не программ, как таковых, а служб. То есть хранить данные на одном сервере, который бы мог предоставить возможность синхронизации с большинством устройств и программ, чтобы они были доступны мне в любой момент, вне зависимости от того, каким устройством или программой я сейчас пользуюсь. Требования примерно следующие.

Контакты. Самое важное, наверное, в жизни каждого человека. Они должны быть везде: в мобильном телефоне, почтовых клиентах, мессенджерах. Самый простой вариант для меня пока что — использовать сервер CardDav.
Пароли. Второй по важности пункт. Немного поразмыслив, пришел к выводу, что мне хватит, если они будут работать в браузерах и храниться в телефоне. Посмотреть и вбить куда-то пароль я должен в любом месте, при помощи телефона или браузера.
Почта. Тут все более-менее просто. Вся почта в итоге оказывается на моем сервере, откуда я могу ее достать. Исключение пока что составляет почтовый ящик от компании Google. Почему-то не могу заставить себя настроить сбор почты с него. Пока что нахожусь в неспешных поисках почтового клиента для Android, который удовлетворял бы мои потребности.
Задачи, дела. Тут тоже все просто: телефон и почтовый клиент. Снова самый простой способ — сервер CalDav.
Заметки. Не самый важный, но порой очень нужный пункт. Большое количество сервисов предоставляют такой функционал по умолчанию.
Файлы. Тут синхронизация не нужна как таковая, но некоторые файлы было бы удобно всегда иметь под рукой. Например, в том же телефоне. Или на USB-накопителе.

База для каждого из вышеперечисленных пунктов должна быть одна. Иными словами, если брать те же контакты, то я должен видеть один и тот же список что в телефоне, что в почтовом клиенте. Или в любой другой программе. Допускается и даже приветствуется небольшая фильтрация, когда программа будет скрывать контакты, которые она не может использовать. Как, например, совершенно бесполезен для почтового клиента контакт в списке, у которого не указан адрес электронной почты.
Еще одним требованием является возможность быстрого и удобного редактирования данных. Например, при знакомстве с человеком я внес номер его телефона в свой. Позже, придя домой, могу захотеть внести дополнительные данные в контакт уже не через телефон, а на компьютере. Просто потому что так удобней набирать.
Следующим требованием является стандартность протоколов обмена информацией. С контактами и календарем все понятно — есть стандартные и давно работающие протоколы. С заметками и файлами проблем быть не должно, есть даже выбор. А вот с паролями не все так просто. Поиски продолжаются, пока что работает вариант синхронизации с Nextcloud, но он немного меня не устраивает: клиент для Android находится в состоянии «альфа», расширение для Firefox вроде бы работает, но моя «пятая точка» чует какой-то подвох.