Копытов Иван: заметки с тегом данные

Получаем данные с сайта СГК для Home Assistant

Thu, 20 Feb 2025 10:22:01 +0700

В Home Assistant у меня было отслеживание почти всех счетов по квартире: электроэнергия, коммунальные платежи, ТКО, капитальный ремонт и т. д. Проблема была только с сайтом компании СГК, которая занимается предоставлением горячей и холодной воды, отоплением и водоотведением. При помощи таких интеграций, как scrape и multiscrape загрузить данные с их сайта не получалось, поэтому пришлось пойти более сложным путем и написать свой скрипт. На деле он оказался совсем простым, требует доработки в плане проверок ответов сервера, но даже в таком виде он вполне работоспособен. Чтобы не перечислять все данные, возьму только отопление.


import requests
import json

login = data.get("username", "")
password = data.get("password", "")
login_url = 'https://krk.sibgenco.services/Account/Auth'
data_url = 'https://krk.sibgenco.services/fl/accounts/getAccounts'

headers = {
    "Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:109.0) Gecko/20100101 Firefox/115.0",
}

# Создаем новую сессию
session = requests.Session()
# Авторизуемся на сервере
result = session.post(login_url, data = 'login=' + login + '&password=' + password, headers = headers)
# print(result.text)

# Получаем данные в JSON формате
result = session.get(data_url, headers = headers).json()
session.close()

# Перекодируем текст в читаемый
result = result.encode().decode('unicode-escape', 'ignore')
result = json.dumps(result)
result = json.loads(result)

# Убираем лишние кавычки в разделе "Cards" (откуда взялись?)
result = result.replace('"Cards":"', '"Cards":').replace('}]"}', '}]}')
# print(type(result))
# print(result)

if len(result) > 0:
    logger.info("Данные от СКГ получены")
else:
    logger.warning("Ошибка получения данных от СГК")
# print(result.encode().decode('unicode-escape', 'ignore'))

# Преобразуем строку данных в JSON объект
json_data = json.loads(result)["Accounts"][0]["CalcData"]["Products"]#[0]["ToPay"]

# print(json_data, '\n')
# print(json.dumps(json_data), '\n')

# for product in json_data["Accounts"][0]["CalcData"]["Products"]:
#     print(product["ItemName"] + ": " + str(product["ToPay"]) + " руб.")

if json_data[0]["ToPay"] > 0:
    hass.states.set('sensor.sgk_heating', json_data[0]["ToPay"] * -1)
else:
    hass.states.set('sensor.sgk_heating', json_data[0]["ToPay"])

В ходе работы скрипта получаем несколько секций для каждой из услуг, которые выглядят вот так:


  - IsFine: false
    Item: 13
    ContractId: 307015
    ItemName: Отопление
    SaldoBegin: 4228.65
    Paid: 4228.65
    SaldoEnd: 0
    FineEndCheck: true
    FineEnd: 0
    AccrualsCheck: false
    Accruals: 0
    Recalculation: 0
    ToPayCheck: true
    ToPay: 0
    ChargeDetails: ""
    PayDetails: 08.02.2025 4228.65;
    FinePayDetails: ""
    WebPayDetails: 08.02.2025=5338.65=20250208171312-99240-6764617.585349

Далее просто создаем автоматизацию в Home Assistant, которая будет запускать этот скрипт. Для надежности перед первым запуском создаем несколько новых сенсоров в примерно таком формате:


    # Задолженность за отопление, итого
    heating_debt_summary:
      unique_id: <тут ваш ID сенсора>
      attribute_templates:
        Пеня: "{{ states('sensor.sgk_heating_penya') }} ₽"
      device_class: monetary
      friendly_name: Задолженность за отопление
      unit_of_measurement: "RUB"
      # value_template: "{{ states('sensor.sgk_heating') | float(0) + states('sensor.sgk_heating_penya') | float(0) }}"
      value_template: "{{ states('sensor.sgk_heating') | float(0) }}"

Как видно, в сенсоре будет также атрибут «пеня». Можно вывести суммарную задолженность — долг+пеня, можно вывести только основную — на выбор.
И вот после сайта СГК меня слегка «понесло» и сделал схожие скрипты для получения информации с сайтов ФНС, капремонта, энергосбыта и регистратора доменов. С ФНС было интересно — там сначала нужно пройти basic-авторизацию, получить токен безопасности, авторизоваться еще раз и слать его при каждом запросе данных. А дальше было уже намного легче — у ФНС существует API, которое они активно используют. Официальной документации по нему нет, но, покопавшись на сайте, можно легко получить все запросы. Для чего нужны эти данные? Например, чтобы отслеживать задолженность по налогам (в том числе и самозанятого), недвижимость и банковские счета. Сейчас такое время, что на тебя могут открыть какой-то счет в банке, сделать тебя «начальником» какой-то конторы, а ты даже будешь не в курсе. Но стоит отметить, что в налоговой отображаются только обычные, дебетовые счета, информации по кредитам там нет.

Синхронизация данных. Спустя 2 года

Tue, 27 Jul 2021 14:26:18 +0700

Изначальная идея
Первая попытка

Итак, к чему я пришел, спустя 2 года после первой попытки синхронизации данных на моих компьютерах и мобильном телефоне.

Контакты и календарь. Основным сервером хранения контактов и календаря долгое время у меня был baikal. Он и сейчас трудится на сервере, но схема немного усложнилась. Легкий нетребовательный к ресурсам carddav/caldav сервер. Просто работает. Использует MySQL в качестве базы данных. Позволяет синхронизировать данные между почтовыми клиентами и телефоном. Но в какой-то момент мне захотелось, чтобы эти данные также синхронизировались с моим облаком и, возможно, google. Спустя несколько дней, мне удалось это реализовать при помощи vdirsyncer. Теперь данные синхронизируются между baikal, nextcloud, google и жестким диском — там данные хранятся в виде файлов, что позволяет легко создавать резервные копии и восстановить данные на любой момент времени.
Использованные программы:

На компьютерах. Thunderbird + TbSync + Provider for CalDAV & CardDAV.
На телефоне. DAVx⁵ + OpenTasks.
На сервере. Baikal + vdirsyncer + Nextcloud.

Пароли. Так же, как и в случае контактов/календаря, схема осталась прежней. На телефоне используется Keepass2Android, на компьютерах — Keepass и его форк KeePassXC. Для винды и линукса соответственно. Схема старая, рабочая, поэтому смысла отказываться от нее нет. Синхронизация проходит самым простым способом — база выложена на сервере практически в общий доступ (с защитой, разумеется), поэтому каждый клиент постоянно может синхронизировать с ней свои данные. Для браузеров используется связка Firefox + KeePass Tusk.

Файлы. С ними пришлось немного подумать. До недавнего времени они были доступны мне через Nextcloud или по протоколу ftp. Последний разработчики стали активно удалять из своих браузеров, поэтому потребовалось найти ему замену/дополнение. Неплохим выходом оказалось запустить webdav-сервер. Немного покрутил его со всех сторон и остался почти удовлетворен. Как говорится, аппетит приходит во время еды :-) Поэтому прикрутил к нему еще редактор контактов/календаря и графический интерфейс для базы с паролями. Пришлось немного помучиться с разделением доступа к каждому из ресурсов, но, вроде, справился.

Биометрические данные

Wed, 25 Apr 2018 13:43:27 +0700

В продолжение предыдущего поста

Самое интересное, что я оказался прав в своих предположениях. События продолжают стремительно развиваться. Вопрос, который меня занимает: кто инициировал все это? Ну, и собственно, следующая часть развития событий. Взято отсюда.

«Минкомсвязь РФ разработала проект постановления правительства, устанавливающий порядок предоставления оператором единой системы персональных и биометрических данных граждан по запросу МВД и ФСБ, соответствующий проект документа опубликован на портале проектов нормативно-правовых актов.

В начале марта правительство РФ назначило „Ростелеком“ оператором Единой биометрической системы. Оператор должен будет обеспечивать сбор, обработку и хранение биометрических персональных данных, а также проверку их соответствия первично сданным биометрическим образцам. Результаты проверки будут передаваться банкам для удаленной идентификации граждан при открытии счетов.

Согласно документу, оператор единой биометрической системы должен предоставлять такие сведения в МВД и ФСБ в целях обеспечения обороны страны, безопасности государства, а также охраны правопорядка и противодействия терроризму. Предполагаемый срок вступления данного распоряжения в силу — 30 июня 2018 года.

Президент РФ в конце декабря подписал закон, который позволяет с помощью биометрических персональных данных (изображение лица, голос) осуществлять удаленную идентификацию потенциальных клиентов банков.
Ввод биометрической системы в коммерческую эксплуатацию назначен на 1 июля 2018 года.»

С интересом буду следить за развитием событий.

Синхронизация данных

Thu, 23 Nov 2017 14:16:24 +0700

Синхронизация. Такое простое понятие, но иногда ее очень сложно настроить...
Уже много лет я использую такую программу — EssentialPIM. Это облегченный вариант MS Outlook, но со своими «плюшками». Такими, например, как встроенная база паролей. Она может быть установлена на компьютер, может храниться на переносном USB-накопителе и работает под управлением Windows. Под Linux в Wine она тоже работает (по крайней мере, у меня), но при этом приходится мириться с некоторыми недостатками в интерфейсе и работе с почтой. Есть клиент для Android. Имеет возможность синхронизации с другими серверами или устройствами, но, увы, их «ассортимент» крайне мал. С некоторыми «плясками с бубном» можно сделать импорт/экспорт данных из другой программы. В общем, как и у любой программы, есть свои недостатки. Порой выводящие из себя.
На текущий момент я прихожу к мысли, что пора бы уже отказаться от использования этой программы в пользу других. Но, скорее, не программ, как таковых, а служб. То есть хранить данные на одном сервере, который бы мог предоставить возможность синхронизации с большинством устройств и программ, чтобы они были доступны мне в любой момент, вне зависимости от того, каким устройством или программой я сейчас пользуюсь. Требования примерно следующие.

Контакты. Самое важное, наверное, в жизни каждого человека. Они должны быть везде: в мобильном телефоне, почтовых клиентах, мессенджерах. Самый простой вариант для меня пока что — использовать сервер CardDav.
Пароли. Второй по важности пункт. Немного поразмыслив, пришел к выводу, что мне хватит, если они будут работать в браузерах и храниться в телефоне. Посмотреть и вбить куда-то пароль я должен в любом месте, при помощи телефона или браузера.
Почта. Тут все более-менее просто. Вся почта в итоге оказывается на моем сервере, откуда я могу ее достать. Исключение пока что составляет почтовый ящик от компании Google. Почему-то не могу заставить себя настроить сбор почты с него. Пока что нахожусь в неспешных поисках почтового клиента для Android, который удовлетворял бы мои потребности.
Задачи, дела. Тут тоже все просто: телефон и почтовый клиент. Снова самый простой способ — сервер CalDav.
Заметки. Не самый важный, но порой очень нужный пункт. Большое количество сервисов предоставляют такой функционал по умолчанию.
Файлы. Тут синхронизация не нужна как таковая, но некоторые файлы было бы удобно всегда иметь под рукой. Например, в том же телефоне. Или на USB-накопителе.

База для каждого из вышеперечисленных пунктов должна быть одна. Иными словами, если брать те же контакты, то я должен видеть один и тот же список что в телефоне, что в почтовом клиенте. Или в любой другой программе. Допускается и даже приветствуется небольшая фильтрация, когда программа будет скрывать контакты, которые она не может использовать. Как, например, совершенно бесполезен для почтового клиента контакт в списке, у которого не указан адрес электронной почты.
Еще одним требованием является возможность быстрого и удобного редактирования данных. Например, при знакомстве с человеком я внес номер его телефона в свой. Позже, придя домой, могу захотеть внести дополнительные данные в контакт уже не через телефон, а на компьютере. Просто потому что так удобней набирать.
Следующим требованием является стандартность протоколов обмена информацией. С контактами и календарем все понятно — есть стандартные и давно работающие протоколы. С заметками и файлами проблем быть не должно, есть даже выбор. А вот с паролями не все так просто. Поиски продолжаются, пока что работает вариант синхронизации с Nextcloud, но он немного меня не устраивает: клиент для Android находится в состоянии «альфа», расширение для Firefox вроде бы работает, но моя «пятая точка» чует какой-то подвох.

Решение проблемы с подключением принтера

Thu, 14 Sep 2017 12:16:29 +0700

Итак, дано: два ноутбука, подключенный к одной сети WiFi. Первый — старенький Asus, которому, по идее, давно пора на покой, с установленной Windows XP. На втором ноутбуке установлена Windows 10. К последнему подключен принтер, дан общий доступ. Задача стандартная: сделать общую папку и подключить на первый ноутбук принтер второго.
Первая проблема, с которой пришлось столкнуться — XP не видит второй ноутбук. Адреса заданы в одной подсети, рабочая группа одна, нужные настройки в 10 сделаны (сетевое обнаружение и прочее). Так как времени на тот момент было немного, то приходилось все делать урывками. На втором заходе понял, что виновником такого поведения является установленный Kaspersky Internet Security. При отключении сетевого экрана в нем, ноутбук появляется в сети и можно использовать общие папки на нем. Почитал инструкцию, форумы — все говорят, что необходимо и достаточно установить для этой сети уровень «Локальная» или «Доверенная». Ничерта это не сработало. Почитал про похожие проблемы — техподдержка Касперского просит связываться с ними в таких случаях. Ага, есть у меня время, как же. Пока что просто отключил сетевой экран, оставив другие настройки без изменений.
Затем столкнулся с другой проблемой. В ходе настройки сети завел на обоих компьютерах пользователя с одинаковым именем и паролем. Дал ему доступ на печать, несмотря на то, что там была группа «Все». При попытке подключиться к расшаренному принтеру все время получал запрос на ввод логина и пароля. Даже если ввести заведомо верные, доступ к принтеру получить невозможно. Пробовал разных пользователей — результат один. Снова полез в интернет. На форуме «мелкомягких» наткнулся на решение проблемы, а также на объяснение почему так происходит. Дело в том, что Windows XP использует samba версии 1, которой в Windows 10 уже нет по соображениям безопасности. Минимальная версия самбы, которую можно в ней использовать — 2. Казалось бы все, приплыли...
Решение проблемы заключалось в следующем. На компьютере с Windows XP нужно выполнить следующие действия.

Открываем панель управления и заходим в принтеры.
Выбираем «Установить принтер».
В качестве порта подключения выбираем «Создать новый порт» и в выпадающем списке выбираем пункт «Local Port».
Когда система запросит имя нового порта, вводим полный сетевой путь к принтеру. Например, такой: \\Server\HP LaserJet MFP M132 Pro.
Далее выбираем нужный драйвер и завершаем установку принтера.

После проделанных манипуляций принтер сдался и выплюнул тестовую страницу. Иными словами, решение проблемы состоит в том, чтобы заставить Windows XP думать, что принтер подключен к компьютеру, на который она установлена.

Отправка данных на narodmon.ru

Fri, 16 Jun 2017 13:50:25 +0700

Так как порой случались сбои в отправке данных на сервер narodmon (нет интернета, сервер занят либо ничего не отвечает и т. д.) принял решение немного модифицировать скрипт отправки. В идеале, в случае любого сбоя данные должны накапливаться и затем, когда все «устаканиться», скопом быть отправлены.
Скрипт был модифицирован, были внесены несколько дополнительных проверок и он ушел в работу. В ходе работы создается временный файл, куда пишутся все данные. Если сервер narodmon ответил, что данные приняты нормально, то содержимое файла удалялось. В противном случае данные добавляются в этот файл с отметкой времени, когда они были добавлены.
Но, как обычно, не обошлось без ложки дегтя. В случае, если сервер не отвечает достаточно долгое время, данных накапливается много (в обычном варианте замеры проводятся каждые 5 минут). Когда их размер превысит 4 Кб, сервер narodmon, насколько я понимаю, просто откажется принимать такое множество данных. Но тут ничего не попишешь, будем тестировать и смотреть что получится.

Завершение истории с НПФ

Tue, 24 Jan 2017 10:15:53 +0700

В продолжение истории о смене персональных данных.
Сегодня утром получил сообщение на телефон, которое поначалу посчитал обычным спамом — достаточно много подобных сообщений на сегодня приходит от мошенников. Но приглядевшись внимательнее, понял, что сообщение действительно от НПФ Сбербанка:

«Личные данные по Вашему договору №... изменены 23.01.2017 согласно Вашему заявлению. 8 (800) 555 0041 НПФ Сбербанка.»

Номер договора совпадает с моим, указанный телефон — тоже. Будем считать, что заявление было принято и обработано. Ради интереса зашел в личный кабинет — там данные старые. Имею в виду, что мой договор видно по старому номеру паспорта. Допустим, что у них так заведено, пусть. В разделе «Мои заявления» появилась отметка с датой заявления и отметкой «Исполнено».
Все, этот вопрос можно считать закрытым. Главное не сдаваться! :-)