Копытов Иван: заметки с тегом narodmon

Повторный бан «Народного мониторинга»

Mon, 24 Jan 2022 21:37:52 +0700

На этот раз последний

Итак, на днях в чате взаимопомощи обсуждалась ситуация, когда датчик перестает передавать показания по причине отсутствия электроэнергии или интернета. В последнем случае, конечно, можно завести резервный канал. Но кто будет это делать только ради одного «мониторинга»? А таких достаточно много, как мне кажется.
Мысль я поддержал. Пользователь @Constanine приводил свои доводы, на мой взгляд, неубедительные: иметь ИБП и резервный канал от другого провайдера. Только смысл в них, если, например, из-за отключения электроэнергии вырубилось оборудование провайдера? Потихоньку беседа переключилась на то, какие датчики можно выводить в публичный доступ, а какие нельзя. Со своей стороны я попросил актуализировать/дополнить справку на сайте проекта, на что в ответ получил:
— А не слишком ли многого вы от нас хотите?
Простите, но не так уж и много. Если я пришел на проект, почитал документацию по передаче данных, вывел кучу датчиков в паблик, а мне их убрали обратно в приват — я просто хочу знать причину, а не выяснять у всех и каждого почему так получилось.
Как мне кажется, @Constantine — человек достаточно резкий, невоздержанный, читающий сообщения «по диагонали». В начале моей с ним «перепалки» он отвечал, как заведенный: «Зато у нас есть бонусы!» Да мне всё равно на бонусы, я про них в курсе, достаточно давно на проекте. И вообще в своих вопросах я о них не спрашивал. Я просто просил дополнить информацию на сайте. Даже готов был заняться этим, если у них нет человека, который этим уже занимается.
В общем, минут через 5 @Constantine просто отключает мне возможность отправлять сообщения в чат. Еще через минуту просто трет историю в чате, оаставляя только одно мое, самое первое, сообщение. Жаль, я не догадался сделать скриншоты. Ну что тут скажешь? Надоело пытаться отвечать на «неудобные» вопросы? Да, давайте всех банить, что уж!
Я тоже человек не гордый, не хотите — не надо. Удалил все датчики и свой профиль из проекта. Вышел из чата, группы в ВК, забыл только про твиттер. Исправил как только пришло первое сообщение оттуда. Отключил отправку данных со всех своих датчиков — это буквально 2 кнопки нажать. Если поддержка не может адекватно реагировать на вопросы — зачем мне вообще связываться с такой компанией? Я бы еще понял, если бы не то что матерился или наезжал, а просто писал резко. Но нет, всё было достаточно корректно, я даже извинялся пару раз.
В общем, надоело. Каждое слово, каждое объяснение нужно вытягивать. Справки нормальной нет. Как-то в приложении «Народный мониторинг 2019» нашел FAQ с вопросами, которые, во-первых, мне показались интересными, а, во-вторых, которые я так и не нашел на сайте. Хотя приложение берет все данные именно с сайта.
После того, как «Народный мониторинг» обнаружил, что другой проект — rp5, крадет у них информацию, мне кажется, что именно меня заподозрили в том, что я виновен в этом. Возможно, поэтому они так резко начали относиться ко мне. И всё это только из-за того, что другим участникам «Народного мониторинга» предложил отправлять данные и на rp5. Впрочем, меня попросили не рекламировать другие сайты, что я и сделал. Вот только «НМ» ошибся: никакие данные с их проекта я никому не сливал и даже не собирался. Да, я отправлял данные со своих датчиков и на rp5, помимо «Народного мониторинга». Как и на WeatherUnderground, OpenWeatherMap и множество других сайтов. А на то, что происходило между ними, какие у них взаимоотношения — мне глубоко «фиолетово». Данные мои => отправляю куда хочу.

That’s all, folks!

Как меня забанили на narodmon.ru

Tue, 28 May 2019 17:44:16 +0700

Негодования пост

Ничто, как говорится, не предвещало...
Не так давно переделал свою метеостанцию: использовал другую прошивку для ESP8266, переделал схему для более устойчивой работы модуля зимой — ранее он периодически отваливался от домашнего WiFi и не отправлял данные. Заодно немного переделал схему отправки данных: вместо того, чтобы напрямую отправлять их на сервер, данные сначала забирались системой Domoticz, а затем отправлялись на сервер narodmon. Метод отправки тоже изменился — теперь на HTTP-запрос GET.
В итоге, за три «нарушения» за последние несколько дней, на один из датчиков мне поставили «бан» на месяц. Почему? Потому, что Domoticz отдавал данные атмосферного давления, округленными до единицы, что привело к тому, что показания не менялись в течение нескольких часов. Администрация сайта посчитала это нарушением и исключила этот датчик из общедоступной карты. Да, я последние пару дней был занят оптимизацией скрипта отправки в связи с изменившимися обстоятельствами, и не обращал особого внимания на то, что творится с передаваемыми показаниями.
Конечно, меня эта ситуация немного опечалила. Как говорится, «не делай добро...» На мой взгляд, администрации стоило бы предоставить больше информации еще при первом возникновении ошибки. Иначе это выглядит так:

Около показаний датчика появляется информация, что показания не менялись с такого-то времени. Сам датчик выделяется желтым цветом.
Через сутки или больше появляется значок предупреждения с тем же текстом. Т. е. информативности никакой. Ну не меняются показания, и что? Такое может случиться, например, при возникновении неполадок с оборудованием. И, если я не успел исправить это очень быстро, то с карты они пропадают. Если я не заходил на сайт, то я вообще этого всего не увижу. А что? У меня данные отправляются, сервер отвечает, что принял их. А что на самом деле происходит — никто не ведает.
Датчик «улетает» в приватные, т. е. не видимые никому, кроме владельца. Если попробовать заново выбрать пункт «публичная карта», чтобы вернуть его на место, то получаем еще одно «предупреждение». То есть не получаем — оно нигде не отображается, но вам оно засчитывается. Тишина на ровном месте. После третьего «предупреждения» вы наконец-то видите причину, почему датчик не появляется на карте — вас забанили. Опля! А раньше нельзя было сказать? Я бы более внимательно искал причину, а не считал исчезновение датчика с карты глюками сайта.
Спустя еще полдня после «бана» я начинаю получать уведомления из программы, установленной на телефон. А вот это уже, на мой взгляд, издевательство. Могу повториться: а раньше нельзя было сказать? Нигде! Нигде об этом ничего не написано! Перерыл всю справку и нашел только одно более-менее подходящее предложение:
«- Если показания датчика не передавались более 30 дней — он и его показания удаляются с сервера автоматически. При неактивности датчика более 3ч датчик он пропадает с карты.»

Хочется материться после всего этого. Изменения на сайте вносятся, но никто о них не оповещается. Мы же телепаты, мы и так все знаем.

Переезд сервера Narodmon

Sun, 13 May 2018 18:21:53 +0700

На днях сервер проекта Narodmon перебрался на более мощный сервер и, как следствие, сменил свой IP-адрес. Скорее всего, последовавшие события не связаны с этим, но мой сервер перестал отправлять данные на Narodmon. Пришлось в кои-то веки зайти на него и посмотреть что случилось.
Проблема оказалась в том, что накопилось слишком много данных на отправку. Пришлось взять в руки «скальпель» и отредактировать свой скрипт отправки данных. Если быть точней, то наконец-то завершить идею, до реализации которой все никак руки не доходили — постепенная отправка ранее не доставленных данных. Заодно немного изменил скрипт в части отправки сообщений об ошибках мне на Telegram. Раньше это было невозможно из-за отсутствия в списке пакетов curl. Сейчас ситуация изменилась, curl стал доступен, равно как и отправка сообщений в «телегу».
Пока что скрипт проходит тестирование, после небольшой обкатки выложу его на гитхаб.

Тестирование новое метеостанции

Sun, 09 Jul 2017 12:45:30 +0700

Вчера провел на лоджию электричество, только розетку пока что не закреплял. Собрал станцию, включил в розетку и выставил на улицу. К стене дома крепить не стал, закреплю когда она пройдет испытания. К сожалению, почему-то перестал работать один из датчиков — ds18b20. Думал, что где-то нет контакта, подергал все проводки, проверил разъем, но ничего не изменилось. Так как мультиметр остался на работе, то поиск неисправности, похоже, откладывается до понедельника.
Попробовал также настроить станцию на отправку показаний на сервер WeatherUnderground, но с этим вышла какая-то непонятка. В прошивке esp8266 есть только поля для ввода логина и пароля, в то время как в скрипте на роутере, который отправляет показания, надо также указывать ID станции, которая была создана при регистрации на сайте. Вчера ввел качестве логина ID станции, в качестве пароля указал ключ от нее. Потом смотреть журнал отправки было некогда, проверил только сейчас. Появились показания влажности воздуха, но с пропусками. Пока что непонятно, идет отправка или нет, буду наблюдать дальше.
Также в скрипте обнаружилась досадная ошибка, которую нужно исправлять, но я не совсем пока что понимаю как это реализовать. Суть ошибки состоит в том, что в какой-то момент скрипт перестает стирать содержимое временного файла с показаниями. При следующей отправке сервер отвечает не «ОК», а «ERROR NO CHANGES», так как в пакете присутствуют более ранние показания, которые сервер принял, а скрипт заново пытается их отправить. В результате данные начинают накапливаться и через примерно 4 часа размер файла начинает превышать 4 кБ — максимальный размер данных, которые можно отправить на сервер. Как результат данные, которые принимает сервер, обрезаются до 4 кБ. То есть появляется новая ошибка — отсутствует строка с закрывающими «##». По логике нужно начинать записывать данные в другой файл, но как потом искать все файлы с данными — непонятно. Буду думать.

Скрипт передачи данных на сервер narodmon.ru

Fri, 23 Jun 2017 14:44:41 +0700

Как и писал ранее, в какой-то момент надоело, что роутер периодически не может отправить данные на сервер, поэтому пришлось немного подредактировать его. После недельного тестирования отправил его администрации ресурса и, после некоторых уточнений, он был добавлен на сайт. Сейчас он находится в разделе «Справка» — «OpenWRT, OR-WRT» — «6. Скрипт для отправки показаний с отказоустойчивостью». Сам скрипт был размещен на github. Было добавлено краткое описание работы и кусок журнала его работы, из которого видно как он накапливает данные во время отсутствия связи с сервером, а затем, когда она появляется вновь, отправляет все недоставленные пакеты.
Самый «интересный» на мой взгляд момент состоит в том, что в моих планах заменить текущий датчик температуры на другие, которые будут передавать данные через домашний WiFi, что, в свою очередь, означает, что я не смогу воспользоваться пакетом owfs и скрипт будет бесполезен для меня. Хотя возможно, что я оставлю этот датчик в качестве «контрольной группы».

Еще одна модификация скрипта

Sat, 17 Jun 2017 11:54:55 +0700

Сутки наблюдения за модифицированным скриптом отправки данных на narodmon.ru показали, что есть огрехи в выбранном алгоритме — данные отправляются, сервер отвечает с задержкой, которую скрипт воспринимает за «молчание» сервера. Спустя некоторое время, от 15 минут до одного часа, сервер все-таки отвечает за настолько короткий промежуток, что скрипт успевает его «поймать». Пришлось еще раз изменить скрипт. На этот раз был добавлен цикл, в котором данные отправляются, затем он ждет 5 секунд ответ от сервера и, если ответ не получен, повторяет отправку данных. После 5 попыток отправки цикл сбрасывается и начинает накапливать данные во временном файле. Анализ журнала отправки показал, что данные отправляются если не с первого, то со второго раза. Будем продолжать наблюдение.

Отправка данных на narodmon.ru

Fri, 16 Jun 2017 13:50:25 +0700

Так как порой случались сбои в отправке данных на сервер narodmon (нет интернета, сервер занят либо ничего не отвечает и т. д.) принял решение немного модифицировать скрипт отправки. В идеале, в случае любого сбоя данные должны накапливаться и затем, когда все «устаканиться», скопом быть отправлены.
Скрипт был модифицирован, были внесены несколько дополнительных проверок и он ушел в работу. В ходе работы создается временный файл, куда пишутся все данные. Если сервер narodmon ответил, что данные приняты нормально, то содержимое файла удалялось. В противном случае данные добавляются в этот файл с отметкой времени, когда они были добавлены.
Но, как обычно, не обошлось без ложки дегтя. В случае, если сервер не отвечает достаточно долгое время, данных накапливается много (в обычном варианте замеры проводятся каждые 5 минут). Когда их размер превысит 4 Кб, сервер narodmon, насколько я понимаю, просто откажется принимать такое множество данных. Но тут ничего не попишешь, будем тестировать и смотреть что получится.

Перенос owfs

Mon, 15 May 2017 19:51:19 +0700

С учетом того, что сервер порой не работает по непонятным пока что причинам, было принято решение перенести owfs на роутер. Он, конечно, и так достаточно загружен, но с отправкой данных один раз в 5 минут, думаю, справится. Для чего нужен owfs? Для считывания данных с датчика температуры и отправки данных на другие серверы типа narodmon.ru.
Поначалу роутер не видел USB-TTL адаптер, пришлось установить еще один дополнительный пакет. После его установки и перезагрузки роутера в списке устройств появился адаптер. Дальше было делом техники: установить owserver, переконфигурировать файл ownet.php на сервере, чтобы он забирал данные с роутера и выдавал их на сайт. Затем просто проследить, что все это работает.
К сожалению, далеко не в первый раз, оказалось, что сервер narodmon периодически перестает отвечать на отправку данных и, по истечении указанного времени, шлет сообщения о том, что мой сервер ничего не присылает. Просмотр журналов работы показывает, что в период, когда narodmon не «получает» от моего сервера данные, последний вполне успешно их отсылает, но narodmon не подтверждает их получение. В общем, мутная достаточно ситуация... В тоже время WeatherUnderground вполне успешно сигнализирует о получении данных, что позволяет сделать заключение о том, что проблемы на стороне narodmon. От чего они, впрочем, вполне ожидаемо, открещиваются.

Датчик температуры

Fri, 23 Dec 2016 11:09:56 +0700

Добавил на сайт показания от своего уличного датчика температуры. К сожалению, пока что показания не изменяются в реальном времени, для их обновления необходимо обновить страницу. Надеюсь в будущем это исправить.
До наступления Нового года также хочу немного изменить способ передачи показаний на сторонние погодные серверы, такие как Narodmon, OpenWeatherMap и WeatherUnderground. Сейчас они формируются и передаются bash-скриптом на сервере, планирую переделать их на PHP. Это даст мне возможность заносить их в базу MySQL на моем сервере и уже оттуда передаваться на другие. Также это позволит, в свою очередь, сделать мне страницу на сайте с историей показаний.
В общем, планов много, остается только найти время когда их все осуществить :-)