КОНЬЯКОВ.ру

Разработка и поддержка веб-сайтов на 1C-Bitrix. E-commerce компетенции. Опыт с 2007 года.

Category: Linux(Страница 1 из 3)

Nerdlog: быстрый TUI-просмотрщик логов с удалённых хостов с таймлайном

Терминальное приложение Nerdlog позволяет удобно просматривать логи с одного или сразу нескольких серверов Linux и FreeBSD. Поддерживает как обычные текстовые лог-файлы (например, /var/log/messages или /var/log/syslog), так и вывод journalctl.

Визуально отображает активность в виде интерактивной псевдографической таймлайн-гистограммы, аналогично таким инструментам, как Graylog, Kibana или Splunk.

Ключевые особенности:

Без центрального сервера: Nerdlog подключается по ssh к каждому хосту напрямую.
Минимум передаваемых данных: фильтрация и анализ логов выполняется на удаленных хостах, клиенту передаётся только результат для отображения: данные для гистограммы и последние логи из выбранного периода, с возможностью постраничной подгрузки. Данные от всех хостов объединяются и отображаются в одном интерфейсе.
Без установки на серверах: для фильтрации и анализа логов используется только стандартный набор GNU-утилит, присутствующих в большинстве современных Linux-дистрибутивов по умолчанию (bash, gawk, tail, head и др.)
Данные с удаленных хостов передаются в сжатом виде для экономии трафика.
Фокус на производительность: работает быстро даже с большими лог-файлами (более 1 GB) и с большим количеством серверов (регулярно использовался на кластере из 20+ хостов).
Первоначальный прототип был разработан еще в 2022г. как альтернатива Graylog, подробнее об истории возникновения можно прочитать на Хабре.

Программа написана на Go и распространяется на условиях BSD-2-Clause license.

>>> GitHub проекта

Netdata: Monitor your servers, containers, and applications, in high-resolution and in real-time

Netdata is a high-performance, cloud-native, and on-premises observability platform designed to monitor metrics and logs with unparalleled efficiency. It delivers a simpler, faster, and significantly easier approach to real-time, low-latency monitoring for systems, containers, and applications.

What sets Netdata apart is its cost-efficient, distributed design. Unlike traditional monitoring solutions that centralize data, Netdata distributes the code. Instead of funneling all data into a few central databases, Netdata processes data at the edge, keeping it close to the source. The smart open-source Netdata Agent acts as a distributed database, enabling the construction of complex observability pipelines with modular, Lego-like simplicity.

Netdata also incorporates A.I. insights for all monitored data, training machine learning models directly at the edge. This allows for fully automated and unsupervised anomaly detection, and with the provided APIs and UIs, users can quickly spot correlations and gain deeper insights.

The Netdata Ecosystem
Netdata is built on three core components:

Netdata Agent (usually called just «Netdata»): This open-source component is the heart of the Netdata ecosystem, handling data collection, storage (embedded database), querying, machine learning, exporting, and alerting of observability data. All observability data and features a Netdata ecosystem offers, are managed by the Netdata Agent. It runs in physical and virtual servers, cloud environments, Kubernetes clusters, and edge/IoT devices and is carefully optimized to be a polite citizen for production systems and applications.

Netdata Cloud: Enhancing the Netdata Agent, Netdata Cloud offers enterprise features such as user management, role-based access control, horizontal scalability, alert and notification management, access from anywhere, and more. Netdata Cloud does not centralize or store observability data.

Netdata Cloud is a commercial product, available as an on-premises installation, or a SaaS solution, with a free community tier.

Netdata UI: The user interface that powers all dashboards, data visualization, and configuration.

While closed-source, it is free to use with both Netdata Agents and Netdata Cloud, via their public APIs. It is included in the binary packages offered by Netdata and its latest version is publicly available via a CDN.

Netdata scales effortlessly from a single server to thousands, even in complex, multi-cloud or hybrid environments, with the ability to retain data for years.

Key characteristics of the Netdata Agent
? Collects data from 800+ integrations
Operating system metrics, container metrics, virtual machines, hardware sensors, applications metrics, OpenMetrics exporters, StatsD, and logs. OpenTelemetry is on its way to be included (currently being developed)…

? Real-Time, Low-Latency, High-Resolution
All data are collected per second and are made available on the APIs for visualization, immediately after data collection (1-second latency, data collection to visualization).

?‍?️ AI across the board
Trains multiple Machine-Learning (ML) models at the edge, for each metric collected and uses AI to detect anomalies based on the past behavior of each metric.

? systemd-journald Logs
Includes tools to efficiently convert plain text log (text, csv, logfmt, json) files to structured systemd-journald entries (log2journal, systemd-cat-native) and queries systemd-journal files directly enabling powerful logs visualization dashboards. The Netdata Agents eliminate the need to centralize logs and provide all the functions to work with logs directly at the edge.

⭐ Lego like, Observability Pipelines
Netdata Agents can be linked to together (in parent-child relationships), to build observability centralization points within your infrastructure, allowing you to control data replication and retention at multiple levels.

? Fully Automated Powerful Visualization
Using the NIDL (Nodes, Instances, Dimensions & Labels) data model, the Netdata Agent enables the creation of fully automated dashboards, providing corellated visualization of all metrics, allowing you to understand any dataset at first sight, but also to filter, slice and dice the data directly on the dashboards, without the need to learn a query language.

Note: the Netdata UI is closed-source, but free to use with Netdata Agents and Netdata Cloud.

? Out of box Alerts
Comes with hundreds of alerts out of the box to detect common issues and pitfalls, revealing issues that can easily go unnoticed. It supports several notification methods to let you know when your attention is needed.

? Low Maintenance
Fully automated in every aspect: automated dashboards, out-of-the-box alerts, auto-detection and auto-discovery of metrics, zero-touch machine-learning, easy scalability and high availability, and CI/CD friendly.

⭐ Open and Extensible
Netdata is a modular platform that can be extended in all possible ways, and it also integrates nicely with other monitoring solutions.

See Project in GitHub

The easiest way to Linux install

Рейтинг Debian Linux значительно опережает Ubuntu Linux за последний год

Срез рейтинга Distrowatch за последний год отобржает значительное превосходство дистрибутива Debian Linux перед Ubuntu Linux. Пользователи возвращаются к истокам, с чего все началось, а не к зондированным красивым но потенциально политически небезопасным вендорным дистрибутивам вроде Ubuntu etc…

Вывод календаря в *nix консоли

Чем мне нравятся *nix подобные ОС, так это тем, что можно ввести cal и выведетс календарь на текущий месяц, или cal 2024 и выведется календарь на текущий год. Кайф!

Календарь на 2024 год

Читать далее…

Релиз Tails 6.0

Для Tails, ориентированного на конфиденциальность дистрибутива Linux на основе Debian, вышло обновление. Версия 6.0 доступна для загрузки на официальном сайте проекта.

В Tails 6.0 входит Tor Browser 13.0.10, менеджер паролей KeePassXC 2.7.4, биткоин-кошелек Electrum 4.3.4, Metadata Cleaner 2.4.0, SVG-редактор Inkscape 1.2.2, аудиоредактор Audacity 3.2.4, редактор изображений GIMP 2.10.34 и менеджер сертификатов Kleopatra 22.12.

В новой версии:

  • функция автоматического монтирования внешних устройств; если на устройстве есть расшифрованный раздел, пользователь увидит окно для ввода пароля;
  • защита от вредоносных USB-устройств: Tails игнорирует подключение внешних устройств, когда экран заблокирован;
  • поддержка тёмного режима и ночного режима с тёплыми цветами и меньшей яркостью;
  • упрощено создание скриншотов;
  • упрощена настройка учётной записи Gmail в почтовом клиенте Mozilla Thunderbird;
  • фразы для пароля постоянного хранилища генерируются на каталонском, немецком, итальянском, португальском и испанском языках;
  • текстовый редактор gedit заменён на gnome-text-editor;
  • из меню файлового менеджера убраны кнопки надёжной очистки диска (Wipe) и кнопка удаления метаданных.
  • Tails — продолжение развития ОС Incognito, релиз первого дистрибутива состоялся 23 июня 2009 года. В Tails все исходящие соединения обеспечивается системой Tor, а все неанонимные блокируются. Система предназначена для загрузки с LiveCD или LiveUSB и не оставляет следов на машине, где использовалась.

Страница 1 из 3

© 2007–2025, konyakov.ru