FastNetMon

среда, 4 декабря 2097 г.

Решение по обнаружению DDoS атак - FastNetMon



Всем привет! Как многие знают, я являюсь автором системы обнаружения атак FastNetMon.

FastNetMon поволяет обнаружить в Вашей сети узел, на который идет атака и заблокировать либо весь трафик до этого узла (силами BGP Blackhole на стороне роутеров в Вашей сети, а также с помощью сети оператора) либо отсечь только паразитный трафик силами BGP Flow Spec.

FastNetMon предоставляет большое количество динамической информации о Вашей сети и предоставляет удобный интерфейс для доступа к ней:


FastNetMon поддерживает почти все оборудование имеющееся на рынке и реализует следующие протоколы захвата трафика: 
  • sFlow v5
  • Netflow v5, v9, v10
  • IPFIX
  • SPAN/Mirror

С точки зрения платформ FastNetMon поддерживает почти все топовые дистрибутивы Linux, имеется в официальных портах FreeBSD, а также недавно добавлен в проект Debian.

Добро пожаловать на официальный сайт проекта: https://fastnetmon.com

воскресенье, 21 февраля 2021 г.

Firmware upgrade on Thinkpad X1 Extreme Gen 2 on Ubuntu 20.04

 It's actually pretty simple process, just run this in Terminal:

fwupdmgr update

Output may look the following way:

Upgrade available for Thunderbolt Controller from 42.00 to 59.00

Thunderbolt Controller and all connected devices may not be usable while updating. Continue with update? [Y|n]: Y

Downloading 59.00 for Thunderbolt Controller...

Fetching firmware https://fwupd.org/downloads/0ec44a6ae2c11843d80147271d99901d41a7489ff29444c820c918e46a8eac25-Lenovo-ThinkPad-X1E-Gen2-Thunderbolt-Firmware-N2OTG12W-Secured.cab

Downloading…             [***************************************] Less than one minute remaining…

Decompressing…           [***************************************]

Authenticating…          [***************************************]

Updating Thunderbolt Controller…                                 ]

Restarting device…       [***************************************]

Successfully installed firmware

суббота, 20 февраля 2021 г.

Ubuntu 14.04 LTS kernel with drop_monitor support

In this guide, I'll describe how you could build kernel for Ubuntu 14.04 with CONFIG_NET_DROP_MONITOR option. It's pretty standard reference copy-n-pasted from official manual of Ubuntu with very small changes.

If you got this error:

sudo ./dropwatch 
Unable to find NET_DM family, dropwatch can't work
Cleaning up on socket creation error

Then it means that your kernel does not have CONFIG_NET_DROP_MONITOR option compiled.

I use Ubuntu 14.04 and could provide guide how you could rebuild kernel with this option.

Rebuild kernel:

apt-get source linux-image-$(uname -r)

Install build deps:

sudo apt-get build-dep linux-image-$(uname -r) libncurses5-dev

Start process:

cd linux-lts-vivid-3.19.0 

Change options:

chmod a+x debian/rules
chmod a+x debian/scripts/*
chmod a+x debian/scripts/misc/*
fakeroot debian/rules clean 

fakeroot debian/rules editconfigs # you need to go through each (Y, Exit, Y, Exit..) or get a complaint about config later

Then specify it:

Do you want to edit config: amd64/config.flavour.generic? [Y/n] Y

Required option you could find here:

Networking support - Networking options - Network testing - Network packet drop alerting service - [M]

Build it:

fakeroot debian/rules binary-headers binary-generic binary-perarch 

Check it:

cat ./debian.vivid/config/amd64/config.flavour.generic
#
# Config options for config.flavour.generic automatically generated by splitconfig.pl
#
CONFIG_HZ=250
# CONFIG_HZ_1000 is not set
CONFIG_HZ_250=y
# CONFIG_IRQ_FORCED_THREADING_DEFAULT is not set
CONFIG_NET_DROP_MONITOR=m
# CONFIG_PREEMPT is not set 

CONFIG_PREEMPT_VOLUNTARY=y

And finally load it when you restart to new kernel:

modprobe drop_monitor 

 

 

 

 

 

Using Dropwatch to monitor UDP drops in Linux

What is Dropwatch?

This tool will show place where Linux kernel drops/discards UDP packets.

Example screen:

Install dependencies:

sudo apt-get install -y libnl-3-dev libnl-genl-3-dev binutils-dev libreadline6-dev

Then clone repo, cd to src folder and run make.

And finally run tool:

./dropwatch -l kas 

пятница, 22 января 2021 г.

How to switch keyboard layout in Ubuntu 20.04 LTS via Caps Lock?

 It's pretty easy, you need to create this folder:

sudo mkdir /etc/X11/xorg.conf.d

And then you need to create following file /etc/X11/xorg.conf.d/00-keyboard.conf with this content:

Section "InputClass"

        Identifier "system-keyboard"

        MatchIsKeyboard "on"

        Option "XkbLayout" "us,ru"

        Option "XkbModel" "pc104"

        Option "XkbOptions" "grp:caps_toggle"

EndSection

To apply changes you need to reboot your PC or laptop.  Tools like Tweak Gnome will not help because for some reasons in 20.04 Gnome resets configuration of custom keyboard layout when it set to Caps Lock.

понедельник, 8 июня 2020 г.

s3cmd and Google Cloud Storage

You can use s3cmd to access / upload data to Google Cloud Storage using following syntax:
s3cmd --disable-multipart  --host=storage.googleapis.com --host-bucket="%(bucket).storage.googleapis.com"  --access_key XXX --secret_key XXX filenaname put fastnetmon-1.1.6-1.el8.x86_64.rpm put s3://bucket_name/file_path
disable-multipart flag is important! It will return following error without it:
 ERROR: S3 error: 400 (InvalidArgument): Invalid argument.

воскресенье, 24 ноября 2019 г.

Испрравление проблемы с Realtek 8168: AMD-VI: Event logged [IO_PAGE_FAULT device=22:00.0 domain=0x000d address=0x00000000048b5000 flags=0x0050]

Столкнулся вот с такой проблемой, возникает она при попытке прокачать серьезный трафик по интерфейсу и его крашит.

Починка простая:
sudo apt-get install -y r8168-dkms
Моя выдача lspci:
22:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 15)
Update: на самом деле не помогло, я решил выкинуть Realtek и купил Intel I340.

суббота, 26 октября 2019 г.

Пожалуйста, не используйте DNS протокол для вашего приложения!

Отличный заголовок, не правда ли? Я думаю многие знают, что уже почти 3.5 года я работаю исключительно с протоколом DNS и за это время у меня накопилось довольно большое количество способов выстрелить себе в ногу на пустом, казалось бы, месте.

Протокол DNS отлично подходит для задачи, чтобы привести посетителей на Ваш сайт / ресурс, но на этом его задача должна заканчиваться. Если вам требуется раздача какой-то конфигурации (почему бы не сделать это используя TXT запись?), списка доступных узлов для приложения (также известного как service discovery в быту) или что-то еще не связанное напрямую с браузерами конечного клиента (также известного как eyeballs), то, пожалуйста, не используйте DNS.

Итак, проследим процесс разработки клиента для DNS протокола с нуля. Сразу скажу, что количество хороших библиотек для работы с DNS очень небольшое, я могу порекомендовать лишь MiekG DNS, хотя как клиент-библиотека он также не подходит. Почти все реализации DNS клиентов присутствующие в стандартной библиотеке языков программирования излишне упрощены и имеют не особенно удачные интерфейсы, скрывающие множество важных деталей. Я уверен, что мой список рекомендованных библиотек не полон, но это не говорит о том, что их нету.

Мы убедились, что реализация протокола DNS для нашего языка отсутствует и мы начали реализацию собственного клиента. Общеизвестно, что DNS - это один из тех немногих протоколов, который использует UDP протокол и мы уже подготовили UDP клиент, устанавливющий соединение с удаленным узлом (на котором ожидается работающий рекурсивный DNS резолвер) по порту 53.

Следующий шаг, попытаться сказать DNS серверу, что мы конкретно от него хотим, тут перед нашим взглядом предстает картина (любезно взятая с inacon.de):


Выглядит страшно, но мы видим поле Questions и можем догадаться, что именно туда нам нужно добавить наш запрос (естественно, закодированный в особенном формате).

Первая проблема, с которой вы можете столкнуться - это то, что слово Question здесь во множественном числе. Нет, возможности запросить более 1й записи в реально работающих реализация DNS серверов в 99% случаев нету, поэтому задать вы можете сугубо один вопрос.

Но что если Ваше приложение поддерживает dual stack (IPv4 + IPv6 адреса) и вам не хочется делать два последовательных запроса (A и потом AAAA, хотя я бы рекомендовал обратную последовательность). Очевидно, на выручку приходит тип запроса ANY, который вернет все записи (на самом деле - не все, далеко не все). 

Это еще одна ловушка! Многие провайдеры DNS отказываются от типа ANY и существует RFC, стандартизирующий это поведение. Из крупных провайдеров, например, 1.1.1.1 не поддерживает этот тип и вы получите NOTIMP в ответ. Поэтому вам придется делать разрешение имен последовательно.

Итак, мы добрались до момента, когда мы создали DNS запрос, требующий у сервера A запись о домене stableit.ru. Как же ответит нам сервер и ответит ли? Начнем с того, что он может не ответить, но точная установка лимита, как долго ждать ответа и сколько раз повторять его - очень сложная задача. В дикой среде (простите, не могу перевести in the wild) Интернета эта цифра может варьироваться от сотен миллисекунд до нескольких тысяч миллисекунд. Поэтому будьте очень аккуратны с лимитом.

Вуаля! Удача! Сервер ответил! Возвращаемся к картинке упомянутой ранее, там есть поля Answer и очевидно ответ будет там! Как же понять, что поиск запрошенного имени был успешен? Смотрим внимательнее и видим поле rCode. Что делает квалифицированный программист? Он идет на сайт IANA и смотрит документированные значения для этого поля.

Еще пару секунд поиска и о чудо - мы нашли NoError! Очевидно, таким образом сервер сообщает, что поиск имени был успешный! Ура! 

Теперь снова смотрим картину со структурой пакета и пытаемся найти, где именно искать ответ. В чем разница между answer, authority и additional? Совершенно не ясно, но методом тыка мы можем обнаружить, что ответ нам пришел в answer. 

Всегда ли это будет так? Нет! В протоколе DNS совершенно нормальным (также известным как NODATA) считается вернуть rCode установленный в NoError и пустую секцию Answer! При этом в секции authority будет совершенно не нужная нам запись SOA.

Итак, мы приходим к выводу, что определить успешность DNS запроса можно двумя проверками: rCode == NoError и секция anwer не пуста.

Ура! Мы почти близки к работающему стабильно DNS клиенту и радостно едем с офиса домой, где решаем продолжить работу. И вот незадача - клиент перестал работать и падает с фатальной ошибкой, потому что rCode == NoError, секция Answer не пуста, но в ней нету A записи! В ней какая-то "CNAME", указывающая на другой сервер и никаких следов IP адреса! Вот тут-то мы и приближаемся к развязке и причинам моего предостережения от использования DNS для приложений кроме случаев, где иных вариантов не существует.

Да, возврат CNAME совершенно легитимен и используется различными реализациями рекурсивных серверов, кроме одного CNAME также может быть возвращена цепочка CNAME или даже CNAME и А запись. Каждый из этих случаев должен быть обработан и время от времени требуется еще следующий (рекурсивный) запрос, чтобы получить IP адрес целевого сервера из CNAME. 

После завершения всех наших мучений, мы приходим к тому, что код работает и дома и в офисе и готов для продакшена.

Полгода спустя вы начинаете замечать, что свеже добавленные 15-ть серверов к 15ти существуюшим (которые ваше приложение-клиент получает силами DNS запроса) не получают трафика вообще! В чем дело? После часов-дней поиска, вы обнаружите, что DNS сервер возвращает 15 (зависит от случая и длины зоны, но порядок числа остается). Итак, знакомьтесь мы уперлись в лимит длины DNS ответа - 512 байт. Что в этом случае делать? Расчехлять навыки работы с протоколом TCP и реализовывать логику, чтобы в случае, когда по протоколу UDP сервер вернул ответ с флагом TC, то запрос должен быть повторен по TCP, который не имеет размеров на число записей.

Мои поздравления, мы учли почти все довольно очевидные проблемы в реализации надежного и стабильно работающего со всем многообразии авторитативных и рекурсивных DNS серверов клиента!  

К сожалению, при последующем улучшении вашего клиента, например, при попытке добавить кэш вы столкнетесь с тем, что продолжительность кэширования для успешных запросов (когда сервер ответил с записями) и неуспешных - должна быть разной и только удаленный DNS сервер может предоставить эту информацию (тут вы удивитесь тому, что каждый ответ в RRSet может иметь свой собственный TTL, но использовать его нельзя, см секцию 5.2).

Ах да, еще. Почти невозможно отличить временный сбой DNS сервера от постоянного, так как в обоих случаях Вы будете видеть SERVFAIL.

Надеюсь, после всего этого страха Вы не будете использовать протокол DNS там, где он не нужен и будете раздавать конфигурацию вашим мобильным (или серверным) приложениям в формате JSON используя хорошо зарекомендовавший себя протокол HTTP.

Спасибо за внимание!  





суббота, 22 июня 2019 г.

PHP FPM dynamic, ondemand or static?

Часто встает вопрос, в каком режиме использовать PHP FPM? Вот есть отличная статья, дающая ответ.

Установка Salt на Ubuntu 18.04

Довольно долгое время раньше я использовал Puppet, но он был крайне проблемен с точки зрения производительности, а также с точки зрения сложности конфигурации. В этом плане Salt намного лучше и понятнее, что я и постараюсь показать.

Как обычно, официальные инструкции можно найти тут и тут

Для работы нам потребуется по меньшей мере две машины - master (сервер) и minion (клиент).

Как для мастера, так и для клиента требуется добавить официальный репозиторий:
wget -O - https://repo.saltstack.com/apt/ubuntu/18.04/amd64/latest/SALTSTACK-GPG-KEY.pub | sudo apt-key add -
echo "deb [arch=amd64] http://repo.saltstack.com/apt/ubuntu/18.04/amd64/latest bionic main" | sudo tee /etc/apt/sources.list.d/saltstack.list
sudo apt-get update
Итак, установим мастер:
sudo apt-get install salt-master
 Так как мастер будет слушать на двух портах, я настоятельно рекомендую сразу же закрыть его фаерволлом от всех машин кроме клиента.

Для этого можно использовать пакет iptables-persistent, ставим его:
sudo apt-get install -y iptables-persistent
 Открываем файл конфигурации
sudo vim /etc/iptables/rules.v4
Создаем конфигурацию (xx замените на адрес клиента, если их неколько, добавьте несколько записей):
 # Generated by iptables-save v1.6.1 on Sat Jun 22 13:34:44 2019
*filter
:INPUT ACCEPT [278:38814]
:FORWARD ACCEPT [0:0]
:OUTPUT ACCEPT [231:33098]
# Allow access from clients
-A INPUT -s xx/32 -p tcp -m tcp --dport 4505 -j ACCEPT
-A INPUT -s xx/32 -p tcp -m tcp --dport 4506 -j ACCEPT
# And from localhost
-A INPUT -s 127.0.0.1/32 -p tcp -m tcp --dport 4505 -j ACCEPT
-A INPUT -s 127.0.0.1/32 -p tcp -m tcp --dport 4506 -j ACCEPT

# Block all traffic to external hosts to Salt Master
-A INPUT -p tcp -m tcp --dport 4505 -j DROP
-A INPUT -p udp -m udp --dport 4505 -j DROP
-A INPUT -p tcp -m tcp --dport 4506 -j DROP
-A INPUT -p udp -m udp --dport 4506 -j DROP
COMMIT
# Completed on Sat Jun 22 13:34:44 2019
После этого применяем изменения и убеждаемся: что правила добавлены в фаерволл iptables:
sudo systemctl restart netfilter-persistent
Теперь установим клиента:
sudo apt-get install salt-minion
После этого, нам нужно указать адрес мастер сервера в его конфигурации:
sudo vim /etc/salt/minion
И задаем адрес мастера в следующем параметре:
master: xx.aa.zz.bb
Кроме этого, нам потребуется ключ мастер, который нужно получить на мастер сервере следующим образом:
salt-key -F master
And copy string from "master.pub" from Local Key section and insert into /etc/salt/minion in following place:
master_finger: "xx.aa.xx.ggg"
Этот ключ позволит клиенту убедиться, что мастер именно тот, который нам требуется.

После этого применяем конфигурацию:
sudo systemctl restart salt-minion.service
После этого клиент (minion) запросит авторизацию у мастер сервера, илем на мастер сервер и запрашиваем список активных запрсов на авторизацию:
sudo salt-key -L
В ответ вы увидите что-то вида:
Accepted Keys:
Denied Keys:
Unaccepted Keys:
client_hostname
Rejected Keys: 
Одобряем запрос авторизации:
sudo salt-key --accept=client_hostname
Все, после этого с мастер сервера вы можете посылать любые командый конфигурации:
 salt '*' test.version
Но это лишь половина дела, наша задача заключается в автоматическом конфигурировании сервисов на клиенте и это также очень просто!

Создаем основную конфигурацию:
sudo vim /srv/salt/top.sls
Где указываем следующее:
base:
  'client_hostname':
    - php_fpm_setup
Этот файл представляет собой точку входу для конфигурации Salt и здесь можно управлять тем, какие конфигурации должны быть применены на какого клиента.

Итак, создадим саму конфигурацию:
sudo vim /srv/salt/php_fpm_setup.sls
Вот такого вида:
nginx_pkg:
  pkg.installed:
    - name: nginx
nginx_service:
  service.running:
    - name: nginx
    - enable: True
    - require:
      - pkg: nginx_pkg
fpm_pkg:
  pkg.installed:
     - name: php7.2-fpm
fpm_service:
  service.running:
    - name: php7.2-fpm
    - enable: True
    - require:
      - pkg: fpm_pkg
Данный state файл установит на сервер пакеты nginx и php-fpm и настроит их автозапуск.

После этого, данный state можно применить как со стороны клиента:
salt-call state.apply

Так и удаленно, со стороны сервера:
salt '*' state.apply
Выдача в обоих случаях будет аналогичная:
 ---------
          ID: nginx_pkg
    Function: pkg.installed
        Name: nginx
      Result: True
     Comment: All specified packages are already installed
     Started: 15:44:59.405480
    Duration: 57.533 ms
     Changes: 
----------
          ID: nginx_service
    Function: service.running
        Name: nginx
      Result: True
     Comment: The service nginx is already running
     Started: 15:44:59.463924
    Duration: 54.275 ms
     Changes: 
----------
          ID: fpm_pkg
    Function: pkg.installed
        Name: php7.2-fpm
      Result: True
     Comment: All specified packages are already installed
     Started: 15:44:59.518411
    Duration: 18.16 ms
     Changes:   
Все! Таким образом, у вас все конфигурации всех серверов будут находится в одном месте, сразу же рекомендую сделать /srv/salt git репозиторием.

суббота, 18 мая 2019 г.

Ubuntu 14.0 and Stopping system V runlevel compatibility

Recently I hit this issue after removing all X-related packages from server.

Root cause was some missing packages from lightdm.

NB! Please use this suggestions ONLY if you need only console interface on your server.

You can fix it by removing all configuration files which belong to lightdm:
sudo apt-get purge lightdm

воскресенье, 16 декабря 2018 г.

parted: Warning: The resulting partition is not properly aligned for best performance.

Эта ошибка, уверен, достает каждого! Даже в самом простом случае, когда нужен 1 раздел на весь диск - почти невозможно подобрать значения под конкретный диск, которые бы устроили parted.

Идеальный вариант такой.

Сначала создаем таблицу gpt на диске (все данные будут уничтожены):
parted /dev/sda
mklabel gpt

После этого создаем один раздел на весь диск:
parted /dev/sda
unit s
mkpart main ext4 0% 100%
Проверяем, что parted правда удовлетворен выравниванием вновь созданного раздела:
parted /dev/sda align-check optimal 1
Ответ должен быть "aligned".

За идею спасибо: https://blog.hqcodeshop.fi/archives/273-GNU-Parted-Solving-the-dreaded-The-resulting-partition-is-not-properly-aligned-for-best-performance.html 

суббота, 3 ноября 2018 г.

Installing 4.19 on Ubuntu 14.04

I'm playing with AF_XDP and this feature requires very fresh kernel. I decided to use 4.19 kernel from Ubuntu Kernel PPA.

But unfortunately, these packaged depend of very fresh version of linux-base package and it availabe only in Ubuntu 16.04 or 18.04. And I will help with this :)

First of all, install linux-base:
sudo apt-get install -y  linux-base
And then we will repack deb package to remove dependency on very fresh linux-base. I used guide from ServerFault.

Download original packages:
cd
mkdir -p deb_4_19_kernel_hacked_package
cd deb_4_19_kernel_hacked_package
wget -c http://kernel.ubuntu.com/~kernel-ppa/mainline/v4.19/linux-image-unsigned-4.19.0-041900-generic_4.19.0-041900.201810221809_amd64.deb
Unpack deb:
ar x linux-image-unsigned-4.19.0-041900-generic_4.19.0-041900.201810221809_amd64.deb
tar -xf control.tar.xz
rm control.tar.xz
Remove nasty dependency:
sed -i 's/linux-base (>= 4.5ubuntu1~16.04.1)/linux-base/' control
Pack control file again:
tar --ignore-failed-read -cvJf control.tar.xz {post,pre}{inst,rm} md5sums control

Build deb package again:
ar rcs linux-image-unsigned-4.19.0-041900-generic_4.19.0-041900.201810221809_amd64_fixed_dependencies.deb debian-binary control.tar.xz data.tar.xz
And install it:
wget -c http://kernel.ubuntu.com/~kernel-ppa/mainline/v4.19/linux-modules-4.19.0-041900-generic_4.19.0-041900.201810221809_amd64.deb
sudo dpkg -i linux-modules-4.19.0-041900-generic_4.19.0-041900.201810221809_amd64.deb
sudo dpkg -i linux-image-unsigned-4.19.0-041900-generic_4.19.0-041900.201810221809_amd64_fixed_dependencies.deb
Finally, rebuild grub configuration:
sudo update-grub
And confirm that Grub added new kernel to configuration:
cat /boot/grub/grub.cfg 
After that, prepare keyboard, monitor, IPKVM and start reboot process :) If you're lucky guy then you can get following:
uname -a
Linux flab1 4.19.0-041900-generic #201810221809 SMP Mon Oct 22 22:11:45 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux