Подсчёт и выборка данных при помощи awk и column в терминале, операции с дробными числами в bash

Говорят, что изучение bash «по взрослому» начинается с команды awk. И действительно раньше эти конструкции отталкивали, но как оказалось, всё не так страшно как представлялось вначале пути. И теперь меня уже пугают другие bash конструкции, типа сложных условий sed обработки и выборки. Неужели я перешёл на «взрослый» уровень? Не знаю. А вот команда awk понравилась за свою гибкость, ведь в ней доступны условия и даже подскрипты, позволяющие разобрать данные каждой колонки, проверить и обработать их с нужной логикой. Кстати, если быть точным, это уже никакой не bash, это awk!

Допустим у нас есть некий лог файл, в котором через разделитель мы сохраняем инфу с числами. Разобъём его на клонки командой column указав этот разделитель. Ну вот например, подсчёт количества строк с условием, что значение в колонке 9 больше или равно 3:

cat current.log | column -t -s ';' | awk '$9>=3 {print $9}' | wc -l

Какой grep вам такое выполнит? Нет, силу регулярок, конечно никто не отменял и grep -e справится, но нужно писать регулярку. А если условий будет несколько, придётся писать и под них регулярки. А здесь мы сразу указываем условия напрямую. Ну хорошо, допустим первый пример неудачный, тогда вот такой:

cat current.log | column -t -s ';' | awk 'BEGIN{sum=0} {sum+=$9} END{print sum;}'
cat current.log | column -t -s ';' | awk 'BEGIN{sum=0} {if($9>=3) sum+=$9} END{print sum;}'

Вот здесь уж точно только awk справится с такими задачами. В первом случае мы просто подсчитали сумму данных в колонке 9. А второй командой при помощи условия в awk мы подсчитали сумму только тех цифр, что более или равны 3.

Кстати, если в колонке были дробные числа типа float, то и результат будет дробным. А вы знали, что bash при всех своих достоинствах, тупо не работает с  дробными числами? При делении они их округляет в меньшую сторону, а при остальных операциях выдаёт ошибку. Попробуем:

echo $((5/2)) # результат 2
echo $((3+5)) # результат 8
echo $((3.5+5)) # ошибка!

И как же быть, когда нам нужно произвести в bash операции с дробными числами? Ответ прост: использовать отдельный скриптовый язык awk передав ему управление потоком:

echo 3.5 5 | awk '{print $1+$2}' # результат 8.5

Вот почему я сразу заметил, что awk вам не bash! А недавно, у меня возникла ситуация, в которой column отказывался форматировать вывод поскольку в нем присутствовала кириллица. Он просто проглатывал поток и ничего не отдавал. Причём в терминале column разбивл без проблем, проблема была с вызовом shell из под php. А вот awk справился с этой задачей, обработав строки и колонки по разделителю:

cat logfile.log | awk 'BEGIN {FS = ";"}{ for (x = 1; x <= NF; x++) { printf "%-18s%s", substr(\$x, 1, 45), x == NF ? "\\n" : ""} }'

А вот что он ещё умеет:

awk ' {print $1,$3} '

awk ' {print $0} '

awk ' /'pattern'/ {print $2} '

awk -f script.awk inputfile

awk ' program ' inputfile

awk "BEGIN { print \"Hello, world!!\" }"

awk '{ print }'

#! /bin/awk -f
BEGIN { print "Hello, world!" }

# This is a program that prints \
"Hello, world!"
# and exits

awk -F "" 'program' files

awk -F "regex" 'program' files

awk '{ if (length($0) > max) max = \
length($0) }
END { print max }' inputfile

awk 'length($0) > 80' inputfile

awk 'NF > 0' data

awk 'BEGIN { for (i = 1; i <= 7; i++)
print int(101 * rand()) }'

ls -l . | awk '{ x += $5 } ; END \
{ print "total bytes: " x }'
total bytes: 7449362

ls -l . | awk '{ x += $5 } ; END \
{ print "total kilobytes: " (x + \
1023)/1024 }'
total kilobytes: 7275.85

awk -F: '{ print $1 }' /etc/passwd | sort

awk 'END { print NR }' inputfile

awk 'NR % 2 == 0' data

ls -l | awk '$6 == "Nov" { sum += $5 }
END { print sum }'

awk '$1 ~/J/' inputfile

awk '$1 ~!/J/' inputfile

awk 'BEGIN { print "He said \"hi!\" \to her." }'

echo aaaabcd | awk '{ sub(/a+/, \"<A>"); print }'

awk '{ $2 = $2 - 10; print $0 }' inventory

awk '{ $6 = ($5 + $4 + $3 + $2); print \ $6' inventory

echo a b c d | awk '{ OFS = ":"; $2 = ""
> print $0; print NF }'

echo a b c d | awk '{ OFS = ":"; \
$2 = ""; $6 = "new"
> print $0; print NF }'

echo a b c d e f | awk '\
{ print "NF =", NF;
> NF = 3; print $0 }'

FS=[ ]

echo ' a b c d ' |  awk 'BEGIN { FS = \
"[ \t\n]+" }
> { print $2 }'

awk -n '/RE/{p;q;}' file.txt

awk -F\\\\ '...' inputfiles ...

BEGIN { RS = "" ; FS = "\n" }
{
print "Name is:", $1
print "Address is:", $2
print "City and State are:", $3
print ""
}

awk 'BEGIN { OFS = ";"; ORS = "\n\n" }
> { print $1, $2 }' inputfile

awk 'BEGIN {
> OFMT = "%.0f" # print numbers as \
integers (rounds)
> print 17.23, 17.54 }'

awk 'BEGIN {
> msg = "Dont Panic!"
> printf "%s\n", msg
>} '

awk '{ printf "%-10s %s\n", $1, \
$2 }' inputfile

awk '{ print $2 > "phone-list" }' \inputfile

awk '{ print $1 > "names.unsorted"
       command = "sort -r > names.sorted"
       print $1 | command }' inputfile

awk 'BEGIN { printf "%d, %d, %d\n", 011, 11, \
0x11 }'
Will print 9, 11, 17
if (/foo/ || /bar/)
   print "Found!"

awk '{ sum = $2 + $3 + $4 ; avg = sum / 3
> print $1, avg }' grades

awk '{ print "The square root of", \
$1, "is", sqrt($1) }'
2
The square root of 2 is 1.41421
7
The square root of 7 is 2.64575

awk '$1 == "start", $1 == "stop"' inputfile

awk '
> BEGIN { print "Analysis of \"foo\"" }
> /foo/ { ++n }
> END { print "\"foo\" appears", n,\
 "times." }' inputfile

echo -n "Enter search pattern: "
read pattern
awk "/$pattern/ "'{ nmatches++ }
END { print nmatches, "found" }' inputfile
Search using shell
if (x % 2 == 0)
print "x is even"
else
print "x is odd"

awk '{ i = 1
  while (i <= 3) {
    print $i
    i++
  }
}' inputfile

awk '{ for (i = 1; i <= 3; i++)
  print $i
}'

BEGIN {
if (("date" | getline date_now) <= 0) {
  print "Can't get system date" > \
"/dev/stderr"
  exit 1
}
print "current date is", date_now
close("date")
}

awk 'BEGIN {
> for (i = 0; i < ARGC; i++)
> print ARGV[i]
> }' file1 file2

for (i in frequencies)
delete frequencies[i]

foo[4] = ""
if (4 in foo)
print "This is printed, even though foo[4] \
is empty"

function ctime(ts, format)
{
  format = "%a %b %d %H:%M:%S %Z %Y"
  if (ts == 0)
  ts = systime()
  # use current time as default
  return strftime(format, ts)
}

BEGIN { _cliff_seed = 0.1 }
function cliff_rand()
{
  _cliff_seed = (100 * log(_cliff_seed)) % 1
  if (_cliff_seed < 0)
    _cliff_seed = - _cliff_seed
  return _cliff_seed
}

cat apache-anon-noadmin.log | \
awk 'function ri(n) \
{  return int(n*rand()); }  \
BEGIN { srand(); }  { if (! \
($1 in randip)) {  \
randip[$1] = sprintf("%d.%d.%d.%d", \
ri(255), ri(255)\
, ri(255), ri(255)); } \
$1 = randip[$1]; print $0  }'

Ну и добавлю ещё базовый синтаксис:

awk опции 'условие {действие}'
awk опции 'условие {действие} условие {действие}'

С помощью действия можно выполнять преобразования с обрабатываемой строкой. Об этом мы поговорим позже, а сейчас давайте рассмотрим опции утилиты:

-F, --field-separator - разделитель полей, используется для разбиения текста на колонки;
-f, --file - прочитать данные не из стандартного вывода, а из файла;
-v, --assign - присвоить значение переменной, например foo=bar;
-b, --characters-as-bytes - считать все символы однобайтовыми;
-d, --dump-variables - вывести значения всех переменных awk по умолчанию;
-D, --debug - режим отладки, позволяет вводить команды интерактивно с клавиатуры;
-e, --source - выполнить указанный код на языке awk;
-o, --pretty-print - вывести результат работы программы в файл;
-V, --version - вывести версию утилиты.

Это далеко не все опции awk, однако их вам будет достаточно на первое время. Теперь перечислим несколько функций-действий, которые вы можете использовать:

print(строка) - вывод чего либо в стандартный поток вывода;
printf(строка) - форматированный вывод в стандартный поток вывода;
system(команда) - выполняет команду в системе;
length(строка) - возвращает длину строки;
substr(строка, старт, количество) - обрезает строку и возвращает результат;
tolower(строка) - переводит строку в нижний регистр;
toupper(строка) - переводить строку в верхний регистр.