Различия

Показаны различия между двумя версиями страницы.

@@ Строка 1: / Строка 1: @@
+====== AWK примеры использования ======
+{{htmlmetatags>
+metatag-description=(Утилита awk используется для построчного разбора и обработки входного потока, например текстовых файлов. )
+}}
+**AWK** - интерпретируемый скриптовый C- подобный язык построчного разбора и обработки входного потока (например, текстового файла) по заданным шаблонам. Утилита AWK, была создана в 1977 году и объединила свойства фильтров [[sed|sed]] и [[grep|grep]]. В дальнейшем её возможности значительно расширились. Одним из расширений awk стала nawk, с помощью которой можно обращаться к нескольким файлам в одной программе. gawk - следующий этап развития awk, в ней реализованы как возможности nawk, так и стандартные средства awk.
+Awk — это мощный инструмент для обработки текстовых данных в командной строке. Он идеально подходит для анализа данных, извлечения и преобразования текста, а также для выполнения различных вычислений.
+AWK рассматривает входной поток как список записей. Каждая запись делится на поля. На основе этой информации выполняется некоторый определённый программистом алгоритм обработки. По умолчанию разделителем записей является символ новой строки (то есть записи — это то же самое, что строки), разделителем полей - символ пробела или табуляции, или последовательность таких символов. Символы-разделители можно явно определить в программе.
+AWK- программа состоит из операторов (правил), имеющих вид:
+<file bash>
+ шаблон {действие}
+ шаблон {действие}
+ . . .
+</file>
+Каждая запись поочерёдно сравнивается со всеми шаблонами, и каждый раз когда она соответствует шаблону, выполняется указанное действие. Если шаблон не указан, то действие выполняется для любой записи. Если не указано действие, то запись выводится.
+<note tip>Действие может состоять из последовательности операторов, разделяемой точкой с запятой, переводом строки или закрывающей скобкой.</note>
+===== Примеры использования AWK =====
+Эти примеры демонстрируют базовую функциональность awk и могут быть адаптированы для различных сценариев обработки текстовых данных.
+  * Отсортировать файлы по времени создания и вывести последнюю строку<file bash>
+ls -lt /home/ftp_share/ftp_backup/ | awk 'END{print $9}'
+</file>
+  * Печать всех строк длиннее 80 символов:<file>
+$ cat install.sh | awk '{if (length($0) > 80) print $0}'
+</file>
+  * Вывести пятое поле из вывода команды [[netstat]]:<file>
+$ netstat -ntu | awk '{print $5}'
+</file>
+  * Вывести строки, в которых значение первого столбца равно udp:<file>
+# netstat -ntu | awk '$1 == "udp"'
+</file>
+  * Завершить процесс node (слушающему [[TCP]] -порт 1277) по его PID:<file>
+#!/bin/bash
+kill -9 `lsof -i:1277 | awk '$0 ~ /node/ {print $2}'`
+</file>
+  * Вывести третью строку из файлы .bash_history<file>
+# awk 'NR==3{print}' .bash_history
+</file>
+==== Вывод столбцов из файла ====
+<file bash>
+awk '{print $1, $3}' filename.txt
+</file>
+Эта команда выводит первый и третий столбцы каждой строки файла `filename.txt`.
+==== Подсчет и суммирование ====
+<file bash>
+awk '{sum += $1} END {print sum}' filename.txt
+</file>
+Здесь awk суммирует значения в первом столбце каждой строки и выводит итоговую сумму после обработки всех строк.
+<file bash>
+Фильтрация по шаблону
+</file>
+<file bash>
+awk '/pattern/ {print $0}' filename.txt
+</file>
+Эта команда печатает только те строки файла, которые соответствуют заданному шаблону `pattern`.
+==== Форматированный вывод ====
+<file bash>
+awk '{printf "Name: %s, ID: %d\n", $1, $2}' filename.txt
+</file>
+Тут awk использует функцию print` для форматированного вывода определенных столбцов.
+==== Выполнение арифметических операций ====
+<file bash>
+awk '{print $1, $2, $1 * $2}' filename.txt
+</file>
+В этом примере awk умножает значения первого и второго столбцов каждой строки.
+==== Обработка нескольких файлов ====
+<file bash>
+awk '{print FILENAME, NR, $0}' file1.txt file2.txt
+</file>
+Эта команда выводит имя файла, номер строки и содержимое строки для нескольких файлов.
+==== Фильтрация по условию ====
+<file bash>
+awk '$3 > 100 {print $1, $3}' filename.txt
+</file>
+Здесь awk выводит первый и третий столбцы для строк, где значение в третьем столбце больше 100.
+==== Использование переменных ====
+<file bash>
+awk -v var=100 '{if ($1 > var) print $0}' filename.txt
+</file>
+В этом примере используется переменная var, и awk печатает строки, где значение первого столбца больше var.
+==== Редактирование текста в строке ====
+<file bash>
+awk '{sub(/old/, "new"); print $0}' filename.txt
+</file>
+Тут awk заменяет текст old на new в каждой строке файла.
+==== Группировка и агрегация ====
+<file bash>
+awk '{count[$1]++} END {for (word in count) print word, count[word]}' filename.txt
+</file>
+Этот пример подсчитывает, сколько раз каждое уникальное значение встречается в первом столбце, и выводит эти значения и их частоту.
+===== Парсинг файлов с использованием AWK =====
+Самая частая операция, которую вам придется выполнять в командной строке, где-то надо распарсить лог и вытащить количество IP-адресов, где-то - подсчитать количество вхождений каких-то слов и так далее. Возможно, даже придется парсить csv файл и обрабатывать каждую строчку каким-то хитрым образом. Конечно, большую часть из всего этого можно сделать с помощью стандартных утилит типа cat, grep, wc, head, tail и других, но иногда намного проще написать скрипт на awk для обработки текстовых файлов.
+По сути awk - это небольшой язык программирования для обработки текстов. Команда его запуска выглядит так:
+<file>
+$ awk options program file
+</file>
+Где options - это опции, передаваемые awk, program - скрипт, который будет обрабатывать файл, и собственно file - файл, который необходимо разобрать.
+Основными опциями являются:
+  * -F fs — позволяет указать символ-разделитель для полей в записи (в каждой строке);
+  * -f file — указывает имя файла, из которого нужно прочесть awk-скрипт;
+  * -v var=value — объявляет переменную, которая будет использована в скрипте.
+Создадим простейший awk скрипт, который будет читать построчно файл /etc/passwd, разделять его по символу ':' и выводить только первый элемент - то есть имя пользователя.
+<file bash>
+$ cat /etc/passwd | awk -F ':' '{print $1}'
+root
+daemon
+bin
+sys
+sync
+games
+man
+</file>
+С помощью команды cat мы выводим файл на экран и отправляем весь вывод на вход команде awk, которой указываем, что каждую строку надо разбить по символу ':', после чего - вывести первый элемент ($1).
+В awk можно писать несколько команд, разделяя их точкой с запятой:
+<file>
+$ cat /etc/passwd | awk -F ':' '{print $1; print $3}'
+</file>
+Блок, указанный в фигурных скобках, будет выполнен для каждой строки. То есть awk читает строку и выполняет код, указанный в этих скобках. Если вы хотите разово выполнить какое-то действие, например, объявить переменную в самом начале или в завершении вывести общую информацию по файлу, то для этого надо использовать блоки BEGIN & END.
+Давайте напишем простой скрипт, который считает количество строк в файле:
+<file>
+$ cat /etc/passwd | awk 'BEGIN {a = 0} {a=a+1} END {print a}'
+</file>
+Как вы уже увидели - блоки BEGIN{} и END{} выполнились только один раз. А вот блок {} выполнился 26 раз - по количеству строк в файле. Давайте рассмотрим еще один пример - просуммируем все uid в /etc/passwd:
+<file>
+$ cat /etc/passwd | awk -F ':' 'BEGIN {a = 0} {a=a+$3} END {print a}'
+</file>
+Мы разбиваем каждую строку /etc/passwd по символу ':', объявляем переменную a равную 0, в каждой строке вытаскиваем uid ($3) и прибавляем к перемнной a. И в завершение выводим переменную a на экран.
+Помимо простых операций, awk поддерживает и условия if. С помощью awk вы можете быстро и удобно обрабатывать текстовые файлы в терминале.
+<panel type="primary" title="Читайте также">
+  * [[RegExp]]
+  * [[sed]]
+</panel>

📌 Удобный подбор VPS по параметрам доступен на DIEGfinder.com - официальном инструменте проекта DIEG. Это часть единой экосистемы, созданной для того, чтобы помочь быстро найти подходящий VPS/VDS сервер для любых задач хостинга.

📌 Для тестирования скриптов, установщиков VPN и Python-ботов рекомендуем использовать надежные VPS на короткий срок. Подробнее о быстрой аренде VPS для экспериментов - читайте здесь.

💥 Подпишись в Телеграм 💥 и задай вопрос по сайтам и хостингам бесплатно!

Различия

7 Самых Популярных Статей

7 Самых Популярных Обзоров