0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

这些awk用法你会用几个

阿铭linux 来源:阿铭linux 作者:阿铭linux 2022-12-05 09:32 次阅读

awk也是流式编辑器,针对文档中的行来操作,一行一行地执行。awk工具其实是很复杂的(有专门的书来介绍它的应用),对于初学者来说,只要能处理日常管理工作中的问题即可。鉴于此,阿铭仅介绍比较常见的awk应用,如果你感兴趣再去深入研究吧!

12.3.1截取文档中的某个段

示例命令如下:

# head -n2 test.txt |awk -F ':' '{print $1}'
root
bin
本例中,-F选项的作用是指定分隔符。如果不加-F选项,则以空格或者tab为分隔符。print为打印的动作,用来打印某个字段。$1为第1个字段,$2为第2个字段,以此类推。但$0比较特殊,它表示整行:
# head -n2 test.txt |awk -F':' '{print $0}'
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
注意awk的格式,-F后面紧跟单引号,单引号里面为分隔符。print的动作要用{}括起来,否则会报错。print还可以打印自定义的内容,但是自定义的内容要用双引号括起来,如下所示:
# head -n2 test.txt |awk -F ':' '{print $1"#"$2"#"$3"#"$4}'
root#x#0#0
bin#x#1#1

12.3.2匹配字符或者字符串

示例命令如下:

# awk '/oo/' test.txt
root:x:0:0:root:/root:/bin/bash
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
setroubleshoot:x:992:990::/var/lib/setroubleshoot:/sbin/nologin
这跟sed的用法类似,能实现grep的功能,但没有颜色显示,肯定没有grep用起来方便。不过awk还有比sed更强大的匹配,如下所示:
# awk -F ':' '$1 ~/oo/' test.txt
root:x:0:0:root:/root:/bin/bash
setroubleshoot:x:992:990::/var/lib/setroubleshoot:/sbin/nologin

它可以让某个段去匹配,这里的~就是匹配的意思。awk还可以多次匹配,如下所示:

# awk -F ':' '/root/ {print $1,$3} /test/ {print $1,$3}' test.txt
root 0
operator 11
test 1006

本例中awk匹配完root,再匹配test,它还可以只打印所匹配的段。

12.3.3条件操作符

示例命令如下:

# awk -F ':' '$3=="0"' /etc/passwd
root:x:0:0:root:/root:/bin/bash
awk中可以用逻辑符号进行判断,比如==就是等于,也可以理解为精确匹配。另外还有>、>=、<、<=、!=等。值得注意的是,在和数字比较时,若把比较的数字用双引号引起来,那么awk不会认为是数字,而会认为是字符,不加双引号则会认为是数字。
# awk -F ':' '$3>="500"' /etc/passwd
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
nobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
systemd-coredump:x:999:997:systemd Core Dumper:/:/sbin/nologin
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
polkitd:x:998:996:User for polkitd:/:/sbin/nologin
geoclue:x:997:995:User for geoclue:/var/lib/geoclue:/sbin/nologin
unbound:x:996:991:Unbound DNS resolver:/etc/unbound:/sbin/nologin
gluster:x:995:990:GlusterFS daemons:/run/gluster:/sbin/nologin
chrony:x:994:989::/var/lib/chrony:/sbin/nologin
libstoragemgmt:x:993:987:daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin
saslauth:x:992:76:Saslauthd user:/run/saslauthd:/sbin/nologin
dnsmasq:x:986:986:Dnsmasq DHCP and DNS server:/var/lib/dnsmasq:/sbin/nologin
radvd:x:75:75:radvd user:/:/sbin/nologin
clevis:x:985:984:Clevis Decryption Framework unprivileged user:/var/cache/clevis:/sbin/nologin
cockpit-ws:x:984:982:User for cockpit-ws:/:/sbin/nologin
colord:x:983:981:User for colord:/var/lib/colord:/sbin/nologin
sssd:x:982:980:User for sssd:/:/sbin/nologin
setroubleshoot:x:981:979::/var/lib/setroubleshoot:/sbin/nologin
pipewire:x:980:978:PipeWire System Daemon:/var/run/pipewire:/sbin/nologin
gnome-initial-setup:x:979:977::/run/gnome-initial-setup/:/sbin/nologin
insights:x:978:976:Red Hat Insights:/var/lib/insights:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
avahi:x:70:70:Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
本例中,阿铭本想把uid大于等于500的行打印出来,但是结果并不理想。这是因为awk把所有的数字当作字符了,就跟上一章中提到的sort排序原理一样。但,不加双引号就得到了想要的结果:
# awk -F ':' '$3>=500' /etc/passwd
nobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologin
systemd-coredump:x:999:997:systemd Core Dumper:/:/sbin/nologin
polkitd:x:998:996:User for polkitd:/:/sbin/nologin
geoclue:x:997:995:User for geoclue:/var/lib/geoclue:/sbin/nologin
unbound:x:996:991:Unbound DNS resolver:/etc/unbound:/sbin/nologin
gluster:x:995:990:GlusterFS daemons:/run/gluster:/sbin/nologin
chrony:x:994:989::/var/lib/chrony:/sbin/nologin
libstoragemgmt:x:993:987:daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin
saslauth:x:992:76:Saslauthd user:/run/saslauthd:/sbin/nologin
dnsmasq:x:986:986:Dnsmasq DHCP and DNS server:/var/lib/dnsmasq:/sbin/nologin
clevis:x:985:984:Clevis Decryption Framework unprivileged user:/var/cache/clevis:/sbin/nologin
cockpit-ws:x:984:982:User for cockpit-ws:/:/sbin/nologin
colord:x:983:981:User for colord:/var/lib/colord:/sbin/nologin
sssd:x:982:980:User for sssd:/:/sbin/nologin
setroubleshoot:x:981:979::/var/lib/setroubleshoot:/sbin/nologin
pipewire:x:980:978:PipeWire System Daemon:/var/run/pipewire:/sbin/nologin
gnome-initial-setup:x:979:977::/run/gnome-initial-setup/:/sbin/nologin
insights:x:978:976:Red Hat Insights:/var/lib/insights:/sbin/nologin
aminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash
# awk -F ':' '$7!="/sbin/nologin"' /etc/passwd
root:x:0:0:root:/root:/bin/bash
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
aminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash
上例中,!=表示不匹配,它除了针对某一个段的字符进行逻辑比较外,还可以在两个段之间进行逻辑比较。如下所示:
# awk -F ':' '$3<$4' /etc/passwd
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

另外还可以使用&&和||,它们分别表示“并且”和“或者”。&&的用法如下:

# awk -F ':' '$3>"5" && $3<"7"' /etc/passwd
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
nobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologin
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin

||的用法如下:

# awk -F ':' '$3>1000 || $7=="/bin/bash"' /etc/passwd
root:x:0:0:root:/root:/bin/bash
nobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologin
aminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash

12.3.4awk的内置变量

awk常用的变量有OFS、NF和NR,OFS和-F选项有类似的功能,也是用来定义分隔符的,但是它是在输出的时候定义,NF表示用分隔符分隔后一共有多少段,NR表示行号。

OFS的用法示例如下:

# head -5 /etc/passwd |awk -F ':' '{OFS="#"} {print $1,$3,$4}'
root#0#0
bin#1#1
daemon#2#2
adm#3#4
lp#4#7

还有更高级一些的用法:

# awk -F ':' '{OFS="#"} {if ($3>=1000) {print $1,$2,$3,$4}}' /etc/passwd
nobody#x#65534#65534
aminglinux#x#1000#1000

变量NF的具体用法如下:

# head -n3 /etc/passwd | awk -F ':' '{print NF}'
7
7
7
# head -n3 /etc/passwd | awk -F ':' '{print $NF}'
/bin/bash
/sbin/nologin
/sbin/nologin

这里NF是多少段,$NF是最后一段的值。变量NR的具体用法如下:

# head -n3 /etc/passwd | awk -F ':' '{print NR}'
1
2
3

我们还可以使用NR作为判断条件,如下所示:

# awk 'NR>40' /etc/passwd
insights:x:978:976:Red Hat Insights:/var/lib/insights:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
avahi:x:70:70:Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
aminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash

NR也可以配合段匹配一起使用,如下所示:

# awk -F ':' 'NR<20 && $1 ~ /roo/' /etc/passwd
root:x:0:0:root:/root:/bin/bash

12.3.5awk中的数学运算

awk可以更改段值,示例命令如下:

# head -n 3 /etc/passwd |awk -F ':' '$1="root"'
root x 0 0 root /root /bin/bash
root x 1 1 bin /bin /sbin/nologin
root x 2 2 daemon /sbin /sbin/nologin

awk也可以对各个段的值进行数学运算,示例命令如下:

# head -n2 /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
# head -n2 /etc/passwd |awk -F ':' '{$7=$3+$4}'
# head -n2 /etc/passwd |awk -F ':' '{$7=$3+$4; print $0}'
root x 0 0 root /root 0
bin x 1 1 bin /bin 2

awk还可以计算某个段的总和,示例命令如下:

# awk -F ':' '{(tot=tot+$3)}; END {print tot}' /etc/passwd
84699
这里的END是awk特有的语法,表示所有的行都已经执行。其实awk连同sed都可以写成一个脚本文件,而且有它们特有的语法。在awk中使用if判断、for循环都可以,只是阿铭认为在日常管理工作中,没有必要使用那么复杂的语句而已。如下所示:
# awk -F ':' '{if ($1=="root") {print $0}}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
最后要提醒你一下,阿铭介绍的这些仅仅是正则表达式中最基本的内容, sed和awk并没有深入讲解,但足以满足日常工作所需。如果你碰到比较复杂的需求,实在搞不定了,可以来求助阿铭。

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 字符串
    +关注

    关注

    1

    文章

    568

    浏览量

    20461
  • 命令
    +关注

    关注

    5

    文章

    672

    浏览量

    21961
  • 编辑器
    +关注

    关注

    1

    文章

    800

    浏览量

    31037

原文标题:这些awk用法你会用几个

文章出处:【微信号:aming_linux,微信公众号:阿铭linux】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    这些shell脚本中常用的命令你会用几个

    这里阿铭列出了很多陌生的命令,这些命令在日常的文档处理工作中非常实用,所以阿铭需要先简单介绍一下它们,如果记不住,也没有关系,以后用到的时候再进一步了解即可。
    发表于 11-21 11:42 1829次阅读

    Linux中grep、sed和awk命令详解

    今天给大家聊一聊Linux中文本操作的`三剑客:awk、grep、sed`,因其功能强大、使用频繁,且是Linux下文本处理的得力利器,常被称之为`文本三剑客`。`grep`常用于查找,`sed`常用于取行和替换,而`awk`常用于运算。
    发表于 04-26 17:20 3162次阅读
    Linux中grep、sed和<b class='flag-5'>awk</b>命令详解

    分享几个avr开发会用到的软件

    分享几个avr开发会用到的软件,本人正在用,都是很小巧方便的软件。
    发表于 01-26 16:04

    Liunx中awk怎么操作

    Liunx中awk操作
    发表于 05-29 17:13

    Windows XP系统任务管理器几个另类用法

    Windows XP系统任务管理器几个另类用法 Windows任务管理器可以用来察看当前运行的程序、启动的进程、CPU及内存使用情况等信息,这为
    发表于 02-23 13:55 961次阅读

    装什么老司机?这些按钮有一半都不会用

    大师总结:学会用这些按键,会觉得车子真是太方便了,顺道载妹子也可以摆弄摆弄装个逼对不对?
    发表于 02-08 15:09 1426次阅读

    Linux中的Awk定义、用法详解

    使用Awk,我们可以做以下事情:将文本文件视为由字段和记录组成的文本数据库;在操作文本数据库的过程中能够使用变量;能够使用数学运算和字符串操作;能够使用常见的编程结构,例如条件分支与循环。
    的头像 发表于 12-11 16:26 5969次阅读
    Linux中的<b class='flag-5'>Awk</b>定义、<b class='flag-5'>用法</b>详解

    Linux Awk用法总结

    Awk、sed与grep,俗称Linux下的三剑客,它们之间有很多相似点,但是同样也各有各的特色,相似的地方是它们都可以匹配文本,其中sed和awk还可以用于文本编辑,而grep则不具备这个功用。
    的头像 发表于 04-13 09:27 5547次阅读
    Linux <b class='flag-5'>Awk</b><b class='flag-5'>用法</b>总结

    快速掌握AWK的基本使用方式

    本文大部分内容翻译自我开始学习AWK时看到的一篇英文文章 AWK Tutorial ,觉得对AWK入门非常有帮助,所以对其进行了粗略的翻译,并对其中部分内容进行了删减或者补充,希望能为对AWK
    的头像 发表于 08-20 14:17 2190次阅读
    快速掌握<b class='flag-5'>AWK</b>的基本使用方式

    linux下awk以及重定向命令如何使用?

    awk语言的最基本功能是在文件或字符串中基于指定规则浏览和抽取信息,awk抽取信息后,才能进行其他文本操作,完整的awk脚本通常用来格式化文本文件中的信息
    发表于 10-18 17:25 3次下载

    20分钟 Awk 入门

    都会变得很大,并且在每个服务器都会拥有大量的这类文件。如果经历过这样的情境——在没有像Splunk或者其他等价的工具情况下不得不在50个不同的服务器里分析几G的文件,会觉得去获取和下载所有的
    发表于 04-02 14:51 170次阅读

    Linux中awk命令的格式和匹配模式

    1.命令简介 AWK 是文本处理语言,是一个强大的文本分析工具,是 Unix/Linux 环境中功能强大的数据处理引擎之一。数据可以来自标准输入(stdin)、一个或多个文件或其它命令的输出。它支持
    的头像 发表于 03-11 16:24 3907次阅读

    Linux三剑客之awk实战详解教程

    awk 强大的功能,是一般 Linux 命令无法比拟的。在本文中,我不会告诉 awk 也是一种编程语言,免得会吓到你。我们只需把它当做 Linux 下一款强大的文本分析工具即可。
    的头像 发表于 03-31 17:12 2283次阅读
    Linux三剑客之<b class='flag-5'>awk</b>实战详解教程

    详解C语言中特殊用法

    C语言有很多特殊的用法,如果这些特殊用法使用得当,会是的代码变得更加有健壮,更加容易维护。
    的头像 发表于 07-15 08:57 1395次阅读

    作为射频工程师,真的会用“dB”?

    作为射频工程师,真的会用“dB”?
    的头像 发表于 12-06 14:51 519次阅读
    作为射频工程师,<b class='flag-5'>你</b>真的<b class='flag-5'>会用</b>“dB”?