麻豆小视频在线观看_中文黄色一级片_久久久成人精品_成片免费观看视频大全_午夜精品久久久久久久99热浪潮_成人一区二区三区四区

首頁(yè) > 開(kāi)發(fā) > Linux Shell > 正文

awk實(shí)現(xiàn)Left、join查詢(xún)、去除重復(fù)值以及局部變量講解例子

2020-07-27 19:14:31
字體:
來(lái)源:轉(zhuǎn)載
供稿:網(wǎng)友

最近看到論壇里面有幾個(gè)不錯(cuò)的小例子,對(duì)于學(xué)習(xí)awk還是有幫助,在這兒詳細(xì)的說(shuō)一下

一、類(lèi)似數(shù)據(jù)庫(kù)中的left join查詢(xún)

復(fù)制代碼 代碼如下:

[root@krlcgcms01 mytest]# cat a.txt    //a.txt
111   aaa
222   bbb
333   cccc
444   ddd
[root@krlcgcms01 mytest]# cat b.txt    //b.txt
111  123  456
2    abc  cbd
444  rts  786


要求輸出結(jié)果是
111,aaa,123,456
444,ddd,rts,786

實(shí)現(xiàn)方法:

復(fù)制代碼 代碼如下:

[root@krlcgcms01 mytest]# awk 'NR==FNR{a[$1]=$2;}NR!=FNR && a[$1]{print $1","a[$1]","$2","$3}' a.txt b.txt
111,aaa,123,456
444,ddd,rts,786

解釋?zhuān)寒?dāng)NR和FNR相同時(shí),這就說(shuō)明在對(duì)第一個(gè)文件進(jìn)行操作,a[$1]=$2表示,建立一個(gè)數(shù)組,以第一個(gè)字段為下標(biāo),第二個(gè)字段為值。當(dāng)NR!=FNR時(shí),說(shuō)明在對(duì)第二個(gè)文件進(jìn)行操作,注意:這個(gè)時(shí)候的$1和前面的$1不是同一個(gè)東西了,前面的$1表示的是a.txt的第一個(gè)字段,而后面的$1表示的是b.txt的第一個(gè)字段。a[$1]表示以b.txt中第一個(gè)字段的為下標(biāo)的值,如果a[$1]有值的話(huà),說(shuō)明也存在于a.txt文件中,這樣就把數(shù)據(jù)print出來(lái)就行了。

實(shí)現(xiàn)方法2:

復(fù)制代碼 代碼如下:

[root@krlcgcms01 mytest]# awk -v OFS="," 'NR==FNR{a[$1]=$2;} NR!=FNR && $1 in a { print $1,a[$1],$2,$3}' a.txt b.txt
111,aaa,123,456
444,ddd,rts,786

解釋?zhuān)?v OFS=","這個(gè)是設(shè)置輸出時(shí)的列分割符,$1 in a這個(gè)是b.txt文件中的第一列的值是不是在數(shù)組a的key中,這個(gè)對(duì)做程序的來(lái)說(shuō)很好理解,各種語(yǔ)言當(dāng)中都有這樣的用法,或者函數(shù)。例如,php中有in_array函數(shù)。比較一下,方法1和方法2中的print,方法1我加了雙引號(hào),方法2我卻沒(méi)有加,但是輸出的效果卻是一樣的。

二、去除重復(fù)的值

復(fù)制代碼 代碼如下:

[root@krlcgcms01 mytest]# cat repea   //文件repea
 a b
 c d
 e f
 b d
 b a
 f e
 1 2
 2 1

如果有a,b和b,a這樣的情況,就刪除b,a,當(dāng)然數(shù)字也一樣;

實(shí)現(xiàn)方法1:

復(fù)制代碼 代碼如下:

awk '{for(i=1;i<=NF;i++)a[i]=$i;asort(a);for(i=1;i<=length(a);i++)printf a[i]"/t";printf "/n"}' repea|sort|uniq
1       2
a       b
b       d
c       d
e       f

解釋?zhuān)篺or(i=1;i<=NF;i++)a[i]=$i;將每一列中的二個(gè)字段放到數(shù)組中,asort(a),這個(gè)數(shù)組進(jìn)行排序,后面的代碼是將數(shù)組數(shù)據(jù)輸出來(lái),通sort命令對(duì)輸入的數(shù)據(jù)進(jìn)行排序,相同數(shù)據(jù)會(huì)排在一起,通過(guò)uniq來(lái)進(jìn)行去除相同的列。這種方法比較有通用性,不光適合二列,三列,四列都行。不過(guò)效率差了點(diǎn)。

實(shí)現(xiàn)方法2:

復(fù)制代碼 代碼如下:

[root@krlcgcms01 mytest]# awk '{a[$0]=$0;if (!($2 OFS $1 in a)) print a[$0] }' repea
a b
c d
e f
b d
1 2
[root@krlcgcms01 mytest]# awk '{a[$0];if (!($2 OFS $1 in a)) print  }' repea   
a b
c d
e f
b d
1 2

解釋?zhuān)悍椒?的二種寫(xiě)法,出來(lái)的結(jié)果是一樣的,a[$0];沒(méi)有賦值也沒(méi)有報(bào)錯(cuò),為什么呢?awk在遇到這樣沒(méi)有定義的變量時(shí),會(huì)給它一個(gè)初值。if (!($2 OFS $1 in a))表示返轉(zhuǎn)字段不在數(shù)組a中,這里所說(shuō)的在,表示key是不是存在,不是值。print 不寫(xiě)默認(rèn)是一行。

實(shí)現(xiàn)方法3:

復(fù)制代碼 代碼如下:

[root@krlcgcms01 mytest]# awk '!a[$1_$2]++&&!a[$2_$1]++' repea
a b
c d
e f
b d
1 2
[root@krlcgcms01 mytest]# awk '{if(!a[$1_$2]++&&!a[$2_$1]++)print $0;}' repea
a b
c d
e f
b d
1 2

解釋?zhuān)?a[$1_$2]++&&!a[$2_$1]++等于if(!a[$1_$2]++&&!a[$2_$1]++),對(duì)于首次出現(xiàn)的記錄,a[$2_$1]的值是未定義的,由于后面的 ++ 是數(shù)學(xué)計(jì)算,所以a[$2_$1]會(huì)被賦值成數(shù)字0,也是由于 ++ 操作符,會(huì)先取值,再計(jì)算,從左到右 ++ 運(yùn)算符的優(yōu)先級(jí)大于!運(yùn)算符的,所以對(duì)于第一行記錄實(shí)際上是if(! 0) print $0     ! 是取反,0 是假,! 0 就是真,那么就會(huì)執(zhí)行后面的 print $0對(duì)于后面出現(xiàn)的重復(fù)記錄,a[$0] 經(jīng)過(guò) ++ 的計(jì)算已經(jīng)變?yōu)?1、2、3 。。。而 ! 1  ! 2  ! 3 ... 都為假,不會(huì)打印。

三、awk的局部變量

這個(gè)例子來(lái)說(shuō)明一下,awk怪異的局部變量

復(fù)制代碼 代碼如下:

[root@krlcgcms01 mytest]# cat sum 
 1       2 
 2       3 
 a       b 
 3       2 
 4       1 
 3       r 

把都是數(shù)字的行,最大的那個(gè)數(shù)字加起來(lái),第一行是2,第二行是3,每四行是3,第五行是4,總和是12

復(fù)制代碼 代碼如下:

function max(one,two){
 if(one > two){
 sum = sum + one;
 }else{
 sum  = sum + two;
 }
 }

{if($1~"[0-9]" && $2~"[0-9]") max($1,$2);}
 END{print "sum="sum}


在max方法里面,變量sum是會(huì)影響外面的,這里的sum是全局的。
[root@krlcgcms01 mytest]# awk -f add.sh sum
sum=12

復(fù)制代碼 代碼如下:

function max(one,two,sum){    //方法中的sum局部變量
if(one > two){
sum = sum + one;
}else{
sum  = sum + two;
}
}

{if($1~"[0-9]" && $2~"[0-9]") max($1,$2,sum);}

END{print "sum="sum}         //所以為空

[root@krlcgcms01 mytest]# awk -f add.sh sum
sum=

復(fù)制代碼 代碼如下:

function max(one,two,sum){
 if(one > two){
 sum = sum + one;
 }else{
 sum  = sum + two;

 }

  return  sum                 //加上return就可以了
 }

{if($1~"[0-9]" && $2~"[0-9]") sum = max($1,$2,sum);}

END{print "sum="sum}

發(fā)表評(píng)論 共有條評(píng)論
用戶(hù)名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 久久久久久久久91 | 草久在线观看视频 | 欧美成人一区二区视频 | 国产精品久久久久久久久岛 | av在线免费电影 | 久久精品日产高清版的功能介绍 | 免费毛片播放 | 久久激情小视频 | 成片免费大全 | 中文字幕免费播放 | 色骚综合 | a黄毛片 | 91久久久国产精品 | 1级片在线观看 | 97久久人人超碰caoprom | 亚洲精品成人18久久久久 | 成人黄视频在线观看 | 日韩精品久久久久久久电影99爱 | 久久99精品久久 | 精品国产91久久久久久久妲己 | 三人弄娇妻高潮3p视频 | 91成人在线网站 | 久久久久久中文字幕 | 国产精品二区高清在线 | 毛片在线免费 | 国产视频在线观看一区二区三区 | 欧美视频一二三区 | 免费黄色在线 | 鲁久久| 久久国产一 | 日韩a毛片免费观看 | 青草久久网 | 欧美视频一区二区三区在线观看 | 爱射av| 日日噜噜噜噜久久久精品毛片 | 午夜小视频免费观看 | 欧美成人免费电影 | 亚洲综合精品成人 | 日日草夜夜操 | 亚洲午夜一区二区三区 | 久草在线精品观看 |