python解析 MS-Celeb-1M 數(shù)據(jù)庫(kù)

2019-11-14 09:08:33

字體：大中小

供稿：網(wǎng)友

我在微軟下載人臉識(shí)別數(shù)據(jù)庫(kù) MS-Celeb-1M, 下載完的格式是 .tsv格式。看了數(shù)據(jù)庫(kù)官網(wǎng)的文件格式說(shuō)明：

File format: text files, each line is an image record containing 7 columns, delimited by TAB. Column1: Freebase MID Column2: ImageSearchRank Column3: ImageURL Column4: PageURL Column5: FaceID Column6: FaceRectangle_Base64Encoded (four floats, relative coordinates of UpperLeft and BottomRight corner) Column7: FaceData_Base64Encoded

我決定用python件來(lái)解析這個(gè).tsv文件，獲取圖片及相應(yīng)的人臉信息。以下是解析代碼：

import base64import structimport osdef readline(line): MID,ImageSearchRank,ImageURL,PageURL,FaceID,FaceRectangle,FaceData=line.split("/t") rect=struct.unpack("ffff",base64.b64decode(FaceRectangle)) return MID,ImageSearchRank,ImageURL,PageURL,FaceID,rect,base64.b64decode(FaceData)def writeImage(filename,data): with open(filename,"wb") as f: f.write(data)def unpack(filename,target="img"): i=0 with open(filename,"r",encoding="utf-8") as f: for line in f: MID,ImageSearchRank,ImageURL,PageURL,FaceID,FaceRectangle,FaceData=readline(line) img_dir=os.path.join(target,MID) if not os.path.exists(img_dir): os.mkdir(img_dir) img_name="%d-%s"%(len(os.listdir(img_dir)),FaceID)+".jpg" with open(os.path.join(target,MID+".info"), "a") as info: info.write("%s/t%f/t%f/t%f/t%f/n"%(img_name, FaceRectangle[0],FaceRectangle[1], FaceRectangle[2],FaceRectangle[3])) writeImage(os.path.join(img_dir,img_name),FaceData) i+=1 if i%1000==0: tsv文件和csv文件是類似的，tsv的數(shù)據(jù)用Tab鍵分隔，csv文件用逗號(hào)分隔。根據(jù)說(shuō)明文件，把每一行的信息讀取出來(lái)

MID,ImageSearchRank,ImageURL,PageURL,FaceID,FaceRectangle,FaceData=line.split("/t")

人臉矩形框的位置信息是（左上點(diǎn)坐標(biāo)，右下點(diǎn)坐標(biāo)），用Base64編碼的，格式為4個(gè)浮點(diǎn)數(shù)。

rect=struct.unpack("ffff",base64.b64decode(FaceRectangle))

人臉信息是用Base64編碼的，需要解碼，然后保存為圖像：

data=base64.b64decode(FaceData)with open(filename,"wb") as f: f.write(data)