pytorch 模型微调.docx
《pytorch 模型微调.docx》由会员分享,可在线阅读,更多相关《pytorch 模型微调.docx(6页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、pytorch模型微调解压只要保持数据的目录构造即可这里指定一下目录的位置并且看下内容DATA_ROOT/home/huangshaobo/dataset/dogall_labels_dfpd.read_csv(os.path.join(DATA_ROOT,labels.csv)all_labels_df.head()获取狗的分类根据分类进展编号。这里定义了两个字典分别以名字以及id作为对应方便后面处理breedsall_labels_df.breed.unique()breed2idxdict(breed,idx)foridx,breedinenumerate(breeds)idx2bree
2、ddict(idx,breed)foridx,breedinenumerate(breeds)len(breeds)添加到列表中:all_labels_dflabel_idxbreed2idxbforbinall_labels_df.breedall_labels_df.head()由于我们的数据集不是官方指定的格式我们自己定义一个数据集:classDogDataset(Dataset):def_init_(self,labels_df,img_path,transformNone):self.labels_dflabels_dfself.img_pathimg_pathself.transf
3、ormtransformdef_len_(self):returnself.labels_df.shape0def_getitem_(self,idx):image_nameos.path.join(self.img_path,self.labels_df.ididx).jpgimgImage.open(image_name)labelself.labels_df.label_idxidxifself.transform:imgself.transform(img)returnimg,label#定义一些超参数IMG_SIZE224#resnet50的输入是224的所以需要将图片统一大小BAT
4、CH_SIZE256#这个批次大小需要占用4.6-5g的显存假如不够的化可以改下批次假如内存超过10G可以改为512IMG_MEAN0.485,0.456,0.406IMG_STD0.229,0.224,0.225CUDAtorch.cuda.is_available()DEVICEtorch.device(cudaifCUDAelsecpu)#定义训练以及验证数据的图片变换规那么train_transformstransforms.Compose(transforms.Resize(IMG_SIZE),transforms.RandomResizedCrop(IMG_SIZE),transf
5、orms.RandomHorizontalFlip(),transforms.RandomRotation(30),transforms.ToTensor(),transforms.Normalize(IMG_MEAN,IMG_STD)val_transformstransforms.Compose(transforms.Resize(IMG_SIZE),transforms.CenterCrop(IMG_SIZE),transforms.ToTensor(),transforms.Normalize(IMG_MEAN,IMG_STD)我们这里只分割10%的数据作为训练时的验证数据datase
6、t_namestrain,validstratified_splitStratifiedShuffleSplit(n_splits1,test_size0.1,random_state0)train_split_idx,val_split_idxnext(iter(stratified_split.split(all_labels_df.id,all_labels_df.breed)train_dfall_labels_df.iloctrain_split_idx.reset_index()val_dfall_labels_df.ilocval_split_idx.reset_index()p
7、rint(len(train_df)print(len(val_df)使用官方的dataloader载入数据image_transformstrain:train_transforms,valid:val_transformstrain_datasetDogDataset(train_df,os.path.join(DATA_ROOT,train),transformimage_transformstrain)val_datasetDogDataset(val_df,os.path.join(DATA_ROOT,train),transformimage_transformsvalid)ima
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- pytorch 模型微调 模型 微调
限制150内