【LoRA训练课】标签怎么打?触发词?优化?为什么?模型训练炼丹新手入门喂饭级教程

作者: 聚梦小课堂分类: 软件应用 发布时间: 2024-01-22 12:12:44 浏览:7583 次

【LoRA训练课】标签怎么打?触发词?优化?为什么?模型训练炼丹新手入门喂饭级教程

懒癌提不起劲:
要有可对比的元素差异,才能训练“触发词” 比如你要把芙芙训练进“芙宁娜”这个词,你就必须有至少一半不是芙宁娜的素材去给ai对比。 其次是原素材的tag不能太过于共通(删标的意义),不然ai大概率会把芙宁娜挂钩到最接近的元素的高频词汇上——比如1girl或solo. 一般场合,抠图是不需要的。哪怕up说的沙漠。 因为你扣了,沙漠的确不出了,但白底污染更严重。 当你训练集元素少时,你输入的任何提示词我认为都会被素材或多或少“污染” 降低“污染”的方法就是加入可对比的同类素材。 例如芙芙有帽子,就塞入大量其他随机有帽子的角色。

比奇堡老猎人:
其实是反向操作,你需要让lora在不加入大量提示词的情况下保留训练集的特征,就把需要呈现的提示词删掉。比如说,我的训练集是一个白发红瞳和服少女,我需要不加入提示词的情况下直出图,就把白发,和服,红瞳删掉,ai训练会将这个视做一个整体。而在标签里保留的lora就是你可以替换的特征。

【回复】很棒的总结,一下子就看懂了
洗礼之人:
修改细节其实可以强行添加相关提示词权重, 写negative prompt, 给negative添加权重, 后其加入提示词的方法实现. 其实你会发现人类语言也是依托石山, 训练的时候也是, 但是it just works.

srbfzy:
各位大神,这个意思不是说: 如果我想在使用lora时,提示词中只写入几个关键词而不是写一大堆详细描述就能生成想要的人物,那就在训练lora时把标签里的描述词删掉? 反之,标签里写的越详细,那使用练出来的lora时就也得详细的写出那些标签里的提示词?(并且可以通过修改提示词来使生成的人物做一些改动)。 是这个意思吗?

【回复】回复 @懒癌提不起劲 :太难了,我想练风景的,炸炉了[笑哭][笑哭][笑哭]
【回复】回复 @螺蛳粉配沈梦溪 :也没有用,因为你的训练集太单一。 举例你找了2000张小草神,无论你怎么打标,对ai来说 [doge]只要我画小草神就肯定降loss,你的标签毫无意义。 但如果你的素材是一半草神,一半雷电将军。 Ai就必须通过学会什么标签对应什么角色,才能降低loss。
【回复】回复 @懒癌提不起劲 : 那干脆打标只打触发词一个标,其他关键词删掉吧,这样直接了当。
魚菇凉:
那如果我想训练一种画风,如水彩,水墨,国画,这种的能出个教程或者给我讲讲吗?现在都是训练人物,和这些画风不一样。[打call][打call]

Fox_Shadow:
讲得很清楚,三连三连~[脱单doge][脱单doge][脱单doge]

Mm丶巨兽:
三连关注了,老师我有个问题没转明白,您这里说(图1)保留外貌特征会更像芙宁娜,但是我记得您前边说删除外貌特征(图2)会把外貌直接认为是1girl(训练图特征)?

【回复】第一张截图分上下两部分,下方那个才是lora1哈,看图上的模型名称哈~[嗑瓜子]
悠久的旋律:
我最近也在研究这个问题。我发现详细的标签会大幅提高泛化性。但是标签太多也会导致权重稀释严重

微醺老王:
最累的就是打标了,很多时候还打不准[笑哭]

【回复】打的准用处也不大。 当几万张素材时,打的准才有意义。
【回复】下期记得回来看实操哟[脱单doge]

教程 炼丹 StableDiffusion 干货 新手入门 标签 AI绘画 模型训练 LoRA训练 AI大模型体验评测

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!

更多相关阅读