美妆达人

中文 | English

DEMO | VIDEO

👋 join us on

📘 简介

"美妆达人"项目采用 InternLM2 大模型、XTuner 微调工具、LMDeploy 部署工具，为用户提供个性化时尚搭配建议。通过上传全身照和衣柜服装，结合季节、温度、天气、出行目的和个性需求，定制最完美的穿搭方案。

项目的亮点如下：

• 大模型微调🔧：通过借助 XTuner 微调 InternLM2 模型，提高个性化推荐准确度；

• 支持个性化穿搭👗：根据用户的个性需求和场合，定制个性化的时尚搭配方案；

• 智能推荐🌦️📅：结合季节、温度、天气等因素，为用户提供实用的穿衣建议；

• 简单易用📸：上传照片和服装，轻松获取时尚搭配方案，告别选择困难症；

• 专业指导💡🔍：借助大数据分析和人工智能技术，为用户打造最佳时尚造型；

• 良好扩展性✨：后期可扩展到面部妆容、发型、包包手饰；

• 沉浸式体验🎨🌟：后期将搭配穿搭到用户身上，提供3D的视觉效果。

欢迎大家fork和✨star✨我们的项目,您的✨star✨是我们前进的动力！！！

💪 目标

• 主要

1. 训练视觉语言大模型具备基本的审美能力；
2. 对齐人类的审美能力；
3. 让大模型为我们提供穿搭建议；
4. 将大模型的穿搭建议展示出来。

• 流程图

✊ 计划列表

训练视觉语言大模型具备基本的审美能力

• 数据处理(WIP)
  • 搜集时尚穿搭数据集；
  • 使用视觉语言大模型为数据打标 internVL；
  • 做一个标记工具；
  • 用标记工具校正大模型打标的数据。

对齐人类的审美能力

• RLHF instruct
• DPO DPO
• ORPO ORPO(https://github.com/xfactlab/orpo/tree/main)
• RLHF-V RLHF-V(https://github.com/RLHF-V/RLHF-V)

让大模型为我们提供穿搭建议

• 视觉语言大模型会给出穿搭建议(WIP)
  • 视觉语言大模型会给出穿搭建议 internVL

将大模型的穿搭建议展示出来

• Segment Tool

  • segment-anything: Features: it can be used to generate masks for all objects in an image.
  • Self Correction for Human ParsingFeatures: An out-of-box human parsing representation extractor.

• Virtual Try-on(WIP)

  • IDM-VTON: Features: it could keep background of the VToN, Techs: IP-Adapter, TryonNet, GarmentNet.
  • COTTON-size-does-matter: Features: it can adjust the size of VToN with a parameter.
  • OOTDiffusion: Techs: LDM-based, outfitting UNet, outfitting dropout, Classifier-free guidance.
  • OutfitAnyone: Ultra-high quality virtual try-on for Any Clothing and Any Person (Including Anime character pictures in demo).
  • StableVITON: Features: it could keep background of the VToN, Techs: LDM-based, zero cross-attention blocks, attention total variation loss and augmentation.
  • AnyFit

• Visualize the results of the suggestions to the user

  • ControlNet
  • 4d-dress: A 4D Dataset of Real-world Human Clothing with Semantic Annotations
  • champ: Controllable and Consistent Human Image Animation with 3D Parametric Guidance
  • MOSS

📂 代码仓库结构 (WIP)

├── README.md
├── README_cn.md
├── docs
├── scripts
├── beautymaster
│   ├── datasets
│   ├── third_party
│   │   ├── internvl
│   │   ├── IDM-VTON                     
│   │   ├── champ
│   │   ├── archpp
│   │   ├── ControlNet
│   │   └── OOTDiffusion
│   ├── demo
│   ├── src
│   ├── train     
│   └── utils
├── requirements.txt

🛠️ 下载代码

1. 下载代码

git clone --recursive https://github.com/RayTang88/BeautyMaster.git
cd BeautyMaster

2. 安装基础环境

conda create -n beautyMaster python=3.10 -y
conda activate beautyMaster

3. 安装依赖

pip install -r requirements.txt
MAX_JOBS=4 pip install -U flash-attn==2.5.8 --no-build-isolation #更快安装flash-attn

数据集

请参考 Data.md

推理

设置环境变量

export MODEL_ROOT="..."
export CODE_ROOT="..."
export DATA_ROOT="..."

注意：分别设置为 下载模型的根路径、clone代码的根路径、数据的根路径

gradio界面应用

python $CODE_ROOT/BeautyMaster/beautymaster/demo/app.py

python推理

python $CODE_ROOT/BeautyMaster/beautymaster/demo/infer.py

🔒 许可证

使用和许可声明: 数据、代码和检查点仅供研究使用，不得用于商业用途。 它们还仅限于遵循 InternVL、RLHF、DPO、ORPO、RLHF-V、segment-anything、SCHP、IDM-VTON、ControlNet、4d-dress、champ 许可协议的使用。 数据集为 CC BY NC 4.0（仅允许非商业用途），使用该数据集训练的模型不应在研究目的之外使用。