Python AI 之PhotoMaker 安装总结

深碍√TFBOYSˉ_ 2024-04-23 21:28 59阅读 0赞

## PhotoMaker 官方文档 ##

PhotoMaker GitHub 地址:[https://github.com/TencentARC/PhotoMaker][https_github.com_TencentARC_PhotoMaker]

## PhotoMaker Windows 安装 ##

温馨提示：PhotoMaker 官网github 版本为通用版本，如果是Windows系统安装PhotoMarker 需要使用截图下的版本：

![c2d41d1e94d44b8995fb584ca134b508.png][] 第一步：Windows 虚拟环境创建和安装，执行如下指令：

conda create --name photomaker python=3.10  #创建虚拟环境名称photomaker，并指定Python 版本3.10
    conda activate photomaker                   #激活虚拟环境photomaker
    pip install -U pip                          # 包管理工具pip 更新
    
    # Install requirements
    pip install -r requirements.txt             #安装Photomaker 所需依赖包

第二步：Windows 安装Pytorch 环境

打开pytorch 官网：[PyTorch][]

![8decf0ce7f424cf7b59c909c1c4ade24.png][]

拷贝运行指令在虚拟环境pytorch 中执行：

pip3 install torch torchvision torchaudio

## PhotoMaker 运行 ##

第一种：自己编写Python 脚本调用Photomaker。

*  1 在Photomaker 项目下添加run.py 文件

![82d9b9acf8a240b6a5741cb8facee917.png][]

*  2 编写run.py 代码已经在Photomaker 官网提供。这里将需要修改的片段坐下简单说明。

**加载模型**

import torch
    import os
    from diffusers.utils import load_image
    from diffusers import EulerDiscreteScheduler
    from photomaker.pipeline import PhotoMakerStableDiffusionXLPipeline
     
    ### Load base model
    pipe = PhotoMakerStableDiffusionXLPipeline.from_pretrained(
        base_model_path,  # can change to any base model based on SDXL
        torch_dtype=torch.bfloat16, 
        use_safetensors=True, 
        variant="fp16"
    ).to(device)
     
    ### Load PhotoMaker checkpoint
    pipe.load_photomaker_adapter(
        os.path.dirname(photomaker_path),
        subfolder="",
        weight_name=os.path.basename(photomaker_path),
        trigger_word="img"  # define the trigger word
    )     
     
    pipe.scheduler = EulerDiscreteScheduler.from_config(pipe.scheduler.config)
     
    ### Also can cooperate with other LoRA modules
    # pipe.load_lora_weights(os.path.dirname(lora_path), weight_name=lora_model_name, adapter_name="xl_more_art-full")
    # pipe.set_adapters(["photomaker", "xl_more_art-full"], adapter_weights=[1.0, 0.5])
     
    pipe.fuse_lora()

主要用于：负责加载图像生成模型，这里我们使用 RealVisXL\_V3.0，接着为模型挂在 Adapter 也就是论问题提到的 PhotoMaker 的 bin 文件，同时注意修改 device 变量，相当于要修改:

bass_model_path、photomaker_path 以及 device

**录入图像**

### define the input ID images
    input_folder_name = './examples/newton_man'
    image_basename_list = os.listdir(input_folder_name)
    image_path_list = sorted([os.path.join(input_folder_name, basename) for basename in image_basename_list])
    
    input_id_images = []
    for image_path in image_path_list:
        input_id_images.append(load_image(image_path))

使用 Photomaker提供的 newton\_man 的示例图像，可以看到其基于 list 读取，根据 README 的介绍，一个角色的图像越多，生成的会越精准或者和你的图像越像.

**执行**

# Note that the trigger word `img` must follow the class word for personalization
    prompt = "a half-body portrait of a man img wearing the sunglasses in Iron man suit, best quality"
    negative_prompt = "(asymmetry, worst quality, low quality, illustration, 3d, 2d, painting, cartoons, sketch), open mouth, grayscale"
    generator = torch.Generator(device=device).manual_seed(42)
    images = pipe(
        prompt=prompt,
        input_id_images=input_id_images,
        negative_prompt=negative_prompt,
        num_images_per_prompt=1,
        num_inference_steps=num_steps,
        start_merge_step=10,
        generator=generator,
    ).images[0]
    gen_images.save('out_photomaker.png')

\# 请注意，触发器单词 "img" 必须跟在类别单词后面才能进行个性化设置:

![6a2a2114b5764320a8e4e5e2e189d8f9.png][] 含义：一个男人的半身像 img 戴着钢铁侠套装的太阳镜，质量最好

这里 Class Word 类别单词就是 a half-body portrait of a man 即一个男人半身像，img trigger 会基于这个类别 + img 后的个性化描述，结合你的 Input Image 的人脸。

将上面三部分的代码粘贴至 run.py 中，并 activate 激活我们的环境。

**device** \- 指定到对应设备，需自己添加该参数。

**base\_model\_path** \- 下载的生成模型地址

![19e2526ead4f411ea09c312eb2b17bc1.png][]

**photomaker\_path** \- photomaker bin 文件地址

![279434d6ec9d4422b519f183f27362af.png][]

**num\_steps** \- 生成步数

![8af994d947ef48c58f410f57a520bfce.png][]

第二种：运行Photomaker 携带gradio demo

运行网页版请执行如下命令：

python gradio_demo/app.py

## PhotoMaker 安装发生的问题 ##

问题一：

File "D:\anaconda3\envs\photemaker\lib\multiprocessing\context.py", line 193, in get_context
        raise ValueError('cannot find context for %r' % method) from None
    ValueError: cannot find context for 'fork'

解决办法：使用spawn 替换fork

pip install spawn

代码：PhotoMaker\\gradio\_demo\\app.py

![ce6cb74b302a451983f880988296a89e.png][]

![28f6aa1a40d54aeaaafcb3096a944a6a.png][]

问题二：

File "D:\anaconda3\envs\photemaker\lib\site-packages\luigi\parameter.py", line 29, in <module>
        from collections import OrderedDict, Mapping
    ImportError: cannot import name 'Mapping' from 'collections' (D:\anaconda3\envs\photemaker\lib\collections\__init__.py)

解决办法：

将
    from collections import Mapping, OrderedDict
    修改为
    from collections.abc import Mapping
    from collections import OrderedDict

问题原因：Python3.10 版本调整相关基础包的存放位置造成。

问题三：

File "D:\anaconda3\envs\photemaker\lib\site-packages\luigi\scheduler.py", line 207, in <module>
        class OrderedSet(collections.MutableSet):
    AttributeError: module 'collections' has no attribute 'MutableSet'

解决办法：

将collections.MutableSet 修改为collections.abc.MutableMapping

问题原因：Python3.10 版本调整相关基础包的存放位置造成。

问题四：

Traceback (most recent call last):
      File "E:\python_ai\PhotoMaker\gradio_demo\app.py", line 14, in <module>
        from photomaker import PhotoMakerStableDiffusionXLPipeline
    ModuleNotFoundError: No module named 'photomaker'

解决办法：

import sys
    sys.path.append('../photomaker')

## ![27b0743f9d9f45cb938f9943b79134db.png][] ##

## 知识拓展 ##

### huggingface 修改缓存地址 ###

1、修改系统环境变量

1.  打开环境变量的设置界面。设置系统变量。
2.  输入变量名`XDG_CACHE_HOME` 和变量值为新缓存路径的根路径 (例如 `D:\cache`)。
3.  点击"确定"保存，电脑重启后生效。

这样，以后的缓存结构将会是：

模型缓存：D:\\cache\\huggingface\\transformers或D:\\cache\\huggingface\\hub（一般是这里）  
数据集缓存：D:\\cache\\huggingface\\datasets  
此外metrics和modules也分别是在D:\\cache\\huggingface\\metrics和D:\\cache\\huggingface\\modules之下。

![dca4c1e84b194d4baec13ffa3c36fcef.png][]

![c30885dca4c649e1979cd1a3856c3220.png][]

### huggingface下载 ###

现状：国内无法正常访问脸蛋网：[https://huggingface.co/][https_huggingface.co]，原由自己Google 或百度一下。现在国内出现了脸蛋网国内镜像地址：[https://hf-mirror.com/][https_hf-mirror.com]

第一种方式：使用命令行下载。

(1) 安装依赖

pip install -U huggingface_hub

(2) 基本命令示例：

export HF_ENDPOINT=https://hf-mirror.com
    huggingface-cli download --resume-download --local-dir-use-symlinks False bigscience/bloom-560m --local-dir bloom-560m

第二种方式: 直接URL下载

打开 [https://hf-mirror.com/][https_hf-mirror.com]

![a2927821a1e74b64981cc3879b182b20.png][]

检索相关模型: PhotoMaker

![03fb0827084b4a22af804b4ed676644d.png][]

![3bc2d8a0728949a3a3a26ce64538b3f3.png][]

完成相关模型下载。

[https_github.com_TencentARC_PhotoMaker]: https://github.com/TencentARC/PhotoMaker
[c2d41d1e94d44b8995fb584ca134b508.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/38d3099fadb747cca63bac8aec863bb6.png
[PyTorch]: https://pytorch.org/
[8decf0ce7f424cf7b59c909c1c4ade24.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/d007aa1aec724dd1a1b68d8fe39721be.png
[82d9b9acf8a240b6a5741cb8facee917.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/0acce54e8e554b99b080d94343bb753c.png
[6a2a2114b5764320a8e4e5e2e189d8f9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/4aebaf82f8464618b20276a0fe207465.png
[19e2526ead4f411ea09c312eb2b17bc1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/d0061392bcb844e894bba775b0e1a6b8.png
[279434d6ec9d4422b519f183f27362af.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/c35ba86c56ee410c8e10b7cd744c0715.png
[8af994d947ef48c58f410f57a520bfce.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/0de02b94336f46fa844ab978545332e5.png
[ce6cb74b302a451983f880988296a89e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/11e603c22ebb4310a67fef35c1343453.png
[28f6aa1a40d54aeaaafcb3096a944a6a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/cf19751f43e84b8a9bc835a1266fd496.png
[27b0743f9d9f45cb938f9943b79134db.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/ccbd40ecd8fe4cb8afde8d5f2ab94b2d.png
[dca4c1e84b194d4baec13ffa3c36fcef.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/9f5b781cdf3d41488b9e3d47e4ddf2b9.png
[c30885dca4c649e1979cd1a3856c3220.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/61659137b9d74ce094537e85a0bd47ac.png
[https_huggingface.co]: https://huggingface.co/
[https_hf-mirror.com]: https://hf-mirror.com/
[a2927821a1e74b64981cc3879b182b20.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/b2f70b29936247c19504b1f3e3f74f8f.png
[03fb0827084b4a22af804b4ed676644d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/7f2beeaefab2483396acd8d175ca8621.png
[3bc2d8a0728949a3a3a26ce64538b3f3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/e3d7eeee8dc547afa9b6bbe9e4d915c8.png