ПОРІВНЯЛЬНИЙ АНАЛІЗ ГІБРИДНИХ ГЕНЕРАТИВНИХ МОДЕЛЕЙ З ДИФУЗІЙНИМИ ТА ГЕНЕРАТИВНО-ЗМАГАЛЬНИМИ ЕЛЕМЕНТАМИ
DOI:
https://doi.org/10.36994/2788-5518-2025-01-09-10Ключові слова:
дифузійні моделі, генеративно-змагальні мережі, генеративні моделі, стабільність навчання, ефективність семплювання, гібридні архітектури, глибоке навчанняАнотація
Робота присвячена дослідженню інтеграції принципів генеративно-змагальних мереж у генеративні фреймворки на основі дифузії з метою систематичного аналізу щодо того, як гібридні архітектури можуть подолати обмеження окремих підходів, поєднуючи їхні переваги. Виокремлено та порівняно три категорії гібридних моделей: підходи на основі дистиляції, які стискають дифузійні моделі за допомогою змагального зворотного зв’язку; методи поєднання в циклі навчання, що включають дискримінатори під час тренування дифузії; генеративно-змагальні мережі з підтримкою дифузії, які використовують шумові процеси для стабілізації змагального навчання. Порівняльний аналіз дав змогу виявляти критичні компроміси між швидкістю генерації, точністю зразків, стабільністю навчання й придатністю для застосування. Гібриди на основі дистиляції досягають майже миттєвої високоякісної генерації, але потребують інтенсивних процесів навчання, тоді як додавання дискримінатора в цикли дифузійних методів пропонують вищу якість зображень з помірною ефективністю семплювання. Генеративно-змагальні мережі з підтримкою дифузії зберігають одноетапну генерацію, вирішуючи традиційні проблеми нестабільності генеративно-змагальної мережі через дифузійні механізми. Емпіричні дані демонструють, що ці гібридні підходи послідовно перевершують чисті дифузійні або змагальні методи за показниками якості й ефективності. Подано опис виявлених значних прогалин у дослідженнях, зокрема щодо теоретичного об’єднання функцій утрат змагального та дифузійних підходів, проблем масштабування для високороздільної генерації й розширення за межі синтезу зображень на інші модальності. Проведений у роботі аналіз закладає основу для розуміння того, як можна використати комплементарні переваги дифузійних і змагальних технік для розроблення ефективніших генеративних фреймворків, що поєднують покриття розподілу з покращеним реалізмом.
Посилання
Ho, J., Jain, A., & Abbeel, P. (2020). Denoising diffusion probabilistic models. Advances in neural information processing systems, 33, 6840–6851. https://doi.org/10.48550/arXiv.2006.11239.
Chen, J., Cai, H., Chen, J., Xie, E., Yang, S., Tang, H., ... & Han, S. (2024). Deep compression autoencoder for efficient high- resolution diffusion models. arXiv preprint arXiv:2410.10733. https://doi.org/10.48550/arXiv.2410.10733.
Sauer, A., Lorenz, D., Blattmann, A., & Rombach, R. (2023). Adversarial diffusion distillation. arXiv. arXiv preprint arXiv:2311.17042. https://doi.org/10.48550/arXiv.2311.17042.
Lin, S., Wang, A., & Yang, X. (2024). Sdxl-lightning: Progressive adversarial diffusion distillation. arXiv preprint arXiv:2402.13929. https://doi.org/10.48550/arXiv.2402.13929.
Park, D., Lee, S., Kim, S., Lee, T., Hong, Y., & Kim, H. J. (2024). Constant Acceleration Flow. arXiv preprint arXiv:2411.00322. https://doi.org/10.48550/arXiv.2411.00322.
Yang, L., Qian, H., Zhang, Z., Liu, J., & Cui, B. (2024). Structure-guided adversarial training of diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 7256–7266). https://doi.org/10.48550/arXiv.2402.17563.
Nichol, A. Q., & Dhariwal, P. (2021, July). Improved denoising diffusion probabilistic models. In International conference on machine learning (pp. 8162–8171). PMLR. https://doi.org/10.48550/arXiv.2102.09672.
Song, Y., Sohl-Dickstein, J., Kingma, D. P., Kumar, A., Ermon, S., & Poole, B. (2020). Score-based generative modeling through stochastic differential equations. arXiv preprint arXiv:2011.13456. https://doi.org/10.48550/arXiv.2011.13456.
Goodfellow, I. J., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., ... & Bengio, Y. (2014). Generative adversarial nets. Advances in neural information processing systems, 27. https://doi.org/10.48550/arXiv.1406.2661.
Arjovsky, M., Chintala, S., & Bottou, L. (2017, July). Wasserstein generative adversarial networks. In International conference on machine learning (pp. 214–223). PMLR. https://doi.org/10.48550/arXiv.1701.07875.
Miyato, T., Kataoka, T., Koyama, M., & Yoshida, Y. (2018). Spectral normalization for generative adversarial networks. arXiv preprint arXiv:1802.05957. https://doi.org/10.48550/arXiv.1802.05957.
Sauer, A., Boesel, F., Dockhorn, T., Blattmann, A., Esser, P., & Rombach, R. (2024, December). Fast high-resolution image synthesis with latent adversarial diffusion distillation. In SIGGRAPH Asia 2024 Conference Papers (pp. 1–11). http://dx.doi.org/10.1145/3680528.3687625.
Kang, M., Zhang, R., Barnes, C., Paris, S., Kwak, S., Park, J., ... & Park, T. (2024, September). Distilling diffusion models into conditional gans. In European Conference on Computer Vision (pp. 428–447). Cham: Springer Nature Switzerland. https://doi.org/10.48550/arXiv.2405.05967.
Wang, Z., Zheng, H., He, P., Chen, W., & Zhou, M. (2022). Diffusion-gan: Training gans with diffusion. arXiv preprint arXiv:2206.02262. https://doi.org/10.48550/arXiv.2206.02262.
Hang, T., Gu, S., Geng, X., & Guo, B. (2024). Improved noise schedule for diffusion training. arXiv preprint arXiv:2407.03297. https://doi.org/10.48550/arXiv.2407.03297.
Trinh, L. T., & Hamagami, T. (2024). Latent Denoising Diffusion GAN: Faster sampling, Higher image quality. IEEE Access. http://dx.doi.org/10.1109/ACCESS.2024.3406535.
Liu, X., Zeng, B., Gao, S., Li, S., Feng, Y., Li, H., ... & Zhang, B. (2024). Ladiffgan: Training gans with diffusion supervision in latent spaces. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 1115–1125). https://doi.org/10.1109/CVPRW63382.2024.00118.
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
