摘要
本发明公开一种基于大语言模型的古诗词到视频的生成方法及装置,涉及视频生成技术领域。方法包括:构建古诗词知识库;根据大语言模型采用Soft Prompt训练方法,得到训练好的故事学习向量;根据待生成古诗词数据、对应的文本知识、训练好的故事学习向量以及大语言模型,得到待生成古诗词数据对应的故事;根据待生成古诗词数据对应的故事、预设的提示词以及大语言模型,得到待生成古诗词数据对应的剧本;根据剧本、图片知识以及图片生成模型,生成待生成古诗词数据对应的故事图片;根据故事图片以及视频生成模型,生成待生成古诗词数据对应的视频。采用本发明,可以解决古诗词视频数据集匮乏的问题,提升了古诗词视频的生成质量。