在HBIM (Historic Building Information Modeling) 数据库中进行信息查询面临三个问题：一是没有普适性的规则判断建筑之间的相似性；二是未考虑建筑本身所包含的历史文化信息；三是查询文本多基于关键词，难以检索到关键词未包含的信息。针对以上问题，提出了一种面向历史建筑的多模态检索方法，用户能通过输入图像或自然语言文本数据，检索到与输入特征相符的建筑，并以列表形式进行排序。在以图像检索建筑时，利用“dino_vit16”模型对图像进行特征提取，所提出的图像-建筑检索方法检索精度达90.08%；在文本检索建筑时则基于CLIP（Contrastive Language-Image Pre-training）模型建立图像和文本的关联，研究了图文相似度和文本相似度权重的取值，选择m =0.6，n =0.4作为权重的最佳配置。实验证明所提出的文本-建筑检索算法对于包含某种外观特征查询语句的检索效果最好，对于描述某种功能和建筑风格的查询语句检索效果最差，而当查询语句中包含4个以上的混合特征，能够描述出建筑的基本面貌时，可以准确地检索到符合条件的建筑。