“宜芸”寓藏书之意，始建于清乾隆十五年（1750）。馆之两厢建有配殿各五楹，东曰道存斋，西为近西轩，咸丰十年（1860）被英法联军焚毁，光绪十二年（1886）重建后成为光绪皇后在园中的住所。

宜芸馆正殿是光绪皇后在园内的寝宫。光绪皇后姓叶赫那拉氏，是慈禧太后的侄女，光绪十五年（1889）正月被册立为皇后，一九〇八年光绪帝及慈禧病卒，溥仪即位，被尊为皇太后，上徽号为“隆裕”。一九一一年武昌起义后，以太后身份命清帝退位。