麟阁为奉祀大成至圣孔圣先师、四配十二哲及先贤先儒的殿堂。早于1921年建祠之初已经建置,为香港最早期的祀孔场所,反映啬色园尊崇儒、释、道三教之要旨。1933年,啬色园设坛规十七条,其中一条指「鸾台、大殿、麟阁等处,应当洁净」,说明麟阁于祠内的重要性,与大殿及仙师静室飞鸾台不分轩轾。
1935年,啬色园阮跃池道长捐资重修麟阁,又于1941年将日久失修的殿前凉亭拆卸,并集资建成孔道门作殿堂外门以庄严殿貌。
麟阁及孔道门于1980年展开重修工程,修改麟阁格局,增加殿内空间,而殿宇盖以黄色琉璃瓦,并遂于1982年落成启用。其后分别于2007年、2013年及2020年,麟阁及孔道门再次翻新,现时在麟阁内有六艺瓷画及孔子圣像。