麟阁为奉祀大成至圣孔圣先师、四配十二哲及先贤先儒的殿堂。早于1921年建祠之初已经建置，为香港最早期的祀孔场所，反映啬色园尊崇儒、释、道三教之要旨。1933年，啬色园设坛规十七条，其中一条指「鸾台、大殿、麟阁等处，应当洁净」，说明麟阁于祠内的重要性，与大殿及仙师静室飞鸾台不分轩轾。

1935年，啬色园阮跃池道长捐资重修麟阁，又于1941年将日久失修的殿前凉亭拆卸，并集资建成孔道门作殿堂外门以庄严殿貌。

麟阁及孔道门于1980年展开重修工程，修改麟阁格局，增加殿内空间，而殿宇盖以黄色琉璃瓦，并遂于1982年落成启用。其后分别于2007年、2013年及2020年，麟阁及孔道门再次翻新，现时在麟阁内有六艺瓷画及孔子圣像。