在大小羊台山上，都有几块巨石，组成V字，形似羊角。小羊台山下门口有一座V字形的纪念碑，记载了在抗日战争时期，港九大队营救被困香港的文化名人及爱国民主人士如茅盾、邹韬奋、廖承志、何香凝、柳亚子等八百多人的故事，因之羊台山又称为英雄山。
卍字本为佛教用语，意为“吉祥之所集”译为“万”字。希特勒将其旋转45度制成纳粹党的旗帜，成为“凶邪”的象征。