“御殿”是岛津家的别邸，到明治时代之后，也曾经作为迎宾馆接待外国贵宾。里面保留了许多旧时的摆设。“御居间”则是整座御殿视野最好的地方，可以一览庭院全景，更能将整座樱岛纳入视野。萨摩末代藩主岛津忠义居住在此时，御居间就是他最喜欢的空间。忠义不仅在此批阅公文，还在这里吃午饭，经常一待就是一整天。
上面是从御居间望出去的风景。庭院中名为“望岳楼”的凉亭是由琉球国王献给萨摩藩主。为创设日本海军而奔走的胜海舟到访萨摩时，岛津齐彬便曾与他在望岳楼畅谈。据胜海舟的著作“冰川清话”中回忆，齐彬当时告诉他“用人不可操之过急，培养人才需时间”以及“一项事业要花上十年才能看见成果”。
岛津齐彬任藩主仅八年便因病去世。然而就像印证他的话一样，他所扶持的西乡隆盛，在他死后成为了明治维新的大功臣；明治维新之后的全面西化更彰显了他开创集成馆事业的远见。
御殿后面有一座小小的“猫神社”，其由来竟跟战国时代的猛将岛津义弘有关！
岛津义弘曾奉丰臣秀吉之命参与出征朝鲜。出兵之际他居然带了七只猫同行，为的是从猫瞳孔的变化来判断时辰！后来其中五只不幸英勇阵亡，两只从战争中幸存的猫回到萨摩安享天年后，义弘将牠们奉为猫神在这里祭拜。而牠们可是有名字的，分别是“YSAU”和“MIKE”。
