江户时代，幕府从庆长十一年（1605年）开始大规模建造江户城，费时近半个世纪，才完成了整个江户城的构筑。完成的江户城分为外郭和内郭两部分(即外城和内城)，外城与本文无关，略去不提。内城则主要是由本丸（包括本丸御殿及天守阁）、二之丸、三之丸和西丸等构成，总占地面积约为264万平方米。其中二之丸是退位的幕府大将军或现任幕府大将军之长辈的居住区域；三之丸是先代幕府大将军的夫人们活动的区域；西丸则是大将军世子们的支配区域。
而本文要说的本丸，也即江户幕府的政治中心所在地（面积总和为11373坪，据说是当时世界上最大的木造建筑），则分为表向、中奥、大奥三个部分：表向就是大将军办公的地方,也是幕府的政府机关所在地；中奥则是大将军日常生活、起居之处；而本文的重中之重“大奥”，即大将军的“后宫”，则位于最后面的天守阁前面的地方，占地6318坪，比政府机关所在地的“表向”和大将军日常工作、生活的“中奥”加起来的面积还多出约1200坪，就足见了当时“大奥”之恢弘气象。
江户城登城风景图屏风
国立历史民俗博物馆藏，1847年
大奥面积之所以盖过表向和中奥的总和，是因为大奥里总共居住了为大将军一个人服务的1000名以上的宫廷女性，其中包括“御台所”（正妻）、侧室以及所有“奥女中”（女官、下人的总称），确实需要这么大的地儿。
在大奥中，除将军外，所有男子不得进入，换言之，也就是说在大奥里的1000多人中，只有幕府大将军一位男性。
如果说有过第二位男性进出过大奥，那也就是野史中描述的藏在木箱中混入大奥与“御年寄”（也称“老女”、“大奥总取缔”，主理大奥一切事务）绘岛弥代（也称江岛）幽会的歌舞伎演员生岛新五郎了。
生岛新五郎藏在木箱里被抬入大奥与相当于“大内总管”的御年寄幽会这事儿涉嫌太胆儿肥、也太惊险刺激，因此被纳入野史无从可考，但绘岛弥代这位“大内总管”在奉大将军命去神社祭神后顺道欣赏歌舞伎表演，并与生岛新五郎酒屋共宴，以致耽搁了回大奥的时间被查倒是有正史可证，也因此，绘岛弥代和生岛新五郎都被处以流刑最后郁郁而终。
据说，就是因此事，时任第四代幕府大将军德川家纲制定并发布新的《大奥法度》，建立起了完整且等级分明的组织结构，从此，大奥再不允许有男人进出。真个是后宫佳丽三千，唯我征夷大将军一人享用尔。
大奥如此多“娇”，虽只有大将军一人在此“折腰”，但管理这叽叽喳喳的1000多名女性，还真就不是一件容易的事儿。不过，经过第二代德川秀忠、第三代德川家光、第四代德川家纲和第八代德川吉宗四位大将军的不断努力，不仅完成了大奥内部结构的布局，还制定并完善了《大奥法度》，使得大奥形成了一整套完整的内部组织架构。
也正是因了清晰的内部结构布局和事无巨细分工明确的组织体系，才保障了历代幕府大将军的后院不失火。
江户城手绘图
大奥的内部结构
