明朝嘉靖十九年（1558年），胡来缙乡试中了举人，并被破格任命为北京大兴县知县。他在职期间廉洁奉公，不畏权势，赏罚分明，政绩十分突出，于是迅速被提升为山西省按察司副使，兼任山西雁门兵备道。
胡来缙的儿子胡忻，于公元1589年中为进士，33岁时被朝廷任命为山西临汾知县，后升迁为太常寺少卿。他以上疏揭发宦官结党营私闻名，被百姓赞誉为“北海瑞”。胡忻退休后就回到天水家中修建了北宅子。北宅子的规模比南宅子更宏大壮观。
胡氏古民居建筑群由天井、前院、中院、后院、书房院、后花园等组成，东西为厢房，四面房屋相连，走廊相通，布局功能明确、动静分明，既有北方民居的庄重严谨，也有南方民居的轻巧灵动，基本符合中国传统的四合院民宅形式和封建等级制度。
中国古建筑学家梁思诚在其著作《中国建筑史》里曾说“中国古民居欲求三四百年以上之住宅，殆无存者”。直到上世纪八十年代，中国古建筑学家罗哲文偶然发现了这里，这一发现也弥补了梁思成先生当年的遗憾。
