1882年，冯玉祥出生于河北沧州，其父冯友茂以做泥瓦匠为生，后为了养家糊口，参加了李鸿章的淮军。
1891年，冯玉祥入私塾读书。
1896年15岁的冯玉祥在父亲的运作下入保定五营当兵。
1902年，冯玉祥看到淮军暮气沉沉，无所发展，便离开淮军，改投袁世凯的武卫右军。
1905年，冯玉祥因虚心好学，得到了袁世凯心腹陆建章的器重。同年，陆建章将自己内侄女刘德贞嫁给冯玉祥为妻。从此，冯玉祥在陆宪章的提拔和帮助下，不断升迁。
1911年，武昌起义爆发后，冯玉祥因受到革命思想的影响，参加了滦州起义，但起义在清军的镇压下失败，冯玉祥在陆建章的搭救下，仅仅是免职了事。
1912年，袁世凯命陆建章组建左路被俘军，赋闲在家的冯玉祥被陆建章任命为前营营长。
1914年，冯玉祥随陆建章到陕西镇压"白郎起义军"有功，随之被提拔为第16混成旅旅长。
1917年，袁世凯去世后，皖系军阀首领段祺瑞控制了北洋政府，同年，孙中山对段祺瑞发动护法战争。此战，冯玉祥奉段祺瑞之命进攻孙中山的护法军。但冯玉祥在陆建章的策动下公开罢兵议和，此举随之遭到了段祺瑞的记恨。次年，陆建章被诱*，冯玉祥则被免职。
1920年，直皖战争爆发。此战，段祺瑞的皖系战败，直系军阀曹锟和吴佩孚控制了北洋政府，而从属于直系军阀的冯玉祥被任命为陕西督军。从此，冯玉祥平生第一次取得了一块大地盘，其军队因此被称为西北军。
1922年，第一次直奉战争爆发。此战，冯玉祥率军出陕西援助之军，帮助曹锟和吴佩孚击败奉系张作霖。战后，冯玉祥因受到吴佩孚的排挤，被调往北京南苑驻防。
1924年，第二次直奉战争爆发，冯玉祥被吴佩孚任命为第三军司令。此战，冯玉祥阵前倒戈，回京发动"北京政变"，将直系总统曹锟推翻，致使直军战败。期间，冯玉祥还派兵闯入紫禁城，将溥仪驱逐出宫。战后，冯玉祥和奉系张作霖共同控制了北洋政府。为了平衡双方关系，二人拥立段祺瑞出山担任国家元首。
1925年，冯玉祥因受到段祺瑞和张作霖的排挤，被调任为西北边防督办，赴张家口就职。
1926年，冯玉祥利用奉系军阀内部矛盾，与张作霖的部将郭松龄联合反奉，但因日军出兵援奉，致使郭松龄兵败被*。同年，张作霖在解决完郭松龄后，对冯玉祥发动进攻。此战冯玉祥战败被迫通电下野，远赴苏联考察。
1927年，蒋介石率北伐军北伐北洋军阀，冯玉祥随即回国，并率西北军全体将士加入国民党，配合蒋介石的北伐。此战冯玉祥率部击败北洋军阀后，与北伐军会师中原。
1928年，冯玉祥在与蒋介石结拜为兄弟后，随蒋介石发动二次北伐，此战张作霖战败出关，结果被日军炸死。不久，张学良宣布东北易帜。自此，蒋介石在形式上统一全国。
1930年，蒋介石在形式上完成统一后，开始腾出力量吞并国民党内部军阀为了抵抗蒋介石的吞并阎锡山、冯玉祥、李宗仁联合对蒋介石发动中原大战。此战因张学良出兵拥蒋，致使联军战败。战后，冯玉祥通电下野，隐居于山西汾阳峪。从此，冯玉祥的西北军瓦解，失去了与蒋介石对抗的实力。
1931年918事变后，冯玉祥与旧部吉鸿昌等人组织"察哈尔民众抗日同盟军"。同盟军虽然收复了多伦等四县，但终因孤立无援而失败。此后，冯玉祥隐居在泰山。
1937年抗战全面爆发后，冯玉祥因遭到蒋介石的排挤，得不到重用，但他仍奔走于各省，积极从事抗日救国活动。
1945年抗战胜利后，冯玉祥迫于形势，于次年赴美考察水利。1946年全面内战爆发后，冯玉祥在美国公开抨击蒋介石独裁政府的暴行。随后蒋介石勒令冯玉祥回国，但遭到了冯玉祥的抵制，于是蒋介石吊销了冯玉祥的护照。
1948年，冯玉祥在苏联驻美大使潘友新的帮助下，回国参加新政协会议筹备工作，但途经乌克兰时船上失火，冯玉祥不幸遇难。 终年66岁，
