5月26日，谭平山以武汉国民政府农政部的名义发表布告，指出国民革命主要目的之一，在于扶助农民，以求解放。但又说，对于农民所有一切幼稚举动，应加以纠正，而对于轶出正轨，妨碍大多数农民利益者，更不得不加以制裁。
不知道是不是以上原因，竟成了谭平山后来被开除党籍的“罪状”，后来瞿秋白主持通过的《政治纪律决议案》中称“谭平山同志自第五次大会后当选国民政府农民部长一直到南昌暴动前后的行动与主张，完全反对土地革命的政策......曾秘密与邓演达等联络主张取消中国C.P.而另组织第三党，并向知识分子同志中做反对中央另组织第三党之宣传。”
筹备起义“宁汉合流”后，汪精卫也正式暴露出了反共的面目。
1927年7月12日，鲍罗廷宣布中共中央改组，张国焘、张太雷、李维汉、李立三、*组成临时中央常委会，陈独秀从此走下历史舞台。之后，中共中央决定在赣举行武装暴动。
7月19日，谭平山同李立三一起奔赴江西省九江。他们到达九江后，经会谈分析，认为军事上赶快集中南昌，运动二十军与我党行动一致，实行南昌地区武装暴动，尽快解决第三、六、九军在南昌的武装；在政治上，以反对武汉、南京政府，建立新的国民革命政府来重新领导革命。并商定由李立三负责综合会议情况，书面报告党中央。
需要说明的是，在起义之前，大家达成的共识是仍然需要打着国民党左派的旗号。后来李立三在给中央的报告中称，“此次会议对暴动计划完全一致。在政治上决定组织中国国民党革命委员会为集中政权党权军权之最高机关，以反对宁汉政府中央党部，继承国民党正统。”
除了确定南昌作为起义的地点之外，谭平山还成功地动员了贺龙带部队参加起义，彼时贺龙为国民革命军第二十军军长，部队全员有八千五百多人，为参加起义部队中兵力最多的一支。之后，在起义部队南下途中，谭平山还成为了贺龙的入党介绍人。
就在起义部队箭在弦上时，张国焘的到来给起义造成了不小的困扰。作为手持“尚方宝剑”的共产国际的“钦差大臣”，张国焘对起义的时机等各方面因素持否定意见，并一再推迟起义的时间。对此，谭平山十分愤怒，几次与张国焘发生争吵和冲突，并声称“张国焘如果坚持反对起义，就把他*了。”
该细节也被一些文学影视作品所引用，在很多文章中也描绘成了日后谭平山被开除党籍的重要原因。实际情况并非如此，谭平山被开除党籍更多的原因是“自行其是”、“组织第三党”，而在开除谭平山的那份文件《政治纪律决议案》中也有对张国焘的处分，称其“怀疑暴动、反对暴动”，因此被开除临时政治局候补委员、中央执行委员会委员资格。
出局八月一日上午，起义的枪声刚停止，谭平山以中国国民党中央执行委员会的名义召开了联席会议，联席会议推举*、宋庆龄、谭平山、张发奎、贺龙等二十五日组成国民党革命委员会，推举其中的宋庆龄、邓演达、谭平山、张发奎、贺龙、郭沫若、恽代英等七人组成国民革命委员会主席团。
由于彼时宋庆龄和邓演达都不在国内，谭平山成为了实际上的国民革命委员会的最高*。而起义部队则继续沿用国民革命军的番号，称为“国民革命军第四集团军第二方面军”。
起义后，部队按照既定计划进军潮汕，不过起义部队没有能等来共产国际的援助，而是国民党部队的重兵围剿。
9月下旬，张太雷来到潮汕，带来了中共中央的最新指示。而在此前的八月七日，中央举行了临时会议，史称“八七会议”。
根据“八七会议”的指示，张太雷替换*和谭平山，担任起义军的总负责人，同时取消“中国国民党委员会”的名义，也不再公布国民政府的名单，今后要同国民党彻底决裂，在中共公开领导下开展土地革命。
随后，张太雷宣布取消“国民革命军第四集团军第二方面军”旗号，并要废除国民革命军的名义，以后部队一律称工农革命军，改用红旗，以镰刀斧头为标志。
领导机关的调整也意味着谭平山被彻底否定，不到两个月时间，从起义军的主要负责*到如今被踢出局。
连张国焘都为谭平山鸣不平，他对张太雷道：“比如谭平山，就算他有问题，但现在人家既然成为这次起义的旗帜，就不好随便撤换。这样的话对起义部队怎么说？对贺龙怎么解释？”
流沙会议后，起义军的所有*各自撤退，谭平山先到香港后划船来到澳门，后辗转回到上海。
开除党籍11月9日，瞿秋白在上海召开中央临时政治局扩大会议。在此次会议上通过了一系列决议案，其中就包括《政治纪律决议案》，其中明确“开除谭平山党籍”。
该《决议案》中关于谭平山的错误是这么描写的：
谭平山同志自五次大会后当任国民政府农民部长一直到南昌暴动前后的行动与主张，完全反对土地革命的政策。其行动更多离开党而自由行动，最著者如当今年七月武汉国民党及政府开始排共之际，曾秘密与邓演达等联络主张取消中国c.P.而另组织第三党，并向智识份子同志中作反对中央另组织第三党之宣传。
同时忽视党的决议，不得中央许可私向汪精卫请假。在请假呈请书内复大骂农运之棘手。与汪精卫代表陈春圃谈话，更大骂本党中央及农运。
最后中央政治局决定其赴奥，亦未遵命前去。及至九江南昌更充分发挥其个人行动，在九江因为他和贺龙谈话之投机和贺可反张，便在负责同志会议中鼓动不管中央不管党而自*反党空气。
至南昌仍继续其第三党的宣传，在同志中在国民党员中。其后在革命委员会中更争先做而后通知或径不通知前委的举动，其于屠*豪绅和没收（土地）等政策，亦时妨碍其行动，这些表示都是违背本党组织的行动，应即开除党籍。
对此，很多文章都引用了*的话，“今天看来，这个处分是不完全妥当的。”
就这样，谭平山又一次失去了自己的组织。
建第三党1928年初，谭平山从澳门返回上海，寻找党的组织，才知道自己被开除了党籍成了党外人士。这时，不少国民党左派和一部分失去组织关系的共产党员，云集上海。谭平山、章伯钧、季方等在上海成立“中华革命党”，表示继续奉行孙中山的三民主义。这是第三党形成后最早采用的名称。该党与在海外的邓演达保持联系。
一九三〇年春，邓演达自海外归国。八月召开十个省区负责干部会议，将第三党的名称正式定为中国国民党临时行动委员会，通过《政治主张》的决议。邓被选为中央干事会总干事，负责主编《革命行动》月刊。该党经过一番整顿以后，一度发展很快，曾建立十一个省区和三个市区的地方组织。
第三党积极进行反蒋活动，特别是邓演达利用他以前在黄埔军校和国民革命军中的影响，策动蒋系军官反蒋，给蒋介石的统治造成一定的威胁。
邓演达回国后，也曾多次主动找中国共产党负责人进行商讨，希望同中共建立联合反蒋战线。但由于当时中共负责人左倾关门主义，对邓演达等人组织的“第三党”采取了错误的政策。
需要说明的是，“第三党”的成立也引起了彼时苏区根据地的“肃反”，当时多数有黄埔背景的将领几被肃清。
一九三一年八月，邓演达被逮捕，劝降失败后，十一月，蒋把他秘密*害于南京。邓演达的遇害，使第三党受到极大打击。此后第三党的成员，除一部分投靠蒋介石外，其他人继续坚持斗争，但在蒋介石高压政策下，他们只能在狭小的圈子内进行隐蔽的活动。1935年11月改党名为中华民族解放行动委员会。1947年2月改党名为中国农工民主党。
共产党不要他，国民党迫害他，谭平山从此一直过着颠沛流离、东躲西藏的生活。
回归组织抗战爆发后，抗日统一战线形成，谭平山突然在武汉出现，引起了社会的关注。鉴于他原来的地位和影响，各种政治势力都在争取他。叛徒特务张国焘获悉谭平山回到武汉的消息后，千方百计要和谭平山见面，受到谭平山的拒绝。陈独秀也在这时被蒋介石释放出狱来到武汉。谭平山在汉口的南京饭店与陈独秀相会时，因政治观点不一致，不欢而散。
不久，谭平山便参加了蒋介石在武汉召开的国民党临时全国代表大会。这时，谭平山恢复了国民党党籍，被任命为国民党武汉军事委员会政治部指导委员和设计委员（*为该部副部长）。国民参政会成立，连续担任历届参政员。
1938年秋冬，谭平山在武汉向*、董必武提出请求“希望党组织重新审查自己及恢复自己的共产党党籍并盼望能去延安工作。当时，党中央经研究，同意他回到党内的请求，但要求他继续留在国统区，以民主人士身份做各民主力量的统战工作。
