赵孟頫在此《五牛图》上先后题写了三段跋文，按先后顺序，此为一跋。
赵孟頫说，自己“南北宦游”，亦即这些年走南闯北，结交了不少朋友，也见过不少唐人韩滉（五牛图作者，唐朝宰相之一）的真迹，各有各的精彩之处。
好朋友田师孟曾将此《五牛图》展示，赵孟頫十分欣喜；后来才知道，《五牛图》就是胞亲赵伯昂的家藏。于是委托刘彦方（朋友的朋友）向赵伯昂求此画，赵伯昂很高兴地转赠给了他。时间是至元二十八年，1291年。
从赵孟頫的跋文，可见他对《五牛图》是非常喜欢的，“余甚爱之”。求得佳作，时常把玩。一年后带回吴兴（即湖州）重新装裱。又一年后，于济南东仓官舍写下这则跋文，记述下了得到《五牛图》的前后经过。
｜跋二｜
右唐韩晋公五牛图，神气磊落，稀世名笔也。昔梁武欲用陶弘景，画二牛，一以金络首，一自放于水草之际，梁武叹其高致，不复强之，此图殆写其意云。子昂重题。
此跋应是赵孟頫时常赏玩《五牛图》之后的评语，盛赞韩滉画的好，“神气磊落，稀世名笔也。”这是赞其画技。
其次，借一段典故，引申出此《五牛图》的深意。赵氏跋文说，梁武帝萧衍曾请归隐山林的陶弘景出山做官，陶弘景便画《二牛图》回赠萧衍，画中有一牛以金络羁首，虽然富态但拘态束缚很是扭捏。另一牛则欢快自由，放纵与水草丰美之原。梁武帝见了此画，一下就明白了陶弘景用意高致，于是不再强其所难。
“此图殆写其意云”，赵孟頫此时，不正是“以金络首”吗？或借此表达自己不想做官但奈何身不由己的现状，他的愿望，也是“自放于水草之际”啊。
｜跋三｜
此图仆旧藏，不知何时归太子书房，太子以赐唐古台平章，因得再展，抑何幸耶！延祐元年三月十三日，集贤侍读学士正奉大夫赵孟頫又题。
