我们知道写歌一般是先有词后谱曲，而《我和我的祖国》则是先有曲后有词。1984年，这首歌的词作者张黎在北京遇到作曲家秦咏诚，两人是小时候的玩伴，还是沈阳音乐学院的同学，一个学文学，一个搞作曲的两个人一直都希望能够有一次合作。于是就商议能否写一首音乐，共同抒发一下对祖国母亲的热爱。
然而，当秦咏诚把曲子写出来以后，张黎却久久不能写出令自己满意的歌词。 一天早晨，张黎推开窗户，探头远望，一轮旭日缓缓升起，把对面的山川映照得如诗如画。这让他联想到自己走过的路，尽管曲曲折折，但却是和祖国的命运紧紧相连。于是歌词脱口而出：我和我的祖国，一刻也不能分割。我歌唱每一座高山，我歌唱每一条河，袅袅炊烟，小小村落，路上一道辙……
词曲写好之后，找谁来唱呢？通过秦咏诚的介绍，张黎结识了著名歌唱家李谷一，炙热的歌词深深地打动了这位当时非常火的歌唱家。后来李谷一回忆说，她对这首歌一见钟情，而张黎对李谷一的演唱也赞不绝口，说这首歌正是因为李谷一的演唱才红起来的。
说起这首歌，还有一个有意思的花絮，李谷一老师在做客《鲁豫有约》的时候也曾谈及，那就是李谷一曾改过这首歌。歌词中有这样一句：你用你那，母亲的脉搏和我诉说。李谷一说：我当时怕老百姓听不清楚、不能直接理解，改成了你用你那，母亲的温情和我诉说。不过对于我的这个改动，张黎老师并不接受，所以现在有了两个版本，就我唱的这个和大众的不一样。
