说起街名的由来，倒是别有一番人情味。据《古里秦淮地名源》记载，上世纪五十年代，有关部门准备在长乐路编门牌，将“干沟”各家门牌编为378号、378号-1、378号-2……
巷口处两户并列的人家争要正号门牌，不愿成为378-1号，工作人员只好暂时搁置。后来，这条无名巷其他几个大院的居民急了，没有门牌号码，亲朋来访不便，邮递员送信也有麻烦。有户居民想出两全其美的解决方法——将378号定为三七八巷，巷内各大院就有了自己的正式门牌，巷名沿用至今。
时光倒回至清朝，三七八巷一带是府衙用砖头砌成的排水沟，因此被周边老百姓称呼为“官沟”。南京地名专家薛光告诉记者，旧时南京的老百姓有口音问题，常常会把一处地名讹传为其他谐音的名字，比如南京明“天坛”旧址被叫成“天堂”“小天堂”（在建的五号线地铁的小天堂站名便是源于此），这“三七八巷”的前身“官沟”也遇到这种情况，被人讹传为“干沟”。
