最初的杏仁饼出自一名叫潘雁湘的婢女之手，她在地主家学得一手制饼手艺，后来到清官后裔萧友柏家当佣人。
根据史料记载，民国7年（1918）萧友柏的母亲生日，萧妻嘱咐潘雁湘制作点心招待亲友。
其用绿豆去壳、晒干炒香后，磨研成粉，并混以油糖，中心夹一片经蜜饯之肥猪肉，用饼印压制成饼，然后经焙、烘、焗等工序烤出饼食供众人品尝。
当时的香山（即现在的中山）知县品尝后，回味无穷，当即题字“齿颊留香”。
由于刚开始用的饼印做出来形状非常像杏仁，并且吃起来有一股淡淡的杏仁香味，因此，“绿豆饼”摇身一变就成了“杏仁饼”啦。
而说到咀香园的名字，刚才知县大人都已经题字，得其名“嘴香”，制作饼的饼家通常都带个“园”字，故名“嘴香园”。
