清光绪末年间,香山县兴宁里8号有一书香世家,家道日落,经济日紧。时值其母寿辰,正为招待亲友的开支发愁,其家的婢女名潘雁湘(中山名人之一),自梳女,生性聪明、好学、平时练得一手制糕点的好手艺;她采用绿豆粉、用糖腌制过肥猪肉片,精心制作绿豆夹肉饼,敬奉给老夫人,饼入口甘香松化,肥而不腻,咀嚼之,有杏香,贺寿者共食,赞声不绝。从此绿豆夹肉饼成为节日送礼招待亲友的佳品,一次到县官家中作客,呈奉时任香山知县覃寿堃品尝,咀嚼之觉甘香松化,且有杏香,覃大加赞赏,当即挥毫写下“齿颊留香”四字赞语。根据县官的题词,当时饼型状似杏仁故称杏仁饼;辛亥革命后,该大户人家为补家计,开始批量生产并使婢女到戏院叫卖,广受欢迎,开始行销。民国七年(1918),因政府规范工商税收,遂正式工商登记,挂牌经营,商号为“咀香园杏仁饼家”。