虽然在北京的胡同街巷名称中不少含有“碑”字,但有趣的是,高碑胡同却并非因为碑而得名。在明代,这里本叫高坡胡同,因胡同的地势比其南面的兵部洼胡同高出一块,故名。清代,这里改称坡儿胡同,民国时期根据谐音被叫成了高碑胡同,紧邻高碑胡同西面的另一条胡同则取名为高碑大院。