有關“皂市”這個名字的由來，還有一個世代相傳的故事呢！
　　秦朝末年，皂市這個地方有一條大路，路旁有一棵高大的皂莢樹長得十分茂盛，樹葉一串串，一層層，密密麻麻，結成了一頂巨大的綠色帳篷。在這棵皂莢樹底下，有位老太太搭了個茶棚，過往的行人都喜歡在這里歇歇腳，買碗茶喝。
　　再說秦二世昏庸無道，戰亂再起，劉、項相爭。漢高祖劉邦在一次戰斗中被項羽擊敗，潰逃至楚地。有一天，他為躲避追兵，來到了老太太茶棚前。老太太姓趙，方圓幾十里的人都知道老人家是個心地善良，慷慨大方的人。趙老太太看到劉邦又累又渴的樣子，就給了他幾碗茶喝。劉邦見老太太是個好人，就請老人家救他。趙老太太毫不猶豫地把劉邦藏在茶棚里。追兵沒有找到他。等追兵走遠后，劉邦對老太太說：“感謝您的救命之恩，日后我劉邦一家會報答您的”。
　　后來，劉邦登基當了皇帝，為了追殺項軍余黨，劉邦大肆殺人，很多無辜老百姓也被殺害了。有一天，漢朝的兵將殺到茶棚里，劉邦下令不準殺害他的恩人。于是兵將們找到趙老太太，讓他在自家門前插上一根皂莢樹枝，這樣就不會錯殺人了。趙老太太心想：如果別人家門口不插皂莢樹枝，那他們不就遭殃了嗎？不行，我不能不告訴他們。于是老太太就挨家挨戶地通知鄉親們，讓大家伙兒在門前插上一根皂莢樹枝。后來，漢朝的兵將殺到這里。發現每家每戶門前都插有皂莢樹，沒有辦法，只好撤兵走了。
　　這里的老百姓都保住了性命，人們非常感謝老太太，就把這個地方命名為“趙氏”。從那以后，人們都喜歡在門口栽皂莢樹，用它來避邪除惡。過往的行人見這里種了很多皂莢樹，再加上“趙氏”諧音，于是慢慢地就傳成了“皂市”。