据《广州旧志》记载，周惠王令楚熊子恽统治岭南，南海臣服于楚，作楚庭以朝，所以广州又称楚庭。周夷王八年(公元前887年)，广州曾一度出现连年灾荒，田野荒芜，农业失收，人民不得温饱。一天，南海的天空忽然传来一阵悠扬的音乐，并出现五朵彩色祥云，上有五位仙人，身穿五色彩衣，分别骑着不同毛色的山羊，羊口衔着一茎六出的优良稻穗，降临楚庭。仙人把稻穗给了广州人，并祝愿此处永无饥荒。祝罢仙人腾空飞逝，五只仙羊化为石头留在广州的山坡。从此，广州便成了岭南最富庶的地方。这就是广州有“五羊城”、“羊城”、“穗城”名称的由来。 

  为了纪念这个美丽的传说，1959年，由艺术家尹积昌、孔凡伟、陈本宗等设计创作了这个五羊石雕像。整个建筑高11米，由53立方米石料组成，重2吨左右，最小的那件是小羊的尾巴，重50公斤。