五色彩石散落在这里的山坡溪畔和田野里，化成了这光彩夺目的宝石。有的说是远古一只凤凰神鸟的彩蛋液渗入木鱼山，附近的地下变成了木鱼石。
还有一种说法，说木鱼山这地方起初不叫木鱼山，是叫别的什么名字。这里附近住着一个年轻樵夫，名叫李木鱼。李木鱼自小喜欢下棋，且棋艺高超。有一天他上山砍柴，见两位白发老者正在山顶的一块大石头上对弈。李木鱼就挑着担子来到一旁观战。两位老者见这位年轻人看得如此聚精会神，似乎颇通棋艺，就邀他对弈。李木鱼也不推迟，就坐下来与两位老者交上了手。虽然两位老者棋艺老道，不想却被这位年轻人连赢了几局。一位老者手捻长髯笑道：“真想不到凡间竟有这等好手，老夫佩服，佩服！”两位老者见李木鱼衣裳朴素，砍柴为生，颇为清贫，心存怜惜，就将所用棋子送给李木鱼，吩咐他今后不必再上山砍柴了，自有好日子过。说完只觉一阵清风拂面，已不见两位老者的踪影。
李木鱼带着两位老者送的棋子挑起担子回家。走在路上不小心摔了一跤，手中的棋子散落了一地，说来奇怪，只见这些个棋子一个个立即都变成了五颜六色的石头，大石头又生出小石头，捡也捡不完。李木鱼一回到家里就将这事一五一十地告诉妻子。于