传说四百多年前，上横还是一片白茫茫的海，只有东西两个小石山。东面的小石山居住着二十多户渔家和渔霸黄大大九。渔霸黄大九有一条规定：不论刮风下雨，每户每天要上缴一担鲜鱼。渔民们被逼，只好长年累月出海打鱼。有一次，天不作美，一连下了五、六天的大雨，渔民没法出海打鱼，平时又没储备食物，所以连吃的东西也没有，黄大九趁机放高利贷来剥削渔民。自此以后，渔民们每次出海打鱼回来，除上缴黄大九外，其余的鲜鱼放在西面石山上晒鱼干，储存起来。时间长了，渔民便把这石称为“晒鱼石”。