Ingen annan gard på Fogn hadde så mange husmannsplassar som Hovda. Tala veksla frå tid til tid, men var på det meste oppe i 7. Det var ved Rossøysundet dei første husmennene på Hovda slo seg ned. Bjørkvik reknar med ein plass i sjølve Rossøysundet, på Sylsøy, to på Rossøynå, Ågeplassen og Hiljeplassen, og i tillegg Nygrund, ein nyare plass på Fogna-sida. Det er godt synlege spor etter husmannsplassane på Rossøy langs turstien.
Men det mest imponerande minnet etter busettinga på Rossøy er muren til ei løe som blei sett opp her rett før 1900. Etter det som er notert ned under registreringa av faste kulturminne i Finnøy i 1986, var det ein Jon Hovda som ville setta seg til på Rossøyna, og som fekk bygt seg ei romsleg løe, men så fekk han lærarjobb og avslutta prosjektet. Løa blei flytta til Sæbø i 1914, men muren står att. Det finst og ei historie om at det var Johan Hovda som fekk skilt ut Rossøy i 1911, og som sette i gang med murar til ei løe og eit våningshus. Det kan vera same historia, berre at namn og årstal og korleis det eigentleg hang saman har gått litt tapt på vegen. I dag er det staten som eig Rossøy.