Granitten spilte en stor rolle for næringsgrunnlaget i Rolvsøy i tiden fra århundreskiftet og frem til 1920-årene. Det var større stenbrudd i Hatteåsen, Borgeli og Vallefjellet, og noen mindre på Rostadneset og i Råkollen. Flere stenredere, slik som Fredrikstad Stenhuggeri (C.A.Forsberg) og Krtistianiafirmaet N. S. Beer & Co, sto for driften. Disponent Anton Apenes ved Evje teglverk, drev et stenbrudd i Råfjellet, nordøst for demningen til Borredalsdammen.

Produktene var kantsten og gatesten; lokalt benevnt som pædder og knæstrær. Under første verdenskrig kunne opptil 50 hester være i sving med å transportere stenen fra bruddene til Stenbrygga ved Visterflo. Fra 1930-tallet foregikk transporten med bil til Hannestad brygge.

På det meste kunne 200 mann være beskjeftiget i fjellet. I begynnelsen 1920-årene kom nedgangstiden og aktiviteten gikk nedover eller forsvant både i sten-, teglverk- og sagbruksindustrien.

Overalt i bygda finnes spor etter stenhuggingen, også i tettbebyggelsen. Her skapte uttakene grunnlag for dammer som både ble nyttige vannkilder og yndete badeplasser for barna. I skogen er bruddene utallige, selv om naturen delvis har tatt over og dekket det forgagne.

Noen gjerdestolper og grunnmurer forblir minner fra stenhuggertiden.