Allerede i 1754 begyndte man at bryde sandsten ved Nexø, men det Gamle Frederiks Stenbrud mellem landevejen og havet blev i 1957 opgivet som stenbrud og er i dag et rekreativt område - fyldt med vand.
På kyststien umiddelbart nord for stenbrudssøen bemærker man en pludselig stigning, der er vanskelig at forcere. Det er forkastningen mellem Svanekegranitten og Nexøsandstenen.
Om stedet skrev Martin Andersen Nexø i sin novelle "Barndommens Kyst", at man kan stå med et ben i hver og skræve over en halv million år!
På denne grænse mellem granit og sandsten finder man en kobbergang på op til 1,5 meters tykkelse.
Den blev fundet af Andreas Birch, der fra 1753 til 1758 var "Kongelig Mineralinspektør", og i 1818 besigtigede Hans Christian Ørsted stedet.
Han lod bore en skakt og fandt, at både kobber og kobberkis blev hyppigere jo længere man kom ned i undergrunden. Men, mere er det ikke blevet til.
Martin Andersen Nexø fortæller i novellen:
"Her drog vi drenge ud fra Nexø, forsynede med mejsler og skibsnagler så store som tøjrpæle og forsøgte at løfte skatten som den vældige troldmand H.C. Ørsted havde måttet lade ligge".
I dag er overgangen mellem nexøsandstenen og svanekegranitten sløret af rullesten, der er kastet op på kysten ved voldsomme storme fra øst.
I maj 1947 er der på et areal sydvest for Stenbrudsgården noteret en udmatrikulering af 2b, der blev lagt til Kroggård.
Herefter er der påbegyndt en brydning af nexøsandsten på denne matrikel 2b, der i maj 1988 blev afhændet til de Forenede Granitbrud som det Nye Frederiks Stenbrud.
Og her blev der brudt sandsten i stor stil, da det kom på tale at Frihedsstøtten på Vesterbrogade i København skulle renoveres i forbindelse med 200 års jubilæumsfestlighederne for Stavnsbåndets ophævelse i 1788.
Historien om brydningen af de "rigtige sandsten" til Frihedsstøtten er levende beskrevet i Bornholms Museums "Under overfladen - de bornholmske råstofindustriers historie" fra 2007.
Der er ikke mere sandsten at bryde her, ej heller er der nogen råstoftilladelse, og bruddet er fyldt med vand og navngivet "Nexø badesø".