Wie bereits auf der Infotafel erwähnt, rührt der Name Goldbrunnen von früherer Bergbautätigkeit her. Spannend zu erwähnen ist, dass das Stollensystem mehrere 100 Meter umfasst, obwohl keine nennenswerten Funde gemacht wurden. Es ist anzunehmen, dass finanzstarke Geldgeber die Grabungen unterstützten, in der Hoffnung, doch noch bedeutende Funde zu machen. Man trieb die Stollengänge regelrecht in den Berg, der teilweise aus hartem Granit bestand. Vorgefunden hat man nur Lettenklüfte. Eine Lettenkluft ist eine leere oder nur unvollständig erfüllte Spalte, die zerriebene, tonige Gesteinsmassen enthält, jedoch keine Erze.
Obwohl die Suche nach Erzen an der Stelle des heutigen Goldbrunnens nicht erfolgreich war, spielte der Bergbau in anderen Teilen Alpirsbachs (in Reinerzau und im Bereich Glaswald) für eine begrenzte Zeit eine recht bedeutende Rolle. In Reinerzau waren neben dem Silber- und dem Kobaltabbau auch der Abbau von Quarz und Flussspat von Bedeutung. Aus dem geförderten Silber prägte man zahlreiche Taler, die auf der Vorderseite ein Porträt des damaligen Landesfürsten, Herzog Eberhard Ludwig von Württemberg, und auf der Rückseite das württembergische Wappen zeigten. Einige dieser Taler sind heute im Museum für Stadtgeschichte in Alpirsbach ausgestellt. Ab 1710 verarbeitete man das Kobalt in der neuen Alpirsbacher Farbmühle zu blauer Farbe. Der Erzabbau in Reinerzau wurde mit Unterbrechungen bis Ende des 19. Jahrhunderts betrieben. Von 1957 bis 1964 baute man Flussspat in größerem Umfang ab.