Die Vorfahren der Familie Neher stammten aus Bolstern im heutigen Kreis Sigmaringen. 1793 heiratete Maria Josefa Neher Andreas Knoll, den Wirt zum "Goldenen Adler" in Warthausen, der schon 1802 starb. Die Witwe führte mit zwei Geschwistern die Wirtschaft weiter, bis Bruder Quirin 1806 die Wirtschaft, Brauerei und Ökonomie übernahm.

Quirin Neher war ein tüchtiger Geschäftsmann. König Friedreich hatte 1809 das ganze Warthauser Schloß und das Vermögen von Johann Philipp Karl Josef von Stadion beschlagnahmt, der als österreichischer Staats- und Hofkanzler Gegenspieler Napoleons und damit auch Gegener des württembergischen Königs war. Quirin Neher nutzte 1811 die Gunst der Stunde und kaufte das zweistöckige Wohn- und Gasthaus zum "Goldenen Adler" mit dem angebauten Wohn und Bräuhaus, einer Scheuer mit Pferde- und Kuhstall, den Gaststall und einen langen gewölbten Keller unter dem Kornhaus und den gesamten Marktplatz.

Als Graf Eduard von Stadion 1828 die Herrschaft Warthausen an den Staat verkaufte, versuchte Quirin Neher, auch das Schloss zu erwerben, was ihm als Nichtadeliger aber verwehrt wurde. 1829 erwarb Quirin Neher das Zoll- und Markthaus samt Viehmarktwiesen. 1830 Schließlich das Kornhaus, das im zweiten Stock des herrschaftlichen Oberamtsrats Wohnung gewesen war.

1834 übergab Quirin Neher den nunmehr ansehnlichen Besitz seinem Sohn Anton, der eine weltläufige Ausbildung genossen und die westeuropäischen Länder bereist hatte. Von dort hatte er auch den Sinn für Erlesenes mitgebracht. Er kaufte den Wein persönlich in den Weingegegenden ein. Seine Frau Kreszentia war als Köchin weithin bekannt. Drei Hochzeiten in der Woche mit bis zu 12 Gängen, so wird berichtet, waren keine Seltenheit. Die Biberacher Gesellschaft, ebenso Adel- und Geistlichkeit, trafen sich in der Brauerei.

Anton Neher vergrößerte die Brauerei, Gastwirtschaft und das Hofgut. Um der technischen Entwicklung standzuhalten, baute er eine neue Mälzerei und stellte seinen Betrieb auf Dampfbrauerei um. Er baute den Gärkeller und vergrößerte die Lagerräume. Für das Hofgut baute er eine große Scheuer und die Stallung gegenüber dem Wohnhaus. Zwischen 1841 und 1843 hatte sich der Warthauser Gemeinderat mehrmals mit dem Bierpreis zu beschäftigen. 1841 beschwerten sich die Bürger, dass der Schenkwirt Franz Nothelfer, der vom Adlerwirt Neher das Bier bezog, einen so hohen Bierpreis - 7 Kreuzer je Maß - habe, obwohl die Gerste und der Hopfen nicht teurer geworden seien. Der Gemeinderat hielt einen Preis von 6 Kreuzer je Maß für angebracht. Auch 1843 wurde eine Bierpeiserhöhung, die Neher beantragt hatte, von den Gemeinderäten abgelehnt.

1870 übernahm der Sohn Albert, der bei Münchener Brauereien praktiziert hatte, das Geschäft. Er entwickelte die Brauerei weiter und steigerte den Bierausstoß. Als 1901 Brauerei und Mälzerei vollständig niederbrannten, wurde zügig wieder aufgebaut. Viele italienische Gastarbeiter waren damals in Warthausen beschäftigt. Albert Neher wandelte 1904 die Brauerei in eine Aktiengesellschaft um. Seine beiden Söhne Felix und Fritz wurden Direktoren. Albert Neher starb 1920. Seine Söhne Felix und Fritz waren Nachfolger. Fritz Neher übte das Amt als Brauereidirektor lange Jahre nicht aus, da er ein Hofgut in Weilheim in Oberbayern betrieben hat, jedoch als Aufsichtsratsvorsitzender seine Interessen warnahm.

Am 23.12.1957 verstarb Brauereidirektor Felix Neher im Alter von 86 Jahren. Hierbei darf noch erwähnt werden, dass Felix Neher und somit die Brauerei Warthausen mit der Ortswasserversorgung Warthausens engstens verbunden war. Die Ortswasserversorgung von Warthausen befand sich im Brauereihof, wo erstklassiges Wasser gepumpt wurde von Anfang 1900 bis in die 80-er Jahre. Da kein Wasserschutzgebiet im Brauereihof ausgewiesen werden konnte, legte die Gemeinde Warthasusen die Wasserversorgung in die Hände der Stadt Biberach, doch die Qualität des Wassers aus der Brauerei wurde nie erreicht.

Frau Anitta Brand geb. Neher wurde nun Brauereidirektorin. Marita Neher gleichberechtigte Teilhaberin in der GmbH. Sie leitete die land- und forstwirtschaftlichen Güter der neher'schen Erbengemeinschaft, welche an die Brauerei Warthausen verpachtet waren mit zusammen ca. 100 ha. Der Ehemann von Anitta Brand, Hans-Christian Brand meldete sich freiwillig zum Kriegsdienst um einen Familienvater von 6 Kindern, ein Mitarbeiter der Brauerei zu schützen. Leider starb er dabei 1941 bei Leningrad den Heldentod. Frau Brand hat sich nicht wieder verheiratet.

Am 9.Januar 1984 verstarb Anitta Brand in München und am 13. Februar 1988 Marita Neher in Warthausen. Nach dem Tod dieser beider Damen aus dem Hause Neher ging auch die Ära Neher in Warthausen zu Ende. Villa Neher und Villa Brand, sowie die land- und forstwirtschaftlichen Grundstücke gingen nach dem Tod von Marita Neher in die Hände der langjährigen durch Freundschaft verbundenen Familie Ellegast über. Der Hof und Wälder wurden vom langjährigen Verwalter des Hofgutes Wilhelm Dietsche und seiner Ehefrau Chistine Dietsche treu im Sinne der Familie Neher auf Pachtbasis weitergeführt. Im Februar 2002 wurde das letzte Inventar verkauft, die Felder verpachtet.

Im Brauereigebäude selbst entstand ein Wohn- und Pflegeheim für alte Menschen. Das Hofgut wurde zwischenzeitlich abgerissen