Der Trossberg, auch Drozzabürg genannt, dürfte ein Veste der Babenberger (Drozza) gewesen sein. Dieses Geschlecht hatte in früheren Jahrhunderten den Raum von Bamberg bis Regensburg beherrscht.

Im 6. Jahrhundert kam Trossberg mit dem umliegenden Gebiet in den Besitz der Bayernherzöge aus dem Haus der Agilofinger.
Der Wikipediaartikel über die Agilofinger

Bis zum Jahr 1305 sollen Grafen von Hirschberg auf der Burg gewesen sein, als sie dann durch eine Erbschaft an die bayerischen Herzöge Ludwig und Rudolf aus dem Hause Wittelsbach überging.

Im Jahr 1333 wurde dem bekannten Feldherrn Seyfried Schweppermann und seinem Sohn Otto die Schirmherrschaft über die St. Emmeranische Klosterniederlassung Litzlohe mit dem dazugehörigen Ortschaften, Gehöften und Mühlen um Troßberg übertragen.
Der Wikipediaartikel über Schweppermann

In der nahen Wallfahrtskirche Trautmannshofen befindet sich heute noch eine Votivtafel aus dem Jahre 1764 (von lat. votum: „Gelübde“).
Im Laufe der Jahrhunderte jedoch, dienten die alten Gemäuer als Baumaterial für die umliegenden Bewohner.

Heute erinnert an Troßberg nur noch ein breiter, tiefer Graben.

Nachtrag vom 27.September 2015:
Wikipedia hat mittlerweile einen ausführlichen Artikel zur Trossberg aufgeführt. Diesen wollen wir ihnen natürlich nicht vorenthalten und darauf referenzieren.
Der Wikipediaartikel über den Burgstall Troßberg

Beitragsbild „Burgstall Trossberg03“ von Sven-121 – Eigenes Werk. Lizenziert unter CC0 über Wikimedia Commons – https://commons.wikimedia.org/wiki/File:Burgstall_Trossberg03.jpg#/media/File:Burgstall_Trossberg03.jpg