Pánové z Velešína a Michalovic, kteří vlastnili také hrady Velešín a Sokolčí, nechali postavit tvrz Tichou v polovině 13. století. První písemný dokument pochází z roku 1360. Tvrz se následně nikdy nerozvinula v centrum samostatného panství, ale zůstala trvalou součástí hradu Velešín.

Po smrti Beneše a Jana z Velešína převzali správu tvrze nejdříve Petr a Jošt z Rožmberka, než přešla tato obranná stavba roku 1387 skutečně do vlastnictví Oldřicha z Rožmberka a jeho syna Jindřicha. Tichá tehdy sloužila jako sídlo purkrabího a hejtmanů. Po smrti Petra Voka z Rožmberka, kterou roku 1611 současně vymírá mužská linie rodu, zdědil tvrz Jan Jiří ze Švamberka. Majetek Švamberků byl ale zkonfiskován po jejich účasti na českém stavovském povstání. Hrabě Karel Bonaventura Buquoy oproti tomu podporoval při bitvě na Bílé hoře vítěznou stranu a roku 1620 získal tvrz od císaře Ferdinanda II. Habsburského. Od té doby byla budova využívána čistě jako účelová stavba, kterou výrazně poškodily požáry v letech 1687, 1707 a 1789. Jan Nepomuk Buquoy ji nechal poté v roce 1789 přestavět na pivovar, který byl provozován téměř sto let.

Po roce 1945 připadla tvrz pasteveckému družstvu a následně Státnímu statku. Kolem roku 1970 byly veškeré budovy až na stavbu věže kvůli špatnému technickému stavu strženy. Od roku 2001 je tvrz Tichá kulturní památkou.