Karel Schwarzenberg je pokračovateľom slávneho rodu Schwarzenbergovcov, ktorý patrí už stáročia medzi významné európske šľachtické rody. Prvé zmienky pochádzajú z 10. storočia, no prvý, historicky doložený predok je až Siegfried zo Seinsheimu, uvedený ako svedok na listine cisára Fridricha Barbarossy z roku 1172. Pôvodne šlo o nemecký rod pánov zo Seinsheimu. Erkinger zo Seinsheimu na začiatku 15. storočia kúpil panstvo Schwarzenberg, ktorého meno si rod osvojil. Ďalšou významnou osobnosťou bol gróf Adolf, ktorý na konci 16. storočia dobyl tureckú pevnosť Raab a odmenu pre neho i jeho potomkov bolo povýšenie do stavu ríšskych grófov. V Česku sa o založenie a rozmach rodu zaslúžil Jan Adolf I., radca cisára Leopolda I., ktorý v roku 1660 získal panstvo Třeboň a v roku 1661 panstvo Hluboká. Za svoje služby cisárovi bol v roku 1670 povýšený. Jeho syn Ferdinand rozšíril rodové bohatstvo svadbou s Máriou Annou zo Sulzy. Neskôr Adam František zo Schwarzenbergu urobil z Českého Krumlova rezidenčné sídlo rodu. Jeho syn Josef Adam prestaval Krumlovský zámok a zaslúžil sa aj o založenie nového barokového zámockého divadla. Josefov syn Jan Nepomuk pomohol panstvu, ktoré hospodársky prosperovalo. V roku 1802 sa rod Schwarzenbergovcov rozdelil na dve vetvy. Zakladateľom prvej bol Josef zo Schwarzenbergu a zakladateľom orlickej vetvy bol Karol I. Filip zo Schwarzenbergu, ktorý bol kariérnym diplomatom. Prvá vetva vymrela v roku 1950 Adolfom zo Schwarzenbergu, práve počas jeho života prešiel majetok tejto vetvy v roku 1947 do vlastníctva štátu. Zámok Orlík a ďalší majetok sa roku 1992 vrátili rodu v reštitúcii. Títo páni patrili medzi najvýznamnejšie šľachtické rody v českých krajinách i v Rakúsku. Dodnes im patria rozsiahle majetky.