Konkrétně se o původní stavbě zmiňují prameny ze 13. století, z doby vlády krále Václava II. V dávných dobách tu stával malý hrad, zajišťující ochranu cesty z Milevska na Mirovice. Jednalo se o levý břeh řeky Vltavy, kde se vybíralo clo za plavby. Původní stavitelé ani majitelé hradu nejsou známi.
Během 13. století se z hrádku stal díky přestavbě gotický královský hrad. Na Orlík se převáželi zajatci a kořist získaní během srážek s lidmi biskupa Tobiáše z Bechyně. Orlík chránil před útokem hluboký příkop vylámaný ve skále. K přístavbě křídla na východní straně došlo po roce 1340. Vstupovalo se sem pavlačí, kam jste se mohli dostat z nádvoří po schodišti.
Další rozšiřování hradu a stavební úpravy probíhaly za vlády Karla IV. Hrad měl v té době válcovou věž a protilehlý palác. Obytné budovy byly přistavěny u hradby na jihovýchodní straně. V této době hrad přechází do majetku šlechty z královského držení. V roce 1357 byl hrad Karlem IV. přidělen v manství jeho kancléři Dětřichovi z Portic. Ten hrad už v roce 1360 postoupil svému synovci Dětřichu mladšímu z Portic. V roce 1369 byl hrad udělen králem v manství Hyncíku Pluhovi z Rabštejna, který ho v roce 1395 vyměnil se Zikmundem Hulerem. Nepřátelé ho však před králem falešně obvinili ze zpronevěry a Huler byl v roce 1405 popraven. Hrad převzal jeho bratr Ondřej, který ho v roce 1407 prodal nejvyššímu mincmistrovi Petru Zmrzlíkovi.
Petr Zmrzlík se postaral o přestavbu hradu a během držení Zmrzlíků byl hrad neustále udržován, protože zde rod bydlel. Petr Zmrzlík se připojil na husitskou stranu. Po jeho smrti v roce 1421 se jeho dědici stali synové Petr, Václav a Jan. Účastnili se husitských válečných tažení a na Orlíku byl v roce 1422 hostem i Jan Žižka z Trocnova.
Po roce 1427 však bratři Zmrzlíkové obrátili a přidali se ke králi Zikmundovi, ten se jim odměnil několika statky. Po smrti Jana Zmrzlíka se bratři podělili o majetek a Orlík připadl Václavovi. Po něm dědil synovec Jaroslav Zmrzlík. Rod Zmrzlíků se držel na Orlíku až do roku 1514.
Začátkem šestnáctého století totiž vypukl ničivý požár a tehdejší majitel Václav Zmrzlík z hradu odešel. Orlické panství získal koupí Kryštof ze Švamberka, který vlastnil i blízký Zvíkov.
Kryštof ze Švamberka se pustil do rozsáhlých úprav na hradě. Z Orlíka se stalo jeho hospodářské centrum. Na panství byste v té době našli dva pivovary, tři městečka, 51 vesnic a pět dvorů. Dostavěly se další obytné prostory, zdokonalil se obranný systém hradu a vznikla kaple zaklenutá síťovou klenbou. Venkovní pavlače byly nahrazeny novými na kamenných arkádách. Hrad prostě získal úplně nový vzhled a Kryštof II. Dal zvýšit stavbu ještě o jedno patro. Kryštof II. však brzy zemřel – v roce 1582 a majetek přešel do borské větve Švamberků, protože zvíkovská vymřela.
Jan Jiří ze Švamberka se pustil do dalších stavebních prací. Přístavby se uskutečnily v jihovýchodním křídle a samotném zámku docházelo až do roku 1588 k různým úpravám. Švamberkové měli pokoje v severovýchodním křídle, a to především ve druhém patře. Zbývající prostory zámku byly určeny pro čeleď a úředníky. Majitelé se starali o výstavbu stodol, špýcharů, stájí a pivovaru. Dvůr obklopovala zeď a hradby. Švamberkové zde zůstali jenom do roku 1611, kdy zemřel Rožmberk Petr Vok. Potom Jan Jiří ze Švamberka přesídlil na Třeboň, kterou zdědil. Po roce 1620 došlo ke konfiskaci majetku Švamberků a novými majiteli se stali Eggenberkové. Ti však sídlili na Českém Krumlově. Během let 1751 – 1753 se přestavělo na Orlíku jihozápadní křídlo, protože jinak by se sesunulo. Opravovaly se i arkády v přízemí.
Do 19. století Orlík osidlovala jenom správa a využíval se k hospodářským účelům. Schwarzenberský rod se na začátku 19. století rozdělil na dvě větve a Orlík se stal sídlem mladší větve. Karel Filip Schwarzenberg byl úspěšným válečníkem a diplomatem a Orlík byl zase panským sídlem. Ovšem přestavbu přerušil další požár v roce 1802. Zámek Orlík se začal přestavovat a opravovat. V této době vzniklo i třetí poschodí. Na Orlíku trávila většinu času v roce žena Karla Filipa – Marie Anna. Pokoje byly zařízeny pro její potřeby a okolí bylo doplněno anglickým parkem. Vznikl sál v empírovém slohu, biliárový modrý pokoj a zámecké divadlo, jehož dokončení přetnula v roce 1820 smrt Karla Filipa.
K posledním zajímavějším stavebním úpravám došlo během let 1849 – 1860. Průčelí zámku získalo současnou novogotickou podobu. Nákladná přestavba však nebyla možná díky nedostatku financí. Hospodářský dvůr a další budovy před zámkem byly zbořeny a vzniklý prostor se upravil na francouzský park, které se během 19. století stále rozšiřoval a upravoval. V letech 1861 – 1864 byla na severozápad od zámku vybudována rodinná hrobka Schwarzenbergů.
Po dokončení Orlické přehrady v roce 1960 se změnil i vzhled krajiny okolo Orlíku. Hladina řeky Vltavy se zvedla cca o šedesát metrů, tím pádem se stavba stala takřka vodním zámkem, i když původně stála na vysokém skalním útesu. Schwarzenbergové byli donuceni odejít v roce 1948 do emigrace.