Stavba Bieleho domu vo Washingtone, D.C., sa začala v roku 1792. V roku 1800 bol prezident John Adams prvým prezidentom, ktorý sa presťahoval do výkonného sídla. Od tej doby bol niekoľkokrát rehabilitovaný, zrekonštruovaný a prestavaný. Biely dom je po celom svete uznávaný ako domov amerického prezidenta a symbol amerického ľudu. Ale rovnako ako národ, ktorý predstavuje, aj prvý zámok v Amerike je plný neočakávaných prekvapení.
Počas Vojna roku 1812USA spálili budovy parlamentu v kanadskom Ontáriu. V roku 1814 britská armáda odvetila zapáliť väčšinu z Washingtonuvrátane Bieleho domu. Vnútro prezidentskej štruktúry bolo zničené a vonkajšie steny boli zle spálené. Po požiari žil v USA prezident James Madison Octagonov dom, ktorá neskôr slúžila ako sídlo pre Americký inštitút architektov (AIA). Prezident James Monroe v októbri 1817 sa presťahoval do čiastočne zrekonštruovaného Bieleho domu.
Štedrý deň 1929, krátko po páde Spojených štátov do hlbokej hospodárskej depresie, vypukol v západnom krídle Bieleho domu elektrický oheň. Oheň vysypal výkonné kancelárie. Kongres schválil núdzové prostriedky na opravy a prezident Herbert Hoover a jeho personál sa 14. apríla 1930 vrátili späť.
Keď architekt Pierre Charles L'Enfant navrhoval pôvodné plány pre Washington, D.C., vyzval na prepracovaný a obrovský prezidentský palác. L'Enfantova vízia bola vyradená a architekti James Hoban a Benjamin Henry Latrobe navrhli omnoho menší a skromnejší domov. Napriek tomu bol Biely dom vo svojej dobe veľkolepý a zďaleka najväčší v novom štáte. Väčšie domy neboli stavané až po občianskej vojne a vzostupe Kaštiele zlaceného veku. Najväčší dom v Spojených štátoch je dom z toho obdobia, dom Biltmore v Asheville v Severnej Karolíne, dokončený v roku 1895.
Základný kameň Bieleho domu bol položený v roku 1792, ale vzorom mohol byť dom v Írsku. Kaštieľ v novom hlavnom meste USA bol postavený na výkresoch Jamesa Hobana narodeného v Írsku, ktorý študoval v Dubline. Historici veria, že Hoban založil dizajn Bieleho domu na miestnej dublinskej rezidencii, Leinsterovom dome, gruzínskom dome vojvodov z Leinsteru. Leinsterov dom v Írsku je teraz sídlom írskeho parlamentu, ale skôr to bolo pravdepodobné inšpiroval Biely dom.
Biely dom bol mnohokrát prerobený. Na začiatku 18. storočia prezident Thomas Jefferson spolupracoval s britským architektom Benjaminom Henrym Latrobeom na niekoľkých dodatkoch vrátane východných a západných kolonád. V roku 1824 dohliadal architekt James Hoban na pridanie neoklasickej „verandy“ na základe plánov, ktoré vypracoval Latrobe. Zdá sa, že eliptický južný portikus odráža Château de Rastignac, elegantný dom postavený v roku 1817 v juhozápadnom Francúzsku.
Krajina, ktorá sa stala Washingtonom, bola získaná z Virginie a Marylandu, kde sa praktizovalo otroctvo. Historické výkazy miezd to dokazujú veľa pracovníkov najatých na stavbu Bieleho domu boli Afroameričania—V niektorých slobodných a niektorých otrokov. Africkí Američania, ktorí pracovali spolu s bielymi robotníkmi, brúsili pieskovec v lome v Aquii vo Virgínii. Vykopali tiež základy pre Biely dom, postavili základy a vyhodili tehly na vnútorné steny.
Biely dom nemohol byť dokončený bez európskych remeselníkov a prisťahovaleckých robotníkov. Škótski robotníci zdvíhali pieskovcové steny. Škótski remeselníci tiež vyrezávali ružové a girlandové ozdoby nad severným vchodom a vyvýšené vzory pod okennými štítmi. Írski a talianski prisťahovalci vykonávali práce s tehlami a sadrou. Neskôr talianski remeselníci vyrezali ozdobné kamenné diela na portíloch Bieleho domu.
Prezident George Washington vybral plán Jamesa Hobana, ale cítil, že pre prezidenta je príliš malý a jednoduchý. Pod Washingtonovým dohľadom sa Hobanov plán rozšíril a Biely dom dostal veľkú prijímaciu miestnosť, elegantné pilastre, okenné kukly a kamenné korene dubových listov a kvetov. Ale Washington nikdy nežil v Bielom dome. V roku 1800, keď bol Biely dom takmer hotový, druhý americký prezident, John Adams nasťahoval sa. Adamsova manželka Abigail sa sťažoval na nedokončený stav prezidentského domu.
Pôvodní stavitelia Bieleho domu nezvažovali možnosť prezidenta so zdravotným postihnutím. Biely dom sa nestal invalidným vozíkom prístupný kým Franklin Delano Roosevelt nastúpil do úradu v roku 1933. Prezident Roosevelt žil so znechutením kvôli detskej obrne, a tak bol Biely dom prerobený tak, aby vyhovoval jeho vozíku. Franklin Roosevelt tiež pridal vyhrievaný krytý bazén na pomoc s jeho terapiou. V roku 1970 bol plavecký bazén zakrytý a používaný ako tlačová briefingová miestnosť.
Po 150 rokoch boli drevené nosníky a vonkajšie nosné steny Bieleho domu slabé. Inžinieri vyhlásili budovu za nebezpečnú a povedali, že ak nebude opravená, zrúti sa. V roku 1948 nechal prezident Truman vyprázdniť vnútorné priestory, aby bolo možné nainštalovať nové oceľové nosníky. Počas rekonštrukcie žili Trumani cez ulicu na Blair House.
Biely dom bol nazývaný mnohými menami. Dolley Madison, manželka Prezident James Madison, nazval ho „Prezidentský hrad“. Biely dom bol tiež nazývaný "Prezidentský palác" „Prezidentský dom“ a „Výkonný kaštieľ“. Názov „Biely dom“ sa stal oficiálnym až v roku 2006 1901, kedy Prezident Theodore Roosevelt oficiálne ho prijali.
Vytvorenie jedlého Bieleho domu sa stalo vianočnou tradíciou a výzvou pre oficiálneho kuchára a tím pekárov v Bielom dome. V roku 2002 bola téma „Všetky zvieratá skvelé a malé“ a so 80 kilogramami perníka, 50 libier čokolády a 20 libier marcipánu bol Biely dom nazývaný najlepšia vianočná cukrovinka vôbec.
Biely dom je vyrobený z pieskovca šedej farby z lomu v Aquii vo Virgínii. Severný a južný portikus je postavený z červeného pieskovca Seneca z Marylandu. Pieskovcové steny neboli natreté bielou farbou až po rekonštrukcii Bieleho domu po britských požiaroch. Na pokrytie celého Bieleho domu je potrebných 570 galónov bielej farby. Prvý použitý poťah bol vyrobený z ryžového lepidla, kazeínu a olova.