امروزه کاخ سفید به سه قسمت منزل ریاست جمهور در مرکز، شاخه شرقی کاخ، و شاخه غربی کاخ تقسیم گردیدهاست. ساختمان کاخ سفید شامل شش طبقهاست: طبقه همکف، طبقه کشور، طبقه دوم ،طبقه سوم و دو طبقه زیرزمین. و مساحتی برابر ۵٬۱۰۰ متر مربع را میپوشاند. ۱۳۲ اتاق و ۳۵ دستشویی٫ پنج آشپز تمام وقت و روزانه حدود ۵٬۰۰۰ بازدید کننده دارد.کاخ سفید در شماره ۱۶۰۰(Pennsylvania Avenue NW)واقع شدهاست. به عنوان دفتر مجریه رئیس جمهور آمریکا واژه خانه سفید غالبا کنایه از کابینه ریاست جمهوری آمریکا است. کاخ سفید متعلق به پارک ملی (National Park Service) است که بخشی از پارک پرزیدنت(President's Park) است.
این ساختمان بین سالهای ۱۷۹۲ و ۱۸۰۰ با ماسه سنگهای سفید به سبک جورجیان (Georgian style) همزمان با ساخت شهر واشنگتن ساخته شد. جان آدامز اولین رئیس جمهور آمریکا بود که در آن اقامت نمود و از آن دوران کاخ سفید همواره محل اقامت رئیس جمهور وقت آمریکا بودهاست. هنگامی که توماس جفرسون (۱۸۰۱)در کاخ سفید اقامت یافت با کمک مهندس معمار بنجامین هنری لاتروب بنای بیرونی کاخ رابا افزودن دو ستون گسترش داد.
کاخ سفید در سال ۱۸۱۴ (در طول جنگ ۱۸۱۲) توسط ارتش بریتانیا صدمه فراوان دید و محتویات آن به تاراج رفت و ولی مدت زمان کمی بعد از ویرانی اقدام به بازسازی آن شد. و در اکتبر سال ۱۸۱۷ رئیس جمهور آمریکا جیمز مونرو در کاخ سفید که فقط قسمتی از آن بازسازی شده بود اقامت یافت.[۱] کاخ سفید در طول سالیان متمادی چندین بار بازسازی و گسترش یافتهاست.
بنای کاخ سفید در ابتدا «قصر ریاست جمهوری» یا عمارت ریاست جمهوری نامیده میشد. این بنا برای اولین بار در سال ۱۸۱۱ کاخ سفید نام گرفت. به روایتی در زمان بازسازی، این بنا را سفید کردند تا آثار سوختگی آن را بپوشانند واز آن زمان سفید نامیده شد. این روایت بی اساس است زیرا این بنا از زمان ساخت آن در سال ۱۷۹۸ سفید، رنگ شده بود. این بنا در متون رسمی عمارت هیئت اجرایی نامیده میشد. اما در زمان ریاست جمهوری تئودور روزولت ۱۹۰۱ نام غیر رسمی کاخ سفید واشنگتن روی سرنامههای رسمی آن چاپ شد. در سرنامههای فعلی هم لغت کاخ سفید و واشنگتن در وسط صفحه چاپ میشود که به زمان کابینه فرانکلین دلانو روزولت بر میگردد. نظریه دیگری این است که نام کاخ سفید از نام مزرعه عمارت سفید (White House Plantation)که محل اقامت مارتا کاستیس واشنگتن(Martha Custis Washington) بود گرفته شدهاست.مزرعه عمارت سفید در بخش نیو کنت (New Kent County) در ایالت ویرجینیا(Virginia) واقع شده بود ودر قرن هیجدهم رئیس جمهور و همسرش در آن زندگی میکردند.[۲]