Не пожелав жить в Зимнем дворце Петра I, императрица Анна Иоанновна распорядилась о создании новой резиденции. Первоначально императорский двор разместился в бывшем доме генерал-адмирала Ф. М. Апраксина на набережной Невы близ Адмиралтейства, расширенном в 1731 году деревянными пристройками. В 1732 году с западной стороны «Адмиральского дома», параллельно Адмиралтейству, началось возведение каменных парадных корпусов — фактически это было строительством нового дворца. Работами руководил Франческо Растрелли при участии своего отца Бартоломео.
Учитывая сложную конфигурацию участка, Ф. Б. Растрелли развернул главный фасад дворца в сторону Адмиралтейства. Торцевой фасад со стороны Невы примыкал к «Адмиральскому дому», продолжая сплошную застройку набережной. Южный торцевой фасад был обращен на Адмиралтейский луг, в сторону современной Дворцовой площади. С Адмиралтейского луга был устроен въезд во внутренний парадный двор, образованный с трех сторон новым дворцом, «Адмиральским домом» и служебными постройками.
В линии застройки набережной дворец выделялся высотой — еще издалека была заметна его массивная кровля с переломом. Центральная часть невского фасада была акцентирована ризалитом на семь осей, за которым располагался огромный двухсветный Тронный зал площадью около 1000 квадратных метров. Фасад дворца со стороны Адмиралтейства имел два сильно выступающих боковых крыла и три ризалита в центре, создававших выразительную торжественную композицию. Парадные залы были сгруппированы в две анфилады, проходившие вдоль адмиралтейского и дворового фасадов. В южной части нового здания был построен придворный театр — первое в России театральное помещение европейского образца.
В 1742—1744 годах, в начале царствования императрицы Елизаветы Петровны, дворец подвергся значительной внутренней перестройке. Были созданы новые парадные покои, в Тронном зале устроены фонтаны и каскады. В это же время во дворце был смонтирован «Янтарный кабинет» — знаменитая Янтарная комната, перемещенная позднее в Царское Село. В 1746—1747 годах со стороны Адмиралтейского луга к дворцу был пристроен протяженный флигель с личными покоями императрицы и малой церковью.
В результате многочисленных переделок к началу 1750-х годов дворец приобрел беспорядочный, пестрый вид. Его фасады потеряли симметрию, многочисленные пристройки не соответствовали великолепию императорской резиденции. Стало очевидным, что больше расширять старое здание нельзя. В 1754 году было начато строительство нового грандиозного Зимнего дворца.