Церковь была построена по указу императрицы Елизаветы Петровны на том месте, где, согласно преданию, апостол Андрей Первозванный воздвиг крест во время своего путешествия на север. Проект храма составил Франческо Растрелли, а непосредственно строительством руководил московский архитектор Иван Мичурин, которому пришлось доработать растреллиевский замысел с учетом реальных условий (в частности, он возвел двухэтажный стилобат под основным зданием храма). В Андреевской церкви впервые в русской архитектуре появляется мотив пятиглавия в виде четырех высоких башенок, окружающих центральный купол. Позднее Растрелли блестяще разовьет его в своем проекте собора Смольного монастыря в Санкт-Петербурге.