L'édifice fut construit au 18e s. sur les plans de William Kent, avec deux ailes en retour encadrant une cour où a lieu en hiver la relève de la Garde. Le bâtiment central, surmonté d'une tour-horloge, est percé de trois arches donnant sur l'immense place de Horse Guards Parade, où a lieu en été la relève de la garde et où se déroule le Salut aux couleurs (Trooping the Colour), qui marque l'anniversaire officiel de la reine.