Năm 1010, vua Lý Thái Tổ cho dời đô, từ Hoa Lư (Ninh Bình) về Thăng Long và muốn mở rộng thành. Vua đã cho đắp thành nhưng hễ đắp lên lại bị sụp đổ. Vua cho người đi hỏi dân chúng mới biết ở đất này có hiển linh từ trước, vua bèn sai biện lễ cầu đảo. Đêm ấy vua nằm mộng gặp thần tới chúc mừng và dặn nhà vua rằng cứ theo dấu vó ngựa mà đắp, tất sẽ thành công, ngay lúc đó, vua nhìn thấy một con ngựa trắng phi thẳng vào đền rồi biến mất. Hôm sau, nhà vua thấy có dấu chân ngựa in trên mặt đất thành đường vòng tròn, bèn sai người cứ theo đó mà xây thành, đắp lũy, thành sau khi được xây xong rất chắc chắn, vững chãi. Để tưởng nhớ công ơn của thần, nhà vua cho tạc một con ngựa trắng để thờ và ban sắc phong cho thần là “Thăng Long Thành hoàng Đại vương”. Từ đấy ngựa trắng là một biểu tượng thiêng liêng và đền Bạch Mã (đền ngựa trắng) có tên từ đó.

Đền Bạch Mã là một công trình kiến trúc đẹp, điển hình như: tam quan, phương đình, đại bái, thiêu hương, cung cấm... Tam quan có mặt bằng hình chữ nhật, gồm năm gian nhà gỗ với hệ thống cột gỗ lim lớn và bốn bộ vì đỡ mái kiến trúc theo kiểu “chồng rường giá chiêng hạ bảy”, một số thanh rường chạm hoa văn hình học, gian giữa mở lối vào đền bằng cánh cửa gỗ lớn. Đặc biệt, giữa xà hạ và xà trung của mỗi vì có hai tượng nghê lớn bằng gỗ hướng mặt vào lòng nhà. Ngay sát phía sau là kiến trúc phương đình với hệ thống “củng ba phương”, vừa có tác dụng chịu lực - đỡ góc mái, vừa có tác dụng dùng để trang trí và là nơi treo đèn lồng trong các dịp lễ hội. Bộ mái ở đây làm hai tầng, mỗi tầng bốn mái có các góc đao cong.

Ở đền Bạch Mã, kiến trúc lớn nhất là nhà đại bái. Nhà đại bái được chia thành năm gian với nền nhà được lát bằng đá xanh hình chữ nhật. Bộ khung đỡ mái nhà được làm bằng gỗ với hệ thống cột gỗ có kích thước khá lớn và chúng được kê lên chân các tảng đá hình tròn. Sáu bộ vì được kiến trúc theo hai kiểu: hai vì hồi kiến trúc theo kiểu “kẻ chuyền” còn bốn vì giữa kiến trúc theo kiểu “thượng chồng rường giá chiêng hạ bảy”. Nghệ thuật trang trí trên kiến trúc của toà nhà này được thể hiện chủ yếu trên hai bộ vì gian giữa dẫn vào chính điện, chạm các hình tứ linh trên nền hoa văn xoắn, hình đầu rồng trên các đầu dư.

Thiêu hương và cung cấm có hình dạng bên ngoài gần giống nhau. Phần mái làm thành hai tầng, tầng trên hai mái, tầng dưới bốn mái có các góc đao cong. Bộ khung nhà cũng được dựng bởi hệ thống các cột gỗ lớn, các bộ vì đỡ mái được kiến trúc theo kiểu “giá chiêng chồng rường” và các xà thượng, hạ chạy ngang dọc khắp năm gian nhà.

Các mục hạng này được bố trí theo chiều dọc. Đặc biệt, phương đình và đại bái được nối với nhau bởi một vòm vỏ cua (mái vòm hình mai cua) hình bán nguyệt có trang trí hoa lá, nối đại bái với thiêu hương cũng là một vòm vỏ cua. Vỏ cua tạo không gian thoáng đãng và rộng rãi thêm cho kiến trúc, nhờ đó mà phương đình, đại bái, thiêu hương và cung cấm trở thành một kiến trúc khép kín, đồng thời điều này khiến cho ngôi đền Bạch Mã trở thành một trong những công trình kiến trúc về tín ngưỡng hiếm có ở vùng đồng bằng Bắc Bộ.

Tại đền Bạch Mã, hiện còn lưu giữ nhiều di vật cổ có giá trị như: bia đá, sắc phong, kiệu thờ, hạc thờ, đôi phỗng... Năm 1986, đền Bạch Mã đã được Bộ Văn hóa - Thông tin (nay là Bộ Văn hóa, Thể thao và Du lịch) công nhận là di tích lịch sử cấp quốc gia.