Cuộc khai quật khảo cổ học do viện Bảo tàng lịch sử Việt Nam phối hợp cùng Ty Văn hóa Nam Hà tiến hành từ ngày 23/1/1976 đến ngày 18/3/1976 với diện tích khai quật 300m²  ngay tại khuôn viên chùa đã mở ra nhiều bất ngời thú vị. Ngay ở dưới độ sâu 0.5- 1.1 m đã tìm thấy hàng trăm di vật như mảnh gốm sứ, gạch ngói, đầu rồng đất nung dụng cụ lò nung gốm…

Điều đáng lưu tâm ở đây là hai sân gạch hoa được lát theo kiểu chéo góc. Những viên gạch được nung già, màu sắc đỏ tươi, chất đất mịn. Bề mặt gạch vần còn nguyên những họa tiết phong phú như hoa chanh, hoa cúc… với đường nét thanh mảnh, mềm mại, tinh tế thể hiện tài nghệ đồng thời xác định được giá trị, tầm vóc của một sân rồng cũng như mức độ trang hoàng của cung điện. Ngoài ra, những đầu rồng, đầu phượng cùng các loại bát đĩa, gạch ngói có kích thước, kiểu cách giống như các di vật tìm thấy khu vực đền Thiên Trường cũng đã cho thấy hành cung Đệ Tứ đối với các vua chúa, quý tộc Trần xưa có một vị trí quan tâm đặc biệt.

Chùa Đệ Tứ không chỉ là một nơi ẩn chứa nhiều giá trị khảo cổ học mà còn là một công trình kiến trúc có giá trị nghệ thuật.Nằm quay hướng tây, ẩn dưới những tán cây cổ thụ to lớn và quang cảnh làng mạc thanh bình, ngôi chùa làm theo kiểu chữ công, kết hợp với các công trình phụ trợ xung quanh như giếng nước, vườn cây, nhà tổ, tăng phòng nhà khách tạo thành một không gian linh thiêng, gần gũi và tĩnh lặng.

Tiền đường gồm 5 gian 2 chái được tu sửa vào năm Thành Thái thứ 8 (1898) nên mang đậm phong cách nghệ thuật thời Nguyễn. Toàn bộ tiền đường gồm có 6 bộ vì được làm theo kết cấu chồng rường giá chiêng, bẩy tiên, bẩy hậu. Trần các xà dọc, xà nách, câu đầu được điểm xuyết nhẹ nhàng các họa tiết long chầu, tứ quý, lá vật với đường nét thoáng đạt. Gánh đỡ bộ mái tiền đường là 24 cây cột lim đều có đường kính 0.30m.

Tam bảo ba gian được nối với tiền đường bởi kỹ thuật giao mái bắt vần. Tam bảo gồm 4 gian xây dọc, đặt trên vì 4 hàng chân theo kết cấu kẻ truyền. Trên các câu đầu, bẩy, kẻ được bào trơn, chạy đường chỉ kép. Tại Tam bảo có bài trí 15 pho tượng mang phong cách thời Nguyễn chia làm 5 lớp.

Thượng điện gồm 3 gian xây ngang, nối với Tam bảo bằng kỹ thuật giao mái bắt vần. Tại đây, các cấu kiện gỗ cũng được trang trí nhẹ nhàng, đơn giản tạo thành một không gian rộng rãi thoáng đạt.

Bao quanh ngôi chùa là nhà tổ 7 gian, nhà khách 7 gian, phủ mẫu 3 gian, tăng phòng 5 gian. Tất cả các hạng mục công trình này đềt được làm bằng gỗ lim, mái lợp ngói nam. Trải qua thời gian, được sự quan tâm của chính quyền và nhân dân địa phương nên các công tình vẫn giữ được độ bền vững cùng các phong cách kiến trúc cổ truyền.

Cũng giống như nhiều ngôi chùa khác được xây dựng trên mảnh đất Thiên Trường xưa, chùa Đệ tứ ngoài thờ Phật còn thờ danh tướng nhà Trần như Trần Nhật Duật, Phạm Ngũ Lão. Cùng với những di tích lịch sử văn hóa khác như đền Thiên Trường, chùa Phổ Minh, đền Bảo Lộc… Chùa Đệ Tứ đã góp phần tạo nên một quần thể di tích văn hóa Trần ở Nam Định. Khách hàng hương về đây sẽ có cơ hội tìm hiểu về mảnh đất phát tích của vương triều Trần đồng thời được sống lại với một thời kỳ lịch sử huy hoàng của dân tộc, đúng như câu đối tại chùa thể hiện:

Đệ Tứ dữ Đệ Nhất, Đệ Nhị, Đệ tam, đế vương cung hiển tích.

Trang Ngoại cập Trang Thượng, Trang Trung, Trang Hạ cung hậu điện dữ linh.

( Đệ Tứ cùng Đệ Nhất, Đệ Nhị, Đệ Tam, cung của đế vương còn dấu.

 Trang Ngoại vơi Trang Thượng, Trang Trung, Trang Hạ, đất xưa công hầu vẫn còn thiêng)

(Nguồn: dulichnamdinh.com.vn).