Về tên gọi núi Nhạn, người ta giải thích rằng, do núi có hình thế như con chim nhạn xoè đôi cánh, với phần đầu là chỗ giao nhau giữa QL1A và sông Chùa, cổ thon nhỏ lại rồi phình to ra như đôi cánh chim ở phần đường Tản Đà. Cũng có người cho rằng, ngày xưa núi này như một cù lao nhỏ nằm trong vịnh Tuy Hoà, là nơi để loài chim nhạn làm tổ, trú ẩn. Sau này, vịnh dần dần được bồi lấp tạo nên đồng bằng rộng lớn nối liền cù lao Nhạn với đất liền.
Về quá trình hình thành núi, truyền thuyết kể rằng, thuở xa xưa đất Tuy Hoà là một vùng đầm lầy trũng thấp, là nơi cư trú của nhiều loài thuỷ sinh và mãnh thú hung dữ. Đời sống của người dân luôn bị đe doạ. Và để tạo nên một cảnh sống mới, an toàn hơn về mọi mặt, một ngày kia người khổng lồ do Trời sai xuống gánh núi lấp đầy vùng trũng và lấn ra phía biển Đông. Thiên sứ khổng lồ kia miệt mài gánh đất và núi, làm rơi vãi từng cụm nhỏ ở núi Miếu (Hoà Quang) và gành Đá (Hoà Thắng)… và chẳng bao lâu thì lấp đầy cả cánh đồng Tuy Hoà bây giờ. Đến lượt bắt đầu lấn biển, vị thiên sứ kia gắng làm cho xong để sớm trở về trời nên đã gánh núi nặng gấp hai ba lần, đến nỗi khi gần tới biển, chiếc đòn gánh gãy đôi làm rơi xuống hai cụm núi là núi Nhạn và Chóp Chài. Đòn gánh gãy đồng nghĩa với công việc “xẻ núi lấp sông” không thể tiếp tục được nữa và thiên sứ khổng lồ nọ đành ngậm ngùi quay về Trời, chưa tạo được những cụm núi chắn sóng ngoài mạn biển xa. Câu chuyện huyền thoại này được truyền tụng từ khá lâu và có nhiều chi tiết khác nhau, nhưng nội dung chính là hai hòn núi Chóp Chài và núi Nhạn là do người khổng lồ làm gãy đòn gánh mà rơi xuống.
Trên núi Nhạn có rất nhiều cây cối rậm rạp, đặc biệt là mai rừng nở vàng vào mùa xuân và mùa hạ, ở phía Đông-Nam gần sông Chùa có một trảng sim nhỏ, đến mùa hoa sim nở tím cả một vùng. Trên núi có nhiều loài chim như nhạn, cò và đặc biệt là rất nhiều khỉ. Mãi đến năm 1961, khỉ vẫn sống từng đàn trên núi này cho đến khi chiến tranh ác liệt nổ ra, quân đội Sài Gòn cho đóng đồn và đặt súng đại bác trên núi ngày đêm bắn phá các vùng căn cứ, yểm trợ cho các cuộc hành quân nên khỉ đã bỏ về rừng núi đại ngàn, chim chóc cũng di trú nơi khác, cây cối bị đốn chặt phát quang để phục vụ cho tầm quan sát quân sự.
Đứng ở độ cao 64 m trên đỉnh núi Nhạn, du khách có thể bao quát một vùng non nước Phú Yên với toàn cảnh thành phố Tuy Hoà, làng hoa Bình Ngọc, núi Đá Bia, biển Đông và hai chiếc Cầu đường sắt và đường bộ dài 1.100 m bắt song song qua sông Đà Rằng. Trên đỉnh núi Nhạn có Tháp Chàm cổ kính, còn có tên gọi là Tháp Nhạn được người Chiêm Thành xây dựng.
Mạn Đông-Nam chân núi Nhạn có ngôi chùa Hàm Long nằm khuất sau chòm cây cổ thụ, lưng tựa vào vách núi đá lớn dựng đứng, cao ngất như muốn nhoài ra ôm choàng lấy ngôi chùa như một chiếc quạt khổng lồ xoè rộng. Chùa Hàm Long sau đổi tên là Kim Long tự và được vua Bảo Đại năm thứ 5 ban sắc tứ. Dưới chân vách đá, bên cạnh chùa có một cái hang, đường kính chừng 3 mét xuyên vào lòng núi và ăn thông ra bờ sông. Các cụ ngày xưa cho đó là hàm của con rồng nên mới đặt tên chùa là Hàm Long.
Theo truyền thuyết, hơn trăm năm về trước, cái hang này ăn thông ra bờ sông Chùa. Đã có người thử thả trái bưởi từ miệng hang, trái bưởi theo đường hầm trôi ra giữa dòng sông và nổi lềnh bềnh trên mặt nước. Qua thời gian, do lũ lụt, mưa gió làm đất đá chài lấp dần cửa hang.
Ngày nay, cụm thắng cảnh “Núi Nhạn – Sông Đà“ đã trở thành biểu tượng của Phú Yên và Tháp Nhạn đã được công nhận là Di tích Kiến trúc - Nghệ thuật cấp Quốc gia. Hàng năm vào dịp lễ, Tết, trên núi Nhạn có tổ chức nhiều hoạt động văn hoá, văn nghệ, vui chơi giải trí ….. Đặc biệt vào rằm tháng Giêng Âm lịch hàng năm, nơi đây diễn ra đêm thơ Nguyên tiêu thu hút đông đảo văn nghệ sĩ và du khách gần xa.