Chuyện xưa kể lại, Hòn Yến có tên như vậy là do chim yến thường bay về đây từng đàn dựng tổ. Còn với người dân thôn Nhơn Hội, Hòn Yến được ví như ông phật hiền từ, bụng quay về làng, lưng hướng về biển, dang rộng vòng tay chở che cho ngôi làng biển nơi đây. Ngoài ra, Hòn Yến còn có hình dáng của một cánh buồm khổng lồ, tượng trưng cho nghề vươn khơi ra biển của ngư dân bản địa.