안락서원은 1605년(선조38)에 동래부사 윤선이 임진란 때 순절한 동래부사 송상현(宋象賢), 부산첨사 정발(鄭撥), 다대첨사 윤흥신(尹興信) 등 부산지방의 선열을 모시기 위하여 동래읍성의 남문에 송공사단(宋公祠壇)을 건립한 것에서 비롯된다. 1624년(인조2)에 선위사 이민구의 청에 의하여 충렬사란 사액을 받았으며 임진란 때 전사한 부산첨사 정발(鄭撥)을 배향하게 되었고, 1652년(효종3)에 동래부사 윤문거(尹文擧)가 송상현의 학덕과 충절을 숭상 계승하기 위하여 내산 및 안락리(현 충렬사자리)에 이전하여 강당과 동서양재를 지어서 교육기관으로 삼게 한 것이 안락서원의 기원이다. 그 후 1709년(숙종35)에 동래부사 권이진이 송상현과 정발이 순절할 때 함께 순절한 사람들을 모시기 위해 읍성 안에 있는 충렬사의 옛 터에 별사를 세우고 정부에 알린 후 양산군수 조영규(趙英圭), 동래교수 노개방(盧蓋邦), 유생 문덕겸(文德謙) 및 비장 송봉수(宋鳳壽)와 김희수(金希壽), 겸인 신여로(申汝櫓), 향리 송백(宋伯), 부민 김상(金祥) 등을 모시게 되었다. 이처럼 안락서원은 임진왜란 때의 충신열사를 모셨기 때에 뒷날 흥선대원군이 단행한 서원철폐 때도 헐리지 않고 근년까지 그대로 내려오다가 1977년 정부의 충렬사 성역화 방침에 따라 경역을 확장하여 사당과 기념관 등 건물을 새로 짓고 그 보존과 관리에 힘쓰고 있다. 안락서원은 창건 이래 몇 백 년 동안 지방민을 교화하여 충군 애국사상을 고취하고 이 고장에 있는 사람으로서의 긍지를 갖게 하는데 큰 이바지하고 있다.