조선 정조 21년(1797)에 무열공 배현경, 금헌 배정지, 정절공 배극렴을 모시기 위해 지은 사당으로 무열사라 사액하였다.
배현경은 고려 태조 때 무신으로 경주 사람이다. 궁예 때부터 활약했던 인물이며, 고려 건국에 큰 역할을 하였다. 이에 일등공신에 오르고 태조를 도와 후삼국 통일에 많은 역할을 하였다. 시호는 무열이다.
배정지는 고려시대의 무신으로 10세에 금위에 들어가 도지가 되었다. 그는 원나라에 들어가 원제로부터 용사라는 칭찬을 받고 백금을 하사 받기도 하였다.
배극렴은 고려말 왜구 토벌에 공을 세운 조선의 개국공신이다. 고려 우왕 2년(1376)에는 진주에 침략한 왜구를 크게 격파하였으며 1378년 욕지도에서 왜구를 대파하였다.
고종 5년(1868) 흥선대원군의 서원철폐령으로 일부가 헐렸으나 뒷날 여러 차례 고쳐 지었다. 규모는 앞면 3칸·옆면 2칸이며 지붕은 옆면에서 볼 때 사람 인(人)자 모양을 한 맞배지붕으로 꾸몄다.