청도면 두곡리 쌍수당(雙修堂) 경내에 있는 서원으로 고려 중기에 평장사(平章事)를 지낸 영헌공(英憲公) 김지대(金之岱)의 충효쌍수(忠孝雙修)의 위업을 숭상하기 위해 1704년(숙종 30)에 청도고을 사림(士林)의 중론으로 창건하였다. 처음 사당의 이름을 충효사(忠孝祠)라 하였고 강당을 쌍수당이라 하였는데, 이는 김지대가 그 아버지를 대신하여 종군(從軍)하면서 지은 시(詩)에 “국환신지환친우자소우대친여보국충효가쌍수(國患臣之患 親憂子所憂 代親如報國 忠孝可雙修)”라 한데 서 따온 이름이다. 1868년(고종 5)에 서원철폐령에 따라 남계서원도 훼철(毁撤)되어 폐허(廢墟)가 되었으나 그 후 자손들에 의해서 강당을 보수 또는 중창하면서 지내오다가 1907년(순종 1)에 낡은 강당을 철거하고 새로 지었으며, 1954년에도 후손들의 출연(出捐)으로 재차 강당을 철거하고 지금과 같이 쌍수당으로 확장 중건(重建) 하였다.