의성 김씨로 처음 이곳에 터전을 잡아 살기 시작한 김근(1579∼1656) 선생의 위패를 모시고 있는 사당이다.
5대에 걸쳐 양양, 진성, 안망 등지를 옮겨다니던 생활을 청산하고, 광해군 7년(1615) 그의 나이 37세 때 터를 잡아 후손들이 이곳에 정착하게 되었다. 선생은 인조 20년(1642) 진사시에 합격한 뒤 벼슬을 단념하고 학문에만 전념하였다. 그를 가리켜 정현광 선생은 ‘유림노성(儒林老成)’이라 칭찬하였다. 그 뒤 후손인 김굉이 주도하여 정조 15년(1791)부터 4년에 걸친 공사 끝에 사당 건물을 비롯하여 동재·서재와 강당을 20여칸 규모로 마련하였다고 한다. 지금은 사당 건물인 영모사와 정사 2채만 남아 있다.