유제가 면천군수로 부임하기 전부터 그의 선행에 대해 면천을 포함한 내포지역에서는 익히 알고 있었다. 유제는 1892년부터 1894년까지 쌀을 무곡하러 이곳을 다녀갔고, 1894년 갑오년에 선유별관으로 면천에 기거했을 것이다. 그리고 1895년 군수로 취임했을 때 그에 의해서 면천지역에 기독교공동체가 이뤄졌음은 당연하다. 물론 면천에는 당시 교회공동체에 대한 기록은 없으나 그의 모든 신앙행적으로 보건대 면천의 기독교 공동체가 존재했으리라 추정한다.

내포지역은 오랫동안 천주교가 중추적인 역할을 하였다. 그러나 유제에 의하여 이미 곡창지대인 내포의 기독교적 교류는 어색하지 않았다. 그리고 면천군수로 재직하면서 교회공동체인 교회가 설립되었을 가능성을 추정해볼 수 있다.

유제의 신앙공동체 설립은 두 가지로 나누어 볼 수 있다.

첫 번째, 면천교회 설립에 대한 것이다. 그가 교회를 설립했다는 개연성을 뒷받침하는 유일한 근거는 면천초등학교 연혁에서 찾아볼 수 있다. 면천초등학교 100년사에 보면 “사립면양학교는 1908년 9월1일 대한제국 문부대신 인가를 받아 당진군 면천면 성상리 806-9번지 앞 도로변의 면천감리교회 건물(8칸 짜리 초가건물, 현 면천농업협동조합 창고 박천구댁) 자리를 매입하여 개교하였고”라고 기록되어 있다. 면천초등학교 연혁에도 “교사는 읍내리(성상리) 초가 8칸 1동(기독교회당)을 매입하여”라고 기록됐다. 면양학교가 기독교회당 건물을 매입하여 시작했다는 것이다.

유제가 면천군수로 오면서 교회가 설립됐다면, 면천교회는 충청도 최초의 교회다. 필자가 2008년 면천교회 역사 고증대회를 통해서 당시 감리교사학자 윤춘병 감독을 통해서 들은 바도 “면천교회는 충청도 최초의 교회”라는 것이었다.

이어서 윤춘병은 “유제가 면천에서 기독교공동체를 운영할 때, 서천에 장로교회가 들어오자 선교사들이 모여 이 문제를 논의했다”며 “당시에는 한국에서 선교하는 선교사들이 지역 구분을 한 결과 충청도는 감리교 지역이므로 마땅히 장로교회가 철수해야 한다는 것이었는데, 그렇게 하여 면천교회가 충청도의 가장 먼저 시작된 교회”라는 것이다.

아펜젤러 선교사의 유제 사랑은 대단했다. 유제가 면천을 얼마나 사랑했는지 선교사는 유제를 “유면천”이라고 불렀다. (조선그리스인회보 1897.11.3 덕산교회)