유제는 면천군수 면직을 당한 후 서울로 올라가지 않고 면천군과 인접해 있는 덕산, 고덕에서 거주하며 복음을 전했다. 그가 거주한 덕산군 한내(대천리)는 서울로 곡물을 실어나르던 내포 교통 문화의 중심지인 구만리 포구와 가까운 곳으로 해로를 이용해서 서울, 인천 등지로 드나들기에 매우 적합한 곳이었다.
유제가 한내로 거주지를 옮겨 그곳에서 복음을 전했다는 것은 실로 놀랄만한 일이다. 그는 본래 서울 사람이었고, 조정에서 정3품 돈녕부 도정이라는 벼슬을 했다면 얼마든지 서울에서도 그의 역할이 있었을 것이나, 그는 오직 “하나님을 공경하고, 사람을 사랑”하라는 예수의 도를 전하고자 했다.
“면천 원을 갈린 후에 덕산 한내라 하는 촌에 거하여 하나님을 공경하고 사람을 사랑하는 예수 도를 행할새 인근 읍 사람들이 그 소문을 듯고 찾아와서 교회책도 가져가고 교회이치도 묻는 사람이 있는지라 셔울 교회에서 신실한 교우 두사람을 택하여 덕산땅에 보내여 교회일을 권면하더니”
그는 한내에서 거주하며 신앙생활과 전도활동을 하였다. 그가 1897년에 자신의 집에 교회를 세웠는데 그 교회가 바로 대촌교회다. 평일에는 아무것도 달지 않고 주일이 되면 태극기 그림을 달아 사람들로 하여금 주일임을 알게 하였다고 한다.
그가 교회를 세웠다는 소문을 듣고 인근 사람들이 찾아와 교회책도 사가고 교회 이치를 묻는 사람들도 있었다.
이후 유제의 청에 의하여 1897년 10월 정동교회 전도인이었던 최병헌과 박환규가 보행으로 덕산에 내려왔는데, 이들에게 여비를 마련해준 것은 배제학당 형제들이었다. 이들은 덕산시장에서 십자가를 걸고 전도 강연회를 개최하였다. 그 당시 덕산은 보부상 상무사가 설립되어 있어서 제법 큰 규모의 시장을 형성하고 있었다. 덕산 시장에서 전도 강연은 성황리에 진행되었다. 수일동안 전도한 결과 입교자 백여명이 나오고, 그 후 몇 사람이 세례도 받는 결과를 맺기도 했다.