La zona in cui sorge la Chiesa di Baekgok è un’antica valle montuosa molto isolata. Durante il periodo delle persecuzioni, questo luogo divenne un importante snodo naturale attraverso cui molti fedeli transitavano per sfuggire ai persecutori, e così numerosi villaggi cattolici nacquero in tutta la regione. Dopo la fine delle persecuzioni e il recupero della libertà religiosa la comunità compì diversi trasferimenti fino a stabilirsi nell’attuale posizione, dove nel 1961 venne costruita una cappella. In questo luogo si trovano le tombe di Yun Barbara, della famiglia Namwon Yun, e Park Barbara, della famiglia Miryang Park: erano cognate. Discendenti di Yun Haeng-yun che da Hongju si era rifugiato a Baetti per sfuggire alla persecuzione le due donne Park Barbara, sua nuora e Yun Barbara sua nipote furono arrestate insieme durante la Persecuzione Byung-in del 1866. Testimoniarono con determinazione la loro fede e furono martirizzate a colpi di bastone. Le loro spoglie vennero raccolte dalle famiglie e sepolte a Seongjaegol, sul monte dietro Baetti. La tradizione familiare tramanda che il loro martirio avvenne il 20 ottobre 1866. Le loro tombe, collocate nel cimitero dei martiri anonimi a Seongjaegol, furono dimenticate per lungo tempo fino a quando agli inizi degli anni ’70 i discendenti le ritrovarono. Nel 1977, quando i familiari dei martiri che vivevano a Pyeongtaek vennero a Baetti per trasferire le tombe nel loro cimitero di famiglia i fedeli di Baetti e della cappella di Baekgok li convinsero a lasciare le reliquie nella comunità affinché potessero essere custodite e ricordate nella preghiera. Le reliquie delle due martiri furono così trasferite nel terreno della cappella di Baekgok. Nel 2018 l’antica cappella ormai deteriorata fu demolita e vennero costruita una nuova chiesa e un centro educativo. Nel 2019 la comunità fu elevata a parrocchia e nel dicembre dello stesso anno ricevette una reliquia del proprio patrono il Beato Obanji Paolo che oggi è venerata nella chiesa.