Zarys historii kościoła parafialnego w Radgoszczy
Kościół parafialny pw. św. Kazimierza w Radgoszczy wybudowany został w latach 1859-1862 w miejsce poprzedniego także drewnianego, o którym źródła mówią „rozpadł się od starości” lub „spalił się”. Kościół ten konsekrował bp J. A. Pukalski w niedzielę 11 lipca 1862 r. Jest obiektem drewnianym, o konstrukcji zrębowo-słupowej, jednonawowym, z transeptem (transept to nawa poprzeczna, czyli część kościoła prostopadła do osi kościoła, położona pomiędzy prezbiterium a resztą budynku) i prezbiterium zamkniętym ścianą prostą, za którą znajduje się zakrystia. Szolowany jest modrzewiowymi deskami i pokryty blachą. Kościół pierwotnie nosił tytuł Przeniesienia relikwii Św. Kazimierza.
Wnętrze kościoła pokryte jest stropem płaskim. W transepcie znajdują się dwie małe kaplice. Ramiona transeptu rozdzielone zostały spłaszczonymi arkadami (arkada [łac. arcus - łuk] to element architektoniczny składający się z dwóch podpór (kolumn, słupów lub filarów), które zostały połączone u góry łukiem). Kościół pokryty jest siodłowymi dachami. Nad transeptem jest wieżyczka z sygnaturką zwieńczoną iglicą. Polichromia wnętrza kościoła jest ornamentalna i figuralna namalowana przez Stanisława Gucwę w 1915 r.
Ołtarz główny - późnobarokowy z XVIII w. Według miejscowej tradycji przeniesiony został z kościoła w Szczucinie. Są w nim umieszczone rzeźby świętych: św. Piotra, św. Pawła, św. Stanisława i św. Wojciecha. Ponadto posiada 3 obrazy: św. Kazimierza królewicza patrona parafii, Matki Bożej z Dzieciątkiem i św. Marii Magdaleny - obrazy pochodzą z XIX wieku. W prezbiterium na ścianie po lewej stronie, znajduje się późnobarokowa bogato złocona ambona. Kościół posiada trzy boczne ołtarze: po lewej Niepokalanego Serca NMP, po prawej Najświętszego Serca Pana Jezusa i św. Franciszka - wszystkie trzy ołtarze klasycystyczne z połowy XIX wieku. Chrzcielnica barokowa z XVIII w. ze srebrnym oryginalnym naczyniem na wodę św. W nawie głównej na ścianach znajdują się Stacje Drogi Krzyżowej z XVIII wieku, a ośmiu oknach znajdują się duże witraże przedstawiające polskich świętych i błogosławionych.
W latach 2006-2012 staraniem Parafian w Radgoszczy oraz Polonii przeprowadzony został remont generalny kościoła. Zrekonstruowano całość fundamentów. W miejsce fundamentów z cegły i kamienia wykonano fundamenty betonowe, odwodnienie kościoła, chodniki i schody oraz parking przy kościele. Wyremontowano poszycie dachu i położono nową blachę tytanowo aluminiową. Wymieniono zniszczone belki w ścianach, ocieplono i oszolowano deskami modrzewiowymi ściany kościoła. Położono nową posadzkę: marmurową w prezbiterium - w pozostałej części kościoła granitową, oraz zamontowano nadmuchowe, gazowe ogrzewanie i wentylację kościoła. Gruntownej restauracji poddano wszystkie 4 ołtarze, ambonę i stacje Drogi Krzyżowej. Na ścianach w prezbiterium zamontowano odnowione figury 4 Ewangelistów. W dwóch kaplicach bocznych zamontowano odrestaurowane 4 figury Matki Bożej będące wcześniej feretronami oraz figurę św. Kazimierza patrona parafii. W latach 60- tych figura była umieszczona w ołtarzu głównym – po jego renowacji, decyzją konserwatora, musiała być przeniesiona poza zabytkowy ołtarz główny. Wykonano nową instalacje elektryczną i nagłaśniającą, oświetlenie wokół kościoła, nowe dębowe ławki w kościele oraz stylowe meble w zakrystii. Wykonano renowację całej polichromii kościoła oraz ufundowano nowy marmurowy ołtarz. Konsekrował go biskup diecezjalny Andrzej Jeż w niedzielę 23 września 2012 r. Ponadto wykonano 4 nowe konfesjonały, w tym dwa przeznaczone dla osób niedosłyszących.
W 2021 r. przedsionku kościoła ufundowano 3 epitafia dla zachowania w pamięci parafian osoby rezydenta ks. Stanisława Gawędy oraz byłych proboszczów ks. Ignacego Piwowarskiego i ks. Stanisława Kopecia. W prezbiterium pod krzyżem na tzw. tęczy zamontowano odnowione figury Matki Bożej i św. Jana.