W roku 1952 przy Zakładach Ceramiki Budowlanej, młodzież z Pustelnika założyła klub sportowy, z sekcją piłki nożnej, należący do Zrzeszenia Sportowego „Budowlani”. W czynie społecznym, a także dzięki wydatnej pomocy miejscowej społeczności, wybudowane zostało boisko piłkarskie. Położone ono było na terenach obecnie zajmowanych przez stację benzynową przy al. Piłsudskiego.
W skład pierwszego Zarządu klubu wchodzili: p. Apt, kierownik Zakładu Ceramiki Budowlanej, jego syn – Stanisław, oraz p. Leonard Kosmowski, p. Marian Goliwas, p. Leszek Mianowski, p. Czesław Rzepniewski, p. Gontarczyk. Drużyna piłkarska występowała wówczas w klasie B.
W roku 1953 powstało Krajowe Zrzeszenie „Start”, będące zrzeszeniem spółdzielni pracy, które z podziału czystej nadwyżki finansowej były statutowo zobowiązane wpłacać pieniądze do Zrzeszenia. Na terenie Pustelnika znajdowały się trzy spółdzielnie pracy: Spółdzielnia „Metal” przy ul. Lipowej, Spółdzielnia „Nowator” (obecnie „Premed”) przy ul. Dużej oraz Spółdzielnia „Obrabiarki” znajdująca się przy dzisiejszej al. Piłsudskiego.
Na walnym zgromadzeniu, zmieniając nazwę Zrzeszenia z „Budowlanych” na „Start”, wybrano także nowy Zarząd klubu. Jego Prezesem został kierownik ośrodka zdrowia p. doktor Zbigniew Rzednicki, wiceprezesami wybrano p. Leonarda Kosmowskiego, p. Mariana Goliwasa, sekretarzem – p. Leszka Mianowskiego, księgowym – p. Romana Klimeckiego, a członkami zostali – p. Czesław Rzepniewski, p. Bogdan Tkacz, p. Tadeusz Miechowicz.
Z myślą o przyszłym połączeniu „Marcovii” z Marek i klubu z Pustelnika przyjęto nazwę „Jedność”. Staraniem Zarządu klubu, a przede wszystkim jego Prezesa, doktora Rzednickiego, otrzymano przydział działki pod budowę stadionu przy ulicy Wspólnej. Z wielkim zapałem przystąpiono do zdobywania funduszy na budowę stadionu, sama bowiem inicjatywa społeczna nie była wystarczająca do zrealizowania tak dużej inwestycji.
Zarząd klubu wystąpił do Zrzeszenia „Start” o dotacje na budowę stadionu i częściowo je otrzymał, m.in. z pieniędzy odliczanych od zysku przez wspomniane wcześniej trzy spółdzielnie. Pomocy udzielono nie tylko w formie finansowej, ale także poprzez użyczanie transportu, dostarczanie materiałów budowlanych i w formie robocizny. Na rozpoczęcie budowy hali sportowej i jej zaplecza Prezes klubu załatwił duże pieniądze z Totalizatora Sportowego. W celu zdobycie środków organizowano także zabawy taneczne – latem na tzw. dechach (podłoga do tańczenia ułożona była na świeżym powietrzu z desek), natomiast zimą w nie wykończonej jeszcze hali sportowej.
W latach 1960. klub zwrócił się do Dyrektora Naczelnego Zakładów Okładzin Ciernych „Polmo” w Pustelniku o przyjęcie patronatu nad klubem. Dyrektor Bartosiewicz wyraził zgodę, motywując to tym, że skoro fabryka mieści się na terenie Pustelnika, to chociaż częściowe zyski powinny być inwestowane na tym terenie.
Po rezygnacji doktora Rzednickiego nowym Prezesem klubu został p. inż. Roman Lisik, Dyrektor Techniczny Zakładów „Polmo”, jednocześnie wielki entuzjasta piłki nożnej.
Po przejęciu patronatu nad „Startem” przez „Polmo”, klub zmienił nazwę na „Polimer”. Zaczęły się dla niego lepsze czasy – ruszyły roboty przy hali sportowej i zapleczu, dokończono budowę trybun na 1000 miejsc oraz ogrodzenia boiska wraz z bieżnią. Drużyna piłkarska awansowała do klasy A. Jej trenerem był wówczas p. Mieczysław Jezierski.
Patronat „Polmo” na klubem trwał do roku 1968, czyli do zmiany dyrekcji Zakładów. Klub został przejęty wówczas przez Urząd Miasta, a piszący te słowa zakończył pracę jako działacz sportowy.
Na zakończenie, na zasadzie ciekawostki, warto może jeszcze nadmienić, że pod względem lokalnego patriotyzmu zarówno klub z Pustelnika, jak i z Marek (oraz ich kibice), nie różniły się w zachowaniach od drużyn z pierwszych stron gazet. I tych polskich i światowych. Rywalizacja przybierała czasem ostrzejsze, czasem łagodniejsze formy, dochodziło do spięć między kibicami i zawodnikami. Tych z Pustelnika nazywano „Bocianami”, tych z Marek zaś „Cyganami”. Nie lubi się Warszawa z Łodzią, nie lubi Amsterdam z Rotterdamem, mógł się nie lubić Pustelnik z Markami.
Jednak, mimo tych animozji, zarówno działacze obu klubów, jak i zawodnicy czy niektórzy kibice, zdawali sobie sprawę, że zbliżenie administracyjne musi zaowocować także unifikacją sportową, co znajdowało swoje odzwierciedlenie m.in. w nazwach klubu z Pustelnika („Jedność”, „Polimer”).
