Všichni ho měli za obhroublého člověka, přitom to byla jemná duše milující svobodu, a to natolik, že nevydržel ani ve stálém angažmá. Na jaře se sebral, odjel na rybník, kochal se přírodou, maloval. Herectví miloval, ale večerní představení ho vždycky obtěžovalo. Tak na něj vzpomínala Stella Zázvorková. Zmínila i jeho další velkou zálibu v podobě plavání. V mládí se mu věnoval závodně, v pozdějším věku nedal bez pobytu ve vodě ani ránu. „On byl v podstatě hroch,“ smála se Zázvorková. Hlinomaz miloval moře a často říkal, jaká by to byla krása, kdyby u něj také zemřel. Netušil, že osud mu jeho přání splní.
Jednou si ho pozvali na StB a chtěli, aby s nimi spolupracoval. Josef naoko nadšeně souhlasil, ale pak se začal hlasitě dožadovat, aby mu ušili parádní uniformu.
