Väster om kyrkan ligger hembygdsgården där huvudbyggnaden utgörs av den äldre
prästgården, vilken ligger kvar på sin ursprungliga plats (Gällaryds Stom 1:22).
Prästgårdens äldre delar härstammar från 1750-talet, medan den södra delen är av
yngre datum. Den timrade byggnaden har en faluröd locklistpanel, inklädda knutlådor
och ett tak täckt med tvåkupigt betongtegel. Byggnaden tjänstgjorde som prästgård
fram till 1919. I prästgården etablerades hembygdsgården 1942, samma år som
Gällaryds hembygdsförening bildades. Intill återfinns en faluröd timrad och panelad
tiondebod med utkragad övervåning med uttag i det undre stockvarvet, också den
från 1700-talet och på ursprunglig plats. Här återfinns också en lada som har använts
för en så ovanlig funktion som torkning av tobak. Denna har flyttats från
Lundholmens gård i Ugglekull. Här torkades den tobak som odlades i trakten och
som sedan ingick i tillverkningen av Jönköpings grovsnus.

Byggnaden nyttjades från 1826 til 1919 som prästgård. Dess exakta ålder känner ingen. Norra delen är dock sannolikt från 1700-tallet. Den bestod då av förstuga, kök, sal och två framkammrar. På sin tid byggede komminister Peter Aspelin till ett stort rum med förstuga åt söder.