När den första fattigstugan byggdes i Bäckaby vet man inte. Men det fanns troligen en år 1754. År 1784 kom en kunglig kungörelse angående fattigstugor. Sockenstämman svarade då att det fanns en godkänd fattigstuga i socknen. I protokoll från 1805 står om ett beslut att bygga en fattig- och sockenstuga. Denna stuga låg norr om gamla kyrkan och kyrkogården. Denna stuga flyttades 1892 till denna plats. I fattigstugan fanns två rum ett större för kvinnor och ett mindre för män. Kök saknades. Alla hade självhushåll d. v. s. var och en hade sina förråd och lagade sin egen mat. De duktigaste av kvinnorna utsågs att sköta dem som behövde hjälp. För detta fick de någon krona av socknen.