Under hösten 1959, började några hembygdsintresserade Karebybor, att diskutera bildandet av en hembygdsförening. En interimsstyrelse bildades.

I februari 1960 kallades Karebyborna till årsmöte. Vid detta första årsmöte, valdes John Larsson från Löstorp till föreningens första ordförande.
Föreningen första uppgift blev att med hjälp av Josef Axelsson från Ytterby, samla in uppgifter om Karebys historia, för att få ett underlag för en hembygdsbok.

Den första byggnad som uppfördes var väderkvarnen. Den hade tidigare stått i Arntorp, och monterades ner 1964 för att göra plats för motorvägen. Den köptes då av Kville Hembygdsförening, men de hämtade den aldrig, och den tillföll därför Kareby Hembygdsförening. Kvarnen transporterades till  Hagenområdet i Kareby, där den monterades upp på sin nuvarande plats ovanför Hembygdsgården.

Nästa hus som kom på plats var ett boningshus från Hägnan. Det är ett 1800-talshus med enkelbyggnad med kök, storstuga och framkammare och en vind. Vinden används idag som museum, där många föremål från Kareby visas.

Ladugården kom därefter, den var tidigare belägen i Håltet, och skänktes 1985 av Georg Andersson till föreningen. Logen används ofta som trivselutrymme vid olika evenemang. En tröskvandring från Orust har placerats ihop med logen.

En smedja, skänkt av Gunnar Andersson Ringby kom därnäst. Det är en tidsenlig bysmedja från 1800-talet, och den är i fullt brukbart skick.