Theo tư liệu có được và các gia phả của dòng họ thì tổ tiên của làng Cao Lao Hạ từ Thanh Nghệ Tĩnh vào Châu Bố Chính theo chiếu mộ dân, lập ấp của vua Lê Thánh Tông (1470). Tính đến nay, họ vào sớm nhất cũng được 18 – 20 đời và cũng được trên 500 năm.

Hiện nay xã Hạ Trạch (Cao Lao Hạ) có 24 dòng họ lớn, nhỏ đang chung sống với nhau. Đặc điểm của các dòng họ trong xã Hạ Trạch chỉ có họ Đặng, họ Phan là không trùng tên, còn lại rất nhiều họ trùng tên nhưng khác huyết thống. Chẳng hạn như Họ Lưu có 3 họ là Lưu Làng, Lưu Quan, Lưu Công; Họ Lê có 4 họ là Lê Quang, Lê Chiêu và 2 họ Lê Văn; Họ Trần có 2 họ là Trần Văn và Trần Đăng; Họ Nguyễn có 13 họ là Nguyễn Đăng, Nguyễn Phúc, Nguyễn Danh, Nguyễn Văn, Nguyễn Xuân, Nguyễn Khắc, Nguyễn Mạnh…

Hầu hết các dòng họ đều có nhà thờ họ (những họ chưa xây dựng nhà thờ thì họ thờ vị Thủy tổ tại nhà ông trưởng họ), được xây dựng từ rất lâu nhưng qua 2 cuộc kháng chiến các nhà thờ họ hoặc bị phá hủy hoặc bị xuống cấp. Sau năm 1975, con cháu các dòng họ đã tiến hành xây dựng lại các nhà thờ họ tại các địa điểm cũ. Tất cả các nhà thờ đều được xây dựng trước mặt làng, lưng tựa vào làng, tạo thế vững chắc; mặt trước nhìn về hướng Nam, nơi có cánh đồng rộng bao la, có núi rừng oai nghiêm, hùng vĩ. Các nhà thờ họ xây dựng với một kiến trúc giống như đình làng thu nhỏ, gồm 3 gian, thiết kế tương đối giống nhau, cùng mang tính linh thiêng, tĩnh mịch. Mỗi nhà thờ đều có tường bao quanh, có cổng được sơn màu sắc đẹp. Mặt tường thành có hình voi, ngựa đứng hầu với những đường nét sắc sảo, mang cốt cách cung đình. Hai trụ cổng chính có hình vuông, cao, đứng uy nghiêm, có 2 con nghê đắp nổi trên 2 đỉnh trụ. Hai trụ có 2 câu đối viết bằng chữ hán nôm. Qua cổng chính là bức bình phong được xây ở trung tâm, hai bên bức bình phong trồng 2 cây bàng xanh tươi, tỏa bóng mát quanh năm. Các nhà thờ được xây bằng gạch, trước chiến tranh lợp bằng ngói liệt (âm dương), ngày nay lợp bằng ngói móc. Trên nóc là lưỡng long triều nguyệt, được đắp nổi, 4 góc mái được vuốt cong.

Trong tất cả các dòng họ, họ nào cũng có gia phả viết bằng chữ Hán Nôm. Gia phả của mỗi dòng họ đều được đựng trong một cái hộp sơn son vàng, đặt trên ngai vàng trên bàn thờ chính điện. Gia phả là gia bảo vì đó là lịch sử của dòng họ, của tổ tiên nhiều đời truyền lại, là điều tổ tiên muốn gửi gắm cho đời sau. Bất cứ con người trong họ dù có tài năng lỗi lạc đến đâu, cá nhân cũng không thể viết được gia phả mà chỉ có thể kế thừa từ đời trước đến đời sau. Nếu vì một lẽ gì đó mà để mất vàng bạc, châu báu, của cải gì thì mất chứ không thể mất gia phả. Các gia phả của các dòng họ đều có nội dung là biên tập lại nguồn gốc của dòng họ, ghi lại cội nguồn từ vị Thủy tổ lần lượt đến tổ tiên các đời, đến con cháu chắt chít…mãi mãi nối tiếp dòng dõi không dứt và ghi lại ngày tháng năm sinh, tử, học hành, thi cử, thi đậu học vị gì, chức vụ gì, năm nào được ban khen, hưởng lộc gì lúc sinh thời, truy phong sau khi mất…và công lao đức độ của các vị tiền nhân để lại.

Gia phả của các dòng họ còn là nguồn bổ sung tư liệu rất quý và rất dồi dào cho quốc sử, nếu các nhà sử học biết khai thác và cũng có khi gia bảo trở thành quốc bảo. Trong các gia phả của các dòng họ có nhiều bài tựa mang nội dung khuyên răn dạy bảo con cháu. Qua đó ta thấy người đời trước đã hết sức chăm lo việc giáo dục đạo lý cho các thế hệ mai sau. Ngoài ra, những mục ghi trong gia phả có tính chất gợi ý với các vị huynh trưởng của các dòng họ đang chăm lo công việc phổ biến và tục biên gia phả dành cho con cháu đời sau để giúp con cháu đời đời sáng tỏ.

Về chế độ họ tộc của làng Cao La Hạ rất nghiêm minh. Người trưởng họ có quyền lớn nhất trong dòng họ, kể người đó còn nhỏ tuổi. Biểu hiện rõ nhất chỉ có người trưởng họ có quyền giữ gia phả, có quyền khai mở hay tuyên đọc, có quyền di chuyển. Trước khi khai mở hay di chuyển tộc phả phải được sự đồng ý của trưởng chi, trưởng nhánh và khi lễ, họ phải đến dự, nhưng chỉ duy nhất chỉ có trưởng họ mới có đủ tư cách đứng ra xin lễ, đứng ra đưa gia phả xuống và tự tay mình khai mở để tra cứu một vấn đề gì đó. Các vị trưởng họ khi già yếu thì con thay thế, nếu không có con thì bầu ra người trưởng họ theo một quy định nào đó.

Lễ gia tộc không có người phó trưởng họ, nó khác với lệ làng có chánh phó lý trưởng, chánh phó tiên chỉ. Do đó khi trưởng họ đau ốm hay đi vắng thì mọi công việc gì của họ không ai được quyền giải quyết. Theo hương ức còn quy định, trưởng họ thay mặt toàn thể thành viên trong họ tộc dự mọi cuộc họp của làng (họp dân). Làng muốn thông báo gì với họ tộc hay thành viên họ tộc nào vi phạm quy ước hương thôn hoặc pháp luật của triều đình, khi xử lí đều phải có vị trưởng họ đi kèm để nghe phán xét. Trưởng họ phải kí một bên vào mọi giấy tờ hoặc biên bản khi làng xã phán xét thành viên trong đó. Trong trường hợp này trưởng họ có hai tư cách:

– Khuyên dạy thành viên đó thi hành quyết định của cấp trên hay cùng chịu trách nhiệm với thành viên đó.

– Bào chữa cho thành viên đó, nếu thành viên đó bị oan, hoặc xin làng tha thứ, hoặc nhận về giáo dục riêng trong gia đình.

Các vị trưởng họ cùng các chức sắc, hội đồng kì mục làng chăm lo thuần phong mĩ tục, thực hiện hương ước, quy ước, biểu hiện một cuộc sống văn minh tốt đẹp có văn hóa. Người trưởng họ có trình độ, tư cách làm đại diện cho họ trước làng xã, nắm được phép tắc, luật lệ, nội dung quy ước của làng, đủ tài năng và tư cách ăn nói trước làng xã, thường được làng kính trọng và vị tộc trưởng đem quyền lợi lại cho họ. Ngược lại làng cũng phải tôn trọng vai trò các vị tộc trưởng họ trước hội đồng hương chức hoặc trước hội làng.

Hàng năm vào những ngày lễ như tết Nguyên đán, xuân thu nhị kì, lễ thượng nguyên (rằm tháng riêng), lễ trung nguyên (rằm tháng bảy)- còn gọi là lễ Đương khao-(lễ xá tội vong nhân). Tất cả các họ làm lễ thờ cúng tổ tiên. Con cháu nhà nào cũng đóng góp tiền hoặc sắm sửa cho mình một mâm cỗ xôi, có thịt. Ngày Tết, đêm giao thừa, trưởng họ, trưởng nhánh cùng một số con cháu trong họ đến nhà thờ họ túc trực đón giao thừa và làm lễ mời tổ tiên về (lễ tục yết). Sáng mồng một tết con cháu nhà nào cũng đến cúng bánh chưng. Ngày xưa có ruộng họ để dùng vào việc tế tự, ngày nay không còn nữa.

Đặc biệt vào những ngày tết hay rằm họ nào cũng tổ chức tế lễ. Ngày đó cờ treo, chiêng trống vang vọng khắp làng tạo nên không khí tưng bừng nhưng rất trang nghiêm. Bà con (chỉ đàn ông) được ăn mang sang trọng để đến dự lễ, họ đi lại tấp nập trên đường làng, ngõ xóm, mọi người lại được gặp nhau trong không khí vui tươi, niềm nở chào hỏi nhau tình thêm thân mật.

Phần tế tự, mỗi họ đều có ban tế lễ. Trưởng họ thay mặt con cháu trong họ làm chủ lễ cúng vái, lạy ở gian giữa, cũng có áo mão cánh chuồn cân đai như lạy vu, lạy thần. Hai vị trưởng nhánh chầu tế, lạy ở gian hai bên. Theo lễ giáo xưa có lảnh (một người chiêng, một người trống),một tiên chức (người đọc văn) là một lão trưởng văn hay, giọng tốt, đọc văn cầu nguyện tiên tổ phù hộ cho con cháu làm ăn thịnh vượng, sức khỏe, bình yên, học hành đỗ đạt, một viên lễ sinh (hộ xướng), 3 viên phụ trách thắp hương, chước rượu…Tất cả đều có lệnh truyền do ban lễ văn chiếu theo thể lệ mà điều khiển. Do đó mà buổi lễ vô cùng trang nghiêm, cộng thêm hương trầm nghi ngút, đen nến sáng choang cùng với tấm long “Kính thần, thần tại” (trọng thần như thần có trước mặt) buổi lễ càng trở nên nghiêm trang, trọng đại.

Lễ xong con cháu sum vầy,ôn lại truyền thống dòng họ và công đức to lớn của các vị tổ đã có công sinh thành dưỡng dục con cháu thành đạt. Ngoài việc ăn uống, vị trưởng họ và trưởng nhánh được phần biếu kính. Giỗ tổ ngày nay đã trở thành truyền thống.

Từ thế hệ này qua thế hệ khác, con cháu trong dòng họ dù đi đâu cũng hướng về cội nguồn, hướng về tổ tiên, cũng mong có ngày lễ, ngày tết, ngày giỗ tổ để về lại quê cha đất tổ, bái yết tổ tiên, thắp nén hương lên bàn thờ với tấm lòng thành kính và cũng là dịp được gặp lại bà con thân thuộc tăng thêm tình huyết thống. Cuộc đời của con người nối truyền từ đời này qua đời khác luôn luôn có cuộc sống gắn bó với nhau trong tình huyết thống. Mọi điều hay, điều dở, điều phải, điều trái, hay vinh nhục của mỗi một con người đều hướng về tổ tiên. Ở đó vị thủy tổ là hình ảnh tiêu biểu nhất, linh thiêng nhất và huyền diệu nhất đã in sâu vào tâm khảm trong lòng con cháu. Bản sắc tính tình con người trong họ chắc chắn có phần ảnh hưởng về lòng yêu nước, thương dân của thần linh, của tổ tiên trong dòng họ.

Những danh nhân của đất nước bao giờ cũng được hun đúc bởi truyền thống quê hương, truyền thống hiếu học, bởi sự chăm lo dạy dỗ của gia đình của những bậc ông bà, chú bác trong dòng họ. Chúng ta, con cháu trong các dòng họ, nhìn lại cội nguồn, học cái hay cái đẹp của người xưa, giữ lấy cái cốt cách, những truyền thống của ông cha ta, của dòng họ để làm nên sự nghiệp. Bởi vì sự nghiệp của đất nước cũng là tập hợp sự nghiệp của những con người, của nhân dân, của những dòng họ.