Thời đại đồ đá trên vùng đất này chắc đã có người sinh sống. Tuy nhiên, đến nay số dân cư ấy không còn di duệ. Đến thời kim khí, cụ thể là thời đại đồng thau tương đương với nhà nước Văn Lang của các vua Hùng và tiếp đó là thời Bắc thuộc ngót 1000 năm, tại đây đã có người ở. Di chỉ đồ đồng thuộc nền văn hóa Đông Sơn phát hiện được ở xã Sơn Phú đã chứng minh điều đó. Ngoài ra, ở Hương Sơn còn tồn tại 13 "Kẻ" - đơn vị dân cư tương đương với Làng sau này - là dấu tích của những làng rất cổ, càng sáng tỏ, khẳng định thêm điều đó. Cụ thể 13 Kẻ ấy có tên địa danh như sau:

Về phía hữu ngạn sông Ngàn Phố có Kẻ Mui, Kẻ Tàng, Kẻ Ác (tên chữ là Dĩ Ốc), Kẻ De (tên chữ là Tình Di).

Về phía tả ngạn sông Ngàn Phố có Kẻ Quát, Kẻ Mỏ, Kẻ Sét (tên chữ là Ninh Xá), Kẻ Trảy (tên chữ là Tri Lễ), Kẻ Trúa (tên chữ là Đồng Lộ), Kẻ Động (tên chữ là Lệ Định), Kẻ Rái (tên chữ là Hàm Lại), Kẻ Eo (tên chữ là Thọ Lộc), Kẻ E (tên chữ là Xuân Trì).

"Kẻ" là một đơn vị cộng đồng cư dân tương đương với làng chứ không phải xã hay xóm. Ví dụ người ta gọi Kẻ Rái là làng Hàm Lại chứ không ai gọi xóm hoặc xã Hàm Lại.

Ở Hương Sơn có 13 địa danh cổ mang từ "Kẻ" ở đầu thì 4 địa danh Nôm rành không có tên chữ là Kẻ Mui, Kẻ Mỏ, Kẻ Tàng, Kẻ Quát. Còn lại 9 đại danh khác có kèm theo tên chữ.

Trong số 13 "Kẻ" này thì không có Kẻ nào cư dân sinh sống ở bình địa mà sống ở ven triền núi, trong các thung lũng như Kẻ De, Kẻ Trúa, Kẻ Động, Kẻ Rái, Kẻ Éo, Kẻ Trảy, Kẻ Mỏ, Kẻ E, sinh sống tụ cư ở chân núi Đại Hàm và triền núi Thiên Nhẫn.

Hoặc có những "Kẻ" khác lại tụ cư ven triển sông Ngàn Phố như Kẻ Mui, Kẻ Quát, Kẻ Sét, hoặc triền sông Ngàn Sâu như Kẻ Tàng, Kẻ Ác.

Có những "Kẻ" rất cổ như Kẻ De ở vùng sâu dưới chân núi Đại Hàm có đường tắt sang Lào, từng là căn cứ địa của nghĩa quân Phan Đình Phùng cuối thế kỷ 19. Từ nửa đầu thế kỷ 20 về trước, việc học hành ở đây còn ít mà chủ yếu là học chữ Hán, còn chữ quốc ngữ thì chưa có mấy người theo học. Số dân mù chữ xấp xỉ 90%. Trước Cách mạng tháng 8 năm 1945, vùng này vẫn là nơi hẻo lánh với nền kinh tế gần như khép kín.

Cho đến nay các "Kẻ" đó chưa bị xóa tên. Người dân Hương Sơn vẫn gọi các cụm dân cư đó là "Kẻ" mặc dầu trên giấy tờ hành chính đã bao lần đổi tên, tên chữ, tên hành chính.

13 đơn vị "Kẻ" khảo sát ở Hương Sơn chỉ nằm rải rác ở vùng hạ huyện từ Sơn Hàm, Sơn Giang trở xuống giáp Đức Thọ, chắc là nằm trong lãnh thổ huyện Phố Dương xưa. Còn vùng thượng huyện, từ trung tâm lên các xã Sơn Tây, Sơn Lĩnh, Sơn Kim cho đến Na-Pê, biên giới Lào - Việt, trước đây là một phần (chứ không phải tất cả) lãnh thổ Châu Ngọc Ma, lãnh địa người Thái mà cuối thế kỷ 14 đầu thế kỷ 15 Cầm Trạch rồi Cầm Quế làm tù trưởng thì không hề thấy có địa danh nào mang từ "Kẻ" cả. Như vậy, tại Hương Sơn cổ xưa "Kẻ" là cộng đồng cư dân người Kinh Việt cổ chứ không là cộng động của người thiểu số.

Việc phát hiện di chỉ đồ đồng ở Sơn Phú cùng với sự tồn tại các "Kẻ" chứng tỏ vùng đất Hương Sơn thời cổ đại đã có người sinh sống, đã hình thành các điểm tụ cư.

13 "Kẻ" - tương đương với làng Việt cổ - ở Hương Sơn tụ cư rải rác ven triền núi và triền sông nói lên quá trình hình thành dân cư ở vùng đất này là quá trình lấn núi rừng làm nương rẫy và quá trình khai thác đầm lầy thảnh ruộng lúa nước. Cho đến thế kỷ 14 - 15 quá trình lấn núi và khai thác đầm lầy vẫn còn được tiếp diễn.

Ở xã Hữu Bằng xưa có những địa danh đồng ruộng còn mang dấu tích lấn núi như cánh đồng ruộng Khái (khái tức là con hổ) hẳn xưa kia đây là cánh rừng rậm có nhiều khái (hổ). Ở các xã Phúc Dương có xóm Cửa Nương xưa kia người dân đã phá rừng làm nương rẫy và lập nên một xóm quần cư trước cửa rừng đi vào nương rẫy nên xóm mới có tên là xóm Cửa Nhượng. Nhiều địa phương trong huyện còn có địa danh Cửa Truông (tức cửa đi vào rừng để phở (vỡ) "rày" làm nương rẫy), các địa phương như Thủy Mai, Phúc Đậu, Trị Yên, Tiên Bì, Tràng Sim v.v... cho đến trước cách mạng tháng Tám 1945 nhân dân còn lên rừng, lên đồi núi đốt rẫy chọc lỗ xuống đất tra hạt ngô, hạt thóc theo kiểu "Đao canh hòa chủng" thời cổ xưa để sản xuất ngô "rày" lúa "rày" (tức ngô rẫy, lúa rẫy). Nhiều làng ven triền núi Hoa Bảy, dưới chân truông Mèn, Thiên Nhẫn còn có tập quán sản xuất lúa trỉa chứ không phải lúa cấy. Lúa trỉa thực chất là loại lúa nương rẫy chứ không phải lúa nước. Tại Hữu Bằng còn có một cánh đồng có tên gọi là ruộng Săng, dấu vết của một đồi tranh săng bị nhân dân cổ xưa đốt để làm nương rẫy.

Như vậy quá trình lấn núi để làm nương rẫy trồng lúa, ngô ở Hương Sơn là một quá trình liên tục đã tạo nên một nền văn hóa nương rẫy từ xưa trên vùng đất Hương Sơn. Trong quá trình lấn núi rừng để làm nương rẫy, cư dân Hương Sơn cũng đã hình thành các điểm tụ cư, các cụm dân cư, những xóm làng ở ven sườn đồi, thậm chí ở cả trên núi. Các làng xã Trị Yên, Tiên Bì, Phúc Đậu, Thủy Mai, Dương Trai, Hàm Lại, Lệ Định, Yên Đức, Kẻ De v.v... đều là những làng xã nằm ven sườn núi thuộc cụm Mồng Gà - Hoa Bảy hoặc Truông Mèn - Thiên Nhẫn hoặc Đại Hàm - Sư Thế.

Song song với quá trình lấn núi là quá trình khai phá đầm lầy lập ra những cánh đồng ruồng lúa nước.

Địa thế Hương Sơn vốn là "thung lũng" nằm giữa núi Thiên Nhẫn và dải Trường Sơn (Le bre-ton - le vieux An Tinh). Đã là thung lũng thì lằm đầm lầy, lau rác. Người Việt cổ cho đến người Việt cận hiện đại sau này đã liên tục khai phá đầm lầy để biến chúng thành những cánh đồng trồng lúa nước màu mỡ. Đồng thời với việc khai phá đầm lầy để biến thành đồng ruộng, người dân đã lập nên những xóm làng tụ cư ở các vùng thung lũng Hương Sơn tại xã Phúc Dương có một xóm gọi là xóm Đầm hẳn xưa kia đây là vùng đầm lầy được nhân dân khai phá sản xuất và lập ra xóm.

Tại làng Yên Nghĩa, xã Hữu Bằng còn dấu tích địa danh các xứ đồng vốn xưa kia là đầm lầy lắm năn, nhiều lác, nhiều lùng như cánh đồng ruộng Năn, cánh đồng ruộng Phúc Lùng v,v...

Tại các vùng ruộng Trại ở Tràng Sim, ở Cẩm Lịch v.v... có các cánh đồng ruộng Nẩy ("nẩy" có nghĩa là đầm lầy).

Tại Phúc Đậu có cánh đồng ở xứ Bàu Côốc cũng là cánh đồng ruộng Nẩy v,v...

Như vậy, quá trình khai phá đất hoang, rừng rúi, đầm lầy để tạo nên nương rẫy, đồng ruộng để sản xuất ở Hương Sơn là mộtquá trình lần núi và khai phá đầm lầy. Đó cũng là quá trình lập "Kẻ", lập làng để tụ cư.

Cư dân trên các huyện Dương Thành, Dương Toại, Phố Dương, Cổ Đỗ, Đỗ Gia, Hương Sơn đã phát triển như thế nào và gồm những thành phần nào? Tộc người nào?

Thời Văn Lang - Âu Lạc, thành phần cư dân nước ta nói chung là người Việt Cổ, các sử gia xưa gọi người Việt Cổ ấy là người Giao Chỉ. Có người giải thích "Hai ngón chân cái giao vào nhau nên gọi là giao chỉ" Cố nhiên thành phần cư dân trên đất Việt Thường thị hoặc Hàm Hoan (trong đó có vùng Hương Sơn ngày nay cũng là người Giao Chỉ.

Ngoài ra người Việt Cổ (Giao Chỉ) thời cổ xưa tại đây còn có các tộc người sống ở phía Tây Nam lưu vực sông Ngàn Phố, dọc theo bờ sông có các tên gọi là Đào Lân, Kiêu Nắng, Cá Lăng v,v... (Le breton - Levieux An Tinh) cái tên làng Xa Lang (nay là Sơn Tân) là đọc chệch từ tên tộc người Cá Lăng cư trú mà người đời sau gọi cụm dân cư ấy là xóm Cá Lăng (Cá Lăng bân). Tại Xa Lang có một tấm bia gọi là Trúc Bì Sơn. Theo giáo sư Le Bretton, người Đào Lân, Kiêu Năng, Cá Lăng đã dựng nên bia ấy để minh định ranh giới giữa họ sau nhiều lần đánh nhau. Do đó mới có tên Bi (Bia) đặt cho tên ngọn núi.

Thời Văn Lang - Âu Lạc, vùng đất này đã có người sinh sống, có điểm tụ cư chứ không phải du canh du cư nhưng sử sách xưa không cho biết số lượng dân tụ cư thời ấy là bao nhiêu. Tuy nhiên chúng ta cũng có thể đoán biết được là rất ít.

Đến thời thuộc Hán, cư dân ở đây đã phát triển hơn nhiều. Sách Tiền Hán thư cho biết quận Cử Chân có 7 huyện: Tư Phổ, Cư Phong, Đô Lung, Dư Phát, hàm Hoan, Vô Thiết, Vô Biên, có số hộ là 35.743 hộ, số nhân khẩu là 166.013 người. Như vậy, nếu chia đều thì huyện Hàm Hoan (Nghệ Tĩnh ngày nay) chỉ có khoảng 5.000 hộ với 27.000 nhân khẩu. Đến thời Đông Hán thì quận Cử Chân có 46.513 hộ với số nhân khẩu là 209.894 người (Hậu Hán thư), nếu chia đều thì huyện Hàm Hoan có 6.644 hộ với số nhân khẩu là 29.985 người.

Với những số liệu chép trong sách Tiền Hán thư và Hậu Hán thư về số hộ và số nhân khẩu ở quận Cửu Chân (từ Thanh Hóa đến Nghệ Tĩnh ngày nay) chúng ta cũng có thể đoán biết rằng thời Hán thuộc, số hộ, số nhân khẩu ở vùng Dương Thành đời Tam Quốc trở lên Tây Hán cũng không thể nhiều hơn một nghìn hộ, số nhân khẩu không thể nhiều hơn bốn nghìn người.

Thành phần cư dân ở vùng đất ở huyện này thời Hán thuộc không chỉ có người Việt cổ (Kinh) là người Giao Chỉ và các tộc thiểu số khác như đã nói mà còn có cả người Hán. Với chính sách Hán hóa, đồng hóa muốn biến nước ta vĩnh viễn thành một quận, huyện của Trung Quốc, bọn phong kiến Hán có chủ trương cho người Hán ở lại lập gia đình trên đất nước ta, kết hơn với người Việt để dần dần sinh ra các thế hệ con lai nhằm triệt tiêu hoàn toàn người Giao Chỉ.

Hiện nay, ở Hương Sơn chưa tìm thấy mộ Hán nhưng ở Đức Thọ thì đã tìm thấy mộ Hán với các di vật là kiếm sắt, nhẫn vàng, bạc và tiền đồng. Điều đó chứng tỏ người Hán đã sinh sống ở Đức Thọ (tức vùng Cửu Đức xưa). Vùng đất này gọi là Hương Sơn, lúc bấy giờ cũng thuộc quận Cửu Đức, nhất định phải có người Hán sống xen kẽ với người Việt. Đặc biệt, thời Vương Mãng (8 - 25) cướp ngôi nhà Hán, nhiều quý tộc và dân thường Hán đã chạy loạn Vương Mãng sang nước ta nên vùng Đức Thọ - Hương Sơn xa xôi hẻo lánh người Hán đến đây sinh cơ lập nghiệp càng nhiều.

Như vậy, thời thuộc Hán, cư dân nước ta nói chung, cư dân vùng đất nay gọi là Hương Sơn nói riêng, ngoài người Việt (Kinh), người thiểu số còn có cả người Hán.

Các triều đại Tống, Tề, Lương, Tùy, Đường còn tiếp tục chính sách đồng hóa triệt để đối với Giao Chỉ. Những thế hệ con lai ra đời.

Đến đời Tùy, dân số Nhật Nam (Nghệ Tĩnh ngày nay) có 9.915 hộ. Năm 740 đời Đường có 6.629 hộ với 53.881 nhân khẩu, chắc chắn những số liệu này thấp hơn thực tế.

Như trên đã nói, do nhiều nguyên nhân, trong đó có một nguyên nhân quan trọng, đó là hỗn phối hôn nhân giữa người Tàu và người Việt nên các thế hệ con lai ra đời, dần dần chính gốc Giao Chỉ không còn nguyên vẹn. Có lẽ đến thời kỳ nội thuộc Tùy - Đường từ thế kỷ 8 - 8, một lớp người Việt xuất hiện gần giống như người Việt của An Nam đô hộ phủ.

Những tộc thiểu số có trước đó như Cá Lăng, Kiêu Năng, Đào Lân, Man, Lạo, Di, Bộc... hoặc tuyệt chủng hoặc thiên di đi nơi khác ví như lên miền Tây đi sang Lào hoặc vào miền Nam sang Quảng Bình sinh sống hoặc vào rừng sống cảnh săn bắt hái lượm và trở thành người Ri (tức người rừng) như ở phần trên đã nói.

Có lẽ cũng trong thời kỳ này tại huyện Phố Dương (bao gồm cả Hương Sơn, Hương Khê và Vũ Quang ngày nay) lại có thêm các tộc người khác đến sinh sống như Mã Liêng, Chứt, Cọi. Đến nay, di duệ các tộc thiểu số đó vẫn còn ở vùng Nác Ngang, Nước Sốt huyện Hương Sơn mà dân địa phương gọi họ là "Cọi Nác Ngang".

Từ thế kỷ 7 - 8, thời Tùy - Đường, chắc chắn trên vùng đất này đã xuất hiện nhiều dòng họ, tuy nhiên, di duệ những dòng họ ấy không biết có còn đến ngày nay hay không vì không có dòng họ nào ở Hương Sơn có gia phả chép nguồn gốc tổ tiên từ thời Tùy - Đường.

Điều này khác với ở Thạch Hà còn có họ Mai ở làng Mai Phụ (nay thuộc huyện Lộc Hà) là di duệ họ Mai Thúc Loan từ thế kỷ thứ 8.

Đến thời Ngô - Đinh - Tiền Lê (Từ 938 - 1009), cũng như cả nước, cư dân Hương Sơn lúc bấy giờ là người Kinh (Việt) được định hình về mặt nhân dạng, hình thức; không còn hình thức, nhân dạng kiểu người "hai ngón chân cái giao vào nhau" nữa.

Về tình hình phát triển dân số, buổi đầu mới giành được độc lập, các triều đại Ngô - Đinh - Tiền Lê đang lo đối phó với xâm lược Tống và các thế lực cát cứ trong nước nên việc di dân làng biên viễn Đại Cồ Việt chưa được chú ý nhiều. Duy chỉ có nhà Tiền Lê đem quân đánh đuổi Chiêm Thành ra khởi bờ cõi từ vùng Thạch Hà trở vào Đèo Ngang, còn vùng phía tây cụ thể là các huyện Hương Sơn, Hương Khê, Vũ Quang hiện nay không thấy một cuộc đánh dẹp nào của triều đại Tiền Lê cả. Nếu nhà Tiền Lê có đưa dân từ vùng đồng bằng Sông Hồng, Sông Mã vào lập làng mới ở biên viễn Đại Cồ Việt xây dựng địa bàn chiến lược cực nam Tổ quốc thì cũng chỉ lập các làng ven biển từ Nghi Xuân đền Kỳ Anh hiện nay. Do đó dân số Hương Sơn lúc bấy giờ không thể phát triển mạnh.

Sau khi giành ngai vàng từ tay nhà Tiền Lê, vua Lý Thái Tổ và các vị vua triều Lý ý thức rất rõ tầm quan trọng về vị trí chiến lược của biên viễn cực nam Đại Việt cho nên triều Lê đã có nhiều chủ trương và biện pháp quyết liệt xây dựng châu Nghệ An thành một địa bàn chiến lược vững mạnh về mọi mặt quốc phòng, an ninh chính trị, kinh tế. Trong những biện pháp ấy có biện pháp khai hoang lập khu kinh tế, lập hàng loạt làng mới. Triều Lý đã cử Lý Thái Giai vào làm trại chủ Định Phiên bước đầu thực thi chính sách khai hoang lập làng. Tiếp đó, năm Tân Tỵ (1041),  vua Lý Thái Tông đã cử em trai là hoàng tử Lý Nhật Quang vào làm Tri châu Nghệ An, trực tiếp tổ chức và chỉ đạo thực hiện chủ trương chính sách của triều Lý đối với vùng biên viễn cực nam Đại Việt.

Lý Nhật Quang đã đem theo hàng vạn dân từ đồng bằng sông Hồng, sông Mã vào Nghệ An lập ra hơn 100 làng từ Quỳnh Lưu vào tận Đèo Ngang. Không thấy sử cũ ghi cháp các làng do Lý Nhật Quang lập ra ở hương Đỗ Gia. Vì vậy, mặc dầu vùng nam Nghệ An dưới thời Lý Nhật Quang là Tri châu dân số đã phát triển đáng kể nhưng chỉ phát triển ở vùng ven biển còn vùng núi như hương Đỗ Gia vẫn chưa tăng được nhiều.

Theo sách "Việt điện U Linh" của Lý Tề Xuyên thì châu Nghệ An lúc đó có 6 huyện, 4 trường, 60 giáp với số hộ là 46.450 hộ, số nhân khẩu là 54.364 người. Đơn vị dưới huyện là trường và giáp thì bình quân mỗi huyện có khoảng từ 10 - 11 trường, giáp, mỗi huyện trung bình có khoảng 7.741 hộ với 9.060 nhân khẩu.

Hương Đỗ Gia ở miền núi chắc chắn số hộ, số nhân khẩu thấp hơn số hộ, số nhân khẩu bình quân mỗi huyện của châu Nghệ An.

Thế kỷ  13 - 14, triều Trần tiếp tục chính sách dồn điền của triều Lý, tiếp tục đẩy mạnh khai hoang, mở rộng đất đai, di dân lập hàng loạt làng mới ở Nghệ An. Dưới triều Trần, tại huyện Cổ Đỗ, dân cư đã đông đúc, dân số tăng hơn dân số hương Đỗ Gia thời Lý.

Gia phổ các dòng họ và tư liệu sử sách cho biết tại Cổ Đỗ dưới thời Trần đã có nhiều dòng họ, trong số đó có những dòng họ đến từ thế kỷ thứ 14 như dòng họ Nguyễn Tuấn Thiện, ông thủy tổ từ Châu Ái đến làng Cố Đậu từ đầu thế kỷ 14, đến thế hệ thứ 4 sinh ra Nguyễn Tuấn Thiện (1401) dưới triều Hồ Quý Ly.

Sau dòng họ Nguyễn Tuấn Thiện thì dòng của Phan Đán, Lê Bôi là quan lại quý tộc Trần chạy lên làng Tình Di lánh nạn giặc Minh rồi lập ra dòng họ Phan, họ Lê ở làng Tình Di hiện nay.

Đồng thời với Phan Đán, Lê Bôi thì Nguyễn Lội cũng là quan lại quý tộc Trần chạy loạn lên xã Dương Trai lánh nạn lập ra dòng họ Nguyễn ở đây. Dòng họ Nguyễn Lội đã sinh ra hậu duệ Hoàng giáp Nguyễn Văn lễ, Tiến sĩ Nguyễn Thủ Xứng, Tiến sĩ Nguyễn Xuân Vịnh dưới triều Lê.

Hai cha con Trạng nguyên triều Trần là Sử (Trần) Hy Nhan, Sử (Trần) Đức Huy, quê làng Ngọc Sơn lên dựng trại ở vùng Kẻ Tàng, chiêu mộ dân nghèo khai khẩn ruộng đất lập ra xã Trại Đầu (sau là xã Ân Phú, tổng Dị Ốc) xã Sưng Ốc, Long Ốc (nay là xã Đức Hòa, trước thuộc huyện Hồng Sơn).

Như vậy, dưới thời Trần, cư dân huyện Cổ Đỗ đã phát triển hơn hẵn thời Lý và đã hình thành nhiều dòng họ, trong đó có những dòng họ tiếng tăm như đã nói ở trên.

Đến cuối thế kỷ 14, trên đất Cổ Đỗ - Đỗ Gia, cư dân sinh sống chủ yếu là người Kinh. Miền tây thuộc huyện Cổ Đỗ - Đỗ Gia là một phần lãnh thổ châu Ngọc Ma thống thuộc Đại Việt, cư dân là người Thái.

Như vậy, trên vùng đất Cổ Đỗ - Đỗ Gia và một phần lãnh thổ châu Ngọc Ma có cả cư dân người Kinh, người Thái, ngoài ra ở vùng rừng núi Kim Cương, nước Sốt, Nác Ngang còn có người "Cọi Nác Ngang" mà có người cho là thuộc dân tộc Chứt.

Dưới thời thuộc Minh (1407 - 1427), phủ Nghệ An có 101 xã, 62 sách, 2 trang với 7.660 hộ, 16.066 nhân khẩu. Lúc này phủ Nghệ An có 17 huyện, như vậy mỗi huyện bình quân có khoảng 10 đơn vị hành chính cơ sở với số hộ là 450 hộ và 945 nhân khẩu. Chắc chắn con số này thấp hơn thực tế nhiều so với ghi chép của Cao Hùng Trưng (đời nhà Minh, đã viết cuốn An Nam chí về đất nước Đại Việt).

Đến thời Lê thì cư dân ở huyện Hương Sơn đã đông đúc, hình thành nhiều làng xã mới. Triều Lê đã chia ra hai loại xã là đại xã và tiểu xã. Những làng xã như Yên Ấp, Phúc Dương, Dương Trai, Hữu Bằng dân số đông đúc gọi là đại xã. Những làng xã khác dân cư thưa thớt, ít ỏi gọi là tiểu xã.

Đến thời Lê Trung Hưng và thời Nguyễn, dân ở Nghệ An, Thanh Hóa, Bắc Bộ... đến Hương Sơn lập nghiệp ngày càng nhiều. Ví như Đinh Phúc Diên, thủy tổ họ Đinh Nho, từ Gia Viễn - Ninh Bình, vốn là di duệ của Đinh Tiên Hoàng về Yên Ấp, Hương Sơn lập nghiệp từ thế kỷ 16. Hoặc như Phạm Phúc Kinh từ Nghệ An về Hữu Bằng lập nghiệp đầu thế kỷ 16. Họ Hà là di duệ của Tiến sĩ Hà Tông Mục ở Tỉnh Thạch (Thiên Lộc - Can Lộc) về Hương Sơn từ thế kỷ 16. Họ Tống Trần, dòng dõi Tống Tất Thắng ở Nam Đàn, học Nguyễn Khắc ở Nam Đàn cũng về Hương Sơn lập nghiệp từ thời Lê trung hưng...

Cho đến thời Nguyễn, dân số ở Hương Sơn đã rất đông đúc. Năm Tự Đức thứ 21 (1868) Hương Sơn đã có 5 tổng là Đậu Xá, Yên Ấp, Hữu Bằng, Dĩ Ốc, Du Đồng. Đến năm Thành Thái thứ nhất (1889) Hương Sơn có 7 tổng là Đậu Xá, Yên Ấp, Hữu Bằng, Dĩ Ốc, Du Đồng, Đồng Công, Thượng Bồng; số xã là 50 đơn vị.

Dưới triều Nguyễn, tại Hương Sơn, sự hình thành các tụ điểm dân cư, các cộng đồng làng xã là suốt từ Kim Cương, biên giới Lào - Việt, cho đến giáp huyện Đức Thọ.

Trên đây là phác thảo sơ lược sự hình thành và phát triển cư dân ở Hương Sơn từ thời cổ đại đến dưới triều Nguyễn.