“Ayvalık” adının (Yunanca’da Kidonia), M.Ö.330’dan beri süregeldiği sanılmaktadır. Antik çağda Ayvalık’ın önündeki adalara “Hekatonnesoi” ismi veriliyordu. Bu isim, adaların en büyüğü olan “Nesos” (Alibey) adasındaki aynı isimle söylenen Nesos antik kentinin Baş Tanrısı olan Apollondan gelmektedir. “Hekatos”, Apollon ‘un takma adıydı. Bunun için bu adalara Heketos yada Apollon adaları deniliyordu. Bugün eski Kydonia olduğu sanılan Ayvalıkta rastlanan çanak çömlek parçacıklarından Hellenistik (M.Ö.330-M.Ö.30)-Roma (M.Ö.30-M.S.395 ) çağlarına ait bir yerleşim merkezi olduğu anlaşılmaktadır.
Küçükköy Beldesi’nin eski ismi Yeniçeri anlamına gelen Yeniçerahori’dir.1462 yılında Midilli’de meydana gelen bir ayaklanma bastırıldıktan sonra ada tekrar korsanların eline geçmesin diye Midilli’ye ve bu bölgeye yeniçeriler yerleştirilir. Zamanla burada yaşayan Rumlar köyün küçüklüğünden dolayı bu yöreye Küçük köy derler. Küçükköy’de şimdi Yugoslavya’dan ve Yunanistan’dan gelen Türkler yaşıyor. Küçükköy’de yüzyıllardır burada yaşayanların izlerini bulabilirsiniz.19.yüzyıldan kalma çok sayıda Rum mimarisine ait eser var. Rumlar zamanında burada üç kilise ve üç manastır bulunuyordu. Bunlardan şimdi cami olarak kullanılan Aya Athanasiu Kilisesi sapasağlam durmaktadır.