Изобретение и использование всякого рода знаков и символов свойственно человеку. Обычай избрания для себя или для своего рода и племени особого отличительного знака имеет очень глубокие корни и распространен повсюду в мире. Он происходит из родового строя и особого миросозерцания, свойственного всем народам в первобытный период их истории.
Родовые знаки и символы называются тотемами; они — самые близкие родственники гербов. Термин «тотем» происходит из Северной Америки, и на языке индейцев оджибве слово «ототем» означает понятие «его род». Обычай тотемизма состоит в избрании родом или племенем какого-либо животного или растения в качестве прародителя и покровителя, от которого все члены племени ведут свое происхождение. Этот обычай существовал у древних народов, однако и в наши дни принят среди племен, ведущих первобытный образ жизни. У древних славян тоже были тотемы — священные животные, деревья, растения — от названий которых, как предполагается, происходят некоторые современные русские фамилии. Среди азиатских народов тюркского и монгольского происхождения существует аналогичный обычай «тамга». Тамга — это знак родовой принадлежности, изображение животного, птицы или оружия, принимаемого каждым племенем в качестве символа, который изображается на знаменах, эмблемах, выжигается на шкуре животных, и даже наносится на тело. У киргизов существует предание, что тамги были присвоены отдельным родам самим Чингисханом, вместе с «уранами» — боевыми кличами (которые использовались и европейскими рыцарями, из-за чего попали затем на гербы в виде девизов).
Прообразы гербов — различные символические изображения, помещаемые на военные доспехи, знамена, перстни и личные вещи — применялись еще в древности. В произведениях Гомера, Вергилия, Плиния и других античных авторов встречаются свидетельства использования таких знаков. И легендарные герои, и реальные исторические личности, например, цари и полководцы, часто имели личные эмблемы. Так, шлем Александра Македонского украшал морской конь (гиппокамп), шлем Ахиллеса — орёл, шлем царя Нумибии Масиниссы — пес, шлем римского императора Каракаллы — орел. Щиты также украшались разнообразными эмблемами, например, изображением отсеченной головы Медузы Горгоны. Но эти знаки использовались как украшение, произвольно менялись владельцами, не передавались по наследству и не подчинялись никаким правилам. Лишь некоторые эмблемы островов и городов античного мира использовались постоянно — на монетах, медалях и печатях. Эмблемой Афин была сова, Коринфа — Пегас, Самоса — павлин, острова Родос — роза. В этом уже можно усмотреть зачатки государственной геральдики. Большинство древних цивилизаций имело в своей культуре некоторые элементы геральдики, например систему печатей или штампов, которая в дальнейшем неразрывно будет связана с геральдикой. В Ассирии, Вавилонской империи и в древнем Египте печати использовались так же, как и в средневековой Европе — для удостоверения документов. Эти знаки выдавливались в глине, вырезались в камне и отпечатывались на папирусе. Уже в третьем тысячелетии до нашей эры существовал «герб» шумерских государств — орёл с львиной головой. Эмблемой Египта была змея, Армении — коронованный лев, Персии — орёл. Впоследствии орёл станет гербом Рима. «Гербом» Византии фактически был двуглавый орёл, заимствованный позднее некоторыми европейскими государствами, в том числе и Россией.
Древние германцы раскрашивали свои щиты в разные цвета. Римские легионеры имели на щитах эмблемы, по которым можно было определить их принадлежность к определенной когорте. Особыми изображениями украшались римские знамена — vexilla (отсюда происходит название науки о флагах — вексиллологии). Для различия легионов и когорт в войсках также использовались значки — signa — в виде различных животных — орла, вепря, льва, минотавра, коня, волчицы и других, которые носились впереди войска на длинных древках. По этим фигурам, часто относящимся к истории города Рима, военные части иногда получали названия.
Итак, различные системы знаков отличия и эмблем существовали всегда и всюду, но собственно геральдика как особая форма символики возникла в процессе развития феодального строя в Западной Европе.
Яркое и красочное искусство геральдики развилось в мрачные времена упадка культуры и экономики, наступившего в Европе с гибелью Римской империи и утверждением христианской религии, когда возник феодализм и сложилась система наследственной аристократии. Несколько факторов способствовало появлению гербов. В первую очередь — феодализм и крестовые походы, но породил их уничтожающий и животворящий огонь войны. Считается, что гербы появились в X веке, но выяснить точную дату сложно. Первые гербы, изображённые на печатях, приложенных к документам, относятся к XI веку. Древнейшие гербовые печати помещены на брачном договоре 1000 года, заключённом Санчо, инфантом Кастильским, с Вильгельминой, дочерью Гастона II, виконта Беарнского. Следует иметь в виду, что в эпоху поголовной неграмотности использование гербового знака для подписи и для обозначения собственности было для многих единственным способом заверить документ своим именем. Такой опознавательный знак был понятен и неграмотному человеку (вполне возможно, что гербы появились сначала на печатях, а уже затем на оружии и одежде).
Несомненные свидетельства существования геральдики появляются только после крестовых походов. Самое раннее такое свидетельство — французский эмалевый рисунок с могилы Жоффруа Плантагенета (умер в 1151 году), графа Анжу и Мэна, изображающий самого Жоффруа с гербовым щитом, где на лазоревом поле предположительно четыре вздыбленных золотых льва (точное число львов трудно определить из-за положения, в каком нарисован щит). Граф был зятем Генриха I, короля Англии, правившего в 1100-1135 годах, который, согласно хронике, и пожаловал ему этот герб.
Первым английским королём, имевшим личный герб, был Ричард I Львиное сердце (1157-1199). Его три золотых леопарда использовались с тех пор всеми королевскими династиями Англии.
Спустя столетия после возникновения гербов начинают появляться первые научные работы по геральдике и собственно гербовники, самым ранним из которых, по-видимому, является » Zuricher Wappenrolle», составленный в Цюрихе в 1320 году.
Во Франции Яков Бретекс в конце XIII века описывает турниры и гербы их участников. Но самым ранним трудом с изложением правил геральдики считается монография итальянского юриста Бартоло, чей «Tractatus de insigniis et armis» был опубликован в 1356 году.
Берри, главный герольд Франции при дворе Карла VII (1403-1461), по заданию короля объехал всю страну, посещая замки, аббатства и кладбища, изучая изображения гербов и составляя родословные старинных знатных фамилий. На основе проведённых изысканий он составил труд «Le registre de noblesse». После него французские герольды начали вести регулярные генеалогические записи. Аналогичное задание получали от королей в период с Генриха VIII (1491-1547) до Джеймса II (1566-1625) английские герольды, осуществлявшие так называемые «геральдические визиты» — инспекционные поездки по стране с целью переписи знатных семейств, регистрации гербов и проверки их правомочности. Оказалось, что большинство старинных гербов, появившихся до 1500 года, было присвоено владельцами самовольно, а не пожаловано королём. Изобрести простой герб не составляло труда. Ситуация, в которой три не имеющих родственных связей между собою дворянина имели одинаковые гербы, не была редкостью, а лишь доказывала, что эти гербы приняты ими произвольно. Когда на этой почве между владельцами одинаковых гербов возникал спор, каждый апеллировал к королю как к последней инстанции. Примечательно, что когда спор разрешался, дворянин, вынужденный в результате отказаться от своего герба, утешался тем, что самостоятельно изобретал себе новый.