霍山黄芽起源于唐朝，明代列为贡品，清朝列为皇家御用，是霍山县久负盛名的历史名茶。唐代李肇《国史补》记曰：“天下名山，必产灵草。江南地暖故独宜茶，大江以北则称六安。然六安乃其郡名，其实产霍山县大蜀山也。”史书记述：寿州之山有黄芽焉，可煮而饮，久肫得仙。
1、源于唐朝
据史料记载，霍山黄芽源于唐朝之前。唐李肇《国史补》把寿州霍山黄芽列为十四品目贡品名茶之一。
霍山黄芽唐时为饼茶，唐"膳夫经手金录"载："有寿州霍山小团，此可能仿造小片龙芽作为贡品，其数甚微，古称霍山黄芽乃取一旗一枪，古人描述其状如甲片，叶软如蝉翼是未经压制之散茶也。"
2、明列贡茶
霍山黄芽自明代列为贡品。六安州志载：明时六安贡茶制定于未分霍山县之前原额茶二百袋，霍山办茶一百七十五袋。霍山县志载明人曹琥"注黄芽茶疏"中说：臣查得本府额贡茶岁不过二十斤，祖宗以来圣贤相承不闻以为不足宁府正德十年之贡取去芽茶一千二百斤，细茶六千斤，不知实贡朝廷几何芽茶一斤，卖银一两，犹恐不得。
3、清代盛产
清乾隆四十一本《霍山县志》贡茶产地载："六安茶六安与霍山所并产也其以六安名者当霍未建县已有贡额从其朔也。《天启志》谓以六安寨得名以似凿。顾霍邑山多绕确六地既广且饶产茶之地惟东山最早，而东山皆属州境，每年大府荐新及本县贡品，率皆州民于雨前，赴县售卖；霍产悉出西南，迟在雨后，帮不及入贡，则茶之专名六安，亦纪实也。今为详著其地此霍被六大较可睹矣。东山贡茶岁居其八九（东山25处属县境的有与儿街、但家庙、单龙寺、东西溪等21处）。又据《霍山县志》载："光绪年间，以南乡雾迷尖，挂龙尖二山所产为一邑最采制既精，价亦倍于各乡。"
4、失而复得
霍山黄芽曾一度失传。1971年以来开始挖掘、研制、恢复生产。1972年4月27日至4月30日，县茶办室选派农业局茶厂、坝上茶站三位茶叶技干，在乌米尖同三位七、八十岁高龄的茶农共同炒制黄芽茶，共计14斤茶样，当即用白铁桶封装六斤上报国务院进行鉴评。翌年县土产公司又布点三处，正式生产黄芽，金字山为重点，数年来，由审评室老茶师负责技术辅导。其余两处为乌米尖和金竹坪。此后，经过大化坪区农技站、茶站的技术人员反复切搓，试验改进，黄芽茶采制技术有所提高，品质规格趋于固定。黄芽茶收购量1973年178公斤，1980年644公斤，1985年多渠道收购量猛增至3700公斤，每斤茶价8.50元。
5、名冠三黄
霍山黄芽现与黄山、黄梅戏齐名并著，并称“安徽三黄”。
现今的霍山黄芽系散茶又称芽茶。开采期一般在谷雨前后二、三日采摘一芽一叶至一芽二叶初展。其炒制技术分为炒茶（杀青和做形）、初烘（摊放）、足火（摊放）和复火踩筒等过程。七十年代以来，"霍山黄芽"每年都特贡中央国家机关为办公用茶。90年获商业部农副产品优质奖、93年获安徽省科技进步四等奖。霍山黄芽1999年获第三届“中茶杯”全国名成茶评比一等腰三角形奖，2000年获中国国际茶博览交易会名茶评比金奖，同年500克极品霍山黄芽在安徽省博物馆以11800元高价成功拍卖，霍山黄芽是1001——2002年上海国际茶文化节唯一推荐产品。