“采芹”源于《诗经》中的鲁颂《泮水》篇，因阁建于学宫之东，以示紫气东来，鼓励学生勤奋努力，在科举时一举中试。
此阁上面设置梓潼真君像。元至正四年（1344 年），邑人赵埙到采芹阁祈告后中选。后来该阁塌毁。明嘉靖三十六年（1557 年），知县刘尧诲重修，改名为东瀛阁。
清康熙十年（1671 年）七月，知府王抚民、知县符执桓、训导蔡幼倡率重修，同年十月竣工，改名“文昌阁”。康熙五十六年（1717 年）知县张景花重修，高下三层，高 38 尺，取名“在兹阁”，意为文运昌盛全在此阁。
道光元年（1821 年）狂风倾圮。次年，知县详安率全县士民捐资按原貌修复，名流周作义、胡拱辰、罗亭玉自备行旅费用监造，建成后改名“魁星阁”，沿袭至今。阁的顶层设有魁星木质雕像，魁星右手拿着朱笔，左手端着木斗，作点斗之势，右脚金鸡独立，踩着海中大鳌鱼的头部，寓意独占鳌头。在科举时期，应试学子会携喷鼻香烛、供果前来朝拜魁星。
在中国民间传说中，魁星被认为是主宰文章兴衰的神。“魁”字拆开来，一半是“鬼”，应魁星的面孔丑陋，一半是“斗”，应魁星才高八斗、也应北斗星座。魁星崇奉盛于宋代，耐久不衰，成为封建期间读书人除文昌帝君之外崇信最甚的神。
魁星阁与孔庙等构成了新余的学宫建筑群，是当地文化教诲和文化敬拜的主要场所，具有深厚的历史文化代价。它不仅是一座建筑，更是新余文化传承的象征，见证了当地的文风昌盛和学子们对功名的追求。如今，它依然是新余市的主要文化地标。
