哈尔滨工程大学研究生教育的历史可以追溯到哈军工时期。1955年3月，哈军工党委做出了培养研究生的决定，当年招收3名海军工程系研究生，开创了学校研究生教育历史的新纪元。学校1981年被国务院批准为首批博士、硕士学位授权单位；1997年开始招收全国第一批工程硕士研究生；2002年，教育部批准学校试办研究生院，成为全国57所设有研究生院的高校之一，学校进入国家研究生培养主力军行列。2011年，学校入选首批“全国工程硕士研究生教育创新院校”，成为全国50所创新院校之一。
目前，哈尔滨工程大学有博士学位授予权一级学科15个，硕士学位授予权一级学科32个；国家一级、二级重点学科各1个，黑龙江省重点学科群1个、一级重点学科11个。在国家第四轮学科评估中船舶与海洋工程、控制科学与工程学科分别获得a 和a-等级，核科学与技术、动力工程及工程热物理、信息与通信工程、计算机科学与技术、管理科学与工程位居国内前列，一级学科博士点排名全部进入全国前30%。学校可在经济学、法学、教育学、文学、理学、工学、管理学、艺术学等8个门类招收硕士研究生，在理学、工学、法学、管理学等4个学科门类招收博士研究生，并可招收电子信息、机械、材料与化工、能源动力、土木水利、工商管理硕士、公共管理硕士、翻译硕士、社会工作、法律硕士、工程管理等11种类别专业学位硕士研究生，招收机械、能源动力、电子信息等3种类别专业学位博士研究生，形成了支撑学校高层次创新人才培养的学位授权体系。
截至2022年10月，学校各类在校研究生总数为15237人，其中博士生3243人，硕士生11994人。学校共有导师1762人，其中博士生导师780人，硕士生导师982人。
学校与中船重工703研究所、中国电子科技集团第49研究所等单位联合建立了6个省级研究生培养创新示范基地，学校与中国船舶重工集团公司第703研究所、环境保护部核与辐射安全中心联合培养研究生实践基地获评“全国示范性工程专业学位研究生联合培养基地”。作为行业特色型高校，船舶与海洋工程、控制工程、核能与核技术3个工程领域入选“全国工程硕士研究生教育特色工程领域”。
学校是国家留学基金委“建设高水平大学公派研究生项目签约高校，同英国利兹大学、谢菲尔德大学、俄罗斯远东联邦大学等多个国外知名高水平大学开展创新型人才国际合作，学校现有创新型人才国际合作培养项目10个、促进与俄乌白国际合作项目2个。《随机过程》《声学测量》《核反应堆工程》《现代设计方法》4门课程入选教育部“来华留学英语授课品牌课程”。《船舶在波浪中运动的势流理论》《模式识别》2门课程入选全国工程专业学位教指委研究生教育在线课程重大建设项目。
近年来，学校坚持“三海一核”特色办学方略，全面推进“创新推动，打造品牌”的人才培养战略，研究生教育取得了明显进步和发展，办学规模不断扩大，为国家和社会培养了多门类高层次专门人才。从2003年至今，学校累计培养硕士、博士以及各类专业学位硕士3万余名，研究生毕业生就业率连续多年保持在95%以上，每年海军、船舶、核工业系统等几百家用人单位专程到我校招聘毕业生，使我校毕业生在激烈的就业竞争中具备了特色的优势和竞争力。