教育部考试中心及其直属单位代为收取并支付给境外单位的考试费，是否可以开具增值税专用发票？

不可以。 根据《国家税务总局关于在境外提供建筑服务等有关问题的公告》（国家税务总局公告2016年第69号）第六条的规定：境外单位通过教育部考试中心及其直属单位在境内开展考试，教育部考试中心及其直属单位应以取得的考试费收入扣除支付给境外单位考试费后的余额为销售额，按提供“教育辅助服务”缴纳增值税；就代为收取并支付给境外单位的考试费统一扣缴增值税。教育部考试中心及其直属单位代为收取并支付给境外单位的考试费，不得开具增值税专用发票，可以开具增值税普通发票。