贞观十七年正月，魏征病重。他家原先连一间正厅都没有，唐太宗本想给自己造一座小殿，听说后停下工程，把木料拿去给他赶造正厅，五天就盖成，又派宦官送去素褥布被，成全他一生俭素。据《旧唐书·魏徵传》，弥留之际太宗亲自到病榻前，流着泪问他还有什么话，魏征只引了一句古语：寡妇不操心织布的纬纱，忧虑的是宗周的灭亡。他到死放不下的，还是国家，不是自己。几天后太宗夜里梦见魏征还像平日一样，天亮，魏征去世的奏报就到了，年六十四。
魏征名徵，字玄成，通行写法作魏征。他并不是一开始就是太宗的人：隋末大乱，他先跟过李密、窦建德，入唐后又在太子李建成手下任太子洗马，还劝过太子早除秦王。玄武门之变后，太宗质问他为何离间兄弟，他神色不改，说太子要是早听我的，就不会有今天。太宗看中这份直，不但不杀，反而引为詹事主簿，即位后擢为谏议大夫。一个敢说真话的人，和一个肯听真话的人，就这样走到了一起。
他这一生最出名的事是进谏。《旧唐书》与《贞观政要》记载，他前后陈谏二百余事，不是一味顶撞，而是条条指向治国要害。贞观十一年那篇《谏太宗十思疏》写得恳切：见到想要的东西，要想到知足警戒；打算兴造，要想到知止安民；怕骄傲自满，就想想江海居于百川之下；担心耳目被遮蔽，就想想虚心接纳下面的意见。他提醒太宗，怨恨不在大小，可怕的是人心；百姓像水，载舟也能覆舟。隋朝二世而亡的教训，他翻来覆去讲了十几年。
贞观之治不是皇帝一个人的圣明。太宗有一次罢朝回宫怒气冲冲，说早晚要杀了这个乡巴佬，嫌魏征总在朝堂上当众折辱自己。长孙皇后问明缘由，退回内室换上只有大典才穿的朝服，站到庭中向太宗道贺，说：妾听说君主圣明，臣子才敢忠直，如今魏征敢直言，正说明陛下圣明，怎能不贺。太宗这才转怒为喜。这种由着大臣把难听话讲完的朝堂，在历史上并不多见。魏征也并非只会批评，他主持修史，参与制定典章，封郑国公，把谏臣做成了一种制度性的力量。
他死后太宗罢朝五日，追赠司空，谥文贞，陪葬昭陵，亲自撰写碑文。出殡时他的妻子裴氏说魏征平生俭素，用一品官的隆重仪仗不合亡者心意，最终只用布车素棺。后来太宗临朝，还对侍臣说了那段流传至今的话：用铜做镜子可以端正衣冠，用历史做镜子可以知道兴替，用人做镜子可以明白得失，自己常保住这三面镜子以防过失，如今魏征去了，自己丢掉了一面镜子。镜子从不说好听的话，可贞观的清明，恰恰是被这面镜子照出来的。
❝怨不在大，可畏惟人；载舟覆舟，所宜深慎。❞