Сразу после аварии на Чернобыльской АЭС был назначен членом правительственной комиссии по расследованию причин и по ликвидации последствий аварии. Появился на месте катастрофы одним из первых и провёл там в общей сложности четыре месяца — вместо допустимых 2—3 недель. Полученная значительная доза радиации очень сильно повлияла на его здоровье.

Принимал ряд важнейших решений по предотвращению дальнейших взрывов и информировал правительство СССР о ситуации в зоне аварии. Именно он предложил состав смеси, которой был засыпан горящий реактор и благодаря которой последствия аварии оказались меньше, чем могли быть. Он информировал своих коллег учёных и прессу о рисках и состоянии разрушенной станции, а также настаивал на немедленной полной эвакуации города Припять.

В августе 1986 года на конференции экспертов МАГАТЭ в Вене Легасов, как глава советской делегации, представил доклад с анализом причин аварии и радиологических последствий катастрофы на ЧАЭС. Это выступление стало поворотным пунктом в его карьере. Существует несколько точек зрения на причины этого. По одной версии в своём выступлении Легасов разгласил ряд секретных сведений, на что не был уполномочен[1]. По другой версии он вызвался озвучить официальную версию событий аварии на Чернобыльской АЭС, подтасовки и ложь которой вызывали большое неприятие у других учёных[2]. Некоторые расценили действия Легасова как попытку дискриминации Научного руководителя проекта реактора РБМК, президента АН СССР академика Александрова по карьерным соображениям[3].

В 1987 году при тайном голосовании академика Легасова не избрали в научно-технический совет (100 — за, 129 — против)[1][2]. В 1986—1987 годах его дважды выдвигали на звание Героя Социалистического Труда, но оба раза он не был награждён. Известна версия, по которой Горбачев вычеркнул Легасова из списка, сказав: «Ученые не советуют»[1].

27 апреля 1988 года, во вторую годовщину аварии на ЧАЭС, Легасов был найден у себя в квартире повешенным. Перед смертью он записал на диктофон рассказ о малоизвестных фактах, касающихся катастрофы (по некоторым данным, часть послания была кем-то умышленно стёрта). По материалам этих аудиозаписей Би-би-си сняло фильм «Пережить катастрофу: Чернобыльская ядерная катастрофа» (англ. Surviving Disaster: Chernobyl Nuclear Disaster).

Похоронен на Новодевичьем кладбище в Москве.
20 сентября 1996 года президент России Борис Ельцин подписал указ о посмертном награждении Легасова званием Героя России за «отвагу и героизм, проявленные во время ликвидации Чернобыльской аварии».