遠古時期，舜和象是同父異母的兄弟。父親瞽與異母弟象經常迫害舜，在他上到房頂修房的時候，他們在下面點火燒房，企圖燒死舜，在他掘井的時候，往下填土，企圖掩埋他。但每次，舜都得以成功逃生，只是虛驚一場。但舜從不責罵父親和弟弟，仍然對他們施以孝悌之情。時間長了，舜的故事傳到帝堯耳中，帝堯便把帝位傳給了舜。舜得到帝位後，沒有疏遠他的弟弟象，仍然為他封了國家，當然是在象變好以後。貴州曾經是象的封地，當地苗民自發地修了象祠，要王陽明寫一篇象祠記，以示紀念，此時王陽明龍場悟道以後，已經名震天下。王陽明欣然命筆，一篇優美而極賦哲理的《象祠記》就此誕生。
王陽明對待惡人的態度就是「人性之善，天下無不可化之人也」，與其說是一種態度，不如說是一種境界。按刺激反應的一般原則，象怎麼對待舜，舜應該進行對等反擊，那麼這必然就是一場博弈，人與人就是一場對打，部落與部落就是一場戰爭和廝殺，必然造成血腥與災難。但舜沒有這樣做，他用行動在感化象，責怪就會使矛盾升級，必然在親情之間形成溝壑或障礙。
舜和象的故事正應了王陽明心學思想，只要致良知，人人皆為堯舜。所謂的惡人，是內心的良知沒有被格出而已，特別是處於惡與善的邊沿的人，致良知是最好的途徑。王陽明進一步論述，如果舜總是責人，責怪象的不是，必然會揭露象的醜惡行徑，象會被激怒，他會用更大的惡來掩蓋，使他變得更加醜陋不堪。不去責怪，恰恰使象得以感化，親情矛盾瞬間化為烏有。看來，貴州苗民兄弟完全理解了人性的最高境界。
做人，貴在責己，慎重責人，這是中國古代正統儒家思想的重要基礎。古人講，聖賢之人和市井小人的區別就是，聖賢以責人之心責己，以恕己之心恕人。責己和責人有兩個標杆，責己以「義」，責人以「仁」。檢討自己的標尺就是要拿「義」去衡量，思想和言行要符合道義、大義，批評別人要用「仁」的方式，用愛去感化和引導，會使人感到溫暖舒心，樂於改變。
王陽明把這種「義」和「仁」統統歸結為內心的良知，只要致良知，內心的善意全部釋放，一切矛盾、所有的惡都會化解。王陽明認為，當我們要去責人時，實際上是在滿足自己內心「責人」的私慾，必然會帶來更大的矛盾，必須狠狠地克服掉。
不去責人，時刻責己，王陽明也不是迂腐到沒有是非觀念的地步。他指出：（一）不要為了顯示自己而去責人。這可能是今天人際關係矛盾的主要表現形式。（二）不要為了責人而責人，要建立在解決問題的前提下，決不能搞對抗。他認為責人的最高境界是「不責而責」，如果正面批評、糾正他人，即就是處以公心，未必會收到滿意的效果，那麼就只能「不責而責」，以自身行動去暗示、感化，放下責人，誠心責己，會收到意想不到的效果。
