1947年モスクワ生まれ。モスクワ音楽院でヤーコブ・ザークとエミール・ギレリスに師事。1968年のバッハ国際音楽コンクール（ライプツィヒ）、1972年のエリザベート王妃国際音楽コンクール（ブリュッセル）で優勝を飾る。特に、エリザベート・コンクール優勝時の演奏は、まるでクリスタルのような美しい音色を響かせていた、と伝説のように語り継がれている。1973年モスクワ音楽院を卒業後、レニングラード・フィルなどとの共演、ソ連国内のツアーを行ったが、1974年にベルギーへ亡命した。以後、ヨーロッパ、アメリカ各地でリサイタルを行うほか、ベルリン・フィルをはじめとした著名なオーケストラと共演を重ねてきた。1983年にヴァイオリニストのギドン・クレーメルの共演者として初来日。1987年の第3回《東京の夏》音楽祭のソロ・リサイタルでは、熱狂的な成功を収める。また、1994年の第10回《東京の夏》音楽祭では、ピアニストであるアファナシエフが作曲者ムソルグスキーと対話しながら演奏する音楽劇『展覧会の絵』を自作自演で上演して、反響を呼ぶ。この楽劇は、2009年にも再演され、前回の内容とは違う魅力を披露し評判となった。2001年来日公演の模様は、NHK教育テレビ「芸術劇場」で放映され幅広い熱烈なファンを_む。また、2003年の来日公演では、ベートーヴェン：最後の3つのソナタを演奏。サントリーホールでの演奏会の模様がライヴ録音され、2004年に若林工房から発売。タワーレコードのクラシカルチャートで、第1位を獲得した。
これまでにドイツ・グラモフォン、DENON（コロムビア）、ECM、若林工房、ソニークラシカルなどから40枚以上のCDをリリース。1992年「ブラームス：後期ピアノ作品集」DENON、収録曲（3つの間奏曲 作品117、6つのピアノ曲 作品118、4つのピアノ曲 作品119）がレコード・アカデミー賞（器楽曲部門）を受賞。一躍、高名なピアニストとして名声を得る。来日のたび、新録音のリリースのたびに、その独自の音楽性が論議を呼び、音楽界に大きな刺激をもたらしている。 ピアノ演奏にとどまらず、『失跡』、『バビロン没落』、『ルートヴィヒ二世』などの小説を発表する文学者の顔を持っている。フランス、ドイツ、ロシアでの出版に加えて、日本でも2001年、エッセイ集『音楽と文学の間〜ドッペルゲンガーの鏡像』、2009年、詩集『乾いた沈黙』、2011年、現代思想集『天空の沈黙 音楽とは何か』、2012年エッセイ集『ピアニストのノート』、2014年には、短編集『妙なるテンポ』が出版された。また2014年6月16日東京・銀座にて、吉本ばななと対談し、大きな話題となった。ナボコフ、ボルヘス、ベケット、カフカ、ジョイスなどを愛読し、ヴィトゲンシュタイン、道教思想、インド哲学に傾倒していることでも知られている。2008年3月には、アファナシエフのドキュメンタリー番組「漂泊のピアニスト アファナシエフ もののあはれを弾く」がNHKハイビジョン特集で放送された。また、大好評により2012年7月、2013年1月にもNHK BSプレミアムにより再放送された。 
現在は、ブリュッセルを拠点に活動。現代におけるカリスマ的ピアニストとして注目を集め続けている。