『浮気』とは「心がうわついていること。心が落ち着いておらず、変わりやすいこと。多情なこと。」（広辞苑より）
心の方向が一方から他方に向いてしまうことを指しているようです。男女間においては、必ずしも肉体関係があるわけではなく、目移りなども浮気といえば浮気となる。
そして浮気とは男女間だけに当てはまる表現ではなく、物などにも使われます。いつも飲んでいるお酒があるにもかかわらず、今日は違うお酒に浮気するなどです。

一方、『不倫』とは「人倫にはずれる事。人道にはずれる事」（広辞苑より）
結婚をしている男女、又は一方が既婚者である男女の恋愛関係を指しており、肉体関係にあることや、その行為自体も不倫と呼ばれています。
人の道を外れている訳ですから、状況によっては法を犯していることになります。

浮気や不倫が悪とされるのは、始まりは男女間のトラブルでも、傷害や殺人、自殺などの事件への発展性を持っているからとも言えます。

不倫は浮気と違い、相手を必要としており家庭崩壊や離婚に繋がる可能性を多いに持っているのです。