Microsoft Outlookのメール機能は、デフォルトで返信時の元メールに引用符がつかない設定になっているようです。

メニューバーの「ファイル」タブをクリック→「オプション」をクリック→
Outlookのオプション画面が開くので、「メール」をクリック。

「返信/転送」の設定を変更します。
デフォルトは「元のメッセージを残す」になっているので、「元のメッセージの行頭にインデント記号を挿入する」を選択。

「テキスト形式のメッセージの行頭に次のテキストを入れる」に、任意のテキストを設定して「OK」をクリック。
デフォルトは「> 」という文字が設定されているのでそのまま使ってもかまいません。