VLC Media Playerは軽快な動作と機能の豊富さが取り柄ですが、ハードウェアのスペックを問わず設定次第でコマ送り状態になってしまいます。
なので今回は4K動画を快適に再生できる設定を模索してみました。
【テストに使った4K動画】
※水がジョボジョボ出ている映像です。
・ビットレート319kbps
・127MB
【テスト環境】
・Windows10 pro 64bit
・Ryzen 7 1700
・GTX 1660
・メモリ 16GB
・VLCバージョン:3.0.16
ファイルキャッシュを増やす
大容量ファイルは再生中の読み待ちで固まる可能性があるので、
[ツール] > [設定] > [入力/コーデック] > [詳細設定] の中のファイルキャッシュ(ミリ秒)・ディスクキャッシュ(ミリ秒)・ネットワークキャッシュ(ミリ秒)を10000へ増加させます。

そして保存しVLCを再起動します。
初期の1000よりはヌルヌルに近づきましたが、大きすぎるとシーク速度が低下しました。
高ければ良いというものでもなく10000~20000辺りで様子を見てみると良いと思います。
ビデオ出力設定を変更
[ツール] > [設定] > [ビデオ] > [出力するビデオデバイス]で変更できますが、

「自動」のままでも問題ありません。
指定するにしても基本的にDirect3D11 or Windows用OpenGLの二択です。
・DirectX系はOpenGLに比べ技術革新が遅いが、Windowsに特化しており機能豊富
・OpenGLは先進的でマルチプラットフォーム、Windows上では微妙
・・・というイメージで良いと思いますが、現在はほぼ差は無いようです。
何れも描写に関して変化は見られませんでしたが、Windows用OpenGLの方がCPU使用率が高くなったのでDirect3Dで良いと思います。
ちなみに無印OpenGLはクラッシュしました。
H.264インループブロック化防止フィルターをスキップ
ブロックノイズ防止の為のフィルターだそうですが、これを使うと画質が良くなる代わりに快適さが犠牲になる場合があるようです。
[ツール] > [設定] > [ 入力/コーデック] > [コーデック]の中の
FFmpegのスレッド数を増やす
全てのメディアにFFmpegが用いられている訳では無いのですが、mkv形式で動画が途切れる場合はスレッド数を2~4に増やす事で快適な処理が期待出来ます。
[ツール] > [設定] > [ 入力/コーデック] > [ビデオコーデック] > [FFmpeg]
ハードウェア アクセラレーションを有効/無効

カクつくフィルターは除外
スペックがもうちょいマシな別PCでも実験しましたが
・Core i5 10400F
・RTX 3060
・メモリ 16GB
やはりフィルターを使うとカクついたのでソフトウェアの問題か、Nvidiaドライバーとの相性が原因のようです。
シャープネスなんかは人の肌が多く映る動画を見る人達には必須の機能かもしれませんね。