近年，走行中の車両が周辺の道路交通状況などを収集する，車車間通信技術が注目されている．コンテンツ指向ネットワーク（CCN）はキャッシュを利用し，車車間通信におけるネットワークの利用を効率化できる．ここで，隣接車両が同じコンテンツをキャッシュするとバッファ利用率が低下するという問題がある．これに対し，キャッシュするか否かを確率によって決めることで，重複したキャッシュを抑えることができる．本研究では，キャッシュ利用のさらなる効率化のために，強化学習を用いてキャッシュ確率を制御する手法を提案する．シミュレーションの結果，提案手法は確率の制御を利用しない方式と比較して約10%ホップ数が減少した．