/*

對以下資料進行去重【detail_new_urls.csv 檔案中內容】
http://www.cnvd.org.cn/flaw/show/CNVD-2018-01155
http://www.cnvd.org.cn/flaw/show/CNVD-2017-01206
http://www.cnvd.org.cn/flaw/show/CNVD-2018-01281
http://www.cnvd.org.cn/flaw/show/CNVD-2018-01164
   //<- 這塊有個換行空格

*/


# 讀取原始檔
$str = file_get_contents('./detail_new_urls.csv');

# 去除換行空格
 

$str = rtrim($str,"\r\n");

# 按 \r\n 分割為陣列
$a = explode("\r\n", $str);

# 去重後重排序
$b = array_merge(array_unique($a));

# 按 \r\n 結尾組裝成字串
$b = implode("\r\n",$b);

# 寫入到檔案中
file_put_contents('./detail_filter_urls.csv', $b);