100G超大文件合并排序?
目前想實(shí)現(xiàn)兩個(gè)100G文件合并,日志文件,都有日期,日期會(huì)有所交集,如一份1日到10日,另一份5日到15日,所以合并后也需要對(duì)日期進(jìn)行排序。
目標(biāo)是,查詢某一時(shí)間區(qū)段的信息,目前的打算是:
我可以知道每個(gè)文件大小和日起始時(shí)間,所以若文件過大,就分割它,然后獲取分割小文件的的起始時(shí)間,<愛尬聊_頭條百科>時(shí)間區(qū)段只要稍加限制,同時(shí)由于log的連續(xù)性和記錄頻率不太高,就能確保就只有幾個(gè)小文件包含了用戶需要的信息,然后只返回那幾小份的文件的信息,然后全部直接扔進(jìn)內(nèi)存排序都不怕,效率也可以。
但我想想,是不是也有辦法,直接真的可以把2個(gè)100G合成一個(gè)200G的?
或有什么更好的辦法,目前在寫模板的基本方法,想封裝好一點(diǎn)以后不管了。但不知道這個(gè)要怎么玩。求教,謝謝!