|
這幾天在做一個(gè)東西.研究php讀取行數(shù)較多的文件(大概上百萬(wàn)行).考慮到效率問(wèn)題.進(jìn)行了簡(jiǎn)單的研究.總結(jié)如下
第一條.file()函數(shù)的效率問(wèn)題.
file()函數(shù)的效率很底下 如果是有規(guī)律的文件.比如每行一條相應(yīng)數(shù)據(jù).那么盡量不要是用file()函數(shù)
可以使用file_get_contents()然后用explode切割.這樣效率會(huì)快三分之一
舉個(gè)例子:
文件樣式如下:
11111/n
22222/n
33333/n
44444/n
55555/n
...../n
nnnnnnnnnnn/n
如果用file($file)讀入的話(huà).耗時(shí)很長(zhǎng).
可以用如下方法explode("/n",file_get_contents($file));效率會(huì)快很多.
第二條,數(shù)組的遍歷方式.
數(shù)據(jù)已經(jīng)被讀入數(shù)組了.下面就是遍歷了.
我所需要的是確定數(shù)組中有無(wú)一個(gè)值的存在,比如說(shuō)44444是否在數(shù)組中.首先想到的是in_array()
不過(guò)實(shí)驗(yàn)了下發(fā)現(xiàn)效率很低下.于是參考別人的代碼想到一個(gè)辦法.把數(shù)組翻轉(zhuǎn)過(guò)來(lái).變成所有值都為1.原來(lái)的值變成了索引.那么只要我在if里寫(xiě)($arr[索引]==1)去判斷.果然效率高出很多.
在數(shù)組的遍歷過(guò)程中.如果數(shù)組個(gè)頭非常大,并且數(shù)組中的數(shù)據(jù)并不是全能用到的話(huà),最好把用來(lái)遍歷的數(shù)組抽出來(lái).這樣會(huì)提高很多效率.
第三條,數(shù)組的存儲(chǔ).
把計(jì)算過(guò)后的數(shù)據(jù)保存起來(lái).存在一個(gè)文件中.考慮了三種方法.一種是直接寫(xiě)成php文件.一種是serialize,一種是json串.
第一種方式
直接寫(xiě)入文件<?php 連接var_export($var)連接";"連接?>保存成php
需要的時(shí)候直接require進(jìn)來(lái).
第二種方式.把變量serialize然后file_put_contents()進(jìn)入文件.使用的時(shí)候unserialize就ok.
第三種方式和第二種類(lèi)似.只不過(guò)寫(xiě)成了json串.
經(jīng)過(guò)測(cè)試.發(fā)現(xiàn)第二種效率最高.第三種其次.和第二種效率不相上下.第一種最慢.和我預(yù)想的差距很大.真是大跌眼鏡.
php技術(shù):php筆記之:有規(guī)律大文件的讀取與寫(xiě)入的分析,轉(zhuǎn)載需保留來(lái)源!
鄭重聲明:本文版權(quán)歸原作者所有,轉(zhuǎn)載文章僅為傳播更多信息之目的,如作者信息標(biāo)記有誤,請(qǐng)第一時(shí)間聯(lián)系我們修改或刪除,多謝。