<ruby id="bdb3f"></ruby>

    <p id="bdb3f"><cite id="bdb3f"></cite></p>

      <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
        <p id="bdb3f"><cite id="bdb3f"></cite></p>

          <pre id="bdb3f"></pre>
          <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

          <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
          <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

          <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                <ruby id="bdb3f"></ruby>

                ??一站式輕松地調用各大LLM模型接口,支持GPT4、智譜、豆包、星火、月之暗面及文生圖、文生視頻 廣告
                這篇筆記主要解決這么幾個問題: PHP 如何使用超低內存快速遍歷數以萬計的目錄文件? PHP 如何使用超低內存快速讀取幾百MB甚至是GB級文件? 順便解決哪天我忘了可以通過搜索引擎搜到我自己寫的筆記來看看。(因為需要 PHP 寫這兩個功能的情況真的很少,我記性不好,免得忘了又重走一遍彎路) **遍歷目錄文件** 網上關于這個方法的實現大多示例代碼是 glob 或者 opendir + readdir 組合,在目錄文件不多的情況下是沒問題的,但文件一多就有問題了(這里是指封裝成函數統一返回一個數組的時候),過大的數組會要求使用超大內存,不僅導致速度慢,而且內存不足的時候直接就崩潰了。 這時候正確的實現方法是使用 yield 關鍵字返回,下面是我最近使用的代碼: ``` <?php function glob2foreach($path, $include_dirs=false) { $path = rtrim($path, '/*'); if (is_readable($path)) { $dh = opendir($path); while (($file = readdir($dh)) !== false) { if (substr($file, 0, 1) == '.') continue; $rfile = "{$path}/{$file}"; if (is_dir($rfile)) { $sub = glob2foreach($rfile, $include_dirs); while ($sub->valid()) { yield $sub->current(); $sub->next(); } if ($include_dirs) yield $rfile; } else { yield $rfile; } } closedir($dh); } } // 使用 $glob = glob2foreach('/var/www'); while ($glob->valid()) { // 當前文件 $filename = $glob->current(); // 這個就是包括路徑在內的完整文件名了 // echo $filename; // 指向下一個,不能少 $glob->next(); } ``` yield 返回的是生成器對象(不了解的可以先去了解一下 PHP 生成器),并沒有立即生成數組,所以目錄下文件再多也不會出現巨無霸數組的情況,內存消耗是低到可以忽略不計的幾十 kb 級別,時間消耗也幾乎只有循環消耗。 **讀取文本文件** 讀取文本文件的情況跟遍歷目錄文件其實類似,網上教程基本上都是使用 file\_get\_contents 讀到內存里或者 fopen + feof + fgetc 組合即讀即用,處理小文件的時候沒問題,但是處理大文件就有內存不足等問題了,用 file\_get\_contents 去讀幾百MB的文件幾乎就是自殺。 這個問題的正確處理方法同樣和 yield 關鍵字有關,通過 yield 逐行處理,或者 SplFileObject 從指定位置讀取。 逐行讀取整個文件: ``` <?php function read_file($path) { if ($handle = fopen($path, 'r')) { while (! feof($handle)) { yield trim(fgets($handle)); } fclose($handle); } } // 使用 $glob = read_file('/var/www/hello.txt'); while ($glob->valid()) { // 當前行文本 $line = $glob->current(); // 逐行處理數據 // $line // 指向下一個,不能少 $glob->next(); } ``` 通過 yield 逐行讀取文件,具體使用多少內存取決于每一行的數據量有多大,如果是每行只有幾百字節的日志文件,即使這個文件超過100M,占用內存也只是KB級別。 但很多時候我們并不需要一次性讀完整個文件,比如當我們想分頁讀取一個1G大小的日志文件的時候,可能想第一頁讀取前面1000行,第二頁讀取第1000行到2000行,這時候就不能用上面的方法了,因為那方法雖然占用內存低,但是數以萬計的循環是需要消耗時間的。 這時候,就改用 SplFileObject 處理,SplFileObject 可以從指定行數開始讀取。下面例子是寫入數組返回,可以根據自己業務決定要不要寫入數組,我懶得改了 ``` <?php function read_file2arr($path, $count, $offset=0) { $arr = array(); if (! is_readable($path)) return $arr; $fp = new SplFileObject($path, 'r'); // 定位到指定的行數開始讀 if ($offset) $fp->seek($offset); $i = 0; while (! $fp->eof()) { // 必須放在開頭 $i++; // 只讀 $count 這么多行 if ($i > $count) break; $line = $fp->current(); $line = trim($line); $arr[] = $line; // 指向下一個,不能少 $fp->next(); } return $arr; } ``` 以上所說的都是文件巨大但是每一行數據量都很小的情況,有時候情況不是這樣,有時候是一行數據也有上百MB,那這該怎么處理呢? 如果是這種情況,那就要看具體業務了,SplFileObject 是可以通過 fseek 定位到字符位置(注意,跟 seek 定位到行數不一樣),然后通過 fread 讀取指定長度的字符。 也就是說通過 fseek 和 fread 是可以實現分段讀取一個超長字符串的,也就是可以實現超低內存處理,但是具體要怎么做還是得看具體業務要求允許你怎么做。 **復制大文件** 順便說下 PHP 復制文件,復制小文件用 copy 函數是沒問題的,復制大文件的話還是用數據流好,例子如下: ``` <?php function copy_file($path, $to_file) { if (! is_readable($path)) return false; if(! is_dir(dirname($to_file))) @mkdir(dirname($to_file).'/', 0747, TRUE); if ( ($handle1 = fopen($path, 'r')) && ($handle2 = fopen($to_file, 'w')) ) { stream_copy_to_stream($handle1, $handle2); fclose($handle1); fclose($handle2); } } ``` **最后** 我這只說結論,沒有展示測試數據,可能難以服眾,如果你持懷疑態度想求證,可以用 memory\_get\_peak\_usage 和 microtime 去測一下代碼的占用內存和運行時間。
                  <ruby id="bdb3f"></ruby>

                  <p id="bdb3f"><cite id="bdb3f"></cite></p>

                    <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
                      <p id="bdb3f"><cite id="bdb3f"></cite></p>

                        <pre id="bdb3f"></pre>
                        <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

                        <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
                        <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

                        <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                              <ruby id="bdb3f"></ruby>

                              哎呀哎呀视频在线观看