Monthly Archive: May 2023

Node js 里有沒有像selenium類似的framework?

在Node.js中,有一個類似於Selenium的自動化測試框架叫做Puppeteer。Puppeteer是一個由Google開發的Node.js庫,提供了一個API來控制和操作瀏覽器。它可以用於模擬用戶行為、進行頁面導航、執行JavaScript、提取數據等等。 Puppeteer具有以下特點: 可以通過無頭模式運行,即在沒有界面的情況下運行瀏覽器操作。 可以與Chrome瀏覽器無縫集成。 支持對頁面進行截圖和PDF生成。 允許模擬鍵盤和鼠標輸入。 可以進行頁面自動化測試和爬蟲等任務。 你可以使用Puppeteer來實現類似於Selenium的自動化測試和瀏覽器操作。它提供了豐富的API,使得控制和操作瀏覽器變得非常方便。你可以使用Puppeteer來加載網頁、填寫表單、點擊按鈕、抓取數據等等操作。 要開始使用Puppeteer,你需要先安裝它。可以使用npm(Node.js的包管理器)來安裝Puppeteer。在命令行中運行以下命令: 安裝完成後,你可以在Node.js腳本中引入Puppeteer並開始使用它。以下是一個簡單的示例,展示了如何使用Puppeteer來打開網頁並截取頁面截圖: 這段代碼會啟動一個無頭Chrome瀏覽器實例,創建一個新的頁面,然後導航到指定的網址,並最後保存頁面截圖為example.png。 這只是Puppeteer的一個簡單示例,它還有很多功能和API可以探索。你可以查閱Puppeteer的官方文檔來了解更多信息和示例:https://pptr.dev/

Docker 常用命令

網絡相關 查看網絡 查看特定網絡 刪除特定網絡 把鏡像從特定網絡斷開 系統相關 進入container裡面的shell docker-compose 相關 用docker-compose強制重新build鏡像 如果不想rebuild全部docker服務,只想重新build特定服務 用docker-compose up啟動全部服務 如果加-d就是dettached的意思,會在後台運行。關閉服務 Container相關 清理不活躍的容器

用python給文件生成bloom filter

bloom filter是什麼? Bloom filter(布隆過濾器)是一種概率型數據結構,用於判斷一個元素是否屬於一個集合,具有高效的插入和查詢操作。它可以快速告訴你某個元素“可能存在”或“一定不存在”於一個集合中,但無法確定元素的確切存在與否。 Bloom filter 由布隆提出並在1970年發表,它基於哈希函數的應用。它的核心是一個位數組(bit array)和一組哈希函數。位數組用於表示集合,初始時所有的位都被置為0。哈希函數用於將元素映射為位數組的索引,並將對應位置的位設置為1。 插入元素時,通過對元素應用一組哈希函數,可以得到多個位數組索引,然後將這些索引對應的位設置為1。查詢元素時,同樣對元素應用哈希函數,得到相應的位數組索引,如果所有的索引位置的位都為1,則說明元素“可能存在”於集合中;如果任何一個索引位置的位為0,則可以確定元素“一定不存在”於集合中。 由於使用了多個哈希函數和位數組,Bloom filter 具有較低的內存佔用和快速的查詢速度。然而,它也存在一定的誤判率(false positive),即在判斷元素存在時可能會出現錯誤判斷。這是因為不同元素的哈希函數映射到位數組時可能產生衝突,導致位數組的某些位置同時被設置為1,從而影響判斷結果。 Bloom filter 主要應用於那些對查詢速度要求較高、可以容忍一定的誤判率的場景,例如網絡緩存、大規模數據集的去重、垃圾郵件過濾等。通過適當調整位數組大小和哈希函數的數量,可以在一定程度上控制誤判率和內存佔用。 bloom filter 和 hash function有什麼不同? Bloom filter(布隆過濾器)和哈希函數在使用方式和目的上有一些不同之處: 目的:Bloom filter 的主要目的是判斷一個元素是否屬於一個集合,它提供了一種快速的判斷方式,可以告訴你元素“可能存在”或“一定不存在”於集合中。而哈希函數的主要目的是將數據映射為較短的固定長度值,常用於加密、數據唯一性校驗、散列查找等方面。 數據結構:Bloom filter 是一種概率型數據結構,它由一個位數組(bit array)和一組哈希函數組成。位數組用於表示集合,哈希函數用於將元素映射到位數組的索引。哈希函數通常是不可逆的,將輸入映射到固定長度的輸出。而哈希函數本身並不包含數據結構,它只是一個單獨的函數。 功能:Bloom filter 用於判斷元素是否屬於一個集合,具有高效的插入和查詢操作。它可以給出“可能存在”或“一定不存在”的答案,但無法確定元素的確切存在與否。哈希函數則是將數據進行轉換和計算,通常用於唯一標識、散列查找、數據完整性校驗等。 衝突和誤判:Bloom filter 可能存在哈希衝突,即不同元素經過哈希函數計算後映射到相同的位數組位置,這可能導致誤判。而哈希函數應該盡量避免衝突,以確保在不同的輸入上產生不同的輸出,但在實際應用中,哈希衝突是難以完全避免的。 總的來說,Bloom filter 是基於哈希函數的一種數據結構,它利用哈希函數將元素映射到位數組,並通過多次哈希映射來提供快速的元素判斷。哈希函數則是獨立的計算函數,用於將數據映射為固定長度的值,常用於唯一標識、散列查找、數據完整性校驗等場景。 用Python給文件生成bloom…
Read more

在Docker里跑datadog agent

可以運行以下命令 以下是docker run命令的各個參數的解釋: -d: 表示在後台運行容器。 –name dd-agent: 為容器指定一個名稱,本例中為dd-agent。 -v /var/run/docker.sock:/var/run/docker.sock:ro: 掛載主機上的Docker守護進程的Unix套接字,以便容器可以獲取有關主機上運行的其他容器的信息。ro表示將套接字文件以只讀方式掛載到容器中。 -v /proc/:/host/proc/:ro: 掛載主機上的/proc目錄,以便容器可以訪問主機的進程信息。ro表示將該目錄以只讀方式掛載到容器中。 -v /sys/fs/cgroup/:/host/sys/fs/cgroup:ro: 掛載主機上的/sys/fs/cgroup目錄,以便容器可以訪問主機的cgroup信息。ro表示將該目錄以只讀方式掛載到容器中。 -e DD_API_KEY=: 設置Datadog API key,這裡留空,需要在運行容器之前將其替換為有效的API key。 -e DD_SITE=”us5.datadoghq.com”: 設置Datadog網站,這裡設置為Datadog US5網站。 gcr.io/datadoghq/agent:7: 指定要運行的Docker鏡像。本例中為Datadog Agent鏡像的版本7。 -e是Envirnoment, -v是volume的意思。 總之,這個命令的目的是在Docker中啟動Datadog Agent容器,並將所需的目錄和文件掛載到容器中,以便容器可以訪問主機上的資源和信息,並在容器中設置Datadog API key和網站。 怎樣更新Docker container里的datadog.yaml? 可以在原來的Docker image基礎上新建的一個image。在Dockerfile里加入

怎樣查看Mac OS的某個端口(port)有沒被使用

如果要看8125有沒被佔用,可以用以下命令 如果8125被佔用了,會打印出相關信息。需要注意的是在Mac OS里要用sudo。如果不用的話不會報錯,只是不打印信息出來。 lsof是什麼意思? lsof 的全稱是 “list open files”,它是一個用於列出當前系統打開的文件、網絡連接、以及 Unix 域套接字的工具。使用 lsof 命令可以查看當前系統中打開的文件和網絡連接的詳細信息,包括哪些進程打開了這些文件或連接,以及這些進程的一些屬性等等。 在 Mac 或者 Linux 系統中,lsof 命令是一個非常有用的工具,它可以幫助用戶了解當前系統中正在運行的進程、網絡連接等情況,對於排查一些網絡和系統方面的問題非常有幫助。

docker-compose.yaml是什麼?和dockerFile有什麼關係?

docker-compose.yaml是用於定義和運行多個Docker容器的YAML文件,它提供了一種聲明式的方式來定義應用程序的各個組件之間的關係,並將它們作為一個整體來管理。通過docker-compose.yaml,可以輕鬆地定義和管理多個Docker容器之間的依賴關係,以及它們的運行配置。 在docker-compose.yaml中,可以指定多個服務,並定義每個服務所需的Docker鏡像、端口映射、環境變量等參數,以及它們之間的關係。在創建和運行多個Docker容器時,可以使用docker-compose命令來自動化執行多個Docker容器的啟動、配置和連接等操作。 Dockerfile是用於定義Docker鏡像構建過程的文件。它包含了一系列的指令,用於指定構建過程中需要執行的操作,例如安裝軟件、配置環境變量、複製文件等。通過Dockerfile,可以定義一個自定義的Docker鏡像,並在創建Docker容器時使用這個鏡像。 docker-compose.yaml和Dockerfile的關係在於,docker-compose.yaml可以引用一個或多個Docker鏡像,其中可以包括使用Dockerfile構建的自定義鏡像。通過docker-compose.yaml和Dockerfile的組合,可以實現定義和管理複雜的多容器應用程序。 能用python小程序給個例子示範一下怎樣用dockerfile和docker-compose.yaml嗎? 當然可以,以下是一個示例程序: 首先是 Dockerfile 文件,它用於構建一個基於 Python 3.8 的 Docker 鏡像,其中包含一個簡單的 Python 應用程序: 然後是 docker-compose.yaml 文件,它定義了一個服務,使用上面構建的自定義鏡像運行 Python 應用程序: 最後是一個簡單的 Python 應用程序,它使用 Flask 框架創建了一個簡單的 Web 服務: 在當前目錄下,有一個名為 requirements.txt 的文件,它列出了 Flask 框架的依賴包: 現在可以在命令行中運行 docker-compose up 命令啟動服務。Docker Compose 將會使用上述的 Dockerfile…
Read more

Nginx是什麼?

nginx是什麼,和apache有什麼不同? Nginx是一款高性能的Web服務器和反向代理服務器。它是一款輕量級、可靠性高、擴展性好的開源軟件,廣泛用於構建高性能的Web應用程序和服務。 與 Apache 相比,Nginx 具有以下幾個不同之處: 資源消耗:Nginx 是一款輕量級的服務器軟件,它的內存和 CPU 資源消耗要比 Apache 更少,特別是在高並發環境下表現更佳。 可擴展性:Nginx 能夠支持更多的並發連接,因此在高負載情況下,它可以更好地處理請求,而不會降低性能。 配置:Nginx 的配置文件比 Apache 更易於閱讀和理解,它使用的是基於塊的配置語法,具有更好的可讀性和可維護性。 模塊:Nginx 具有強大的模塊系統,支持動態模塊加載和卸載。這使得用戶可以根據自己的需要定製和擴展 Nginx 的功能,從而更好地滿足自己的需求。 靜態文件服務:在處理靜態文件時,Nginx 的性能比 Apache 更好,這是因為 Nginx 的文件處理方式更加簡單和高效。 總的來說,Nginx 的性能、可擴展性和配置靈活性都比 Apache 更優秀,尤其是在高負載環境下,Nginx 更能夠穩定地處理大量並發請求。 nginx和apache是同一類型的軟件嗎? 是的,Nginx和Apache都是Web服務器軟件,它們都用於提供 Web 服務並響應客戶端請求。它們都支持HTTP和HTTPS協議,並提供了一系列的模塊和插件來增強其功能,如URL重寫、反向代理、緩存、SSL等。 不過,雖然Nginx和Apache都是Web服務器軟件,但它們的設計理念和架構方式卻有所不同。Nginx是一款高性能、低消耗的服務器,它的核心設計目標是為了處理高並發請求;而Apache則是一款更為靈活的服務器,它提供了廣泛的功能和模塊,可以用於處理各種不同的Web服務需求。 因此,在實際應用中,選擇使用Nginx還是Apache,取決於具體的應用場景和需求。如果你的應用需要高性能和處理大量並發請求,那麼Nginx可能更適合;如果你需要更加靈活的功能和模塊,那麼Apache可能更適合。 nginx支持php嗎?…
Read more