编程

Node js 里有没有像selenium类似的framework?

May 20, 2023 0 Comments

在Node.js中，有一个类似于Selenium的自动化测试框架叫做Puppeteer。Puppeteer是一个由Google开发的Node.js库，提供了一个API来控制和操作浏览器。它可以用于模拟用户行为、进行页面导航、执行JavaScript、提取数据等等。 Puppeteer具有以下特点： 可以通过无头模式运行，即在没有界面的情况下运行浏览器操作。 可以与Chrome浏览器无缝集成。 支持对页面进行截图和PDF生成。 允许模拟键盘和鼠标输入。 可以进行页面自动化测试和爬虫等任务。 你可以使用Puppeteer来实现类似于Selenium的自动化测试和浏览器操作。它提供了丰富的API，使得控制和操作浏览器变得非常方便。你可以使用Puppeteer来加载网页、填写表单、点击按钮、抓取数据等等操作。 要开始使用Puppeteer，你需要先安装它。可以使用npm（Node.js的包管理器）来安装Puppeteer。在命令行中运行以下命令： 安装完成后，你可以在Node.js脚本中引入Puppeteer并开始使用它。以下是一个简单的示例，展示了如何使用Puppeteer来打开网页并截取页面截图： 这段代码会启动一个无头Chrome浏览器实例，创建一个新的页面，然后导航到指定的网址，并最后保存页面截图为example.png。 这只是Puppeteer的一个简单示例，它还有很多功能和API可以探索。你可以查阅Puppeteer的官方文档来了解更多信息和示例：https://pptr.dev/

javascript, node.js, Python, 编程

用python给文件生成bloom filter

May 11, 2023 0 Comments

bloom filter是什么？ Bloom filter（布隆过滤器）是一种概率型数据结构，用于判断一个元素是否属于一个集合，具有高效的插入和查询操作。它可以快速告诉你某个元素“可能存在”或“一定不存在”于一个集合中，但无法确定元素的确切存在与否。 Bloom filter 由布隆提出并在1970年发表，它基于哈希函数的应用。它的核心是一个位数组（bit array）和一组哈希函数。位数组用于表示集合，初始时所有的位都被置为0。哈希函数用于将元素映射为位数组的索引，并将对应位置的位设置为1。 插入元素时，通过对元素应用一组哈希函数，可以得到多个位数组索引，然后将这些索引对应的位设置为1。查询元素时，同样对元素应用哈希函数，得到相应的位数组索引，如果所有的索引位置的位都为1，则说明元素“可能存在”于集合中；如果任何一个索引位置的位为0，则可以确定元素“一定不存在”于集合中。 由于使用了多个哈希函数和位数组，Bloom filter 具有较低的内存占用和快速的查询速度。然而，它也存在一定的误判率（false positive），即在判断元素存在时可能会出现错误判断。这是因为不同元素的哈希函数映射到位数组时可能产生冲突，导致位数组的某些位置同时被设置为1，从而影响判断结果。 Bloom filter 主要应用于那些对查询速度要求较高、可以容忍一定的误判率的场景，例如网络缓存、大规模数据集的去重、垃圾邮件过滤等。通过适当调整位数组大小和哈希函数的数量，可以在一定程度上控制误判率和内存占用。 bloom filter 和 hash function有什么不同？ Bloom filter（布隆过滤器）和哈希函数在使用方式和目的上有一些不同之处： 目的：Bloom filter 的主要目的是判断一个元素是否属于一个集合，它提供了一种快速的判断方式，可以告诉你元素“可能存在”或“一定不存在”于集合中。而哈希函数的主要目的是将数据映射为较短的固定长度值，常用于加密、数据唯一性校验、散列查找等方面。 数据结构：Bloom filter 是一种概率型数据结构，它由一个位数组（bit array）和一组哈希函数组成。位数组用于表示集合，哈希函数用于将元素映射到位数组的索引。哈希函数通常是不可逆的，将输入映射到固定长度的输出。而哈希函数本身并不包含数据结构，它只是一个单独的函数。 功能：Bloom filter 用于判断元素是否属于一个集合，具有高效的插入和查询操作。它可以给出“可能存在”或“一定不存在”的答案，但无法确定元素的确切存在与否。哈希函数则是将数据进行转换和计算，通常用于唯一标识、散列查找、数据完整性校验等。 冲突和误判：Bloom filter 可能存在哈希冲突，即不同元素经过哈希函数计算后映射到相同的位数组位置，这可能导致误判。而哈希函数应该尽量避免冲突，以确保在不同的输入上产生不同的输出，但在实际应用中，哈希冲突是难以完全避免的。 总的来说，Bloom filter 是基于哈希函数的一种数据结构，它利用哈希函数将元素映射到位数组，并通过多次哈希映射来提供快速的元素判断。哈希函数则是独立的计算函数，用于将数据映射为固定长度的值，常用于唯一标识、散列查找、数据完整性校验等场景。 用Python给文件生成bloom…
Read more

Python, 编程

在Docker里跑datadog agent

May 9, 2023 0 Comments

可以运行以下命令 以下是docker run命令的各个参数的解释： -d: 表示在后台运行容器。 –name dd-agent: 为容器指定一个名称，本例中为dd-agent。 -v /var/run/docker.sock:/var/run/docker.sock:ro: 挂载主机上的Docker守护进程的Unix套接字，以便容器可以获取有关主机上运行的其他容器的信息。ro表示将套接字文件以只读方式挂载到容器中。 -v /proc/:/host/proc/:ro: 挂载主机上的/proc目录，以便容器可以访问主机的进程信息。ro表示将该目录以只读方式挂载到容器中。 -v /sys/fs/cgroup/:/host/sys/fs/cgroup:ro: 挂载主机上的/sys/fs/cgroup目录，以便容器可以访问主机的cgroup信息。ro表示将该目录以只读方式挂载到容器中。 -e DD_API_KEY=: 设置Datadog API key，这里留空，需要在运行容器之前将其替换为有效的API key。 -e DD_SITE=”us5.datadoghq.com”: 设置Datadog网站，这里设置为Datadog US5网站。 gcr.io/datadoghq/agent:7: 指定要运行的Docker镜像。本例中为Datadog Agent镜像的版本7。 -e是Envirnoment， -v是volume的意思。 总之，这个命令的目的是在Docker中启动Datadog Agent容器，并将所需的目录和文件挂载到容器中，以便容器可以访问主机上的资源和信息，并在容器中设置Datadog API key和网站。 怎样更新Docker container里的datadog.yaml？ 可以在原来的Docker image基础上新建的一个image。在Dockerfile里加入

datadog, Docker, 云, 编程

怎样查看Mac OS的某个端口(port)有没被使用

May 9, 2023 0 Comments

如果要看8125有没被占用，可以用以下命令 如果8125被占用了，会打印出相关信息。需要注意的是在Mac OS里要用sudo。如果不用的话不会报错，只是不打印信息出来。 lsof是什么意思？ lsof 的全称是 “list open files”，它是一个用于列出当前系统打开的文件、网络连接、以及 Unix 域套接字的工具。使用 lsof 命令可以查看当前系统中打开的文件和网络连接的详细信息，包括哪些进程打开了这些文件或连接，以及这些进程的一些属性等等。 在 Mac 或者 Linux 系统中，lsof 命令是一个非常有用的工具，它可以帮助用户了解当前系统中正在运行的进程、网络连接等情况，对于排查一些网络和系统方面的问题非常有帮助。

MacOS, 编程

docker-compose.yaml是什么？和dockerFile有什么关系？

May 7, 2023 0 Comments

docker-compose.yaml是用于定义和运行多个Docker容器的YAML文件，它提供了一种声明式的方式来定义应用程序的各个组件之间的关系，并将它们作为一个整体来管理。通过docker-compose.yaml，可以轻松地定义和管理多个Docker容器之间的依赖关系，以及它们的运行配置。 在docker-compose.yaml中，可以指定多个服务，并定义每个服务所需的Docker镜像、端口映射、环境变量等参数，以及它们之间的关系。在创建和运行多个Docker容器时，可以使用docker-compose命令来自动化执行多个Docker容器的启动、配置和连接等操作。 Dockerfile是用于定义Docker镜像构建过程的文件。它包含了一系列的指令，用于指定构建过程中需要执行的操作，例如安装软件、配置环境变量、复制文件等。通过Dockerfile，可以定义一个自定义的Docker镜像，并在创建Docker容器时使用这个镜像。 docker-compose.yaml和Dockerfile的关系在于，docker-compose.yaml可以引用一个或多个Docker镜像，其中可以包括使用Dockerfile构建的自定义镜像。通过docker-compose.yaml和Dockerfile的组合，可以实现定义和管理复杂的多容器应用程序。 能用python小程序给个例子示范一下怎样用dockerfile和docker-compose.yaml吗？ 当然可以，以下是一个示例程序： 首先是 Dockerfile 文件，它用于构建一个基于 Python 3.8 的 Docker 镜像，其中包含一个简单的 Python 应用程序： 然后是 docker-compose.yaml 文件，它定义了一个服务，使用上面构建的自定义镜像运行 Python 应用程序： 最后是一个简单的 Python 应用程序，它使用 Flask 框架创建了一个简单的 Web 服务： 在当前目录下，有一个名为 requirements.txt 的文件，它列出了 Flask 框架的依赖包： 现在可以在命令行中运行 docker-compose up 命令启动服务。Docker Compose 将会使用上述的 Dockerfile…
Read more

Docker, 编程

Nginx是什么？

May 7, 2023 0 Comments

nginx是什么，和apache有什么不同？ Nginx是一款高性能的Web服务器和反向代理服务器。它是一款轻量级、可靠性高、扩展性好的开源软件，广泛用于构建高性能的Web应用程序和服务。 与 Apache 相比，Nginx 具有以下几个不同之处： 资源消耗：Nginx 是一款轻量级的服务器软件，它的内存和 CPU 资源消耗要比 Apache 更少，特别是在高并发环境下表现更佳。 可扩展性：Nginx 能够支持更多的并发连接，因此在高负载情况下，它可以更好地处理请求，而不会降低性能。 配置：Nginx 的配置文件比 Apache 更易于阅读和理解，它使用的是基于块的配置语法，具有更好的可读性和可维护性。 模块：Nginx 具有强大的模块系统，支持动态模块加载和卸载。这使得用户可以根据自己的需要定制和扩展 Nginx 的功能，从而更好地满足自己的需求。 静态文件服务：在处理静态文件时，Nginx 的性能比 Apache 更好，这是因为 Nginx 的文件处理方式更加简单和高效。 总的来说，Nginx 的性能、可扩展性和配置灵活性都比 Apache 更优秀，尤其是在高负载环境下，Nginx 更能够稳定地处理大量并发请求。 nginx和apache是同一类型的软件吗？ 是的，Nginx和Apache都是Web服务器软件，它们都用于提供 Web 服务并响应客户端请求。它们都支持HTTP和HTTPS协议，并提供了一系列的模块和插件来增强其功能，如URL重写、反向代理、缓存、SSL等。 不过，虽然Nginx和Apache都是Web服务器软件，但它们的设计理念和架构方式却有所不同。Nginx是一款高性能、低消耗的服务器，它的核心设计目标是为了处理高并发请求；而Apache则是一款更为灵活的服务器，它提供了广泛的功能和模块，可以用于处理各种不同的Web服务需求。 因此，在实际应用中，选择使用Nginx还是Apache，取决于具体的应用场景和需求。如果你的应用需要高性能和处理大量并发请求，那么Nginx可能更适合；如果你需要更加灵活的功能和模块，那么Apache可能更适合。 nginx支持php吗？…
Read more

Docker, Nginx, Web, 编程

怎样计算cosine similarity? Python实例

April 21, 2023 0 Comments

1 使用Tensorflow / Keras Keras提供的loss function有cosine similarity 输出结果 需要注意的是，Keras算出来的结果是负的。因为它是作为一种loss function，如果2个向量越相似，他们越接近1，所以loss越小，那么Keras就把一般意义上的Consine similarity加了个负号。 2 只使用Raw Python 只用Raw Python写个函数也不难，代码如下 输出结果 这样就没有负数问题了。

Python, 机器学习, 编程

如何在 VS Code 中查看 SVG 文件的效果

April 10, 2023 0 Comments

如何提高开发效率？VS Code 可能是你需要的答案！在 VS Code 中，你可以安装并使用许多强大且易于使用的插件，这些插件可以帮助你完成各种任务，提高开发效率。一些常用的插件包括代码高亮、自动完成、调试器等等。另外，VS Code 也支持大量的编程语言，包括 JavaScript、Python、C++、Java 等，可以满足各种开发需求。安装插件也非常容易，你可以在 VS Code 中直接搜索并安装你需要的插件。许多插件也提供了配置选项，可以根据自己的需求进行自定义设置。总之，VS Code 是一个功能强大且易于使用的编辑器，可以帮助你提高开发效率。如果你还没有尝试过，不妨试试看！ 在 Visual Studio Code（以下简称 VS Code）中查看 SVG 文件的效果图也可以通过安装并使用适当的插件来实现。 安装 SVG Preview 插件 SVG Preview 是一个免费的 VS Code 插件，可以让你在编辑器中查看 SVG 文件的效果。安装该插件的步骤如下： Google “SVG Previewer”，然后打开VS code marketplace对应的链接…
Read more

VS-Code, 编程, 编程工具

如何在JavaScript中打印对象并显示其内容，避免出现 [object Object] 的问题?

April 3, 2023 0 Comments

JavaScript是一种弱类型语言，它支持对象作为数据类型。在处理对象时，有时候我们需要将对象内容打印出来以便于调试和理解。然而，当我们使用console.log()函数打印对象时，有时候会发现输出结果只是[object Object]，这对我们的调试工作并没有什么帮助。本篇博客将讨论如何在JavaScript中打印对象并显示其内容，避免出现[object Object]的问题。 1. 使用Console.dir() 使用console.dir()方法 console.dir()方法可以将一个对象以树形结构的形式打印到控制台中。这种方式可以非常清晰地展示对象的内容，方便我们查看和调试。 示例代码： 2. 使用JSON.stringify()方法 JSON.stringify()方法可以将一个对象转换为JSON格式的字符串，然后再输出到控制台中。这种方式可以将对象的内容转换为字符串形式，方便我们查看和理解。 示例代码： 输出结果： 需要注意的是，使用JSON.stringify()方法输出对象时，有些属性可能会被忽略。例如，如果对象中有函数属性，那么这些函数属性会被忽略。 3. 自定义打印方式 有时候，我们需要自定义对象的打印方式，以便更好地展示对象内容。可以通过在对象中添加一个toString()方法来实现自定义打印方式。 示例代码： 输出结果： 需要注意的是，自定义打印方式只会在调用toString()方法时起作用，如果直接使用console.log()函数打印对象，仍然会输出[object Object]。因此，需要在需要打印对象的地方调用toString()方法。 总结 在JavaScript中打印对象并显示其内容，避免出现[object Object]的问题，可以使用console.dir()方法、JSON.stringify()方法和自定义打印方式。根据不同的情况，选择不同的打印方式可以更好地展示对象的内容，方便我们的调试和理解。

javascript, 编程