服务器端请求微信登陆授权接口一直超时问题，微信小程序接口请求超过1秒显示加载中

专业编程培训机构——完成蜕变以后轻松拿高薪

电话+V： 152079-09430 ，欢迎咨询小程序首次api请求慢怎么办，[python实用课程]，[C++单片机原理]，[C#网站搭建]，[Nodejs小程序开发]，[ios游戏开发]，[安卓游戏开发]，[教会用大脑用想法赚钱实现阶层跨越]

一、服务器端请求微信登陆授权接口一直超时问题

环境：

服务器系统：centos7.2

站点环境：nginx

遇到问题：

1、微信小程序端请求服务器登陆接口，服务端收到请求后向微信接口服务器请求数据，请求成功后返回数据给客户端，但是请求微信接口服务器经常性出现超时问题，请求超时时间设置成10S依然会提示超时，只有偶尔的一两次会请求成功；

解决方法：

1、首先在服务器上通过终端先ping一下微信的接口域名：api.weixin.qq.com;如果发现域名解析ip地址时间非常长的话说明是dns解析超时的问题；

2、找到原因后，更改服务器etc/resolv.conf文件中的dns服务器地址

你可以测试一下哪个dns在你服务器上解析速度最快你就把相应的ip地址放到最上面就可以了；

3、基本上你调整过之后，你在访问微信的登陆授权接口基本上就是毫秒级别的；

二、微信小程序接口请求超过1秒显示加载中

微信小程序接口请求超过1秒显示加载中的原因是:

2、手机运行出现问题，可以退出微信重新启动微信，进入试一下，如果还是不行，就卸掉微信重新下载或者关机重启。

OpenAI的嵌入API太慢了吗？探索其他嵌入模型和服务的优势

原文链接：https://www.getzep.com/text-embedding-latency-a-semi-scientific-look/

未经允许，禁止转载！

作者|DanielChalef译者|明明如月

责编|夏萌

出品|CSDN（ID：CSDNnews）

在讨论机器学习模型性能时，通常指的是模型在特定任务上的表现。对于数据科学家和机器学习工程师来说，这包括准确率、损失等度量。然而，随着聊天机器人和智能代理等基于文本生成的AI应用成为我们日常生活的一部分，模型延迟成为另一个显著影响用户体验的性能指标，即模型生成结果所需的时间。如果生成过程较慢，将会影响聊天用户的体验。

OpenAI的GPT-3.5-Turbo模型显著缩短了流式响应的首字节响应时间。然而，构建发送给GPT-3.5-Turbo模型的提示通常是一个冗长且缓慢的过程，可能需要多次调用其他模型，以及第三方或内部服务，以生成被GPT-3.5-Turbo用来生成响应的情境学习内容。

虽然我们通常在创建提示之前就将文件嵌入，但搜索词的嵌入必须在执行搜索时实时完成。因此，嵌入的速度成为生成GPT-3.5-Turbo结果的关键。

最常见的提示生成任务之一是使用向量数据库从文档集合中检索相关信息。向量数据库存储了一个被称为嵌入的文档的数学表示，并使用近似最近邻等技术比较文档之间，或者与搜索词的相似度。在机器学习中，这个任务被称为语义搜索。

嵌入是由专门设计用于执行此任务的语言模型生成的。有许多不同的嵌入模型，每个模型都有独特的性能特征：准确性、速度、存储和内存使用等。它们也可能是多语言的，或者针对特定的自然语言进行训练。有些甚至针对特定的商业或科学领域进行训练。

虽然文件通常在创建提示之前就被嵌入，但是搜索词嵌入必须在执行搜索时即时创建。这使得嵌入的速度成为生成LLM结果的关键路径。

正如我们上文所讨论的，缓慢的文本生成影响用户体验，而生成文本的关键任务之一就是使用语义搜索查找相关内容。虽然我们应该考虑嵌入模型的成本、内存使用和实施的便利性，但这次调查仅关注嵌入的速度，以及在有的情况下，对语义相似性搜索任务的MTEB基准性能。

我们测试了两个嵌入API服务和几个由sentence-transformers包支持的开源嵌入模型。我们选取的开源模型代表了在MTEB基准测试中得分高，且在CPU上表现良好的模型族。还有许多其他模型，你应该根据你的使用场景进行实验，以基准作为指导，而非铁律。

API测试在GCP和AWS上进行，这符合了当今许多应用的场景。本地模型在几个云实例和我的MacBookProM1（配备16GBRAM）上进行了测试。详细信息请见下文。

摘要：Google的新嵌入API比OpenAI的快得多，而本地CPU上的开源模型最快。Google的模型尚无检索基准，但OpenAI的模型在MTEB上得分最高。如果延迟是你的关注点，你可以考虑Google或开源模型。

OpenAI的text-embedding-ada-002模型是许多开发者的首选。由于应用程序常常使用OpenAI的模型，因此开发者使用同样的API来嵌入文档是合理的。OpenAI最近也大幅降低了这个API的价格。

事实证明，无论是从AWS还是GCP测量，OpenAI嵌入API的延迟显著高于Google新的textembedding-gecko@001模型（仅从GCP测量）。

OpenAI的性能波动较大——许多人都经历过在一些时候OpenAI的API扩展性差的情况。使用AzureOpenAIService运行在MicrosoftAzure中的应用，模型的延迟可能会更低。

模型延迟（秒，log10）

毫不意外，运行在本地CPU上的开源嵌入模型在性能上超越了Google和OpenAI的API服务。网络传输是慢的。但令人惊讶的是Google的模型与本地开源模型相比表现出色。我只从GCP测量，因此API肯定有更低的网络延迟。

延迟通常在第95百分位处进行测量，DevOps和SRE称之为p95。以下是p95模型结果（非对数刻度）。OpenAIAPI的p95响应从GCP需要近一分钟，从AWS需要近600毫秒。

模型延迟p95（秒）

在这次调查中，虽然开源模型gtr-t5-xl的MTEB得分与OpenAI的产品最接近，但其表现却远不如所有其他模型。有可能在大批量嵌入的情况下，如果使用GPU，性能会显著提高（详见下文）。

all-MiniLM系列的开源模型速度非常快（且作为较小的模型，其内存效率非常高）。考虑到他们的速度和相对易于部署的特性（见此Langchain示例），评估他们对于你特定使用场景的性能表现是值得的。

sentence-transformers团队已经创建了大量不同的模型，并且有充分的理由。每个模型都具有不同组合的性能特性，并且用于不同的用途。口语，句子长度，向量宽度，词汇量和其他因素都会影响模型的性能。有些模型可能对某个领域的表现比其他模型更好。在选择模型时，使用MTEB和其他基准作为指导是值得的，但一定要用自己的数据进行实验。

在测试开源模型时，我们专注于CPU的性能，而非GPU。CPU的部署成本低，易于扩展。虽然嵌入模型，像许多深度学习模型一样，在处理大数据集时在GPU上表现最好，但我们这里的主要关注点是模型对单个短句子的表现。在这种情况下，使用GPU通常比使用CPU更慢，因为将数据传输到GPU的代价比将同样的数据从内存移动到CPU的代价更高。

即使你没有使用GPU，使用SentenceTransformer嵌入模型在Langchain中也相对简单，易于实现。Langchain自带HuggingFace集成，允许在HuggingFace托管的任何嵌入模型作为Langchain的Embedding。

注意：你需要确保已安装了sentence_transformers。

阅读Langchain的[索引和VectorStores文档，了解如何在你的链或代理代码中使用上述内容。

我们对每个模型的嵌入速度进行了50次迭代的抽样测试。嵌入的文本相对较短，旨在代表LLM-based应用在构建提示时对向量数据库进行搜索的类型。

测试句子

模型延迟数据表

测试在以下基础设施上/从以下基础设施运行：

在所有实验中，pytorch只使用CPU。

使用的软件包括：

JupyterLab

sentence-transformers2.2.2

pytorch2.0.1

Python3.10和3.11

你认为OpenAI是目前最好的选择吗？为什么？欢迎发表你的看法和理由。

参考链接

首字节响应时间：https://en.wikipedia.org/wiki/Time_to_first_byte?ref=getzep.com

索相关信息：https://blog.langchain.dev/retrieval/?ref=getzep.com

近似最近邻：https://en.wikipedia.org/wiki/Nearest_neighbor_search?ref=getzep.com

语义搜索：https://www.sbert.net/examples/applications/semantic-search/README.html?ref=getzep.com

许多不同的嵌入模型：https://huggingface.co/spaces/mteb/leaderboard?ref=getzep.com

MTEB基准性能：https://huggingface.co/spaces/mteb/leaderboard?ref=getzep.com

sentence-transformers：https://www.sbert.net/?ref=getzep.com

以基准作为指导，而非铁律：https://www.getzep.com/text-embedding-latency-a-semi-scientific-look/#your-mileage-may-vary-with-embedding-model-performance

大幅降低了：https://openai.com/blog/function-calling-and-other-api-updates?ref=getzep.com

AzureOpenAIService：https://azure.microsoft.com/en-us/products/cognitive-services/openai-service?ref=getzep.com

Langchain示例：https://www.getzep.com/text-embedding-latency-a-semi-scientific-look/#using-sentencetransformer-models-with-langchain

大量不同的模型：https://huggingface.co/sentence-transformers?ref=getzep.com

HuggingFace：https://huggingface.co/?ref=getzep.com

sentence_transformers：https://pypi.org/project/sentence-transformers/?ref=getzep.com

【FUTURE PROGRAMMING COURSE】尊享对接老板

电话+V： 152079-09430

机构由一批拥有10年以上开发管理经验，且来自互联网或研究机构的IT精英组成，负责研究、开发教学模式和课程内容。公司具有完善的课程研发体系，一直走在整个行业发展的前端，在行业内竖立起了良好的品质口碑。