LM Studio的简介

图片

LM Studio的标语是发现、下载并运行土产货 LLMs。LM Studio 是一款桌面应用要领，可在您的揣摸机上运行土产货大型言语模子（LLMs）。

官网：LM Studio - Discover, download, and run local LLMs

文档：Welcome | LM Studio

1、使用LM Studio的特质

>> 在札记本电脑上运行llm，竣工脱机>> 通过应用内聊天界面或OpenAI兼容的土产货职业器使用模子>> 从HuggingFace���存储库下载任何兼容的模子文献>> 在应用要领的主页上发现新的和值得密致的法学硕士

LM Studio撑捏HuggingFace上的任何ggml Llama, MPT和StarCoder模子(Llama 2, Orca, Vicuna, Nous Hermes, WizardCoder, MPT等)

2、撑捏的平台：最低硬件/软件条目

M1/M2/M3 Mac，或撑捏AVX2贬责器的Windows PC。Linux有测试版。提出至少 16GB 的 RAM。对于 PC，提出至少 6GB 的 VRAM。撑捏 NVIDIA/AMD GPU。>> Windows (x86, x64, AVX2)：领有撑捏 AVX2 的贬责器（庸碌是较新的 PC）的 Windows>> macOS (Apple Silicon - M1/M2/M3)：搭载 macOS 13.6 或更新版块的 Apple Silicon Mac（M1/M2/M3）。>> Linux (x86, Ubuntu 22.04, AVX2)：领有撑捏 AVX2 的贬责器（庸碌是较新的 PC）的Linux PC

LM Studio的装配和使用表率

下载地址：LM Studio - Discover, download, and run local LLMs

Linux地址：https://releases.lmstudio.ai/linux/0.2.18/beta/LM_Studio-0.2.18.AppImage

Windows：https://releases.lmstudio.ai/windows/0.2.18-a/latest/LM-Studio-0.2.18-Setup.exe

>> LM Studio 职业器：先容了若何使用 LM Studio 中的土产货职业器通过 API 来加载和运行土产货 LLM，并提供了对于请乞降反映时局的信息以及若何进行推断苦求的示例。>> 文本镶嵌：先容了文本镶嵌的见解，以及若何使用 LM Studio 的镶嵌职业器来生成文本镶嵌。还提供了对于请乞降反映时局的信息以及若何取得文本镶嵌的示例请乞降反映。

1、LM Studio 职业器：通过运行在 localhost 上的 OpenAI 作风的 HTTP 职业器使用土产货 LLM

源文地址：Local LLM Server | LM Studio

您不错通过在土产货主机上运行的 API 职业器使用您在 LM Studio 中加载的 LLM。请乞降反映免除 OpenAI 的 API 时局。将现时使用 OpenAI 的任何代码指向 localhost:PORT 以使用土产货 LLM。

撑捏的端点

GET /v1/models
POST /v1/chat/completions
POST /v1/embeddings
POST /v1/completions

其中，POST /v1/embeddings 是 LM Studio 0.2.19 中的新功能。在此处阅读相关它的信息。

使用土产货职业器

第1步，淌若尚未装配 LM Studio，问候装它。从 https://lmstudio.ai 取得应用要领装配要领。第2步，从应用要领中搜索并下载 LLM，举例 TheBloke/Mistral-7B-Instruct-v0.2-GGUF（磁盘上约 4GB）第3步，转到土产货职业器选项卡（<- 在左侧）第4步，通过从下拉菜单中采用它来加载您下载的任何 LLM。第5步，通过单击绿色的“启动职业器”按钮来启动职业器。

您的 LM Studio 当今已准备好剿袭传入的 API 苦求。您不错安全地最小化应用要领；职业器将连续运行。

搜检现时加载的模子

curl http://localhost:1234/v1/models

反映（免除 OpenAI 的时局）

不才述情况下，TheBloke/phi-2-GGUF 和 lmstudio-ai/gemma-2b-it-GGUF 齐已加载。

{
  "data": [
    {
      "id": "TheBloke/phi-2-GGUF/phi-2.Q4_K_S.gguf",
      "object": "model",
      "owned_by": "organization-owner",
      "permission": [
        {}
      ]
    },
    {
      "id": "lmstudio-ai/gemma-2b-it-GGUF/gemma-2b-it-q4_k_m.gguf",
      "object": "model",
      "owned_by": "organization-owner",
      "permission": [
        {}
      ]
    }
  ],
  "object": "list"
}%

进行推断苦求（使用 OpenAI 的“Chat Completions”时局）

在此示例中，土产货职业器运行在端口 1234 上。您不错在应用要领中的职业器限度栏中改动它。第1步，掀开您的末端（在 Windows 上尝试 Git Bash）第2步，复制并运行以下苦求

curl http://localhost:1234/v1/chat/completions -H "Content-Type: application/json" -d '{ 
  "messages": [ 
    { "role": "system", "content": "You are a helpful coding assistant." },
    { "role": "user", "content": "How do I init and update a git submodule?" }
  ], 
  "temperature": 0.7, 
  "max_tokens": -1,
  "stream": true
}'

撑捏的灵验负载参数

相关每个参数的诠释，请参阅 https://platform.openai.com/docs/api-reference/chat/create

model
top_p
top_k
messages
temperature
max_tokens
stream
stop
presence_penalty
frequency_penalty
logit_bias
repeat_penalty
seed

2、文本镶嵌：使用 LM Studio 的镶嵌职业器土产货生成文本镶嵌（适用于 RAG 应用要领）

密致：文本镶嵌处于测试版。从这里下载撑捏它的 LM Studio。请在 LM Studio Discord 上进展任何子虚/反馈。

文本镶嵌是将文本暗意为数字向量的一种表率。镶嵌连续在检索增强生成（RAG）应用要领中使用。连续阅读了解若何使用 LM Studio 的镶嵌职业器竣工土产货生成文本镶嵌。

从 LM Studio 的土产货职业器取得文本镶嵌

从版块 0.2.19 启动，LM Studio 包括一个文本镶嵌端点，允许您生成镶嵌。请乞降反映时局免除 OpenAI 的 API 时局。在此处阅读相关它的信息。示例用途包括 RAG 应用要领、代码搜索应用要领以及任何需要文本镶嵌的应用要领。

图片

若何

需要 LM Studio 0.2.19 或更新版块。从 lmstudio.ai/beta-releases.html 下载测试版。第1步，转到土产货职业器选项卡（<- 在左侧）并启动职业器。第2步，通过采用它从镶嵌模子拓荒下拉菜单中采用一个文本镶嵌模子来加载它。第3步，把握 POST /v1/embeddings 端点取得您文本的镶嵌。

示例苦求：

假定职业器正在端口 1234 上监听撑捏的输入类型是字符串和字符串数组（字符串数组）

curl http://localhost:1234/v1/embeddings   -H "Content-Type: application/json"   -d '{
    "input": "Your text string goes here",
    "model": "model-identifier-here"
  }'

示例回话：

{
  "object": "list",
  "data": [
    {
      "object": "embedding",
      "embedding": [
        -0.005118194036185741,
        -0.05910402536392212,
        ... truncated ...
        -0.02389773353934288
      ],
      "index": 0
    }
  ],
  "model": "nomic-ai/nomic-embed-text-v1.5-GGUF/nomic-embed-text-v1.5.Q5_K_M.gguf",
  "usage": {
    "prompt_tokens": 0, 
    "total_tokens": 0
  }
}

可用的镶嵌模子是哪些？

任何 GGUF 时局的 BERT 模子齐应该不错使用。淌若遭遇问题，请在 LM Studio Discord 上进展子虚。

特色模子：

nomic-embed-text-v1.5bge-large-en-v1.5

通过 LM Studio 内置的模子下载器搜索并下载这些模子。

3、使用表率

图片

LM Studio的案例应用

捏续更新中……

LLMs之Llama3：手把手教你(只需三步)竣事Llama3模子土产货部署并对话测试—基于LM Studio的GUI界面径直对话聊天或进一步结合Lobe Chat框架(更优雅的竣事近似ChatGPT聊天+包括丰富Agent脚色市集)

https://yunyaniu.blog.csdn.net/article/details/138203821

本站仅提供存储职业，悉数骨子均由用户发布，如发现存害或侵权骨子，请点击举报。