终于找到一个便宜又好用的大模型了

in HIVE CN 中文社区3 months ago (edited)

1.PNG

本来

2.jpg

  • 分类 本来前一段时间一直在做一些信息采集分类汇总的事情。说高大上一点就是RAG(其实不是别往自己脸上贴金)。简单点就是对一些热点新闻进行分类汇总生成简报。本来自己也有一个7B LLM大模型。不过那玩意微调起来基本用来写冷门语言代码的。以为靠基础通用性就能解决自然语言识别分类与汇总。结果那玩意完全是一个傻B。看它输出还不如看原始文档。后来准备用sparkdesk的结果,感觉与我的模型也是半斤八两。而且买token还贵。关键这事费力不讨好,不可能真天天挂一个模型输出,热点信息汇总输出,烧自己电力吧。这点破事就是这么搁浅了。

意外

7.PNG

  • 捣鼓 最近在大模型排行榜单上,看一个第一梯队,不是kimi,不是豆包,不是文言一心(这玩意闭源的)。那是deepseek.先是测试一下对话功能,感觉还行。相对满意输出。

6.jpg

  • API 然后看了API接口文档,惊艳了!居然就这么简单么!直接用openAI SDK.不像别家大模型还要装一下,用独立包装一下自己的SDK。它只直接用openAI,并说明原因,装都不用装了(大气)。我都有的改改就能用,那不太简单了。原神启动!不服务启动!按照目前情况,个人使用量,一天顶多几万token。结果现在注册就是送500万token(10块钱的)。就算赠送用完了,2块/百万token的服务还是能够烧得起。未来热点分析,行情分析其实都可以用deepseek进行整理汇总。但是现在难点反而是如何去写精确提示词(个人其实很反对提示词工程),整理好一个提示词,就这个小破需求。

3.jpg

5pg.jpg

End

  • 其他 没想到是deepseek还有code模式,这么来不是以后集成在其他地方辅助写代码,或者做异常反馈自动提示辅助也不错。

附录

  • 调用代码如下
// Please install OpenAI SDK first: `npm install openai`

import OpenAI from "openai";

const openai = new OpenAI({
        baseURL: 'https://api.deepseek.com',
        apiKey: '<DeepSeek API Key>'
});

async function main() {
  const completion = await openai.chat.completions.create({
    messages: [{ role: "system", content: "You are a helpful assistant." }],
    model: "deepseek-chat",
  });

  console.log(completion.choices[0].message.content);
}

main();
Sort:  

赞!看起来只要熟悉openAI的api,就可以直接用啦

API其实倒是简单,就那么几个参数。其实LLM(包括openAI)发展以来,其实一直有一个目标就是使用自然语言调试。让机器充分理解自然语言,不需要去弄什么参数。但是呢,目前情况现实当然没达到那种水平(其实人与人之间沟通也有这种问题)。因为又是用自然语言,所以现在外面又搞出来了提示词工程这玩意。长久就看,LLM模型其实多用,慢慢就能熟悉沟通方式。人也在学习,模型也在迭代。

Congratulations @darknightlive! You have completed the following achievement on the Hive blockchain And have been rewarded with New badge(s)

You got more than 100 replies.
Your next target is to reach 200 replies.

You can view your badges on your board and compare yourself to others in the Ranking
If you no longer want to receive notifications, reply to this comment with the word STOP

Check out our last posts:

Christmas Season is Back - Gift your Loved Friends